JARK 스택 아키텍처

JARK 스택 아키텍처 An architecture diagram generated by Archify. 데이터 과학자 & ML 엔지니어 · 노트북 사용자 · Architecture component 데이터 과학자 & ML 엔지니어 노트북 사용자 JupyterHub 허브 서버 · KubeSpawner · OAuth/Cognito · JupyterHub JupyterHub 허브 서버 KubeSpawner · OAuth/Cognito 사용자 노트북 · CPU · GPU · 멀티 GPU 프로필 · JupyterHub 사용자 노트북 CPU · GPU · 멀티 GPU 프로필 워크플로우 컨트롤러 · server와 별도 controller · Argo Workflows 워크플로우 컨트롤러 server와 별도 controller ML 워크플로우 · 전처리 · 훈련 · 튜닝 · 평가 · Argo Workflows ML 워크플로우 전처리 · 훈련 · 튜닝 · 평가 Ray 헤드 노드 · GCS / dashboard / raylet · Ray 클러스터 Ray 헤드 노드 GCS / dashboard / raylet Ray 워커 풀 · CPU · GPU · Neuron · Ray 클러스터 Ray 워커 풀 CPU · GPU · Neuron Karpenter · 노드 프로비저너 · Karpenter 자동 스케일링 Karpenter 노드 프로비저너 node 공급 정책 · NodePool / NodeClass · Karpenter 자동 스케일링 node 공급 정책 NodePool / NodeClass Amazon EFS · 노트북 & 모델 · 공유 스토리지 Amazon EFS 노트북 & 모델 FSx for Lustre · 훈련 데이터 · 공유 스토리지 FSx for Lustre 훈련 데이터 Amazon S3 · 데이터셋 & 아티팩트 · 공유 스토리지 Amazon S3 데이터셋 & 아티팩트 로그인 노트북 생성 워크플로우 제출 Ray 잡 실행 훈련 / 튜닝 실행 Pending Pod 신호 프로비저닝 JupyterHub Argo Workflows Ray 클러스터 Karpenter 자동 스케일링 공유 스토리지 Legend 프런트엔드 백엔드 서비스 데이터 저장소 클라우드 서비스 외부 시스템

분리된 제어 과정

  • • Ray worker가 Karpenter API를 직접 호출하지 않습니다.
  • • 사용자 인증과 workflow 실행 identity는 별도로 제한합니다.
  • • 공유 저장소는 namespace·mount·권한 조건을 검증합니다.