AI/ML 워크로드 배포

AI/ML 워크로드 배포 An architecture diagram generated by Archify. NVIDIA GPU 운영자 · Helm 차트로 설치 · Amazon EKS NVIDIA GPU 운영자 Helm 차트로 설치 NVIDIA 드라이버 · AL2023 AMI에 사전 설치 · Amazon EKS › GPU 계층 — owner별 구성 NVIDIA 드라이버 AL2023 AMI에 사전 설치 NVIDIA Container Toolkit · AL2023 AMI에 사전 설치 · Amazon EKS › GPU 계층 — owner별 구성 NVIDIA Container Toolkit AL2023 AMI에 사전 설치 NVIDIA Device Plugin · GPU 리소스 노출 · Amazon EKS › GPU 계층 — owner별 구성 NVIDIA Device Plugin GPU 리소스 노출 NVIDIA DCGM Exporter · GPU 모니터링 메트릭 · Amazon EKS › GPU 계층 — owner별 구성 NVIDIA DCGM Exporter GPU 모니터링 메트릭 Kubeflow · ML 플랫폼 / 개별 컴포넌트 · Amazon EKS Kubeflow ML 플랫폼 / 개별 컴포넌트 Jupyter Notebooks · 대화형 개발 환경 · Amazon EKS › Kubeflow 구성 요소 Jupyter Notebooks 대화형 개발 환경 Trainer / 레거시 Jobs · 분산 훈련 작업 실행 · Amazon EKS › Kubeflow 구성 요소 Trainer / 레거시 Jobs 분산 훈련 작업 실행 Pipelines · Katib · ML 워크플로우 · 하이퍼파라미터 튜닝 · Amazon EKS › Kubeflow 구성 요소 Pipelines · Katib ML 워크플로우 · 하이퍼파라미터 튜닝 KServe · 모델 서빙 플랫폼 · Amazon EKS KServe 모델 서빙 플랫폼 검증한 서빙 runtime · 모델·장치·프로토콜 호환 · Amazon EKS › 모델 서빙 옵션 검증한 서빙 runtime 모델·장치·프로토콜 호환 MPI Operator · MPIJob으로 분산 훈련 실행 · Amazon EKS › 분산 훈련 MPI Operator MPIJob으로 분산 훈련 실행 소유권 확인 제공 서빙 옵션 Amazon EKS GPU 계층 — owner별 구성 Kubeflow 구성 요소 모델 서빙 옵션 분산 훈련 Legend 모델 서빙 ML 플랫폼 구성 요소 GPU 노드 스택

GPU 계층

  • • AL2023는 driver/toolkit을 제공; plugin과 관측성은 별도입니다.
  • • GPU Operator와 standalone plugin은 관리 owner를 중복하지 않습니다.

학습과 서빙

  • • KServe는 현재 이름이며 TorchServe는 유지보수 중단 상태입니다.
  • • 리소스 생성은 학습·추론 성공을 보장하지 않습니다.