GPU 워크로드 최적화 스케줄러 아키텍처

GPU 워크로드 최적화 스케줄러 아키텍처 An architecture diagram generated by Archify. API 서버 · kube-apiserver · 컨트롤 플레인 API 서버 kube-apiserver 기본 스케줄러 · kube-scheduler · 컨트롤 플레인 기본 스케줄러 kube-scheduler 스케줄러 코어 · 스케줄러 프레임워크 · GPU 스케줄러 스케줄러 코어 스케줄러 프레임워크 GPU 토폴로지 플러그인 · GPU 모델 · 개수 Filter · GPU 스케줄러 GPU 토폴로지 플러그인 GPU 모델 · 개수 Filter GPU 사용률 플러그인 · 사용률 낮은 노드 Score · GPU 스케줄러 GPU 사용률 플러그인 사용률 낮은 노드 Score GPU 메모리 플러그인 · gpu.nvidia.com/memory · GPU 스케줄러 GPU 메모리 플러그인 gpu.nvidia.com/memory P3 인스턴스 · p3.2xlarge · p3.8xlarge · 노드 그룹 P3 인스턴스 p3.2xlarge · p3.8xlarge G4 인스턴스 · g4dn.xlarge · g4dn.2xlarge · 노드 그룹 G4 인스턴스 g4dn.xlarge · g4dn.2xlarge G5 인스턴스 · g5.xlarge · g5.2xlarge · 노드 그룹 G5 인스턴스 g5.xlarge · g5.2xlarge 메트릭 수집 · DCGM Exporter · Node Exporter · Architecture component 메트릭 수집 DCGM Exporter · Node Exporter AMP · Amazon Managed Prometheus · Architecture component AMP Amazon Managed Prometheus Amazon CloudWatch · Architecture component Amazon CloudWatch GPU Pod 감시 일반 Pod Filter / Score 노드 바인딩 GPU 사용률 조회 컨트롤 플레인 GPU 스케줄러 노드 그룹 Legend 백엔드 서비스 클라우드 서비스

요구 사항

  • • GPU 메모리 요구 사항에 따른 노드 선택
  • • GPU 모델(A100, V100, T4 등)에 따른 노드 선택
  • • GPU 사용률을 고려한 노드 선택
  • • 다중 GPU 인스턴스에서 GPU 공유 최적화

구현 방식

  • • 스케줄러 프레임워크 플러그인 접근 방식
  • • 노드 레이블: gpu.nvidia.com/model · memory · count
  • • GPUTopologyPlugin이 Filter와 Score를 구현

GPU 노드 그룹

  • • P3: p3.2xlarge, p3.8xlarge
  • • G4: g4dn.xlarge, g4dn.2xlarge
  • • G5: g5.xlarge, g5.2xlarge