EKS에서의 NVIDIA NIM 배포

EKS에서의 NVIDIA NIM 배포 An architecture diagram generated by Archify. 승인된 진입 경로 · 인증·TLS·요청 한도 · 인그레스 레이어 승인된 진입 경로 인증·TLS·요청 한도 지원 gateway controller · 검증한 route 설정 · 인그레스 레이어 지원 gateway controller 검증한 route 설정 NIM 컨테이너 · OpenAI 호환 API :8000 · 검증할 NIM 구성 NIM 컨테이너 OpenAI 호환 API :8000 선택된 NIM backend · 2.0.12: vLLM0.27.1 · 검증할 NIM 구성 선택된 NIM backend 2.0.12: vLLM0.27.1 모델 캐시 · /opt/nim/.cache · 검증할 NIM 구성 모델 캐시 /opt/nim/.cache p4d.24xlarge · 8x A100 · GPU 노드 풀 p4d.24xlarge 8x A100 g5.48xlarge · 8x A10G · GPU 노드 풀 g5.48xlarge 8x A10G 선택한 cache 저장소 · local / EBS / shared FS · 모델 스토리지 선택한 cache 저장소 local / EBS / shared FS Amazon S3 · 모델 아카이브 · 모델 스토리지 Amazon S3 모델 아카이브 NGC Catalog · 승인된 이미지·모델 원본 · 모델 스토리지 NGC Catalog 승인된 이미지·모델 원본 NIM 메트릭 endpoint · :8000/v1/metrics · 모니터링 스택 NIM 메트릭 endpoint :8000/v1/metrics Prometheus · 메트릭 수집 · 모니터링 스택 Prometheus 메트릭 수집 Grafana 대시보드 · 시각화 · 모니터링 스택 Grafana 대시보드 시각화 요청 전달 추론 모델 로드 스케줄 캐시 백엔드 설정된 연동 모델 다운로드 메트릭 노출 메트릭 샘플 쿼리 결과 인그레스 레이어 검증할 NIM 구성 GPU 노드 풀 모델 스토리지 모니터링 스택

배포 경계

  • • profile·revision·GPU·cache·probe를 함께 검증합니다.
  • • 공유 EBS RWO 볼륨은 여러 노드의 replica에 맞지 않습니다.
  • • NGC secret 환경 전달은 파일 전용 credential 정책과 다릅니다.