vLLM을 위한 EKS 인프라 구성

vLLM을 위한 EKS 인프라 구성 An architecture diagram generated by Archify. Amazon ECR · 컨테이너 이미지 · AWS 서비스 Amazon ECR 컨테이너 이미지 CloudWatch · 지표 · 로그 · AWS 서비스 CloudWatch 지표 · 로그 IAM · 권한 · 역할 · AWS 서비스 IAM 권한 · 역할 스케줄러 · kube-scheduler · EKS 컨트롤 플레인 스케줄러 kube-scheduler API 서버 · kube-apiserver · EKS 컨트롤 플레인 API 서버 kube-apiserver 컨트롤러 매니저 · kube-controller-manager · EKS 컨트롤 플레인 컨트롤러 매니저 kube-controller-manager GPU 노드 그룹 · p5 · p4d · g6 · g5 · 노드 그룹 · VPC 서브넷 / 보안 그룹 / EFA · vLLM 서빙 GPU 노드 그룹 p5 · p4d · g6 · g5 vLLM 서빙 CPU 노드 그룹 · c5 · m5 · 노드 그룹 · VPC 서브넷 / 보안 그룹 / EFA CPU 노드 그룹 c5 · m5 FSx for Lustre · 선택적 공유 모델 저장소 · 스토리지 FSx for Lustre 선택적 공유 모델 저장소 Amazon S3 · 모델 저장소 · 스토리지 Amazon S3 모델 저장소 Amazon EBS · 블록 볼륨 · 스토리지 Amazon EBS 블록 볼륨 Pod 감시 감시 / 조정 vLLM Pod 배치 보조 워크로드 배치 모델 가중치 로드 모델 마운트 모델 다운로드 볼륨 연결 이미지 풀 지표 · 로그 AWS 서비스 EKS 컨트롤 플레인 노드 그룹 · VPC 서브넷 / 보안 그룹 / EFA 스토리지 Legend 백엔드 서비스 데이터 저장소 클라우드 서비스 보안 구성 요소

모델 준비

  • • 모든 worker가 동일한 revision과 경로를 사용해야 합니다.
  • • FSx staticPV/PVC와 dynamic provisioning을 구분합니다.

인프라

  • • 이미지·AMI·driver·GPU·IAM·스토리지 경로를 함께 검증합니다.