vLLM 배포 아키텍처

vLLM 배포 아키텍처 An architecture diagram generated by Archify. 클라이언트 · HTTP 요청 · 네트워킹 클라이언트 HTTP 요청 인증된 진입 경로 · 내부 Service / gateway · 네트워킹 인증된 진입 경로 내부 Service / gateway Kubernetes Service · 선택한 replica/group · 네트워킹 Kubernetes Service 선택한 replica/group vLLM 파드 · 예제: GPU1개 / Qwen3-0.6B · 단일 노드 배포 vLLM 파드 예제: GPU1개 / Qwen3-0.6B vLLM 파드 0 · node-rank0 / API · 다중 노드 배포 vLLM 파드 0 node-rank0 / API NCCL 통신 · GPU 간 집합 통신 · 다중 노드 배포 NCCL 통신 GPU 간 집합 통신 vLLM 파드 1 · node-rank1 / headless · 다중 노드 배포 vLLM 파드 1 node-rank1 / headless 일관된 모델 경로 · shared FS 또는 각 노드 cache · 공유 스토리지 일관된 모델 경로 shared FS 또는 각 노드 cache Amazon S3 · 모델 저장소 · 공유 스토리지 Amazon S3 모델 저장소 추론 요청 모델 로드 모델 다운로드 Job 네트워킹 단일 노드 배포 다중 노드 배포 공유 스토리지 Legend 네트워킹 vLLM 파드 공유 스토리지 AWS 스토리지 집합 통신 클라이언트

단일 GPU 예제

  • • v0.29.0-cu129 amd64 digest + 고정 Qwen revision
  • • ClusterIP / Recreate / startupProbe; 무중단 보장 아님

멀티노드

  • • TP8 × PP2는 총16GPU group의 예시입니다.
  • • 내부 통신은 신뢰 네트워크로 제한합니다.