vLLM 확장과 용량 경계

vLLM 확장과 용량 경계 An architecture diagram generated by Archify. 검증한 메트릭 · queue / request / utilization · Architecture component 검증한 메트릭 queue / request / utilization 하나의 Pod scaler · HPA 또는 KEDA / adapter · Architecture component 하나의 Pod scaler HPA 또는 KEDA / adapter 독립 모델 replica · readiness / load / drain · Architecture component 독립 모델 replica readiness / load / drain 노드 용량 owner · Karpenter 또는 Cluster Autoscaler · Architecture component 노드 용량 owner Karpenter 또는 Cluster Autoscaler 관측 신호 원하는 replica 수 스케줄링 수요 Legend Backend Cloud External

확장 단위

  • • TP/PP worker group은 독립 replica와 다른 lifecycle입니다.
  • • 같은 대상에 여러 scaler나 node owner를 경쟁시키지 않습니다.

용량과 비용

  • • 가용 GPU·할당량·AMI·정책과 모델 로드 시간을 확인합니다.
  • • Pod가 줄어도 노드 종료 전 EC2 비용이 남을 수 있습니다.