vLLM 성능 최적화

vLLM 성능 최적화 An architecture diagram generated by Archify. EFA(Elastic Fabric Adapter) 활용 · vpc.amazonaws.com/efa: 1 · 네트워크 최적화 EFA(Elastic Fabric Adapter) 활용 vpc.amazonaws.com/efa: 1 NCCL 설정 최적화 · NCCL_DEBUG=INFO · 네트워크 최적화 NCCL 설정 최적화 NCCL_DEBUG=INFO 노드 배치 최적화 · topology.kubernetes.io/zone · 네트워크 최적화 노드 배치 최적화 topology.kubernetes.io/zone GPU 메모리 사용률 조정 · 기본0.92 / 예제0.80 · GPU 메모리 최적화 GPU 메모리 사용률 조정 기본0.92 / 예제0.80 양자화 적용 · --quantization awq · GPU 메모리 최적화 양자화 적용 --quantization awq CPU / KV offload · 별도 backend·설정 · GPU 메모리 최적화 CPU / KV offload 별도 backend·설정 배치 크기 조정 · --max-num-batched-tokens=8192 · 처리량 최적화 배치 크기 조정 --max-num-batched-tokens=8192 KV 캐시 최적화 · --block-size=16 · 처리량 최적화 KV 캐시 최적화 --block-size=16 텐서 병렬 처리 조정 · --tensor-parallel-size=8 · 처리량 최적화 텐서 병렬 처리 조정 --tensor-parallel-size=8 측정으로 검증 · throughput / latency / memory · Architecture component 측정으로 검증 throughput / latency / memory 네트워크 최적화 GPU 메모리 최적화 처리량 최적화 Legend vLLM 서버 옵션 EKS / AWS 인프라 설정 성능 향상 (수렴 지점)

조건과 한계

  • • kv-cache-memory-bytes는 자동 KV 예산 추정을 덮어씁니다.
  • • NCCL 변수는 backend와 버전별로 검증해야 합니다.