vLLM 시스템 요구 사항

vLLM 시스템 요구 사항 An architecture diagram generated by Archify. NVIDIA GPU · compute capability ≥7.5 · 하드웨어 NVIDIA GPU compute capability ≥7.5 GPU 메모리 · 모델 크기에 따라 다름 · 하드웨어 · 핵심 요건 GPU 메모리 모델 크기에 따라 다름 핵심 요건 CPU 코어 · vCPU 수 · 하드웨어 CPU 코어 vCPU 수 7B 모델 · FP16 weights ≈14GB + extras · 모델 크기별 요구 사항 7B 모델 FP16 weights ≈14GB + extras 13B 모델 · FP16 weights ≈26GB + extras · 모델 크기별 요구 사항 13B 모델 FP16 weights ≈26GB + extras 70B 모델 · FP16 weights ≈140GB + extras · 모델 크기별 요구 사항 70B 모델 FP16 weights ≈140GB + extras CUDA · 명시적 cu129 / cu130 변형 · 소프트웨어 CUDA 명시적 cu129 / cu130 변형 Python · 패키지·이미지의 버전 조건 · 소프트웨어 Python 패키지·이미지의 버전 조건 PyTorch · 이미지와 함께 고정 · 소프트웨어 PyTorch 이미지와 함께 고정 VRAM 용량 하드웨어 모델 크기별 요구 사항 소프트웨어 Legend 소프트웨어 하드웨어 모델 크기별 요구 사항

메모리 추정

  • • 파라미터 수 × 저장 바이트 + KV / activation / workspace
  • • Qwen2.5-7B GQA: FP16 KV ≈56KiB/token (전체 근사)

장치와 artifact

  • • p4d는 A10040GB; p4de80GB와 구분합니다.
  • • V1007.0은 현재 NVIDIA 최소7.5에 미달합니다.