과거 vLLM L4 측정 보고

과거 vLLM L4 측정 보고 An architecture diagram generated by Archify. bench client Job · Python · ThreadPoolExecutor · 당시 보고된 namespace 구성 bench client Job Python · ThreadPoolExecutor vllm-server Service · ClusterIP :8000 · 당시 보고된 namespace 구성 vllm-server Service ClusterIP :8000 vLLM OpenAI 서버 · v0.6.4.post1 · Qwen2.5-7B-Instruct · bf16 · 당시 보고된 namespace 구성 vLLM OpenAI 서버 v0.6.4.post1 · Qwen2.5-7B-Instruct · bf16 NVIDIA L4 GPU · 24GB · g6.2xlarge · 당시 보고된 GPU NodePool NVIDIA L4 GPU 24GB · g6.2xlarge KV 캐시 블록 · gpu-memory-utilization 0.9 · 당시 보고된 GPU NodePool KV 캐시 블록 gpu-memory-utilization 0.9 chat completion 요청 동시 1~16개 continuous batching block_size=16, max_model_len=4096 당시 보고된 namespace 구성 당시 보고된 GPU NodePool Legend 백엔드 서비스 데이터 저장소 보안 구성 요소

보고된 처리량

  • • Concurrency4:58.67 /8:109.04 /16:208.08tokens/s (client)
  • • 서버 로그의 최대 interval average:243tokens/s; 순간 peak아님

보고된 지연

  • • p50:5.65s →7.52s (+33.1%), end-to-end HTTP
  • • KV cache 보고값:최대2.6%; 전체 VRAM과 구분

근거의 한계

  • • 2026-09-04 commit8622d388; raw logs/client artifact미확보
  • • bandwidth roofline은 추정이며 profiler로 입증된 병목은 아닙니다.