vLLM 모니터링 및 로깅

vLLM 모니터링 및 로깅 An architecture diagram generated by Archify. Kubernetes 메트릭 · 노드 · 파드 · 메트릭 수집 Kubernetes 메트릭 노드 · 파드 GPU 메트릭 · 사용률 · 메모리 · 메트릭 수집 GPU 메트릭 사용률 · 메모리 vLLM 메트릭 · /metrics :8000 · 메트릭 수집 vLLM 메트릭 /metrics :8000 Prometheus · 시계열 저장 · 모니터링 스택 · TSDB Prometheus 시계열 저장 TSDB Grafana · 시각화 · 모니터링 스택 Grafana 시각화 Alertmanager · 알림 라우팅 · 모니터링 스택 Alertmanager 알림 라우팅 대시보드 · GPU 사용률 · 처리량 · 지연 · 오류율 · Architecture component 대시보드 GPU 사용률 · 처리량 · 지연 · 오류율 알림 · 지연 · 처리량 · GPU 오류 · OOM · Architecture component 알림 지연 · 처리량 · GPU 오류 · OOM 로그 수집기 · 로그 수집 · 로깅 스택 로그 수집기 로그 수집 CloudWatch Logs · /eks/vllm/logs · 로깅 스택 CloudWatch Logs /eks/vllm/logs Elasticsearch · 로그 인덱스 · 로깅 스택 Elasticsearch 로그 인덱스 Kibana · 로그 검색 · 로깅 스택 Kibana 로그 검색 scrape 15s 컨테이너 로그 메트릭 수집 모니터링 스택 로깅 스택 Legend Frontend Backend Database Cloud External

실제 메트릭

  • • vllm:e2e_request_latency_seconds / generation_tokens_total
  • • vllm:kv_cache_usage_perc는1이100%; VRAM bytes가 아닙니다.

수집과 보호

  • • Service label·named port·namespace를 일치시킵니다.
  • • API key만으로 metrics·운영 endpoint가 모두 보호되지 않습니다.