LLM 추론 핵심 성능 지표

LLM 추론 핵심 성능 지표 An architecture diagram generated by Archify. TTFT · 첫 nonempty 출력 수신 · LLM 추론 지표 TTFT 첫 nonempty 출력 수신 E2E 지연 시간 · 요청부터 완료까지 총 시간 · LLM 추론 지표 E2E 지연 시간 요청부터 완료까지 총 시간 ITL · token / chunk 간격 · LLM 추론 지표 ITL token / chunk 간격 TPOT / TPS · 측정 구간·token 수 명시 · LLM 추론 지표 TPOT / TPS 측정 구간·token 수 명시 처리량 · 성공 완료 요청 / 시간 · LLM 추론 지표 처리량 성공 완료 요청 / 시간 인지된 응답성 · 첫 반응과 전체 대기 시간 · 사용자 경험 영향 인지된 응답성 첫 반응과 전체 대기 시간 스트리밍 품질 · 토큰 출력의 부드러움 · 사용자 경험 영향 스트리밍 품질 토큰 출력의 부드러움 시스템 용량 · SLO를 만족하는 goodput · 사용자 경험 영향 시스템 용량 SLO를 만족하는 goodput LLM 추론 지표 사용자 경험 영향 Legend 사용자 경험 영향 LLM 추론 지표

집계의 경계

  • • token1개 이하는 TPOT/ITL 평균이 정의되지 않습니다.
  • • 집계 TPS는 요청별 TPS의 단순 평균과 다릅니다.