KServe 구성과 실제 추론 요청

KServe 구성과 실제 추론 요청 A workflow diagram generated by Archify. 01 / 사용자 / 클라이언트 02 / InferenceService 03 / 선택 컴포넌트 04 / Knative 05 / Standard 스펙 적용 · 운영자 / API · 사용자 / 클라이언트 스펙 적용 운영자 / API 추론 요청 · 인증된 endpoint 경로 · 사용자 / 클라이언트 추론 요청 인증된 endpoint 경로 클라이언트에 응답 · 추론 결과 · 사용자 / 클라이언트 클라이언트에 응답 추론 결과 InferenceService · 커스텀 리소스 객체 · InferenceService InferenceService 커스텀 리소스 객체 Predictor 스펙 · 필수 · 모델 서버 · InferenceService Predictor 스펙 필수 · 모델 서버 배포 모드 · Knative / Standard · InferenceService 배포 모드 Knative / Standard 준비된 모델 서버 · 모델 로드 / 요청 처리 · InferenceService 준비된 모델 서버 모델 로드 / 요청 처리 Transformer · 선택 · 전/후처리 · 선택 컴포넌트 Transformer 선택 · 전/후처리 Explainer · 선택 · 모델 설명 · 선택 컴포넌트 Explainer 선택 · 모델 설명 Knative Service · 0 축소는 조건부 · Knative Knative Service 0 축소는 조건부 Deployment / scaler · HPA / KEDA / external · Standard Deployment / scaler HPA / KEDA / external HTTP / gRPC Knative Standard 응답 선택 선택 Legend KServe 컴포넌트 배포 모드 결정 실행 단위 (Pod) 클라이언트

제어와 요청 경로

  • • InferenceService 스펙은 컨트롤러가 처리하며 모델 서버가 추론합니다.
  • • Transformer·Explainer는 선택적이며 프로토콜 호환성이 필요합니다.

Knative

  • • 기본 minReplicas는 1이며 0은 추가 조건이 필요합니다.
  • • canaryTrafficPercent는 Knative revision traffic을 설정합니다.

Standard

  • • 기본 HPA는 최소 1; KEDA는 적합한 activation 신호로 0 가능
  • • 재시작·모델 로드 지연이나 EC2 비용이 없어지는 것은 아닙니다.