InferencePool v1: 설정과 요청 경로

InferencePool v1: 설정과 요청 경로 An architecture diagram generated by Archify. 클라이언트 · HTTPS / authorization · Architecture component 클라이언트 HTTPS / authorization Inference Gateway · 구현의 기능·설정 확인 · Architecture component Inference Gateway 구현의 기능·설정 확인 선택된 model Pod · app=vllm-demo :8000 · Architecture component 선택된 model Pod app=vllm-demo :8000 HTTPRoute · backendRefs → InferencePool · Architecture component HTTPRoute backendRefs → InferencePool InferencePool v1 · model-pool / targetPorts:8000 · Architecture component InferencePool v1 model-pool / targetPorts:8000 EPP Service · model-epp :9002 · Architecture component EPP Service model-epp :9002 HTTPS 추론 전송 backendRefs endpointPickerRef endpoint 선택 요청 route 설정 Legend Backend Cloud External

제어 정보와 데이터 경로

  • • HTTPRoute/InferencePool은 리소스이며 별도 proxy hop이 아닙니다.
  • • gateway가 EPP의 선택을 사용해 model Pod로 요청을 보냅니다.
  • • selector는 같은 namespace의 Pod를 선택합니다.

명시적으로 준비할 조건

  • • 예제는 FailClose; EPP 알고리즘·인증·TLS는 별도 구성입니다.