모델 서빙 아키텍처

모델 서빙 아키텍처 An architecture diagram generated by Archify. 클라이언트 · 추론 요청 · Architecture component 클라이언트 추론 요청 네트워킹 옵션 · Ingress · AWS ALB · API Gateway · 모델 서빙 아키텍처 네트워킹 옵션 Ingress · AWS ALB · API Gateway 추론 서비스 · KServe / 검증한 모델 서버 · 모델 서빙 아키텍처 추론 서비스 KServe / 검증한 모델 서버 모델 저장소 · 모델: S3/EFS; 이미지: ECR · 모델 서빙 아키텍처 모델 저장소 모델: S3/EFS; 이미지: ECR 스케일링 옵션 · Pod: HPA/KEDA; 자원: VPA · 모델 서빙 아키텍처 스케일링 옵션 Pod: HPA/KEDA; 자원: VPA 요청 라우팅 모델 로드 자동 확장 모델 서빙 아키텍처 Legend 백엔드 서비스 데이터 저장소 클라우드 서비스 외부 시스템

접근과 runtime

  • • 추론·관리·metrics 포트를 무인증 공개 LB로 함께 노출하지 않습니다.
  • • URI·모델 형식·runtime·자격 증명·프로브를 함께 검증합니다.