AI/ML 파드 콜드 스타트 타임라인

AI/ML 파드 콜드 스타트 타임라인 A sequence diagram generated by Archify. 파드 스케줄링됨 CRI image 준비 요청 이미지 레이어 컨테이너 생성 프로세스 시작 readiness 검사 결과 Pod 배치: 실제 대기 시간 Image fetch / unpack: cache와 network 영향 Container 생성: runtime 설정 모델 로딩과 readiness: workload별 측정 K8s 스케줄러 · kube-scheduler · Sequence participant K8s 스케줄러 kube-scheduler Kubelet · 워커 노드 · Sequence participant Kubelet 워커 노드 컨테이너 레지스트리 · 예: Amazon ECR · Sequence participant 컨테이너 레지스트리 예: Amazon ECR 컨테이너 런타임 · containerd · Sequence participant 컨테이너 런타임 containerd AI/ML 애플리케이션 · 모델 서빙 프로세스 · Sequence participant AI/ML 애플리케이션 모델 서빙 프로세스 Legend request return default message

시작 시간 측정

  • • 그림은 논리 단계이며 실제 image pull은 runtime이 수행합니다.
  • • SOCI index·prefetch만으로 고정80–95% 개선이 보장되지 않습니다.
  • • 전체 가중치를 즉시 읽으면 lazy loading 이점이 제한될 수 있습니다.