파이프라인 실행이 시스템을 거치는 흐름

파이프라인 실행이 시스템을 거치는 흐름 An architecture diagram generated by Archify. Python 파이프라인 · @dsl.pipeline / @dsl.component · 로컬 · KFP SDK Python 파이프라인 @dsl.pipeline / @dsl.component KFP SDK 컴파일러 · IR YAML 생성 · 로컬 · KFP SDK KFP SDK 컴파일러 IR YAML 생성 KFP API 서버 · 파이프라인 저장 · Run 접수 · KFP 백엔드 (Argo Workflows 기반) KFP API 서버 파이프라인 저장 · Run 접수 IR YAML → Argo Workflow 변환 · 백엔드 · KFP 백엔드 (Argo Workflows 기반) IR YAML → Argo Workflow 변환 백엔드 Argo Workflow 컨트롤러 · 순서 관리 / Pod 생성 · KFP 백엔드 (Argo Workflows 기반) Argo Workflow 컨트롤러 순서 관리 / Pod 생성 driver / launcher / 작업 · K8s가 노드 배치 · KFP 백엔드 (Argo Workflows 기반) driver / launcher / 작업 K8s가 노드 배치 오브젝트 스토어 · S3 / MinIO · 아티팩트 · Architecture component 오브젝트 스토어 S3 / MinIO · 아티팩트 ML Metadata (MLMD) · 실행 · 아티팩트 메타데이터 · Architecture component ML Metadata (MLMD) 실행 · 아티팩트 메타데이터 컴파일 업로드 / Run 생성 Workflow 리소스 아티팩트 읽기·쓰기 메타데이터 기록 로컬 · KFP SDK KFP 백엔드 (Argo Workflows 기반) Legend KFP SDK (로컬) KFP 백엔드 저장소 컴포넌트 실행

IR과 실행

  • • 업로드만으로 실행되지 않으며 백엔드 호환성을 확인해야 합니다.
  • • 캐시는 파일 바이트가 아닌 아티팩트 ID 등을 키로 사용합니다.

스토리지와 신원

  • • S3는 유료 서비스이며 루트·provider·권한 구성이 필요합니다.
  • • 실제 실행 SA와 API 서버 등의 신원을 확인합니다.