Flink Native 역할과 공유 가능한 task slot

Flink Native 역할과 공유 가능한 task slot An architecture diagram generated by Archify. REST API & Web UI · 상태 조회 / 잡 제출 · Kubernetes 클러스터 › JobManager Pod REST API & Web UI 상태 조회 / 잡 제출 Kubernetes ResourceManager · Pod 요청 / 반환 · Kubernetes 클러스터 › JobManager Pod Kubernetes ResourceManager Pod 요청 / 반환 Checkpoint Coordinator · 스냅샷 트리거 · Kubernetes 클러스터 › JobManager Pod Checkpoint Coordinator 스냅샷 트리거 JobMaster / Scheduler · 서브태스크 배포 · Kubernetes 클러스터 › JobManager Pod JobMaster / Scheduler 서브태스크 배포 TaskManager 1 · 워커 프로세스 · Kubernetes 클러스터 › TaskManager Pod 1 TaskManager 1 워커 프로세스 Task Slot 1 · Sharing / chaining 가능 · Kubernetes 클러스터 › TaskManager Pod 1 Task Slot 1 Sharing / chaining 가능 Task Slot 2 · Sharing / chaining 가능 · Kubernetes 클러스터 › TaskManager Pod 1 Task Slot 2 Sharing / chaining 가능 TaskManager 2 · 워커 프로세스 · Kubernetes 클러스터 › TaskManager Pod 2 TaskManager 2 워커 프로세스 Task Slot 1 · Sharing / chaining 가능 · Kubernetes 클러스터 › TaskManager Pod 2 Task Slot 1 Sharing / chaining 가능 Task Slot 2 · Sharing / chaining 가능 · Kubernetes 클러스터 › TaskManager Pod 2 Task Slot 2 Sharing / chaining 가능 K8s API를 통한 Pod 관리 K8s API를 통한 Pod 관리 스냅샷 트리거 스냅샷 트리거 서브태스크 배포 서브태스크 배포 Kubernetes 클러스터 JobManager Pod TaskManager Pod 1 TaskManager Pod 2

JobManager

  • • 실행·checkpoint·복구 조정
  • • Application main()은 JM에서 실행

TaskManager / Slots

  • • Slot에 여러 operator task 배치 가능
  • • Slot 자체는 CPU isolation을 제공하지 않음

Native ResourceManager

  • • Pod 요청·해제는 Kubernetes API 경유
  • • Idle timeout·용량·profile 조건 적용