Spark cluster mode: Kubernetes 배치와 Spark task 분리

Spark cluster mode: Kubernetes 배치와 Spark task 분리 A sequence diagram generated by Archify. Create driver Pod Pod spec / binding Pod 배치 · 시작 Request executor Pods Pod specs / bindings Pod 배치 · 시작 Register Spark task 할당 결과 · 상태 정상 종료 시 executor 정리 요청 1. Driver Pod 요청과 배치 2. Executor Pod 요청과 배치 3. Spark task 실행과 정리 사용자 · spark-submit · Sequence participant 사용자 spark-submit Kubernetes API 서버 · API 객체 · admission · Sequence participant Kubernetes API 서버 API 객체 · admission Pod 배치·시작 · scheduler + kubelets · Sequence participant Pod 배치·시작 scheduler + kubelets Driver Pod · Spark task 조율 · Sequence participant Driver Pod Spark task 조율 Executor Pods · spark.executor.instances · Sequence participant Executor Pods spark.executor.instances Legend 핵심 호출 응답 일반 호출