Spark DRA와 Karpenter의 두 스케일링 루프

Spark DRA와 Karpenter의 두 스케일링 루프 A workflow diagram generated by Archify. 01 / Spark DRA (태스크 단위 판단) 02 / Kubernetes Executor 파드 03 / Karpenter (노드 단위 판단) 스케일 아웃 스케일 인 대기 중인 Spark 태스크 · 태스크 백로그 증가 · Spark DRA (태스크 단위 판단) › 스케일 아웃 대기 중인 Spark 태스크 태스크 백로그 증가 Executor 파드 추가 요청 · DRA → K8s allocator · Spark DRA (태스크 단위 판단) › 스케일 아웃 Executor 파드 추가 요청 DRA → K8s allocator 유휴 Executor 파드 해제 · idle / cache / shuffle · Spark DRA (태스크 단위 판단) › 스케일 인 유휴 Executor 파드 해제 idle / cache / shuffle 신규 Executor 파드 · Pending 상태 · Kubernetes Executor 파드 › 스케일 아웃 · 스케줄 불가 신규 Executor 파드 Pending 상태 스케줄 불가 Executor 파드 스케줄·실행 · 태스크 처리 · Kubernetes Executor 파드 › 스케일 인 Executor 파드 스케줄·실행 태스크 처리 노드 정리 후보 · WhenEmpty 정책 기준 · Kubernetes Executor 파드 › 스케일 인 노드 정리 후보 WhenEmpty 정책 기준 신규 EC2 노드 프로비저닝 · NodePool 기준 · Karpenter (노드 단위 판단) › 스케일 아웃 신규 EC2 노드 프로비저닝 NodePool 기준 Karpenter가 노드 회수 · delay + disruption checks · Karpenter (노드 단위 판단) › 스케일 인 Karpenter가 노드 회수 delay + disruption checks 새 작업 도착 정책·지연·budget 확인 스케줄 불가 태스크 소진, Executor 유휴 Legend Kubernetes 파드/노드 상태 Spark DRA 동작 Karpenter 노드 동작