Executor 선택: KubernetesExecutor vs. CeleryExecutor

Executor 선택: KubernetesExecutor vs. CeleryExecutor An architecture diagram generated by Archify. Scheduler · Kubernetes API로 Pod 생성 · KubernetesExecutor Scheduler Kubernetes API로 Pod 생성 Pod: task A · Airflow task runtime · KubernetesExecutor Pod: task A Airflow task runtime Pod: task B · Airflow task runtime · KubernetesExecutor Pod: task B Airflow task runtime Pod: task C · Airflow task runtime · KubernetesExecutor Pod: task C Airflow task runtime Scheduler · 브로커에 태스크 큐잉 · CeleryExecutor Scheduler 브로커에 태스크 큐잉 Celery broker · Redis / RabbitMQ 등 · CeleryExecutor Celery broker Redis / RabbitMQ 등 Pod: celery worker 1 · 확장 가능한 worker pool · CeleryExecutor Pod: celery worker 1 확장 가능한 worker pool Pod: celery worker 2 · 확장 가능한 worker pool · CeleryExecutor Pod: celery worker 2 확장 가능한 worker pool 태스크마다 Pod 1개 생성 태스크 큐잉 worker가 소비 KubernetesExecutor CeleryExecutor Legend 백엔드 서비스 메시지 버스

KubernetesExecutor

  • • Task마다 worker Pod; 실패 시 보존 설정 확인
  • • 시작 지연은 image·API·node 여유에 따라 측정
  • • Control plane·DB·node 비용은 남음

CeleryExecutor

  • • Warm worker 또는 KEDA scale-to-zero
  • • Broker·result backend·실제 concurrency 구성
  • • Deployment 또는 StatefulSet; 자원·의존성 공유