Data on EKS 데이터 파이프라인 구성

Data on EKS 데이터 파이프라인 구성 An architecture diagram generated by Archify. Apache Airflow · 워크플로우 오케스트레이션 · Amazon EKS 클러스터 · 제어 Apache Airflow 워크플로우 오케스트레이션 제어 Apache Kafka · 스트리밍 · Amazon EKS 클러스터 · 허브 Apache Kafka 스트리밍 허브 Apache Spark · 배치 · Structured Streaming · Amazon EKS 클러스터 Apache Spark 배치 · Structured Streaming Apache Flink · 스트림 처리 · Amazon EKS 클러스터 Apache Flink 스트림 처리 작업 스케줄 이벤트 읽기 실시간 이벤트 Amazon EKS 클러스터 Legend 백엔드 서비스 메시지 버스

Orchestration

  • • 작업 의존성 · 일정 · 재시도

Events / state

  • • Kafka 보존·재생과 Flink 상태 복구

Processing

  • • Spark는 배치와 스트리밍 처리 지원