모던 데이터 파이프라인 해부 — 5개 계층

모던 데이터 파이프라인 해부 — 5개 계층 A data-flow diagram generated by Archify. 01 / 소스 02 / 수집 03 / 저장 04 / 처리 05 / 소비 앱·DB · OLTP · 로그 · 01 / 소스 앱·DB OLTP · 로그 IoT · 외부 API · 이벤트 발생원 · 01 / 소스 IoT · 외부 API 이벤트 발생원 배치 커넥터 · 주기 적재 · 02 / 수집 배치 커넥터 주기 적재 스트리밍 큐 · Kafka · Kinesis · 02 / 수집 스트리밍 큐 Kafka · Kinesis 데이터 레이크 · 원본 · 저비용 · 03 / 저장 데이터 레이크 원본 · 저비용 웨어하우스 · 분석 쿼리 최적화 · 03 / 저장 웨어하우스 분석 쿼리 최적화 배치 처리 · Spark · 04 / 처리 배치 처리 Spark 스트림 처리 · Flink · KStreams · 04 / 처리 스트림 처리 Flink · KStreams 대시보드·리포트 · BI · SQL · 05 / 소비 대시보드·리포트 BI · SQL ML·API · feature store · 05 / 소비 ML·API feature store 스냅샷 · CDC 이벤트 원본 적재 원본 보존 정제 적재 (ELT) 배치 변환 실시간 변환 SQL 분석 실시간 피처 Legend primary data async batch data store data flow