데이터 파이프라인의 다섯 역할

데이터 파이프라인의 다섯 역할 A data-flow diagram generated by Archify. 01 / 소스 02 / 수집 03 / 저장 04 / 처리 05 / 소비 앱·DB · OLTP · 로그 · 01 / 소스 앱·DB OLTP · 로그 IoT · 외부 API · 이벤트 발생원 · 01 / 소스 IoT · 외부 API 이벤트 발생원 배치 커넥터 · 주기 적재 · 02 / 수집 배치 커넥터 주기 적재 스트리밍 큐 · Kafka · Kinesis · 02 / 수집 스트리밍 큐 Kafka · Kinesis 데이터 레이크 · 원본 · 정제본 보존 · 03 / 저장 데이터 레이크 원본 · 정제본 보존 웨어하우스 · 적재 후 SQL 변환·분석 · 03 / 저장 웨어하우스 적재 후 SQL 변환·분석 배치 처리 · Spark · 04 / 처리 배치 처리 Spark 스트림 처리 · Flink · KStreams · 04 / 처리 스트림 처리 Flink · KStreams 대시보드·리포트 · BI · SQL · 05 / 소비 대시보드·리포트 BI · SQL ML·API · feature store · 05 / 소비 ML·API feature store 스냅샷 · 증분 추출 이벤트 원본 적재 커넥터로 보존 원본 적재 후 SQL 변환 배치 변환 실시간 변환 SQL 분석 실시간 피처 집계 결과