ClickHouse on EKS — ingest와 쿼리의 실측 경로

ClickHouse on EKS — ingest와 쿼리의 실측 경로 An architecture diagram generated by Archify. numbers_mt 생성기 · 합성 K8s 로그 1억 행 · Architecture component numbers_mt 생성기 합성 K8s 로그 1억 행 INSERT 파이프라인 · 정렬 · LZ4 압축 (3 threads) · bench-database 네임스페이스 — m5.xlarge (limit 3.5 vCPU / 12Gi) INSERT 파이프라인 정렬 · LZ4 압축 (3 threads) MergeTree 파트 · 7.82 GiB · 파티션 7개 · bench-database 네임스페이스 — m5.xlarge (limit 3.5 vCPU / 12Gi) MergeTree 파트 7.82 GiB · 파티션 7개 EBS gp3 100GiB · 3,000 IOPS · 125 MiB/s · Architecture component EBS gp3 100GiB 3,000 IOPS · 125 MiB/s 쿼리 클라이언트 · clickhouse-client · Architecture component 쿼리 클라이언트 clickhouse-client 인덱스 프루닝 · primary + bloom skip · bench-database 네임스페이스 — m5.xlarge (limit 3.5 vCPU / 12Gi) 인덱스 프루닝 primary + bloom skip 컬럼 읽기 · 필요한 컬럼만 · bench-database 네임스페이스 — m5.xlarge (limit 3.5 vCPU / 12Gi) 컬럼 읽기 필요한 컬럼만 페이지 캐시 · warm 읽기 경로 · bench-database 네임스페이스 — m5.xlarge (limit 3.5 vCPU / 12Gi) 페이지 캐시 warm 읽기 경로 1억 행 / 106.7초 약 94만 행/s 압축 후 ~75 MiB/s 기록 SQL granule 98.9% 스킵 warm: 풀스캔 2.63초 miss: 직행 31.5초 (125 MiB/s 병목) bench-database 네임스페이스 — m5.xlarge (limit 3.5 vCPU / 12Gi) Legend Backend Database Cloud External

Ingest 실측

  • • 1억 행 106.7초 (서버 내부 생성, 상한치)
  • • LZ4 1.97× · ZSTD(3) 3.7× (47% 절감)

쿼리 실측

  • • 키 범위 카운트 4ms (16,385행만 읽음)
  • • trace_id 점 조회: bloom index로 1.13s → 36ms

병목의 정체

  • • cold 풀스캔 130 MiB/s ≈ gp3 베이스라인
  • • 풀스캔 성능은 DB가 아니라 볼륨 설정 문제일 수 있음