모니터링 및 로깅 아키텍처

모니터링 및 로깅 아키텍처 An architecture diagram generated by Archify. NVIDIA DCGM Exporter · GPU 메트릭 · 메트릭 수집 NVIDIA DCGM Exporter GPU 메트릭 Node Exporter · 노드 메트릭 · 메트릭 수집 Node Exporter 노드 메트릭 Kube State Metrics · 클러스터 오브젝트 상태 · 메트릭 수집 Kube State Metrics 클러스터 오브젝트 상태 Prometheus · 메트릭 저장 · 규칙 평가 · 모니터링 스택 Prometheus 메트릭 저장 · 규칙 평가 Alertmanager · 알림 라우팅 · 모니터링 스택 Alertmanager 알림 라우팅 Grafana · 시각화 · 모니터링 스택 Grafana 시각화 알림 · GPU · 성능 · 비용 · Architecture component 알림 GPU · 성능 · 비용 대시보드 · GPU · 훈련 · 추론 · 비용 · Architecture component 대시보드 GPU · 훈련 · 추론 · 비용 Fluent Bit · CRI / multiline / 앱 로그 · 로깅 스택 Fluent Bit CRI / multiline / 앱 로그 CloudWatch Logs · /eks/ml-cluster/pods · 로깅 스택 CloudWatch Logs /eks/ml-cluster/pods Elasticsearch · 로그 인덱스 · 로깅 스택 Elasticsearch 로그 인덱스 Kibana · 로그 조회 · 로깅 스택 Kibana 로그 조회 메트릭 알림 규칙 쿼리 메트릭 수집 모니터링 스택 로깅 스택 Legend Frontend Backend Database Cloud External

메트릭

  • • ServiceMonitor는 Service label과 named port를 선택합니다.
  • • GPU 활용률은 모델 정확도나 HPA Resource 메트릭과 다릅니다.

로그

  • • CRI framing과 앱 JSON 파싱을 구분합니다.
  • • 출력 plugin·권한·buffer·민감정보 처리를 검증합니다.