Amazon FSx for Lustre CSI 아키텍처

Amazon FSx for Lustre CSI 아키텍처 An architecture diagram generated by Archify. ML 훈련 · 데이터 처리 파드 · 노드 1 · Amazon EKS 클러스터 ML 훈련 · 데이터 처리 파드 노드 1 FSx CSI 드라이버 · 노드 1 DaemonSet · Amazon EKS 클러스터 FSx CSI 드라이버 노드 1 DaemonSet ML 추론 · 분석 파드 · 노드 2 · Amazon EKS 클러스터 ML 추론 · 분석 파드 노드 2 FSx CSI 드라이버 · 노드 2 DaemonSet · Amazon EKS 클러스터 FSx CSI 드라이버 노드 2 DaemonSet FSx for Lustre · 고성능 병렬 파일 시스템 · Architecture component FSx for Lustre 고성능 병렬 파일 시스템 Amazon S3 · 데이터 리포지토리 · Architecture component Amazon S3 데이터 리포지토리 볼륨 마운트 볼륨 마운트 Lustre 클라이언트 데이터 동기화 Amazon EKS 클러스터 Legend 프런트엔드 백엔드 서비스 데이터 저장소

성능 특성

  • • 프로비저닝 용량 1 TiB당 최소 125 MB/s부터 1,000 MB/s까지 처리량을 선택한다
  • • 수천 개 클라이언트가 병렬로 읽는 워크로드에서 총 처리량이 선형에 가깝게 늘어난다
  • • 메타데이터 IOPS도 별도로 프로비저닝할 수 있다

배포 유형

  • • 스크래치는 임시 고성능 처리용으로 복제가 없고 비용이 낮다
  • • 퍼시스턴트는 AZ 내 복제를 제공해 장기 보관과 재시도 가능한 워크로드에 쓴다
  • • 스크래치는 학습 1회성 작업, 퍼시스턴트는 반복 학습 파이프라인에 맞다

S3 통합과 사용 사례

  • • 데이터 리포지토리 연결로 S3 객체를 파일처럼 지연 로딩한다
  • • 결과를 S3로 내보내 학습 산출물을 영구 보관한다
  • • HPC 시뮬레이션, 대규모 모델 학습, 게놈 분석 같은 처리량 위주 작업에 쓴다