분산 훈련 아키텍처

분산 훈련 아키텍처 An architecture diagram generated by Archify. Launcher 파드 · mpirun · MPI Job Launcher 파드 mpirun Worker 파드 ×4 · nvidia.com/gpu · MPI Job Worker 파드 ×4 nvidia.com/gpu NVIDIA NCCL · 집합 통신 · 통신 계층 NVIDIA NCCL 집합 통신 AWS OFI NCCL · libfabric 연동 · 통신 계층 AWS OFI NCCL libfabric 연동 Elastic Fabric Adapter · EFA · 통신 계층 Elastic Fabric Adapter EFA FSx for Lustre · 고성능 병렬 파일 시스템 · 공유 스토리지 FSx for Lustre 고성능 병렬 파일 시스템 Amazon S3 · 훈련 데이터 · 모델 아티팩트 · 공유 스토리지 Amazon S3 훈련 데이터 · 모델 아티팩트 체크포인트 저장소 · 모델 체크포인트 · 공유 스토리지 체크포인트 저장소 모델 체크포인트 프로세스 기동 그래디언트 교환 체크포인트 기록 구성된 import/export MPI Job 통신 계층 공유 스토리지 Legend 백엔드 서비스 데이터 저장소 클라우드 서비스 메시지 버스

통신 경로

  • • NCCL은 AWS OFI NCCL과 libfabric으로 EFA를 사용할 수 있습니다.
  • • 장치·driver·plugin·네트워크·프레임워크 구성을 검증해야 합니다.

복구

  • • FSx 연결만으로 checkpoint 보존·S3 export가 보장되지 않습니다.