훈련 파이프라인 개요

훈련 파이프라인 개요 An architecture diagram generated by Archify. S3 데이터 레이크 · 데이터 준비 S3 데이터 레이크 데이터 로더 Pod · 데이터 준비 데이터 로더 Pod 전처리 Job · 데이터 준비 전처리 Job 파라미터 서버 · 선택한 알고리즘의 경로 · 분산 훈련 파라미터 서버 선택한 알고리즘의 경로 AllReduce 통신 · DDP 등의 collective · 분산 훈련 AllReduce 통신 DDP 등의 collective 워커 Pods · 분산 훈련 · 분산 훈련 워커 Pods 분산 훈련 Job 스케줄러 · 분산 훈련 Job 스케줄러 체크포인트 저장소 · 선택한 FS / object 경로 · 체크포인팅 체크포인트 저장소 선택한 FS / object 경로 저장 완료·복구 검증 · 체크포인팅 저장 완료·복구 검증 평가 Job · 모델 평가 평가 Job 메트릭 수집 · 모델 평가 메트릭 수집 모델 레지스트리 · 모델 평가 모델 레지스트리 로드 제출 실행 해당 방식에서 그래디언트 AllReduce 체크포인트 저장 평가 등록 데이터 준비 분산 훈련 체크포인팅 모델 평가 Legend 백엔드 서비스 데이터 저장소 메시지 버스

복구의 단위

  • • model + optimizer + scheduler + RNG + data cursor + shard state
  • • 원자적 local 교체와 remote durability는 다릅니다.