분산 훈련 전략

분산 훈련 전략 An architecture diagram generated by Archify. 데이터 샤드 1-3 · 샤드별 입력 · 데이터 병렬화 데이터 샤드 1-3 샤드별 입력 모델 복제본 1-3 · DDP 기본 replica 예시 · 데이터 병렬화 모델 복제본 1-3 DDP 기본 replica 예시 그래디언트 동기화 · AllReduce · 데이터 병렬화 그래디언트 동기화 AllReduce 단일 레이어 · 어텐션 / FFN · 텐서 병렬화 단일 레이어 어텐션 / FFN GPU 1 / GPU 2 · 선택한 tensor 분할 · 텐서 병렬화 GPU 1 / GPU 2 선택한 tensor 분할 결과 결합 · 레이어 내부 통신 · 텐서 병렬화 결과 결합 레이어 내부 통신 마이크로 배치 · 순차 투입 · 파이프라인 병렬화 마이크로 배치 순차 투입 스테이지 1 · 레이어 1-4 · GPU 1 · 파이프라인 병렬화 스테이지 1 레이어 1-4 · GPU 1 스테이지 2 → 3 · 레이어 5-12 · GPU 2-3 · 파이프라인 병렬화 스테이지 2 → 3 레이어 5-12 · GPU 2-3 라우터 / 게이팅 · 토큰별 전문가 선택 · 전문가 병렬화 (MoE) 라우터 / 게이팅 토큰별 전문가 선택 전문가 1-4 · GPU 1-4 · 전문가 병렬화 (MoE) 전문가 1-4 GPU 1-4 결합된 출력 · 전문가 출력 병합 · 전문가 병렬화 (MoE) 결합된 출력 전문가 출력 병합 그래디언트 tensor 분할 부분 결과 활성값 전달 토큰 라우팅 전문가 출력 데이터 병렬화 텐서 병렬화 파이프라인 병렬화 전문가 병렬화 (MoE) Legend 연산 단계 입력 데이터 통신 / 집계 단계

global batch 계산

  • • microbatch × accumulation × DP replicas
  • • TP8 × PP4 × DP2 =64rank; batch1 ×accum32 ×DP2 =64sample
  • • FSDP/ZeRO와 activation 메모리는 별도로 계산합니다.