Dynamo: 실행과 제어 계층

Dynamo: 실행과 제어 계층 An architecture diagram generated by Archify. 클라이언트 · 승인된 요청 · Architecture component 클라이언트 승인된 요청 Dynamo Frontend · 선택한 routing 정책 · Architecture component Dynamo Frontend 선택한 routing 정책 Decode worker · 호환 모델·backend · Architecture component Decode worker 호환 모델·backend Controller / Planner · DGD / DGDR · Architecture component Controller / Planner DGD / DGDR Prefill worker · 선택적 분리 경로 · Architecture component Prefill worker 선택적 분리 경로 KV transfer · 검증된 connector / transport · Architecture component KV transfer 검증된 connector / transport API backend 실행 분리 경로 KV 호환 KV 전달 배포·용량 조정 Legend Backend Cloud Message bus External

구성 조건

  • • aggregated 경로는 별도 prefill worker가 필요하지 않습니다.
  • • 서로 다른 backend/GPU의 KV 호환성을 먼저 검증합니다.
  • • Redis가 전체 KV tensor의 필수 저장소인 것은 아닙니다.

제어 계층

  • • DGD는 배포 구성; DGDR은 profiling과 배포 생성을 요청합니다.
  • • planner와 controller의 권한·의존성·비용을 확인합니다.