Parallelism과 node capacity: 경로와 피드백

Parallelism과 node capacity: 경로와 피드백 A workflow diagram generated by Archify. 01 / Flink 오토스케일러 02 / 스케일 업 03 / 스케일 다운 Job decision TM placement Node capacity 버텍스별 메트릭 · Rates / lag / pressure · Flink 오토스케일러 › Job decision 버텍스별 메트릭 Rates / lag / pressure 오토스케일러가 병렬도 변경 · Recommendations + constraints · Flink 오토스케일러 › Job decision 오토스케일러가 병렬도 변경 Recommendations + constraints Recovery / lag changes · Next Flink evaluation · Flink 오토스케일러 › Node capacity Recovery / lag changes Next Flink evaluation TaskManager Pod 추가 요청 · Check scheduling feasibility · 스케일 업 › TM placement TaskManager Pod 추가 요청 Check scheduling feasibility Evaluate EC2 capacity · NodePool / quota / availability · 스케일 업 › Node capacity Evaluate EC2 capacity NodePool / quota / availability TM demand decreases · Idle / allocation policy · 스케일 다운 › TM placement TM demand decreases Idle / allocation policy Evaluate disruption · Empty / underutilized nodes · 스케일 다운 › Node capacity Evaluate disruption Empty / underutilized nodes Scale up Scale down Affects workload Evaluate 스케줄 불가 Policy permits

상호 영향

  • • Flink: parallelism·state 복구·pressure
  • • Node 변화가 job 판단보다 먼저 올 수도 있음

검증할 시간과 제약

  • • Provisioning + restore + backlog catch-up
  • • Timer 하나의 대소 관계로 중단을 막지 못함