워크로드별 스토리지 성능 최적화

워크로드별 스토리지 성능 최적화 An architecture diagram generated by Archify. 데이터베이스 · 낮은 지연 · 랜덤 I/O · Architecture component 데이터베이스 낮은 지연 · 랜덤 I/O 웹 서버 · 공유 콘텐츠 · RWX · Architecture component 웹 서버 공유 콘텐츠 · RWX 데이터 분석 · 대용량 순차 읽기 · Architecture component 데이터 분석 대용량 순차 읽기 머신러닝 · LLM · 모델 로딩 처리량 · Architecture component 머신러닝 · LLM 모델 로딩 처리량 EBS gp3 · io2 · IOPS · 처리량 분리 설정 · Architecture component EBS gp3 · io2 IOPS · 처리량 분리 설정 EFS · 탄력적 처리량 모드 · Architecture component EFS 탄력적 처리량 모드 FSx for Lustre · 스트라이핑 · 압축 · Architecture component FSx for Lustre 스트라이핑 · 압축 IOPS 중심 다중 노드 공유 처리량 중심 대용량 순차

EBS 최적화

  • • gp3는 IOPS와 처리량을 용량과 분리해 설정하므로 과도한 용량 구매를 피할 수 있다
  • • 수십만 IOPS가 필요하면 io2 Block Express를 쓰고 EBS 최적화 인스턴스를 고른다
  • • 인스턴스의 EBS 대역폭 상한이 볼륨 성능보다 낮으면 인스턴스가 병목이 된다

EFS 최적화

  • • 탄력적 처리량 모드를 기본으로 쓰고 일정한 성능이 필요할 때만 프로비저닝한다
  • • 작은 파일을 많이 읽는 패턴은 지연에 취약하므로 캐싱 계층을 함께 둔다
  • • 마운트 옵션에서 읽기·쓰기 버퍼 크기를 조정해 처리량을 끌어올린다

FSx와 LLM 워크로드

  • • 배포 유형과 프로비저닝 처리량(1 TiB당 125~1,000 MB/s)을 먼저 정한다
  • • 스트라이핑으로 큰 파일을 여러 스토리지 타깃에 분산해 병렬 읽기를 늘린다
  • • vLLM처럼 모델 가중치를 반복 로딩하는 워크로드는 FSx for Lustre가 유리하다