AI/ML 인프라 레이어 아키텍처

AI/ML 인프라 레이어 아키텍처 An architecture diagram generated by Archify. 모델 훈련 · PyTorch, TensorFlow · ML 워크로드 레이어 모델 훈련 PyTorch, TensorFlow 모델 추론 · vLLM, TensorRT · ML 워크로드 레이어 모델 추론 vLLM, TensorRT 대화형 개발 · JupyterHub · ML 워크로드 레이어 대화형 개발 JupyterHub ML 파이프라인 · Argo Workflows · ML 워크로드 레이어 ML 파이프라인 Argo Workflows AI 에이전트 · LangChain, CrewAI · ML 워크로드 레이어 AI 에이전트 LangChain, CrewAI Ray 클러스터 · 분산 컴퓨팅 · 플랫폼 서비스 레이어 Ray 클러스터 분산 컴퓨팅 KServe · 모델 서빙 · 플랫폼 서비스 레이어 KServe 모델 서빙 Kubeflow · ML 플랫폼 · 플랫폼 서비스 레이어 Kubeflow ML 플랫폼 MLflow · 실험 추적 · 플랫폼 서비스 레이어 MLflow 실험 추적 벡터 DB · Milvus, Pinecone · 플랫폼 서비스 레이어 벡터 DB Milvus, Pinecone GPU NodePools · p4d, p5, g5 · 컴퓨팅 레이어 GPU NodePools p4d, p5, g5 Neuron NodePools · inf2, trn1 · 컴퓨팅 레이어 Neuron NodePools inf2, trn1 CPU NodePools · m6i, c6i, r6i · 컴퓨팅 레이어 CPU NodePools m6i, c6i, r6i 스팟 인스턴스 · 중단·복구·비용 측정 · 컴퓨팅 레이어 스팟 인스턴스 중단·복구·비용 측정 Karpenter · 노드 프로비저닝 · EKS 기반 레이어 Karpenter 노드 프로비저닝 EKS 클러스터 · 컨트롤 플레인 · EKS 기반 레이어 EKS 클러스터 컨트롤 플레인 스토리지 · EFS, FSx, S3 · EKS 기반 레이어 스토리지 EFS, FSx, S3 네트워킹 · VPC, EFA · EKS 기반 레이어 네트워킹 VPC, EFA 플랫폼 위에서 실행 Pod 배치·실행 Karpenter가 프로비저닝 ML 워크로드 레이어 플랫폼 서비스 레이어 컴퓨팅 레이어 EKS 기반 레이어 Legend ML 워크로드 플랫폼 서비스 데이터 저장소 컴퓨팅 · 기반 인프라

공통 운영 경계

  • • IAM·데이터 권한·network·credential은 모든 계층에 걸칩니다.
  • • 도구 설치와 실제 model·checkpoint 복구 검증은 다릅니다.