LLM 추론 프레임워크 생태계

LLM 추론 프레임워크 생태계 An architecture diagram generated by Archify. LiteLLM · 멀티 공급자 게이트웨이 · 개발 / 게이트웨이 도구 LiteLLM 멀티 공급자 게이트웨이 Ollama · 모델별 local/runtime backend · 개발 / 게이트웨이 도구 Ollama 모델별 local/runtime backend SGLang · RadixAttention · 구조화된 출력 · 오픈소스 프레임워크 SGLang RadixAttention · 구조화된 출력 AIBrix · adapter / routing / scaling · 오픈소스 프레임워크 AIBrix adapter / routing / scaling vLLM · 오픈소스 서빙 엔진 · 오픈소스 프레임워크 vLLM 오픈소스 서빙 엔진 Ray Serve · 대규모 분산 추론 · 오픈소스 프레임워크 Ray Serve 대규모 분산 추론 NVIDIA NIM · 추론 마이크로서비스 · NVIDIA 스택 NVIDIA NIM 추론 마이크로서비스 TensorRT-LLM · 추론 엔진 · NVIDIA 스택 TensorRT-LLM 추론 엔진 NVIDIA Dynamo · 분리형 서빙 · 지능형 라우팅 · NVIDIA 스택 NVIDIA Dynamo 분리형 서빙 · 지능형 라우팅 KubeRay Operator · Ray 클러스터 관리 · 오케스트레이션 레이어 KubeRay Operator Ray 클러스터 관리 Karpenter · 노드 공급·회수 · 오케스트레이션 레이어 Karpenter 노드 공급·회수 Neuron SDK · Inferentia2 · AWS 실리콘 추론 · AWS 네이티브 Neuron SDK · Inferentia2 AWS 실리콘 추론 요청 라우팅 오케스트레이션 개발 / 게이트웨이 도구 NVIDIA 스택 오픈소스 프레임워크 오케스트레이션 레이어 AWS 네이티브 Legend LLM 게이트웨이 서빙 프레임워크 / 오퍼레이터 노드 프로비저닝 / AWS 실리콘 로컬 개발 도구

선택 기준

  • • 기능별 고정 성능 배수·비용 절감률은 보장하지 않습니다.
  • • Neuron:Inf2용 NxD와 Trn2/3용 새 베타를 구분합니다.
  • • TGI는 유지보수 모드이며 기존 배포의 전환을 검토합니다.