Amazon Bedrock
생성형 AI를 프로덕션으로 — First Call
AWS Solutions Architect
오늘 함께 볼 것
1
플랫폼과 파운데이션 모델
18min
2
AgentCore와 레퍼런스 아키텍처
17min
PoC는 쉽고, 프로덕션은 어렵다
모델 고착
한 모델에 코드가 묶여 교체·비교가 어렵다
운영·확장
쿼터·지연·가용성을 직접 떠안게 된다
보안·거버넌스
데이터 경계·감사·비용 가시성 부재
에이전트의 벽
세션·메모리·도구 연동이 프로토타입에서 멈춘다
Bedrock은 무엇인가
단일 API · 멀티 모델
15+ 프로바이더를 하나의 인터페이스로
서버리스
인프라 0 · 호출당 과금 · 자동 확장
커스터마이즈
RAG · 파인튜닝 · 모델 증류
책임형 AI
Guardrails로 안전·정책 일괄 적용
엔터프라이즈
VPC · PrivateLink · IAM · CloudTrail
에이전트
AgentCore로 프로덕션 에이전트까지
모델은 골라 쓰는 시대
Opus
최고 난도 추론·코딩 · $5/$25 per 1M
Sonnet
균형형 주력 · $3/$15 per 1M
Haiku
저지연·대량 처리 · $1/$5 per 1M
고난도는 Opus, 일상 워크로드는 Sonnet, 대량·실시간은 Haiku로 계층화
Nova Pro
멀티모달 주력 · $0.80/$3.20 per 1M
Nova Lite
빠르고 저렴 · $0.06/$0.24 per 1M
Nova Micro
텍스트 초경량 · $0.035/$0.14 per 1M
AWS 자체 모델 — 가격 대비 성능이 강점, 비용 민감 워크로드의 기본값. 가격은 On-Demand·us-east-1·2026-06 기준 입력/출력 1M 토큰 (변동 가능)
오픈웨이트
DeepSeek · GLM · Kimi · Qwen · MiniMax 등 풀리매니지드
프론티어 외부 모델
Meta Llama · Mistral · Cohere · Stability · GPT 계열
같은 Bedrock API로 15+ 프로바이더를 호출 — 벤더 락인 없이 비교·교체
추론은 워크로드에 맞춰
On-Demand
약정 없이 호출당 과금 · 기본값
Provisioned
처리량 예약 · 안정적 지연 · 할인
Batch
대량 비동기 · 약 50% 절감
Prompt Caching
반복 컨텍스트 캐시 · 최대 90% 절감
Global Endpoints
최적 리전 자동 라우팅
Cross-Region
용량 분산으로 스로틀 완화
추론 비용, 직접 계산
50M
20M
$0
On-Demand / 월
$0
Batch (50%↓)
$0
Prompt Caching (입력 90%↓)
Mantle: 추론 엔진의 진화
호출
OpenAI 호환 API
Anthropic Messages
→
bedrock-mantle 엔진
자동 용량관리
통합 쿼터 풀
QoS 제어
→
결과
서버리스 추론
빠른 신규 모델 온보딩
Mantle: OpenAI처럼, Bedrock답게
Chat Completions · Responses API
기존 OpenAI SDK 코드를 엔드포인트만 바꿔 재사용
마이그레이션 비용 ↓
앱 재작성 없이 Bedrock의 보안·거버넌스로 이전
Messages API 네이티브
Claude를 표준 Anthropic 포맷으로 직접 호출
도구 호출·비전
tool use·멀티모달을 그대로 활용
Projects API
앱·팀·환경별 격리 + IAM + 태그 비용 가시성
오픈웨이트 6종
DeepSeek·MiniMax·GLM·Kimi·Qwen 등
CloudWatch
mantle 엔드포인트 트래픽 메트릭
1부 핵심 정리
단일 API·멀티 모델
Claude·Nova·오픈웨이트 15+ 를 락인 없이
추론 옵션으로 비용·안정성
Provisioned·Batch·Caching·Global
Mantle
OpenAI 호환 + 자동 용량 + Projects
다음
AgentCore로 프로덕션 에이전트
AgentCore와 레퍼런스 아키텍처
모델을 넘어, 프로덕션 에이전트로
에이전트, 프로토타입의 벽
세션·확장
장시간 작업·동시 사용자 격리
도구 연동
API·DB·SaaS를 안전하게 호출
메모리
대화·선호·컨텍스트 지속
인증·권한
사용자 대신 행동할 때의 신원
관측
에이전트 추론·도구 호출 추적
코드 실행·웹
샌드박스·브라우저 자동화
AgentCore: 모듈형 빌딩블록
Runtime
8시간·세션 격리 실행
Gateway
API·Lambda·MCP → 도구
Memory
단기·장기 기억
Identity
신원·토큰 볼트
Browser
관리형 웹 자동화
Code Interpreter
격리 코드 실행
Observability
추적·메트릭
프레임워크 무관
원하는 라이브러리와 조합
Runtime: 8시간 격리 실행
최대 8시간
장시간·비동기 추론 워크로드
세션 격리
사용자별 완전 분리 실행
A2A 프로토콜
에이전트 간 협업
실시간 + 롱런
대화형과 배치형 모두
프레임워크 무관
기존 에이전트 코드 그대로
VPC·PrivateLink
엔터프라이즈 네트워크
Gateway & Identity
API·Lambda·MCP → 도구
기존 자산을 에이전트 도구로 변환
IAM + OAuth 인가
도구 호출을 표준 권한으로 통제
기존 MCP 서버에 연결하거나, REST API·Lambda를 도구로 노출 — 에이전트가 곧바로 사용
Identity-aware 인가
사용자 대신 / 에이전트 자체로 행동
토큰 볼트
refresh 토큰 안전 저장 · OAuth 연동
에이전트가 "누구의 권한으로" 행동하는지 명확히 — 최소 권한 원칙 적용
기억과 행동을 더하다
Memory
단기 대화 + 장기 선호·사실. self-managed 추출/통합 전략으로 파이프라인 직접 제어
Browser
관리형 헤드리스 브라우저로 웹 탐색·폼 작성·데이터 추출을 안전하게 자동화
Code Interpreter
격리 샌드박스에서 코드 실행 — 계산·데이터 처리·파일 변환
끝에서 끝까지
사용자·앱
CloudFront웹·모바일·API
→
Bedrock · Mantle
모델 추론Guardrails · Knowledge Base
→
AgentCore
Runtime·Gateway
도구 (Lambda)→
기업 자산
DynamoDB
S3보안과 거버넌스는 기본
Guardrails
유해·민감정보·주제 이탈 차단
VPC · PrivateLink
데이터 사설 경로 유지
IAM 최소권한
모델·도구·프로젝트별 통제
사용량 귀속
요청 단위 비용·태그 가시성
CloudWatch · CloudTrail
메트릭 + API 감사
CloudFormation
IaC로 재현·거버넌스
다음 단계
- 1주: 유스케이스 1개 선정 (RAG 챗봇 / 문서요약 / 에이전트)
- 2주: 모델 2-3종 벤치마크 (품질·지연·비용)
- 3주: Guardrails + Knowledge Base로 PoC 구축
- 4주: VPC·IAM·사용량 귀속으로 보안 검증
- 이후: AgentCore로 에이전트화 + Well-Architected 리뷰