LLM 게이트웨이(Inference Gateway) 퀴즈

제안 설계의 보장·한계를 확인합니다. 예약·캐시 의미·인가·스트리밍·PII·가드레일·문맥 라우팅을 다루며 모든 제품이 이 설계를 구현한다고 주장하지 않습니다.

객관식 문제

1. 게이트웨이는 왜 호출 전에 자원을 예약하고 이후에 정산하나요?

• A. SSE가 두 번 인증을 요구하기 때문
• B. 허용 시점에는 최종 사용량이 없으므로 동시 요청의 쿼터·금액을 원자적으로 예약해야 하기 때문
• C. 모든 HTTP 오류는 무료이기 때문
• D. 입력 토큰 추정이 금액 하드 캡을 보장하기 때문

정답 보기

정답: B. 허용 시점에는 최종 사용량이 없으므로 동시 요청의 쿼터·금액을 원자적으로 예약해야 하기 때문

설명: 유료 라우터·필터·guardrail·재시도도 호출별로 검사된 입력과 보수적 비용 상한을 기준으로 호출 전에 예약합니다. 본 호출 거부가 이미 발생한 보조 비용을 없애지는 않습니다. TPM 차감만으로 금액이 예약되지는 않습니다. 실제 비용으로 멱등 정산하며 중단된 스트림은 최종 사용량이 없을 수 있으므로 비용 0으로 가정하지 말고 대사까지 적절한 예약을 유지합니다.

2. 프롬프트 캐시 보존에 대한 올바른 설명은 무엇인가요?

• A. 모든 제공자 캐시 키에 모든 HTTP JSON 바이트가 포함된다
• B. 제공자별 프롬프트·토큰 접두사와 지원 캐시 설정을 보존하며 JSON 봉투 서식만으로 재사용이 무효화되지는 않는다
• C. 코딩 에이전트 적중률은 항상 90%를 넘는다
• D. 교차 프로토콜 변환은 대상 캐시를 절대 예열할 수 없다

정답 보기

정답: B. 제공자별 프롬프트·토큰 접두사와 지원 캐시 설정을 보존하며 JSON 봉투 서식만으로 재사용이 무효화되지는 않는다

설명: Anthropic은 캐시 지점까지 동일한 프롬프트 구간을, vLLM은 토큰 블록·추가 문맥의 해시를 설명합니다. 안정적인 변환은 대상에서 재사용 가능한 접두사를 만들 수 있습니다. 원문 전달보다 필수 정책 변환이 우선하며 선택 모델·TTL·워크로드의 캐시 절감 효과를 측정해야 합니다.

3. 폴백·예산 티어 치환 후 왜 다시 인가해야 하나요?

• A. 모든 폴백은 자동으로 저렴하기 때문
• B. 새 모델·제공자·리전이 원래 권한·개인정보 검사를 통과하지 않았을 수 있기 때문
• C. 서킷 브레이커가 임시 권한을 부여하기 때문
• D. 비슷한 모델 이름이 동등한 기능을 증명하기 때문

정답 보기

정답: B. 새 모델·제공자·리전이 원래 권한·개인정보 검사를 통과하지 않았을 수 있기 때문

설명: 실제 대상의 모델·리전·개인정보·필수 기능·예산을 재검사합니다. 원래 모델도 모든 검사를 통과할 때만 유지하고 아니면 거부합니다. 별칭 해석·버전 이름 정렬은 인가가 아닙니다.

4. 스트리밍 응답의 투명한 폴백은 언제 중단해야 하나요?

• A. 출력 가능한 첫 텍스트 토큰 이후에만
• B. 텍스트 토큰 전이라도 다운스트림 헤더·상태·도구 이벤트로 응답을 확정한 시점
• C. 최종 사용량 이벤트 이후에만
• D. 중단할 필요 없이 두 제공자가 한 응답을 공유한다

정답 보기

정답: B. 텍스트 토큰 전이라도 다운스트림 헤더·상태·도구 이벤트로 응답을 확정한 시점

설명: 확정 이후 투명한 재시도는 내용·도구 활동을 중복시키고 추가 비용을 만들 수 있습니다. 클라이언트 프로토콜의 오류 의미로 종료하고 불완전 사용량을 기록합니다. 확정 전에도 횟수·기한 제한과 제공자 요금 계산이 필요합니다. 출력은 공개 전에 검사해야 하며 버퍼링은 사용자 TTFT를 늘릴 수 있습니다.

5. 개인정보 보호 요구사항과 캐시 비용은 어떻게 다뤄야 하나요?

• A. 접두사 캐시 미스가 나면 마스킹을 끈다
• B. 필수 개인정보 통제를 강제하고 안전할 때 범위가 제한된 안정적 변환을 사용하며 캐시·지연 영향을 측정한다
• C. 도구 인자에는 PII가 없으므로 사용자 텍스트만 검사한다
• D. 호출자가 제공한 모든 플레이스홀더를 복원한다

정답 보기

정답: B. 필수 개인정보 통제를 강제하고 안전할 때 범위가 제한된 안정적 변환을 사용하며 캐시·지연 영향을 측정한다

설명: 민감 데이터는 텍스트뿐 아니라 도구·결과·첨부에도 있습니다. 미지원 검사는 차단하거나 승인된 대상으로 보내야 합니다. 매핑을 인증된 테넌트·주체·세션에 결합하고 복원을 인가해야 하며 매핑 손실은 정확성에도 영향을 줍니다. 탐지에는 누락이 있으므로 게이트웨이·분류기 모두 유출 0을 증명하지 못합니다.

6. 올바른 Bedrock Guardrails 통합 방식은 무엇인가요?

• A. 가드레일을 생성하면 모든 호출에 자동 적용된다
• B. 선택 API의 가드레일 필드를 사용하고 범위를 확인하며 지원되는 곳에서 승인 ID·버전을 강제한다
• C. 민감 정보 마스킹을 보장하려면 비동기 모드를 사용한다
• D. 모든 Bedrock API에서 같은 최상위 JSON 필드를 사용한다

정답 보기

정답: B. 선택 API의 가드레일 필드를 사용하고 범위를 확인하며 지원되는 곳에서 승인 ID·버전을 강제한다

설명: Converse는 guardrailConfig, InvokeModel은 guardrailIdentifier·guardrailVersion 작업 파라미터(HTTP 헤더)를 사용합니다. guardContent는 평가 범위를 정할 수 있고 ApplyGuardrail은 모델 호출 없이 별도 평가합니다. 적절한 IAM 조건·우회 방지가 정책을 강화합니다. 비동기 스트리밍은 검사 전에 내용을 공개할 수 있고 민감 정보 마스킹을 지원하지 않으며 로그·추적도 보호해야 합니다.

7. 캐시 지점 근처에 게이트웨이 정책 프롬프트를 삽입할 때 중요한 것은 무엇인가요?

• A. 모든 후속 요청의 적중을 보장한다
• B. 의도한 캐시 경계 안에서 정책 내용을 안정적으로 유지하고 인증된 게이트웨이 메타데이터만 중복 제거한다
• C. 캐시 표식 뒤의 블록은 앞 구간을 항상 무효화한다
• D. 호출자가 보낸 같은 해시가 정책 강제를 증명한다

정답 보기

정답: B. 의도한 캐시 경계 안에서 정책 내용을 안정적으로 유지하고 인증된 게이트웨이 메타데이터만 중복 제거한다

설명: 캐시 재사용은 동일한 지원 구간·모델 조건·최소 길이·범위·TTL에 따릅니다. 뒤 블록은 앞선 캐시 구간을 반드시 무효화하는 것이 아니라 그 밖에 있습니다. 복사한 정책 표식으로 필수 삽입·검사를 생략해서는 안 됩니다. 프롬프트는 안내이지 실행 인가가 아닙니다.

8. 도구 인가는 최종적으로 어디에서 강제해야 하나요?

• A. 시스템 프롬프트에서만
• B. 위험 셸 문자열 정규식에서만
• C. 도구 실행기에서 강제하고 게이트웨이 출력 검사를 추가 계층으로 사용
• D. 제공자가 최종 사용량을 반환한 뒤에만

정답 보기

정답: C. 도구 실행기에서 강제하고 게이트웨이 출력 검사를 추가 계층으로 사용

설명: 게이트웨이는 완성된 도구 인자를 버퍼링·검증해야 하지만 우회나 이미 실행된 제공자 내부 도구를 모두 통제하지 못합니다. 실행기는 인증된 신원·리소스·인자 인가, 스키마 검증, 최소 권한, 샌드박싱, 민감 작업 승인이 필요합니다. 모델 역할 라벨·도구 이름만으로 신뢰가 증명되지는 않습니다.

9. 보수적인 분산 금액 예산을 뒷받침하는 불변식은 무엇인가요?

• A. 모든 복제본이 팀 한도 전체를 독립적으로 쓸 수 있다
• B. 지출과 미정산 예약 할당의 합이 한도 이내이며 예약·대사가 영속적·멱등이다
• C. 할당 합계가 자동으로 최악의 초과 지출 한계가 된다
• D. 만료된 할당은 항상 즉시 재발급해도 된다

정답 보기

정답: B. 지출과 미정산 예약 할당의 합이 한도 이내이며 예약·대사가 영속적·멱등이다

설명: 가용 예산에서 뺀 할당은 초과 허용액이 아니라 예약 용량입니다. 보수적 비용 상한·원자적 로컬 허용·영속 ID·대사를 사용합니다. 만료는 새 요청만 막으며 미해결 작업·보고가 있으면 안전하게 회수할 수 없습니다. 유료 보조·본 모델·출력 검사 호출은 각각 예약을 거쳐 같은 예산을 사용합니다. 금액 리스가 레이트 카운터까지 자동 전역화하지는 않습니다.

10. 인프라 문맥은 라우팅에 어떻게 영향을 줄 수 있나요?

• A. 허용 리전이 느리면 더 빠른 모든 리전이 허용된다
• B. 상태·부하는 이미 인가된 대상 중 선택만 하며 모델·리전·개인정보 권한을 넓히지 못한다
• C. 소스 엔드포인트 리전이 모든 처리 위치를 증명한다
• D. 분류기 실패 시 예산 정책을 끈다

정답 보기

정답: B. 상태·부하는 이미 인가된 대상 중 선택만 하며 모델·리전·개인정보 권한을 넓히지 못한다

설명: 상태 신호는 정책 경계 안의 가용성·엔드포인트 결정에 적용합니다. Bedrock 프로파일은 소스 리전 밖으로 라우팅할 수 있으므로 모든 목적지를 확인합니다. 최종 문맥 적합성은 변환 입력과 대상 출력·추론 허용량을 포함합니다. 원래 모델 폴백도 필수 검사를 모두 통과할 때만 허용합니다.

11. 게이트웨이는 토큰 계산 엔드포인트를 어떻게 처리해야 하나요?

• A. 인가되지 않은 요청에도 항상 HTTP 200을 반환한다
• B. 인증·인가·검증 오류·별도 속도 제한을 보존하고 선택적 근사 폴백은 명시한다
• C. bytes/4 추정을 제공자의 정확한 계산으로 위장한다
• D. 계산은 추론이 아니므로 요청 크기·CPU 제한을 무시한다

정답 보기

정답: B. 인증·인가·검증 오류·별도 속도 제한을 보존하고 선택적 근사 폴백은 명시한다

설명: 계산도 제공자별 검증 실패와 별도 RPM 한도가 있을 수 있습니다. 추론 지출 차감과는 다르지만 게이트웨이·제공자 자원을 소비합니다. 선택적 근사 폴백으로 거부를 덮거나 출처를 숨기거나 정확한 문맥 적합성을 보장해서는 안 됩니다. 제품별 호환성 처리는 보편적인 API 요구사항이 아닙니다.

12. 메트릭 라벨에서 사용자·키 ID와 원본 프롬프트를 피하는 이유는 무엇인가요?

• A. SSE를 압축하기 위해
• B. 카디널리티를 제한하고 신원·내용 공개를 줄이기 위해, 수집 접근도 제한해야 한다
• C. 메트릭에는 팀 라벨을 절대 넣을 수 없기 때문
• D. 암호화가 모든 라벨 위험을 제거하기 때문

정답 보기

정답: B. 카디널리티를 제한하고 신원·내용 공개를 줄이기 위해, 수집 접근도 제한해야 한다

설명: 정식 모델·제공자와 필요한 경우 설정된 팀 등 검토한 제한 라벨을 사용합니다. 메트릭·관리 엔드포인트를 보호하고 추적 속성·오류에 프롬프트를 넣지 않습니다. 의미 규약 버전·내보내기 이름을 확인합니다. 낮은 카디널리티만으로 공개 접근이 허용되지는 않습니다.