보류된 평가에서 Gemini Decision 1의 라우팅 정책이 더 높은 입력 가격을 정당화할 만큼 비용이 큰 오류나 에스컬레이션을 충분히 줄이는 것으로 나타난다면 Gemini Decision 1을 선택하세요. 입력 가격에 민감한 텍스트 라우터라면 Jev 1.14를 우선 평가해 볼 가치가 있습니다. 어느 쪽도 모든 상황에서 우세한 모델은 아닙니다.
여기서 구체적으로 결정할 사항은 요청을 라우팅할지, 도구 작업을 허용할지, 아니면 에스컬레이션할지입니다. 두 모델 모두 범위가 한정된 예/아니요(noul), 선택지, 루브릭 점수 방식의 결정을 지원합니다. Google이 이 특정 버전을 직접 비교하기 때문에 Jev는 유의미한 경쟁 모델입니다. 일반 챗봇 순위에서 어느 한쪽이 앞서기 때문은 아닙니다.
Google의 차트는 엇갈린 결과를 보여줍니다
이 수치는 Google의 출시 평가에서 가져온 것입니다. 자체 보고 수치이며, 독립적인 검증이나 AIHubMix 측정 결과가 아닙니다.
| 측정 항목 | Gemini Decision 1 | Jev 1.14 |
|---|---|---|
| JevBench 정확도 | 92.2% | 90.0% |
| When2Call 정확도 | 79.9% | 82.0% |
| Top-1 ECE | 0.0250 | 0.0494 |
| 평가 비용 | USD 0.88 | USD 0.68 |
JevBench는 공개 분할 데이터를 사용합니다. ECE와 비용은 두 모델에 공통으로 적용된 7개 평가를 대상으로 하며, ECE는 낮을수록 좋습니다. Google은 거부 응답, 안전 차단, 모델이 수락할 수 없는 요청을 오답으로 처리하며, 전체 벤치마크를 분모로 사용합니다.
Gemini는 JevBench와 종합 보정에서 앞서고, Jev는 When2Call 정확도에서 앞섭니다. 기대 보정 오차는 신뢰도와 관측된 정답률 간의 일치도를 측정하는 지표이지, 오분류 비율이 아닙니다. 종합 ECE가 낮다고 해서 도구 라우터의 임계값이 보정되었다고 볼 수는 없습니다.
이 차트에는 특정 라우트의 정밀도나 재현율, 잘못된 도구 호출 비율, 고정된 오류 예산에서의 자동화 범위가 나와 있지 않습니다. 배포 시에는 한 항목만으로 승자를 정하는 것보다 이 누락된 측정값이 더 중요합니다.
신뢰도 수치가 같은지 비교하지 말고 라우팅 정책을 비교하세요
Google의 신뢰도 문서에서는 신뢰도를 가장 높은 결과 확률로 정의합니다. 예/아니요 질문에서는 예와 아니요의 확률 중 더 높은 값이며, 별도의 독립적인 검증을 뜻하지는 않습니다.
Jev의 기본 noul 응답에는 확률이 표시되지만 별도의 신뢰도 필드는 없습니다. 선택지형 또는 점수형 응답에 동일한 필드명이 있다고 해서 보정 방식까지 동일한 것은 아닙니다. 따라서 모델, 라우트 또는 버전 사이에서 임계값을 그대로 옮기는 것은 검증되지 않은 정책 변경입니다.
레이블이 지정된 개발 트래픽을 사용해 모델별 임계값을 선택하세요. 그런 다음 라우트 정의와 잘못된 작업에 따른 비용을 동일하게 유지하면서 별도의 홀드아웃 세트에서 비교합니다. 잘못된 자동 작업과 불필요하게 에스컬레이션된 유효한 요청을 모두 집계하고, 동일한 오류 예산 안에서 각 정책이 자동화할 수 있는 트래픽 규모를 보고하세요.
한 모델이 동일한 예산을 지키기 위해 더 많은 사람의 검토를 요구한다면 그 비용도 포함하세요. 결과가 중대한 작업에는 기본 거부 방식으로 처리하거나 수동 대체 절차를 사용하세요. 권한 확인은 모델의 결정과 별도로 수행해야 합니다.
공식 가격은 출발점일 뿐입니다
아래 가격은 AIHubMix 채널 가격이 아니라 Google의 가격 페이지와 TypeSafe의 모델 문서에 게시된 공식 직접 API 정가입니다.
| 모델 | 입력 / 1M 토큰 | 출력 |
|---|---|---|
| Gemini Decision 1 | USD 0.10 | 토큰 0개 |
| Jev 1.14 | USD 0.042 | 무료 |
Gemini는 출력 토큰을 0개 생성합니다. Jev의 출력이 무료라고 해서 보고되는 출력 토큰 사용량도 0이라는 뜻은 아닙니다. Gemini의 입력 토큰 가격은 Jev의 약 2.38배이지만, 요청별 총비용이 항상 그만큼 차이 나는 것은 아닙니다.
결정 1,000,000건, 결정당 요청 1건, 요청당 청구 대상 입력 토큰 2,000개를 가정해 보겠습니다. 질문을 포함하며, 두 공급자에 동일하게 가정합니다. 청구 대상 입력 토큰은 총 2 billion개입니다. 공식 요율 기준으로 Gemini는 USD 200, Jev는 USD 84이며, 차액은 USD 116입니다.
이 추정치는 토큰화와 형식 지정, 재시도, 에스컬레이션 또는 정확도를 같게 맞추지 않습니다. 게이트웨이 청구서가 아니므로 실제 요금은 선택한 채널의 가격을 확인하세요.
Google의 평가 비용 비율은 이와 다릅니다. USD 0.88 / USD 0.68은 약 1.29배입니다. 작업과 청구된 토큰 수가 다르면 정가와 모순되지 않으면서 비율이 달라질 수 있습니다.
기본 제공 기능에 따라 후보 모델이 달라질 수 있습니다
Google 문서에는 텍스트, 이미지, 오디오, 비디오, PDF 입력 지원이 명시되어 있으며, 입력과 질문을 합쳐 총 262,144개의 토큰을 사용할 수 있습니다. 질문 수는 1~1,000개로 제한되지만, 컨텍스트 한도가 적용되는 TypeSafe는 별도의 질문 수 상한을 지정하지 않으므로 이 부분에서 Jev보다 유리하다고 볼 수는 없습니다.
Jev는 텍스트 전용 모델이 아닙니다. 텍스트와 PNG/JPEG 이미지를 처리하지만, Jev 1.14의 출시 노트에서는 이미지, Box, 확장 컨텍스트를 실험 기능으로 안내합니다. 기본적으로 이미지와 Box는 꺼져 있으며 공급업체의 옵트인 헤더가 필요합니다. 이 헤더가 게이트웨이에서 작동하는지는 여기서 검증되지 않았습니다. 기본 한도는 공유 상태와 모든 질문을 합쳐 64k 토큰, 공유 상태와 개별 질문 하나를 합쳐 32k 토큰입니다. 실험용 공급업체 헤더를 사용하면 두 한도가 모두 262k로 늘어나지만 처리 속도와 정확도가 저하됩니다.
이는 공급업체가 기본 제공하는 기능이며, 게이트웨이에서 지원된다고 검증된 것은 아닙니다. 특히 이 사양만 보고 AIHubMix에서 미디어나 긴 컨텍스트를 사용하는 워크플로를 계획하지 마세요. Google의 기본 API도 캐싱과 Batch를 지원하지 않으며 기본 도구 호출 입력 블록을 받지 않습니다. 도구를 실행할지 결정하는 것과 도구 프로토콜 블록을 수락하는 것은 서로 다릅니다.
문서에 명시된 ID를 선택하고 반환된 버전을 기록하세요
AIHubMix 비교 페이지에서 두 제품을 선택하는 것으로 시작할 수 있습니다. 공개된 사용 안내에는 POST /v1/systemone, 동일한 AIHubMix 키, 그리고 state와 questions로 구성된 요청 형식이 설명되어 있습니다.
AIHubMix 문서에 명시된 제품 ID는 gemini-decision-1과 jev-1.14입니다. 이 이름만으로 업스트림 빌드가 변경되지 않는다고 볼 수는 없습니다. Jev의 기본 버전 ID는 jev-1.14.0입니다. 실제 채널에서 반환되는 모델/버전을 기록하고, 변경될 수 있는 별칭이 어디서나 같은 버전으로 연결된다고 가정하지 마세요.
이 비교를 위해 인증된 요청을 실행하지는 않았습니다. 공통 텍스트 요청 문서는 평가의 출발점일 뿐, 응답이 동일하다는 증거는 아닙니다. 기본 미디어 입력, 전체 컨텍스트 한도, Gemini의 질문 1,000개 처리 용량이 AIHubMix를 통해 제공되는지는 확인되지 않았습니다.
선택하기 전에:
- 허용 가능한 잘못된 작업 비율과 대체 절차를 정하세요.
- 홀드아웃 데이터에서 자동화 범위와 총 운영 비용을 비교하세요.
- 선택한 정확한 채널에서 필요한 기능을 검증하세요.
Jev가 이 기준을 충족하면서 총비용이 낮다면 계속 사용하세요. 검증된 이점이 추가 비용을 정당화한다면 Gemini를 선택하세요. 모델, 버전 또는 트래픽이 바뀌면 다시 평가하세요.
자주 묻는 질문
도구 라우팅에는 어느 모델이 더 적합한가요?
모든 상황에 적용되는 순위는 없습니다. Google의 When2Call 결과에서는 Jev가 앞서고, 종합 보정 결과에서는 Gemini가 앞섭니다. 실제 라우팅 정책을 테스트하세요.
ECE가 낮으면 잘못된 결정이 줄어드나요?
아니요. 보정과 정확도는 서로 다른 측정값입니다. 종합 ECE가 낮다고 해서 특정 라우트의 오류율이나 안전한 임계값이 입증되는 것은 아닙니다.
같은 신뢰도 임계값을 재사용할 수 있나요?
검증 없이 재사용해서는 안 됩니다. 모델과 라우트별로 개발 데이터에서 임계값을 선택한 다음, 별도의 홀드아웃 트래픽에서 평가하세요.
Gemini는 항상 2.38배 더 비싼가요?
아니요. 이는 공식 입력 토큰 가격의 비율입니다. 청구되는 토큰 수, 재시도, 에스컬레이션 비용에 따라 운영 비용의 비율은 달라질 수 있습니다.
Jev 1.14는 텍스트 전용인가요?
아니요. 기본 PNG/JPEG 이미지 지원이 있지만, 이미지와 Box는 실험 기능입니다. 그렇다고 AIHubMix에서 이미지를 전달할 수 있다는 뜻은 아닙니다.
AIHubMix의 기능 동등성이 검증되었나요?
인증된 요청은 실행되지 않았습니다. 문서만으로 기본 미디어 지원, 컨텍스트, 질문 처리 용량, 응답 의미가 동등하다고 가정해서는 안 됩니다.
계속 읽기: Gemini Decision 1 시리즈
- 문서에 나온 요청 예시와 모델에 대한 자세한 소개는 Gemini Decision 1 가격: 입력 1M당 $0.10, API 및 사용 사례를 읽어보세요.
출처
공식 가격 확인 시각: Google, 2026년 11월 12일 06:43 UTC; TypeSafe, 2026년 11월 12일 06:53 UTC. 비용 예시는 문서에 기반한 추정치이며, 추론 측정값이 아닙니다.
- Google: Gemini Decisions API 출시 및 벤치마크 차트.
- Google: Decisions API 문서 및 공식 가격.
- TypeSafe: 모델 문서, Jev 1.14 출시 정보, 이미지 제한 사항, 기본 API 스키마.
- AIHubMix: Gemini Decision 1(사용 안내) 및 Jev 1.14(사용 안내).
- AIHubMix: Gemini Decision 1과 Jev 1.14 비교.
