如果保留測試集評估顯示,Gemini Decision 1 的路由策略能避免足夠多的高成本錯誤或升級處理,足以抵銷較高的輸入價格,就選它。若你在意文字路由器的輸入價格,值得優先評估Jev 1.14。兩者都不是適用所有情境的首選。
此處要做的具體決策,是要不要路由某項請求、允許工具執行操作,或將其升級處理。兩款模型都能處理有界的是/否(noul)、選擇題和評分規準決策。Jev 是值得比較的對手,因為 Google 直接比較了這個確切版本,而不是因為任一款模型在通用聊天機器人排名中領先。
Google 的圖表呈現各有勝負
這些數據來自Google 的發布評估。這是自行回報的結果,並非獨立驗證或 AIHubMix 測量數據。
| 指標 | Gemini Decision 1 | Jev 1.14 |
|---|---|---|
| JevBench 準確率 | 92.2% | 90.0% |
| When2Call 準確率 | 79.9% | 82.0% |
| Top-1 ECE | 0.0250 | 0.0494 |
| 評估費用 | USD 0.88 | USD 0.68 |
JevBench 使用公開資料切分。ECE 和費用涵蓋七項雙方共用的評估;ECE 越低越好。Google 將拒絕回答、安全性封鎖,以及模型無法接受的請求都計為錯誤,並以完整基準測試作為分母。
Gemini 在 JevBench 和整體校準方面領先;Jev 則在 When2Call 準確率方面領先。預期校準誤差衡量信心與實際正確率的一致程度,而非錯誤分類的比例。整體 ECE 較低,並不能證明你的工具路由器有適當校準的閾值。
圖表未提供特定路由的精確率或召回率、錯誤工具呼叫率,或在固定錯誤預算下的自動化涵蓋率。這些缺少的測量數據,對部署的影響比根據單一指標判定勝負更大。
比較路由策略,而非相同的信心數值
Google 的信心文件將信心定義為機率最高的結果。對是/否問題而言,這就是「是」與「否」機率中較高的一方,而不是另一項獨立檢查。
Jev 原生的 noul 回答會提供機率,但沒有另外的信心欄位。選擇題或評分回答中的欄位名稱相同,也不能證明校準方式一致。因此,將某個閾值直接套用到不同模型、路由或版本,是一項未經測試的策略變更。
使用已標註的開發流量,為每款模型選定閾值。接著在另一組保留測試資料上比較,並固定路由定義和錯誤操作的成本。計算錯誤的自動操作,以及不必要升級處理的有效請求數;並回報在相同錯誤預算內,各策略能自動處理多少流量。
如果某款模型必須增加人工審查,才能符合該預算,就要將這筆費用納入考量。對於後果重大的操作,應採取拒絕執行或改由人工處理的做法。授權檢查仍須在模型決策之外執行。
官方價格只是評估起點
以下是官方直接 API 標價,資料來源為Google 的定價頁面和TypeSafe 的模型文件,並非 AIHubMix 通路價格。
| 模型 | 輸入/1M tokens | 輸出 |
|---|---|---|
| Gemini Decision 1 | USD 0.10 | 0 tokens |
| Jev 1.14 | USD 0.042 | 免費 |
Gemini 會產生零個輸出 token。Jev 的輸出免費,不代表其回報的輸出 token 用量必須為零。Gemini 的輸入 token 價格約為 Jev 的2.38×,但不一定代表每項請求的總成本也是如此。
假設有 1,000,000 次決策、每次決策各發出一項請求,且兩家供應商的每次請求都各計費 2,000 個輸入 token;此處問題中的 token 數量為獨立假設。總計為 2 billion 個計費輸入 token:按官方價格,Gemini 為 USD 200,Jev 為 USD 84,相差USD 116。
此估算並未統一 token 化方式和格式,也未納入重試、升級處理或準確率因素。這不是閘道帳單;實際費用請確認所選通路的定價。
Google 評估中的費用比例有所不同:USD 0.88 / USD 0.68 約為 1.29×。不同的工作負載和計費 token 數量,可能造成不同的比例,這並不與標價相矛盾。
原生功能可能影響候選清單
Google 文件列出文字、圖片、音訊、影片和 PDF 輸入,上下文總容量為 262,144 tokens,由輸入和問題共用。每次可提出 1–1,000 個問題,這並不代表容量勝過 Jev:TypeSafe 未設定額外的問題數量上限,但仍受上下文限制。
Jev 不只是文字模型。它接受文字和 PNG/JPEG 圖片,但Jev 1.14 的版本說明指出,圖片、Box 和擴展上下文功能都屬於實驗性功能。原生圖片和 Box 預設為關閉,且必須透過供應商 opt-in 標頭啟用;此標頭在閘道上的行為尚未驗證。預設限制為共用狀態與所有問題合計 64k tokens,以及共用狀態與任一單一問題合計 32k tokens。實驗性供應商標頭可將兩者提高至 262k,但處理速度較慢、準確度也較低。
這些是供應商的原生功能,並非經過驗證的閘道保證。尤其不要只根據這些規格,就規劃 AIHubMix 媒體或長上下文工作流程。Google 的原生 API 也不支援快取和 Batch,且不接受原生工具呼叫輸入區塊;判斷是否應執行工具,和接受工具協定區塊並不是同一回事。
選取文件記載的 ID,並記錄回傳的版本
AIHubMix 比較頁面可作為選擇兩項產品的起點。兩者的公開使用說明都記載 POST /v1/systemone、相同的 AIHubMix 金鑰,以及包含 state 和 questions 的請求格式。
AIHubMix 記載的產品 ID 為 gemini-decision-1 和 jev-1.14;光是這些名稱,無法證明上游版本是固定不變的。Jev 原生的版本化 ID 為 jev-1.14.0。請記錄實際通路回傳的模型/版本,不要假設浮動別名在各處都會解析為相同版本。
本次比較未執行任何已驗證的請求。一般文字請求文件只能作為評估起點,不能證明回應完全相同。AIHubMix 是否支援原生媒體、完整上下文限制,以及 Gemini 的 1,000 個問題容量,均尚未確認。
選擇前請:
- 設定可接受的錯誤操作率和備援處理政策。
- 比較保留測試集上的自動化涵蓋率與總營運成本。
- 在確切選用的通路上,確認所需功能是否可用。
若 Jev 符合標準且總成本較低,就繼續使用 Jev;若 Gemini 經驗證的效益值得付出溢價,就選擇 Gemini。模型、版本或流量變更時,請重新評估。
常見問題
哪款模型較適合工具路由?
沒有放諸四海皆準的排名。Google 的 When2Call 結果對 Jev 較有利,而整體校準結果則對 Gemini 較有利。請測試實際的路由策略。
ECE 較低是否代表錯誤決策較少?
不是。校準和準確率是不同的測量指標。整體 ECE 較低,並不能證明特定路由的錯誤率或安全閾值。
能否沿用相同的信心閾值?
未經驗證就不行。請針對每款模型和路由,使用開發資料選定閾值,再以另一組保留流量進行評估。
Gemini 是否永遠貴 2.38×?
不是。這是官方輸入 token 價格的比例。計費 token 數量、重試和升級處理成本,都可能改變營運成本比例。
Jev 1.14 是否只能處理文字?
不是。它原生支援 PNG/JPEG 圖片,但圖片和 Box 功能屬於實驗性功能。這不代表 AIHubMix 已支援圖片直通。
AIHubMix 的功能對等性是否已經驗證?
沒有執行任何已驗證的請求。不能只根據文件,就假設原生媒體、上下文、問題數量容量和回應語意完全相同。
繼續閱讀:Gemini Decision 1 系列文章
- 如需了解文件記載的請求範例,以及更完整的模型介紹,請閱讀Gemini Decision 1 定價:輸入每百萬 tokens USD 0.10、API 與使用情境。
資料來源
官方定價快照:Google,November 12, 2026, 06:43 UTC;TypeSafe,November 12, 2026, 06:53 UTC。費用範例是根據文件所做的估算,並非推理測量結果。
- Google:Gemini Decisions API 發布公告與基準測試圖表。
- Google:Decisions API 文件和官方定價。
- TypeSafe:模型文件、Jev 1.14 發布資訊、圖片限制和原生 API 結構描述。
- AIHubMix:Gemini Decision 1(使用說明)和Jev 1.14(使用說明)。
- AIHubMix:Gemini Decision 1 與 Jev 1.14 比較。



