Gemini Decision 1 проти Jev 1.14: що обрати?

Оберіть Gemini Decision 1, якщо оцінювання на відкладених даних показує, що його політика маршрутизації запобігає достатній кількості дорогих помилок або ескалацій, щоб виправдати вищу ціну вхідних токенів. Для текстового маршрутизатора, чутливого до ціни вхідних даних, варто рано оцінити Jev 1.14. Універсального переможця немає.

Конкретне рішення тут — чи спрямувати запит, дозволити дію інструмента або передати його на ескалацію. Обидві моделі підтримують обмежені рішення «так/ні» (noul), вибір і оцінювання за рубрикою. Jev — доречний конкурент, бо Google безпосередньо порівнює саме цю версію, а не тому, що будь-яка з моделей очолює загальний рейтинг чатботів.

Діаграма Google дає неоднозначний результат

Ці показники наведено в оцінюванні, опублікованому під час запуску Google. Це дані, заявлені самою компанією, а не незалежна перевірка чи вимірювання AIHubMix.

Для JevBench використано публічний спліт. ECE і витрати охоплюють сім спільних оцінювань; нижче значення ECE краще. Google зараховує відмови, блокування з міркувань безпеки та запити, які модель не могла прийняти, як неправильні відповіді, використовуючи весь бенчмарк як знаменник.

Gemini має кращі результати на JevBench і за сукупним калібруванням; Jev — вищу точність на When2Call. Очікувана помилка калібрування вимірює відповідність між упевненістю та фактичною правильністю, а не частку хибних класифікацій. Нижче сукупне значення ECE не доводить, що поріг для вашого маршрутизатора інструментів відкалібрований.

У діаграмі немає точності та повноти для конкретних маршрутів, частоти хибних викликів інструментів чи охоплення автоматизації за фіксованого бюджету помилок. Для розгортання ці відсутні показники важливіші, ніж оголошення переможця за одним рядком.

Порівнюйте політики маршрутизації, а не однакові значення впевненості

Документація Google щодо впевненості визначає впевненість як найбільшу ймовірність серед результатів. Для запитань із відповіддю «так/ні» це більше з імовірностей «так» і «ні», а не окрема незалежна перевірка.

Відповіді Jev у нативному форматі noul містять імовірність, але не окреме поле впевненості. Однакові назви полів у відповідях із вибором або оцінкою не доводять ідентичність калібрування. Тому перенесення порога між моделями, маршрутами чи версіями — це неперевірена зміна політики.

Використовуйте розмічений трафік для розробки, щоб підібрати поріг для кожної моделі. Потім порівняйте результати на окремому відкладеному наборі, не змінюючи визначення маршрутів і вартість хибної дії. Підрахуйте як неправильні автоматичні дії, так і коректні запити, які без потреби передали на ескалацію; зазначте, яку частку трафіку кожна політика може автоматизувати за однакового бюджету помилок.

Якщо для дотримання цього бюджету одній моделі потрібна більша частка ручної перевірки, врахуйте ці витрати. Для дій із серйозними наслідками відхиляйте запити за замовчуванням або використовуйте ручне опрацювання як резервний варіант. Перевірки авторизації мають виконуватися поза межами рішення моделі.

Офіційна ціна — лише відправна точка

Нижче наведено офіційні ціни безпосереднього API зі сторінки цін Google і документації моделей TypeSafe, а не ціни каналів AIHubMix.

Gemini генерує нуль вихідних токенів. Безкоштовні вихідні дані Jev не означають, що в нього обов’язково нульове використання вихідних токенів. Ціна вхідних токенів Gemini приблизно у 2.38× вища, ніж у Jev, але це не обов’язково стосується загальної вартості кожного запиту.

Припустімо, що є 1,000,000 рішень, по одному запиту на рішення та 2,000 оплачуваних вхідних токенів на запит, включно із запитаннями; для обох провайдерів це незалежне припущення. Разом це 2 billion оплачуваних вхідних токенів: USD 200 для Gemini проти USD 84 для Jev, тобто різниця становить USD 116 за офіційними тарифами.

Ця оцінка не вирівнює токенізацію та форматування й не враховує повторні спроби, ескалацію чи точність. Це не рахунок від шлюзу; перевірте ціни обраного каналу, щоб дізнатися фактичні витрати.

Співвідношення витрат на оцінювання Google інше: USD 0.88 / USD 0.68 — приблизно 1.29×. Інші робочі навантаження та кількість оплачуваних токенів можуть дати інше співвідношення, що не суперечить опублікованим цінам.

Нативні можливості можуть змінити список кандидатів

Google документує підтримку тексту, зображень, аудіо, відео та PDF, а також загальний ліміт у 262,144 токени для вхідних даних і запитань. Обмеження від 1 до 1,000 запитань не дає переваги над Jev за місткістю: TypeSafe не вказує окремої межі кількості запитань, але її обмежує контекст.

Jev не обмежується лише текстом. Він приймає текст і зображення PNG/JPEG, але примітки до випуску Jev 1.14 позначають зображення, Box і розширений контекст як експериментальні можливості. Нативну обробку зображень і Box типово вимкнено; для них потрібен заголовок згоди провайдера. Роботу цього заголовка через шлюз тут не перевіряли. Типові ліміти становлять 64k токенів для спільного стану разом з усіма запитаннями та 32k для спільного стану разом із будь-яким окремим запитанням. Експериментальний заголовок провайдера збільшує обидва ліміти до 262k, але обробка стає повільнішою та менш точною.

Це нативні можливості провайдерів, а не підтверджені гарантії роботи через шлюз. Зокрема, не плануйте медіаробочий процес або роботу з довгим контекстом через AIHubMix, спираючись лише на ці специфікації. Нативний API Google також не підтримує кешування та Batch і не приймає блоки вхідних даних нативних викликів інструментів; рішення про те, чи запускати інструмент, — це не те саме, що приймання його протокольних блоків.

Оберіть задокументовані ідентифікатори й фіксуйте повернуту версію

Сторінка порівняння AIHubMix — відправна точка для вибору цих двох продуктів. У публічних інструкціях для обох описано POST /v1/systemone, той самий ключ AIHubMix і структуру запиту з полями state і questions.

AIHubMix документує ідентифікатори продуктів gemini-decision-1 і jev-1.14; самі ці назви не гарантують незмінність upstream-збірок. Нативний версійований ідентифікатор Jev — jev-1.14.0. Фіксуйте модель і версію, які повертає фактично вибраний канал, і не припускайте, що змінний псевдонім скрізь відповідає одній версії.

Для цього порівняння автентифікованих запитів не виконували. Документація зі спільним прикладом текстового запиту — це відправна точка для оцінювання, а не доказ еквівалентності відповідей. Не підтверджено, що через AIHubMix проходять нативні медіадані, повні ліміти контексту й можливість Gemini приймати до 1,000 запитань.

Перш ніж обирати:

• Визначте прийнятну частоту хибних дій і політику резервного опрацювання.
• Порівняйте охоплення автоматизації на відкладених даних і загальні операційні витрати.
• Перевірте потрібні можливості в конкретному обраному каналі.

Залишайте Jev, якщо він відповідає цим вимогам за нижчої загальної вартості; обирайте Gemini, якщо підтверджені переваги виправдовують вищу ціну. Переоцінюйте вибір, коли змінюються модель, версія або трафік.

Поширені запитання

Яка модель краща для маршрутизації викликів інструментів?
Універсального рейтингу немає. За результатом Google на When2Call перевага у Jev, а за сукупним калібруванням — у Gemini. Перевірте фактичну політику маршрутизації.

Чи означає нижче ECE, що рішень із помилками буде менше?
Ні. Калібрування й точність — це різні показники. Нижче сукупне значення ECE не підтверджує частоту помилок для конкретного маршруту чи безпечність порогів.

Чи можна повторно використовувати той самий поріг упевненості?
Не без перевірки. Підбирайте пороги на даних для розробки окремо для кожної моделі й маршруту, а потім оцінюйте їх на окремому відкладеному трафіку.

Чи Gemini завжди у 2.38× дорожчий?
Ні. Це співвідношення офіційних цін на вхідні токени. Кількість оплачуваних токенів, повторні спроби та витрати на ескалацію можуть змінити співвідношення операційних витрат.

Jev 1.14 працює лише з текстом?
Ні. Нативно підтримуються зображення PNG/JPEG, але зображення та Box — експериментальні можливості. Це не підтверджує, що AIHubMix пропускає зображення.

Чи підтверджено рівноцінність можливостей в AIHubMix?
Ні. Автентифікований запит не виконувався. Не слід припускати еквівалентність нативної обробки медіаданих, контексту, місткості для запитань і семантики відповідей лише на підставі документації.

Читайте далі: серія про Gemini Decision 1

• Приклад запиту з документації та загальний огляд моделі наведено в статті Gemini Decision 1: ціни — $0.10/M вхідних токенів, API та сценарії використання.

Джерела

Знімки офіційних тарифів: Google, November 12, 2026, 06:43 UTC; TypeSafe, November 12, 2026, 06:53 UTC. Приклади витрат — це оцінки на основі документації, а не вимірювання інференсу.

1. Google: запуск Gemini Decisions API та діаграма бенчмарків.
2. Google: документація Decisions API і офіційні ціни.
3. TypeSafe: документація моделі, випуск Jev 1.14, обмеження роботи із зображеннями і схема нативного API.
4. AIHubMix: Gemini Decision 1 (інструкції) і Jev 1.14 (інструкції).
5. AIHubMix: порівняння Gemini Decision 1 і Jev 1.14.