Gemini Decision 1 и Jev 1.14: что выбрать?

Сравнение Gemini Decision 1 и Jev 1.14 для маршрутизации: калибровка, оценки использования инструментов, официальные цены, ограничения контекста и сценарии применения каждой модели.

AIHubMix5 мин чтения
Gemini Decision 1 и Jev 1.14: что выбрать?

Выбирайте Gemini Decision 1, если тестирование на отложенной выборке покажет, что его политика маршрутизации предотвращает достаточно дорогостоящих ошибок или эскалаций, чтобы оправдать более высокую цену входных токенов. Для текстового маршрутизатора, чувствительного к цене входных токенов, стоит в первую очередь оценить Jev 1.14. Универсального победителя нет.

Здесь нужно решить, куда направить запрос, разрешить ли вызов инструмента или передать запрос на эскалацию. Обе модели поддерживают ограниченные решения «да/нет» (noul), выбор и оценку по рубрике. Jev — релевантный конкурент, поскольку Google напрямую сравнивает именно эту версию, а не потому, что какая-либо из моделей лидирует в общем рейтинге чат-ботов.

Диаграмма Google показывает неоднозначный результат

Эти данные взяты из оценки при запуске Google. Это результаты самооценки, а не независимая проверка или измерения AIHubMix.

Показатель Gemini Decision 1 Jev 1.14
Точность на JevBench 92.2% 90.0%
Точность на When2Call 79.9% 82.0%
Top-1 ECE 0.0250 0.0494
Затраты на оценку USD 0.88 USD 0.68

В JevBench используется публичное разбиение. ECE и затраты охватывают семь общих оценок; чем ниже ECE, тем лучше. Google считает ошибочными отказы, блокировки по соображениям безопасности и запросы, которые модель не смогла принять; знаменателем служит весь бенчмарк.

Gemini показывает лучшие результаты на JevBench и по общей калибровке; Jev — по точности на When2Call. Ожидаемая ошибка калибровки показывает, насколько уверенность соответствует фактической точности, а не долю ошибочных классификаций. Более низкое общее значение ECE не доказывает, что для вашего маршрутизатора инструментов можно задать калиброванный порог.

На диаграмме нет точности и полноты для конкретных маршрутов, частоты ложных вызовов инструментов или охвата автоматизацией при фиксированном допустимом уровне ошибок. Для внедрения эти недостающие показатели важнее, чем объявление победителя по одной строке таблицы.

Сравнивайте политики маршрутизации, а не одинаковые значения уверенности

Документация Google по уверенности определяет уверенность как наибольшую вероятность исхода. Для вопросов с ответом «да/нет» это большая из вероятностей «да» и «нет», а не отдельная независимая проверка.

В ответах Jev noul вероятность приводится без отдельного поля уверенности. Совпадение названий полей в ответах с выбором или оценкой не доказывает идентичность калибровки. Поэтому копирование порога между моделями, маршрутами или версиями — это изменение политики, которое ещё не прошло проверку.

Используйте размеченный трафик для разработки, чтобы выбрать порог отдельно для каждой модели. Затем сравните результаты на отдельной отложенной выборке, зафиксировав определения маршрутов и стоимость ложного действия. Учитывайте как неверные автоматические действия, так и корректные запросы, без необходимости отправленные на эскалацию; укажите, какой объём трафика каждая политика может автоматизировать при одинаковом допустимом уровне ошибок.

Если для соблюдения этого ограничения одной модели требуется чаще передавать запросы на проверку человеку, включите эти расходы в расчёт. Для действий с серьёзными последствиями используйте безопасный отказ или ручной резервный сценарий. Проверки авторизации должны выполняться вне модели.

Официальная цена — лишь отправная точка

Ниже приведены официальные розничные цены прямого API со страницы цен Google и из документации моделей TypeSafe, а не цены канала AIHubMix.

Модель Входные токены / 1M Выходные токены
Gemini Decision 1 USD 0.10 0 tokens
Jev 1.14 USD 0.042 Бесплатно

Gemini генерирует ноль выходных токенов. Бесплатные выходные токены Jev не означают, что учтённое потребление выходных токенов должно быть нулевым. Входные токены Gemini стоят примерно в 2.38× дороже, чем у Jev, но это не обязательно означает, что каждый запрос обходится настолько дороже.

Предположим: 1,000,000 решений, один запрос на решение и 2,000 учитываемых входных токенов на запрос, включая вопросы; для обоих провайдеров это независимое допущение. Итого 2 миллиарда учитываемых входных токенов: USD 200 для Gemini против USD 84 для Jev, разница составляет USD 116 по официальным тарифам.

Эта оценка не выравнивает токенизацию и форматирование, а также не учитывает повторные запросы, эскалацию или точность. Это не счёт от шлюза; чтобы узнать фактические расходы, проверьте цены выбранного канала.

У затрат Google на оценку другое соотношение: USD 0.88 / USD 0.68 — примерно 1.29×. Разные рабочие нагрузки и количество учитываемых токенов могут давать иное соотношение, не противореча прейскурантным ценам.

Встроенные возможности могут повлиять на выбор

Google документирует поддержку входных данных в виде текста, изображений, аудио, видео и PDF, а также 262,144 токенов общего контекста, разделяемых между входными данными и вопросами. Ограничение в 1–1,000 вопросов не даёт преимущества перед Jev по вместимости: TypeSafe не указывает отдельного предела количества вопросов, но действуют ограничения контекста.

Jev поддерживает не только текст. Он принимает текст и изображения PNG/JPEG, но в примечаниях к выпуску Jev 1.14 изображения, Box и расширенный контекст обозначены как экспериментальные возможности. Поддержка изображений и Box отключена по умолчанию; для неё требуется заголовок opt-in от поставщика. Работа этого заголовка через шлюз здесь не проверялась. По умолчанию установлены ограничения в 64k токенов на общее состояние вместе со всеми вопросами и 32k на общее состояние вместе с любым отдельным вопросом. Экспериментальный заголовок поставщика повышает оба лимита до 262k, но обработка становится медленнее и менее точной.

Это встроенные возможности API поставщиков, а не подтверждённые гарантии шлюза. В частности, не планируйте рабочие процессы AIHubMix с медиафайлами или длинным контекстом, полагаясь только на эти спецификации. Встроенный API Google также не поддерживает кэширование и пакетную обработку и не принимает блоки входных данных для вызова инструментов; определение того, нужно ли запускать инструмент, — не то же самое, что приём его протокольных блоков.

Выбирайте задокументированные ID и фиксируйте версию в ответе

Страница сравнения AIHubMix — отправная точка для выбора этих двух продуктов. В открытой документации для обоих указаны POST /v1/systemone, один и тот же ключ AIHubMix и формат запроса с полями state и questions.

В документации AIHubMix указаны ID продуктов gemini-decision-1 и jev-1.14; сами по себе эти названия не гарантируют неизменность сборок у исходного поставщика. Встроенный версионированный ID Jev — jev-1.14.0. Фиксируйте модель и версию, возвращённые фактическим каналом, и не предполагайте, что изменяемый псевдоним везде указывает на одну и ту же версию.

Для этого сравнения аутентифицированный запрос не выполнялся. Документация общего текстового запроса — лишь отправная точка для оценки, а не доказательство эквивалентности ответов. Не подтверждено, что через AIHubMix доступны встроенные медиаформаты, полные лимиты контекста и поддержка Gemini до 1,000 вопросов.

Перед выбором:

  • Установите допустимую частоту ложных действий и политику резервного сценария.
  • Сравните охват автоматизацией на отложенной выборке и общую стоимость эксплуатации.
  • Проверьте наличие необходимых возможностей в точно выбранном канале.

Оставьте Jev, если он удовлетворяет этим требованиям при меньшей общей стоимости; выбирайте Gemini, если подтверждённая польза оправдывает более высокую цену. Повторяйте оценку при изменении модели, версии или трафика.

Часто задаваемые вопросы

Какая модель лучше подходит для маршрутизации вызовов инструментов?
Универсального рейтинга нет. Результат Google на When2Call лучше у Jev, а по общей калибровке — у Gemini. Проверьте фактическую политику маршрутизации.

Означает ли более низкое ECE, что ошибочных решений будет меньше?
Нет. Калибровка и точность — разные показатели. Более низкое общее значение ECE не доказывает ни низкую частоту ошибок на конкретных маршрутах, ни безопасность порогов.

Можно ли использовать один и тот же порог уверенности?
Только после проверки. Выбирайте пороги для каждой модели и маршрута на данных для разработки, а затем оценивайте их на отдельном отложенном трафике.

Всегда ли Gemini обходится в 2.38× дороже?
Нет. Это соотношение официальных цен входных токенов. Количество учитываемых токенов, повторные запросы и расходы на эскалацию могут изменить соотношение эксплуатационных затрат.

Jev 1.14 поддерживает только текст?
Нет. Встроенная поддержка изображений PNG/JPEG есть, но изображения и Box — экспериментальные функции. Это не подтверждает передачу изображений через AIHubMix.

Подтверждена ли эквивалентность возможностей в AIHubMix?
Аутентифицированный запрос не выполнялся. Нельзя считать встроенную поддержку медиа, контекста, количества вопросов и семантики ответов эквивалентной только на основании документации.

Читайте дальше: серия статей о Gemini Decision 1

Источники

Снимки официальных страниц с ценами: Google, November 12, 2026, 06:43 UTC; TypeSafe, November 12, 2026, 06:53 UTC. Примеры расчёта затрат основаны на документации и не являются измерениями инференса.

  1. Google: запуск Gemini Decisions API и диаграмма бенчмарка.
  2. Google: документация Decisions API и официальные цены.
  3. TypeSafe: документация моделей, выпуск Jev 1.14, ограничения для изображений и схема встроенного API.
  4. AIHubMix: Gemini Decision 1 (инструкции) и Jev 1.14 (инструкции).
  5. AIHubMix: сравнение Gemini Decision 1 и Jev 1.14.

Один шлюз ко многим провайдерам ИИ. Создан для продакшена.

Перейти на AIHubMix