Jev простыми словами: как добавить быстрые типизированные решения в AI-агента

Jev лучше всего понимать как слой принятия решений для программного обеспечения. Он читает текст или структурированное состояние и возвращает заранее определённые классификации, оценки и вероятности «да или нет». Он не пишет ответ для пользователя. Такой более узкий интерфейс делает его полезным для высоконагруженной маршрутизации, сортировки, верификации и защитных проверок (guardrail) внутри AI-агентов.

Практический принцип простой: пусть Jev выполняет частые обратимые оценки, пусть бизнес-код применяет правила политики, а неопределённые или важные случаи передаются мощной LLM или человеку.

Если вы впервые слышите о Jev, короткое объяснение такое: Jev — это недавно выпущенная модель принятия решений от TypeSafe AI, которая работает скорее как семантический if , чем как чат-бот. Вы передаёте контекст и фиксированный набор вопросов, а модель возвращает типизированные варианты, оценки и вероятности, которые код приложения может сразу использовать.

Что такое Jev?

TypeSafe AI называет Jev своей первой моделью System One, заимствуя «быструю» сторону различия System 1 и System 2. Запрос содержит состояние программы и типизированные вопросы. Jev параллельно обрабатывает вопросы и возвращает вероятности и значения уверенности, которые программа может напрямую использовать.

Доступны следующие типы вопросов:

Noul — вероятность того, что утверждение «да или нет» истинно.
Choice — выбор одного из заранее заданных вариантов с распределением вероятностей и уверенностью.
Score — оценка по упорядоченным уровням с баллом, распределением и уверенностью.

В отличие от авторегрессионной LLM, Jev не генерирует произвольные строки. TypeSafe утверждает, что это гарантирует соответствие схеме: ответ не может выдумать поле или вернуть данные неверного типа. Однако модель всё равно может выбрать неверный допустимый ответ, поэтому типобезопасность нельзя подавать как семантическую непогрешимость.

Где Jev находится в архитектуре агента?

Используйте Jev между изменениями состояния, когда системе нужно ограниченное суждение:

User or tool result
    -> Jev: classify, score, route, or check risk
        -> application policy
            -> execute a low-risk action
            -> call an LLM for reasoning or language
            -> request human review

Это дополняет LLM. LLM отвечает за открытые рассуждения, объяснения и генерацию контента. Jev отвечает за повторяющиеся вопросы, у которых заранее известны возможные ответы.

Выбирайте подходящий слой для каждой задачи

Jev легче всего понять как один компонент в более широком стеке автоматизации:

Слой	Лучше всего подходит для
Jev	Повторяющейся классификации, оценки, маршрутизации и проверки рисков
LLM	Сложных рассуждений, объяснений и генерации текста
Код приложения	Детерминированных правил, разрешений и выполнения действий
Human reviewer (проверяющий человек)	Высокорисковых, неоднозначных или исключительных случаев

Такое разделение лежит в основе идеи Jev: модель не решает всё и не обязана говорить всё. Она превращает размытый семантический контекст в типизированный вероятностный сигнал, а за политику и действия по-прежнему отвечает окружающая система.

Шаг 1: выберите подходящий первый рабочий процесс

Начните с существующего высоконагруженного решения, которое уже использует LLM и структурированный вывод. Хорошие кандидаты: маршрутизация обращений в поддержку, проверка качества контента, анализ трасс агента, сортировка документов и выбор модели.

Не начинайте с решения, которое необратимо, юридически чувствительно или настолько важно, что максимальная точность важнее задержки и стоимости. Также избегайте задач, требующих текстового вывода на естественном языке или проверяемого объяснения: Jev возвращает решения и вероятности, а не рассуждения в виде текста.

Шаг 2: определите состояние и вопросы

Пусть состояние содержит данные, необходимые для решения, но храните политику в коде приложения. По возможности разбивайте широкий запрос на независимые вопросы.

Для рабочего процесса поддержки один запрос может спрашивать:

В какую очередь должно попасть обращение?
Насколько серьёзна проблема?
Указывает ли сообщение на злоупотребление?
Требуется ли проверка человеком?

Добавляйте unknown или none_of_the_above, если ваш список вариантов может не покрывать все реальные случаи. Без такого варианта закрытый классификатор обязан выбрать допустимую, но потенциально вводящую в заблуждение метку.

Шаг 3: вызовите Jev через LangChain

Установите интеграцию и передайте API-ключ через переменные окружения или менеджер секретов:

pip install langchain-typesafe
export TYPESAFE_API_KEY="your-api-key"

Затем создайте типизированный вопрос:

from langchain_typesafe import Noul, TypeSafeClassifier

classifier = TypeSafeClassifier()

response = classifier.invoke(
    state=(
        "The deploy failed twice and customers are seeing 500s. "
        "Can someone look now?"
    ),
    questions={
        "urgent": Noul(
            instructions="Does this need attention right now?"
        ),
    },
)

urgency = response.nouls["urgent"].noul

Результат — это вероятность, которую ваша политика может сравнить с порогом. Сама по себе она не является командой к выполнению.

Шаг 4: постройте политику эскалации

Используйте несколько диапазонов вместо одного универсального порога:

high confidence + low consequence -> automatic action
medium confidence                -> LLM verification
low confidence                   -> human review
high consequence at any score    -> stronger control or approval

Задавайте пороги для каждого действия. Автоматическое назначение метки тикету и автоматическое одобрение платежа не должны подчиняться одной и той же политике рисков только потому, что оба используют вероятности.

Шаг 5: осторожно используйте маршрутизацию и защитные проверки

Экспериментальный ModelRouterMiddleware из LangChain может использовать Jev, чтобы отправлять простые задачи быстрой модели, а сложные или высокорисковые — более мощной. Это может сократить использование полноценной модели, не заставляя каждый запрос проходить через самый дешёвый вариант.

Экспериментальный AutoModeMiddleware применяет Jev для проверки рисков вызовов инструментов и может заблокировать предполагаемый вызов до выполнения. Вокруг чувствительных инструментов сохраняйте детерминированные средства контроля: списки разрешённых действий, песочницы, ограниченные учётные данные, лимиты частоты запросов и одобрение человеком. Они необходимы, потому что классификатор может давать ложноотрицательные результаты.

Шаг 6: проводите оценку на своих данных

TypeSafe сообщает о задержке от 70 до 500 мс от начала до конца, цене $0.042 за миллион входных токенов и неограниченном выводе. В четырёх оценках рабочих процессов компании Jev в среднем совпадал с эталонными вероятностями в 67.8% случаев при стоимости около $0.0004 и 0.4 секунды на образец. Тот же стенд показывает 67.9% для GPT-5.6 Terra при $0.0304 и 10.1 секунды, а также 74.1% для GPT-5.6 Sol при $0.0836 и 23.3 секунды.

Это результаты, опубликованные поставщиком, а не универсальный прогноз. Эталоном служит среднее предсказание GPT-6 Astra и Fable 5.1, а не разметка людьми. TypeSafe отмечает возможную предвзятость авторов рабочих процессов и говорит, что самые большие заявленные выигрыши в скорости и стоимости, вероятно, достигаются в верхней части реальных улучшений.

Перед выводом в продакшн сравните Jev с вашей текущей LLM, простыми правилами и, где это возможно, со специализированной моделью для предметной области. Измеряйте:

Точность, precision и recall по каждому классу.
Калибровку и долю уверенных ошибок.
Долю отказов от ответа и эскалаций.
Задержку p50, p95 и p99 из региона вашего развёртывания.
Сквозную стоимость всего каскада, включая резервные варианты.
Работу при сдвиге распределения данных и на состязательных входных данных.

Шаг 7: добавьте эксплуатационные меры защиты

Готовность к продакшну требует большего, чем качество модели:

Логируйте версию состояния, схему вопроса, вероятность, уверенность, выбранную ветку и последующий результат.
Версионируйте инструкции к запросам или вопросам, а также пороги решений.
Добавьте тайм-ауты, ограниченное число повторов, автоматические выключатели (circuit breakers) и детерминированный запасной вариант.
Разбирайте ошибки с высокой уверенностью отдельно: это самые опасные сбои автоматизации.
Отслеживайте дрейф и пересчитывайте пороги по мере изменения входной совокупности.
Необратимые или регулируемые действия оставляйте под более строгим техническим и человеческим контролем.

Публичные материалы пока не раскрывают количество параметров Jev, подробную архитектуру, схему вознаграждений RLCD, стандартные кривые калибровки, SLA для продакшна и задержки p95/p99 в сервисе. Эти пробелы стоит превратить в вопросы для оценки, а не в допущения.

Когда не стоит использовать Jev?

Не используйте Jev как основную модель, если нужны диалог, суммаризация, генерация кода, подробные объяснения или долгосрочные рассуждения. Он также плохо подходит в качестве единственного лица, принимающего решения, в высокорисковых процессах, которым нужно проверяемое обоснование. В узкой предметной области обычный небольшой классификатор или специализированный реранкер может быть точнее, дешевле в поддержке или проще для валидации.

Часто задаваемые вопросы

Является ли Jev LLM?

Не в привычном смысле чат-модели. Он обрабатывает текстовое или структурированное состояние, но возвращает заранее определённые типы решений, а не сгенерированный текст.

Означает ли «отсутствие галлюцинаций», что Jev не может ошибаться?

Нет. Форма вывода может быть гарантирована, даже если выбранный ответ семантически неверен. Это утверждение следует понимать как защиту от ошибок схемы и типов.

Заменяет ли Jev модель, на которой работает агент?

Обычно нет. Его лучше рассматривать как дополнение: Jev для быстрых структурированных решений, LLM для рассуждений и языка, а код или люди для соблюдения политики.

Что такое RLCD?

TypeSafe расшифровывает это как Reinforcement Learning for Calibrated Decisions (обучение с подкреплением для калиброванных решений), которое призвано согласовать заявленную вероятность с наблюдаемой правильностью. Публичных источников пока недостаточно, чтобы подробно оценить обучение и провести независимый технический аудит калибровки.

С чего стоит начать прототип?

Выберите одну высоконагруженную обратимую классификацию, которая уже выполняется через LLM. Запустите Jev в теневом режиме, сравните решения с размеченными результатами и внедряйте автоматизацию только после проверки порогов и резервных вариантов.

Начните с одного измеримого решения

Главный тезис Jev — не «заменить все LLM». Он в том, чтобы перестать платить генеративной модели за решения, которые уже имеют известную форму. Выберите одну ветку в вашем агентном конвейере, определите допустимую ошибку и политику эскалации и проверьте её на своём реальном трафике.

Для исходных утверждений о модели и оговорок используйте введение TypeSafe AI в модели System One и Jev, а для Python-интеграции и паттернов middleware — руководство LangChain по построению агентного конвейера с Jev.

Начните использовать Jev с AIHubMix

AIHubMix добавил поддержку Jev, предоставив разработчикам единую точку доступа к новой модели принятия решений наряду с другими ведущими AI-моделями.

Перейдите на AIHubMix, чтобы попробовать Jev и превратить одну известную ветку вашего процесса в измеримый эксперимент. Начните с обратимой задачи классификации или оценки, определите порог успеха и сохраняйте LLM или человека в качестве резервного варианта, пока оцениваете результаты.