Jev Explained: Как добавить быстрые, типизированные решения в AI-агента

Jev лучше всего понимать как уровень принятия решений для программного обеспечения. Он читает текст или структурированное состояние и возвращает предопределенные классификации, оценки и вероятности "да" или "нет". Он не формулирует ответ для пользователя. Этот более узкий интерфейс делает его актуальным для маршрутизации с высоким объемом, триажа, верификации и контрольных этапов внутри AI-агентов.

Практическая схема проста: пусть Jev принимает частые, обратимые решения; пусть бизнес-код обеспечивает соблюдение политики; эскалируйте неопределенные или значимые случаи к способному LLM или человеку.

Если Jev нов для вас, кратчайшее объяснение таково: Jev — это недавно выпущенная модель принятия решений AI от TypeSafe AI, которая ведет себя больше как семантическое if выражение, чем как чат-бот. Вы предоставляете контекст и фиксированный набор вопросов; он возвращает типизированные выборы, оценки и вероятности, которые код приложения может использовать немедленно.

Что такое Jev?

TypeSafe AI называет Jev своей первой моделью Системы Один, заимствуя "быструю" сторону различия Системы 1/Системы 2. Запрос предоставляет состояние программы и типизированные вопросы. Jev оценивает вопросы параллельно и возвращает вероятности и значения уверенности, которые программное обеспечение может использовать напрямую.

Доступные типы вопросов:

1. Noul для вероятности того, что утверждение "да" или "нет" истинно.
2. Choice для выбора среди предопределенных опций с распределением вероятностей и уверенностью.
3. Score для оценки упорядоченных уровней с оценкой, базовым распределением и уверенностью.

В отличие от автогрессивного LLM, Jev не генерирует произвольные строки. TypeSafe утверждает, что это гарантирует соответствие схемам: ответ не может изобрести поле или вернуть неправильный тип данных. Он все еще может выбрать неправильный допустимый ответ, поэтому безопасность типов не должна представляться как семантическая непогрешимость.

Где Jev вписывается в архитектуру агента?

Используйте Jev между изменениями состояния, когда системе нужно ограниченное суждение:

Результат пользователя или инструмента
    -> Jev: классифицировать, оценить, маршрутизировать или проверить риск
        -> политика приложения
            -> выполнить действие с низким риском
            -> вызвать LLM для рассуждений или языка
            -> запросить человеческий обзор

Это дополняет LLM. LLM обрабатывает открытые рассуждения, объяснения и сгенерированный контент. Jev обрабатывает повторяющиеся вопросы, ответы на которые известны заранее.

Выберите правильный уровень для каждой задачи

Jev легче всего понять как один компонент в более крупном стеке автоматизации:

Это разделение является основной идеей продукта Jev: модель не принимает все решения и не должна говорить все. Она превращает нечеткий семантический контекст в типизированный вероятностный сигнал, в то время как окружающая система остается ответственной за политику и действия.

Шаг 1: выберите правильный первый рабочий процесс

Начните с существующего, высокообъемного решения, которое уже использует LLM и структурированный вывод. Хорошими кандидатами являются маршрутизация заявок в службу поддержки, проверки качества контента, обзор трассировки агентов, триаж документов и выбор модели.

Избегайте начала с решения, которое является необратимым, юридически чувствительным или достаточно ценным, чтобы максимальная точность имела большее значение, чем задержка и стоимость. Также избегайте задач, которые требуют вывода на естественном языке или подлежащего аудиту объяснения: Jev возвращает решения и вероятности, а не повествовательные рассуждения.

Шаг 2: определите состояние и вопросы

Сделайте так, чтобы состояние содержало доказательства, необходимые для принятия решения, но оставьте политику в коде приложения. Разделите широкий запрос на независимые вопросы, когда это возможно.

Для рабочего процесса поддержки один запрос может задавать:

• Какую очередь должен получить билет?
• Насколько серьезна проблема?
• Указывает ли сообщение на злоупотребление?
• Требуется ли человеческий обзор?

Добавьте unknown или none_of_the_above в случае, если ваш список опций может не охватывать каждый реальный случай. Без пути выхода закрытый классификатор должен выбрать допустимую, но потенциально вводящую в заблуждение метку.

Шаг 3: вызовите Jev через LangChain

Установите интеграцию и предоставьте API-ключ через вашу среду или менеджер секретов:

pip install langchain-typesafe
export TYPESAFE_API_KEY="ваш-ключ-api"

Затем создайте типизированный вопрос:

from langchain_typesafe import Noul, TypeSafeClassifier

classifier = TypeSafeClassifier()

response = classifier.invoke(
    state=(
        "Развертывание не удалось дважды, и клиенты видят 500s. "
        "Может кто-то посмотреть сейчас?"
    ),
    questions={
        "urgent": Noul(
            instructions="Нужна ли этому внимание прямо сейчас?"
        ),
    },
)

urgency = response.nouls["urgent"].noul

Результат — это вероятность, которую ваша политика может сравнить с порогом. Это не инструкция к выполнению само по себе.

Шаг 4: создайте политику эскалации

Используйте несколько диапазонов вместо одного универсального порога:

высокая уверенность + низкие последствия -> автоматическое действие
средняя уверенность                -> верификация LLM
низкая уверенность                   -> человеческий обзор
высокие последствия при любом счете    -> более строгий контроль или одобрение

Установите пороги для каждого действия. Автоматическое присвоение метки билету и автоматическое одобрение платежа никогда не должны делить одну и ту же политику риска только потому, что оба используют вероятности.

Шаг 5: используйте маршрутизацию и контрольные меры осторожно

Экспериментальный ModelRouterMiddleware LangChain может использовать Jev для отправки простой работы быстрому модели и сложной или рискованной работы более способной модели. Это может снизить использование полной модели, не заставляя каждый запрос проходить через самый дешевый вариант.

Его экспериментальный AutoModeMiddleware применяет Jev для проверки рисков вызова инструментов и может заблокировать предложенный вызов до выполнения. Сохраняйте детерминированные контроли вокруг чувствительных инструментов: списки разрешений, песочницы, ограниченные учетные данные, лимиты скорости и человеческое одобрение остаются необходимыми, поскольку классификатор может производить ложные отрицательные результаты.

Шаг 6: оцените на своих данных

TypeSafe сообщает о задержке от 70 до 500 мс от конца до конца, $0.042 за миллион входных токенов и неограниченный вывод. В своих четырех оценках рабочего процесса он сообщает, что Jev в среднем имеет 67.8% согласия с эталонными вероятностями при примерно $0.0004 и 0.4 секунды на образец. Тот же инструмент сообщает 67.9% для GPT-5.6 Terra при $0.0304 и 10.1 секунды, и 74.1% для GPT-5.6 Sol при $0.0836 и 23.3 секунды.

Это результаты, опубликованные поставщиком, а не универсальный прогноз. Эталоном является среднее предсказание GPT-6 Astra и Fable 5.1, а не истинность, помеченная человеком. TypeSafe отмечает возможную предвзятость авторов рабочего процесса и утверждает, что наибольшие заголовочные скорости и экономия затрат, вероятно, будут на высоком уровне реальных улучшений.

Перед производством сравните Jev с вашим текущим LLM, простыми правилами и специализированной моделью, где это возможно. Измерьте:

• Точность, полноту и отзывчивость по классам.
• Калибровка и уровень уверенности в ошибках.
• Уровень воздержания и эскалации.
• p50, p95 и p99 задержка из вашего региона развертывания.
• Общая стоимость всего каскада, включая резервные варианты.
• Производительность при изменении распределения и противодействующих вводах.

Шаг 7: добавьте операционные меры безопасности

Готовность к производству требует большего, чем качество модели:

• Записывайте версию состояния, схему вопросов, вероятность, уверенность, выбранную ветвь и последующий результат.
• Версионируйте подсказки или инструкции к вопросам и пороги решений.
• Добавьте тайм-ауты, ограниченные повторные попытки, автоматические выключатели и детерминированный резервный вариант.
• Отдельно просматривайте ошибки с высокой уверенностью; они являются наиболее опасными сбоями автоматизации.
• Следите за изменениями и перекалибровывайте пороги по мере изменения входной популяции.
• Держите необратимые или регулируемые действия под более строгим техническим и человеческим контролем.

Публичные материалы в настоящее время не раскрывают количество параметров Jev, подробную архитектуру, проект вознаграждения RLCD, стандартные кривые калибровки, SLA производства или задержку обслуживания p95/p99. Эти пробелы должны стать вопросами для оценки, а не предположениями.

Когда не следует использовать Jev?

Не используйте Jev в качестве основной модели, когда вам нужны разговор, резюме, генерация кода, подробные объяснения или долгосрочные рассуждения. Он также является плохим единственным принимающим решением для процессов с высоким риском, которые требуют подлежащего аудиту обоснования. В фиксированной области обычный небольшой классификатор или специализированный переоценщик могут быть более точными, дешевле в обслуживании или легче валидации.

Часто задаваемые вопросы

Является ли Jev LLM?

Нет, в обычном смысле модели чата. Он использует текстовое или структурированное состояние, но возвращает предопределенные типы решений, а не сгенерированную прозу.

Означает ли "без галлюцинаций", что Jev не может быть ошибочным?

Нет. Форма вывода может быть гарантирована, в то время как выбранный ответ семантически неверен. Интерпретируйте это утверждение как защиту от ошибок схемы и типа.

Заменяет ли Jev модель, которая управляет агентом?

Обычно нет. Он лучше всего подходит как дополнение: Jev для быстрых структурированных решений, LLM для рассуждений и языка, а код или люди для обеспечения соблюдения политики.

Что такое RLCD?

TypeSafe расшифровывает это как Обучение с подкреплением для Калиброванных Решений, предназначенное для согласования сообщаемой вероятности с наблюдаемой правильностью. Публичные источники пока не предоставляют достаточно деталей о тренировках или стандартных доказательствах калибровки для независимого технического аудита.

Что мне следует сначала прототипировать?

Выберите одну высокообъемную, обратимую классификацию, которая уже работает через LLM. Запустите Jev в теневом режиме, сравните решения с помеченными результатами и вводите автоматизацию только после проверки порогов и резервных вариантов.

Начните с одного измеримого решения

Самое сильное предложение Jev — это не "заменить каждый LLM". Это "перестать платить генеративной модели за принятие решений, которые уже имеют известную форму". Выберите одну ветвь в вашем агентском хранилище, определите допустимую ошибку и политику эскалации, и протестируйте ее на своем собственном трафике.

Используйте TypeSafe AI для введения в модели Системы Один и Jev для оригинальных заявлений и предостережений, а также LangChain для руководства по созданию хранилища с Jev для интеграции Python и шаблонов промежуточного программного обеспечения.

Начните использовать Jev с AIHubMix

AIHubMix добавил поддержку Jev, предоставляя разработчикам одно место для доступа к новой модели принятия решений наряду с другими ведущими AI моделями.

Посетите AIHubMix чтобы попробовать Jev и превратить одну известную ветвь в вашем рабочем процессе в измеримый эксперимент. Начните с обратимой классификации или задачи оценки, определите свой порог успеха и оставьте резервный вариант LLM или человека на месте, пока вы оцениваете результаты.