Jev пояснено: як додати швидкі, типізовані рішення до AI-агента

Jev найкраще розуміти як шар прийняття рішень для програмного забезпечення. Він читає текст або структурований стан і повертає попередньо визначені класифікації, бали та ймовірності "так" або "ні". Він не пише відповідь для користувача. Цей звужений інтерфейс робить його актуальним для маршрутизації з високим обсягом, триажу, верифікації та контрольних етапів всередині AI-агентів.

Практична схема проста: нехай Jev приймає часті, оборотні рішення; нехай бізнес-код забезпечує політику; ескалюйте невизначені або важливі випадки до здатного LLM або людини.

Якщо Jev новий для вас, найкоротше пояснення таке: Jev — це нова модель прийняття рішень AI від TypeSafe AI, яка поводиться більше як семантична if інструкція, ніж чат-бот. Ви надаєте контекст і фіксований набір запитань; він повертає типізовані вибори, бали та ймовірності, які код програми може використовувати негайно.

Що таке Jev?

TypeSafe AI називає Jev своєю першою моделлю Системи Один, запозичуючи "швидку" сторону від відмінності Система 1/Система 2. Запит постачає стан програми та типізовані запитання. Jev оцінює запитання паралельно і повертає ймовірності та значення впевненості, які програмне забезпечення може споживати безпосередньо.

Доступні типи запитань:

1. Noul для ймовірності того, що твердження "так" або "ні" є істинним.
2. Choice для вибору серед попередньо визначених опцій, з розподілом ймовірності та впевненістю.
3. Score для оцінки впорядкованих рівнів, з балом, підлеглим розподілом та впевненістю.

На відміну від авторегресивного LLM, Jev не генерує довільні рядки. TypeSafe стверджує, що це гарантує відповідність схемам: відповідь не може вигадати поле або повернути неправильний тип даних. Він все ще може вибрати неправильну дійсну відповідь, тому безпека типів не повинна подаватися як семантична безпомилковість.

Де Jev вписується в архітектуру агента?

Використовуйте Jev між змінами стану, коли системі потрібне обмежене судження:

Результат користувача або інструмента
    -> Jev: класифікувати, оцінити, маршрутизувати або перевірити ризик
        -> політика програми
            -> виконати дію з низьким ризиком
            -> викликати LLM для міркування або мови
            -> запитати людську перевірку

Це доповнює LLM. LLM обробляє відкриті міркування, пояснення та згенерований контент. Jev обробляє повторювані запитання, можливі відповіді на які відомі заздалегідь.

Виберіть правильний шар для кожної роботи

Jev найпростіше зрозуміти як один компонент у більшій автоматизаційній стеку:

Ця поділ є ідеєю продукту за Jev: модель не вирішує все і не повинна говорити все. Вона перетворює нечіткий семантичний контекст на типізований ймовірнісний сигнал, тоді як навколишня система залишається відповідальною за політику та дії.

Крок 1: виберіть правильний перший робочий процес

Почніть з існуючого, високого обсягу рішення, яке вже використовує LLM плюс структурований вихід. Хорошими кандидатами є маршрутизація запитів підтримки, перевірки якості контенту, огляд слідів агентів, триаж документів і вибір моделі.

Уникайте починати з рішення, яке є незворотним, юридично чутливим або настільки цінним, що максимальна точність важливіша за затримку та вартість. Також уникайте завдань, які вимагають виходу природною мовою або аудиторного пояснення: Jev повертає рішення та ймовірності, а не наратив міркування.

Крок 2: визначте стан і запитання

Нехай стан містить докази, необхідні для рішення, але зберігайте політику в коді програми. Розділіть широкий запит на незалежні запитання, коли це можливо.

Для робочого процесу підтримки один запит може запитувати:

• Яка черга повинна отримати квиток?
• Наскільки серйозна проблема?
• Чи вказує повідомлення на зловживання?
• Чи потрібна людська перевірка?

Додайте unknown або none_of_the_above коли ваш список опцій може не охоплювати всі реальні випадки. Без шляху втечі закритий класифікатор повинен вибрати дійсну, але потенційно оманливу мітку.

Крок 3: викликайте Jev через LangChain

Встановіть інтеграцію та надайте API-ключ через ваше середовище або менеджер секретів:

pip install langchain-typesafe
export TYPESAFE_API_KEY="your-api-key"

Потім створіть типізоване запитання:

from langchain_typesafe import Noul, TypeSafeClassifier

classifier = TypeSafeClassifier()

response = classifier.invoke(
    state=(
        "Розгортання зазнало невдачі двічі, і клієнти бачать 500. "
        "Чи може хтось подивитися зараз?"
    ),
    questions={
        "urgent": Noul(
            instructions="Чи потребує це уваги прямо зараз?"
        ),
    },
)

urgency = response.nouls["urgent"].noul

Результат — це ймовірність, яку ваша політика може порівняти з порогом. Це не інструкція для виконання сама по собі.

Крок 4: створіть політику ескалації

Використовуйте кілька діапазонів замість одного універсального порогу:

висока впевненість + низькі наслідки -> автоматична дія
середня впевненість                -> верифікація LLM
низька впевненість                   -> людська перевірка
високі наслідки при будь-якому балі    -> більш суворий контроль або затвердження

Встановіть пороги для кожної дії. Автоматичне призначення мітки квитка та автоматичне затвердження платежу ніколи не повинні ділити одну й ту ж політику ризику лише тому, що обидва використовують ймовірності.

Крок 5: використовуйте маршрутизацію та контрольні механізми обережно

Експериментальний ModelRouterMiddleware LangChain може використовувати Jev для відправлення простих завдань до швидкої моделі та складних або високих ставок до більш здатної моделі. Це може зменшити використання повної моделі без примусу кожного запиту через найдешевший варіант.

Його експериментальний AutoModeMiddleware застосовує Jev для перевірок ризику викликів інструментів і може заблокувати запропонований виклик перед виконанням. Зберігайте детерміновані контролі навколо чутливих інструментів: списки дозволених, пісочниці, обмежені облікові дані, обмеження швидкості та людське затвердження залишаються необхідними, оскільки класифікатор може генерувати хибно-негативні результати.

Крок 6: оцініть на своїх даних

TypeSafe повідомляє про затримку від 70 до 500 мс від початку до кінця, $0.042 за мільйон вхідних токенів та необмежений вихід. У своїх чотирьох оцінках робочих процесів він повідомляє, що Jev в середньому має 67.8% узгодженості з референтними ймовірностями приблизно за $0.0004 та 0.4 секунди на зразок. Той же пристрій повідомляє 67.9% для GPT-5.6 Terra за $0.0304 та 10.1 секунди, і 74.1% для GPT-5.6 Sol за $0.0836 та 23.3 секунди.

Це результати, опубліковані постачальником, а не універсальний прогноз. Референс — це середнє передбачення GPT-6 Astra та Fable 5.1, а не істина, позначена людиною. TypeSafe зазначає можливу упередженість автора робочого процесу і стверджує, що найбільші заголовні вигоди в швидкості та вартості, ймовірно, будуть на високому кінці реальних покращень.

Перед виробництвом порівняйте Jev з вашим поточним LLM, простими правилами та доменно-специфічною моделлю, де це можливо. Виміряйте:

• Точність, точність та відгук за класом.
• Калібрування та рівень впевненості в помилках.
• Рівень утримання та ескалації.
• Затримка p50, p95 та p99 з вашого регіону розгортання.
• Загальна вартість всього каскаду, включаючи резервні варіанти.
• Продуктивність під час зміни розподілу та ворожих входів.

Крок 7: додайте оперативні запобіжники

Готовність до виробництва вимагає більше, ніж якість моделі:

• Логуйте версію стану, схему запитань, ймовірність, впевненість, вибрану гілку та пізні результати.
• Версію запитів або інструкцій до запитань та порогів рішень.
• Додайте тайм-аути, обмежені повтори, автоматичні вимикачі та детермінований резервний варіант.
• Оглядайте помилки з високою впевненістю окремо; вони є найбільш небезпечними автоматизованими збоями.
• Моніторте зміщення та перекалібруйте пороги, оскільки змінюється популяція входів.
• Тримайте незворотні або регульовані дії за сильнішими технічними та людськими контролями.

Публічний матеріал наразі не розкриває кількість параметрів Jev, детальну архітектуру, дизайн винагород RLCD, стандартні криві калібрування, SLA виробництва або затримку служби p95/p99. Ці прогалини повинні стати питаннями оцінки, а не припущеннями.

Коли не слід використовувати Jev?

Не використовуйте Jev як основну модель, коли вам потрібні розмови, узагальнення, генерація коду, детальні пояснення або міркування на тривалий термін. Це також поганий єдиний приймач рішень для процесів з високими ставками, які вимагають аудиторного обґрунтування. У фіксованій області звичайний малий класифікатор або спеціалізований повторник можуть бути більш точними, дешевшими у володінні або легшими для валідації.

Часті запитання

Чи є Jev LLM?

Не в звичайному сенсі моделі чату. Він споживає текстовий або структурований стан, але повертає попередньо визначені типи рішень, а не згенеровану прозу.

Чи означає "без галюцинацій", що Jev не може помилятися?

Ні. Форма виходу може бути гарантована, тоді як вибрана відповідь є семантично неправильною. Інтерпретуйте цю заяву як захист від помилок у схемах і типах.

Чи замінює Jev модель, яка живить агента?

Зазвичай ні. Він краще позиціонується як доповнення: Jev для швидких структурованих рішень, LLM для міркування та мови, а код або люди для забезпечення політики.

Що таке RLCD?

TypeSafe розширює це як навчання з підкріпленням для каліброваних рішень, призначене для узгодження звітної ймовірності з спостережуваною правильністю. Публічні джерела ще не надають достатньо деталей навчання або стандартних доказів калібрування для незалежного технічного аудиту.

Що мені слід спочатку прототипувати?

Виберіть одну класифікацію з високим обсягом, оборотну, яка вже працює через LLM. Запустіть Jev у тіньовому режимі, порівняйте рішення з позначеними результатами та впроваджуйте автоматизацію лише після перевірки порогів і резервних варіантів.

Почніть з одного вимірювального рішення

Найсильніша пропозиція Jev не "замінити кожен LLM". Це "перестати платити генеративній моделі за прийняття рішень, які вже мають відомий вигляд". Виберіть одну гілку у вашому агентському хардварі, визначте прийнятну помилку та політику ескалації, і протестуйте її на своєму трафіку.

Використовуйте TypeSafe AI вступ до моделей Системи Один та Jev для оригінальних заяв та застережень моделі, а також посібник LangChain з побудови хардвару з Jev для інтеграції Python та шаблонів проміжного програмного забезпечення.

Почніть використовувати Jev з AIHubMix

AIHubMix додав підтримку для Jev, надаючи розробникам одне місце для доступу до нової моделі прийняття рішень поряд з іншими провідними AI моделями.

Відвідайте AIHubMix щоб спробувати Jev і перетворити одну відому гілку у вашому робочому процесі на вимірювальний експеримент. Почніть з оборотної класифікації або завдання оцінки, визначте свій поріг успіху та залиште LLM або людський резервний варіант на місці, поки ви оцінюєте результати.