Jev пояснено: як додати швидкі типізовані рішення до AI-агента

Jev найкраще розуміти як рівень рішень для програмного забезпечення. Він читає текст або структурований стан і повертає заздалегідь визначені класифікації, оцінки та ймовірності так/ні. Він не пише відповідь для користувача. Такий вужчий інтерфейс робить його придатним для маршрутизації, сортування, перевірки та захисних кроків з великим обсягом запитів усередині AI-агентів.

Практичний підхід простий: дозвольте Jev приймати часті й оборотні рішення; дозвольте бізнес-коду забезпечувати дотримання політики; передавайте невизначені або значущі випадки здатній LLM чи людині.

Якщо Jev для вас новий, найкоротше пояснення таке: Jev є новою моделлю AI-рішень від TypeSafe AI, яка поводиться більше як семантичний if оператор, ніж як чат-бот. Ви надаєте контекст і фіксований набір питань, а він повертає типізовані варіанти, оцінки та ймовірності, які код застосунку може одразу використати.

Що таке Jev?

TypeSafe AI називає Jev своєю першою моделлю System One, запозичуючи «швидку» сторону розрізнення System 1/System 2. Запит містить стан програми та типізовані питання. Jev оцінює питання паралельно і повертає ймовірності та значення впевненості, які програмне забезпечення може використовувати напряму.

Доступні такі типи питань:

1. Noul для ймовірності того, що твердження так/ні є істинним.
2. Choice для вибору з заздалегідь визначених варіантів із розподілом ймовірностей і впевненістю.
3. Score для оцінювання впорядкованих рівнів із оцінкою, базовим розподілом і впевненістю.

На відміну від авторегресійної LLM, Jev не генерує довільні рядки. TypeSafe стверджує, що це гарантує відповідність схемі: відповідь не може вигадати поле або повернути дані неправильного типу. Однак він усе ще може вибрати неправильну допустиму відповідь, тож безпеку типів не слід подавати як семантичну безпомилковість.

Де Jev вписується в архітектуру агента?

Використовуйте Jev між змінами стану, коли системі потрібне обмежене судження:

User or tool result
    -> Jev: classify, score, route, or check risk
        -> application policy
            -> execute a low-risk action
            -> call an LLM for reasoning or language
            -> request human review

Це доповнює LLM. LLM відповідає за відкриті міркування, пояснення та генерацію контенту. Jev обробляє повторювані питання, для яких можливі відповіді відомі заздалегідь.

Оберіть правильний рівень для кожного завдання

Jev найлегше зрозуміти як один компонент у ширшому стеку автоматизації:

Цей поділ і є ідеєю продукту Jev: модель не вирішує все і не повинна говорити все. Вона перетворює нечіткий семантичний контекст на типізований імовірнісний сигнал, тоді як решта системи відповідає за політику та дії.

Крок 1: оберіть правильний перший робочий процес

Почніть із наявного рішення з великим обсягом, яке вже використовує LLM разом зі структурованим виводом. Гарні кандидати: маршрутизація запитів підтримки, перевірки якості контенту, аналіз трасувань агентів, сортування документів і вибір моделі.

Уникайте початку з рішення, яке є незворотним, юридично чутливим або настільки цінним, що максимальна точність важливіша за затримку та вартість. Також уникайте завдань, які потребують вихідного тексту природною мовою або пояснення, придатного для аудиту: Jev повертає рішення та ймовірності, а не наратив міркувань.

Крок 2: визначте стан і питання

Зробіть так, щоб стан містив докази, потрібні для рішення, але тримайте політику в коді застосунку. Коли це можливо, розбивайте широкий запит на незалежні питання.

Для робочого процесу підтримки один запит може питати:

• Яка черга має отримати звернення?
• Наскільки серйозна проблема?
• Чи вказує повідомлення на зловживання?
• Чи потрібна перевірка людиною?

Додайте unknown або none_of_the_above, якщо ваш список варіантів може не охоплювати всіх реальних випадків. Без шляху для виходу закритий класифікатор мусить вибрати допустиму, але потенційно оманливу мітку.

Крок 3: викличте Jev через LangChain

Встановіть інтеграцію та передайте ключ API через змінні середовища або менеджер секретів:

pip install langchain-typesafe
export TYPESAFE_API_KEY="your-api-key"

Потім створіть типізоване питання:

from langchain_typesafe import Noul, TypeSafeClassifier

classifier = TypeSafeClassifier()

response = classifier.invoke(
    state=(
        "The deploy failed twice and customers are seeing 500s. "
        "Can someone look now?"
    ),
    questions={
        "urgent": Noul(
            instructions="Does this need attention right now?"
        ),
    },
)

urgency = response.nouls["urgent"].noul

Результатом є ймовірність, яку ваша політика може порівняти з порогом. Це не інструкція для самостійного виконання.

Крок 4: побудуйте політику ескалації

Використовуйте кілька діапазонів замість єдиного універсального порогу:

high confidence + low consequence -> automatic action
medium confidence                -> LLM verification
low confidence                   -> human review
high consequence at any score    -> stronger control or approval

Встановлюйте пороги для кожної дії. Автоматичне призначення мітки зверненню та автоматичне схвалення платежу ніколи не повинні мати однакову політику ризику лише тому, що обидва використовують ймовірності.

Крок 5: обережно використовуйте маршрутизацію та захисні обмеження

Експериментальний ModelRouterMiddleware у LangChain може використовувати Jev, щоб надсилати прості завдання до швидкої моделі, а складні або високоризикові до потужнішої. Це може зменшити використання повноцінної моделі без примусового спрямування кожного запиту до найдешевшого варіанта.

Його експериментальний AutoModeMiddleware застосовує Jev для перевірки ризиків викликів інструментів і може заблокувати запропонований виклик до виконання. Навколо чутливих інструментів зберігайте детерміновані засоби контролю: списки дозволених дій, ізоляцію в пісочниці, обмежені облікові дані, обмеження частоти та схвалення людиною. Вони залишаються необхідними, бо класифікатор може давати хибнонегативні результати.

Крок 6: оцініть на власних даних

TypeSafe повідомляє про затримку наскрізної обробки 70–500 мс, $0.042 за мільйон вхідних токенів і вихід без оплати за обсяг. У чотирьох своїх оцінках робочих процесів вона повідомляє, що Jev в середньому досягає 67.8% узгодженості з еталонними ймовірностями при близько $0.0004 і 0.4 секунди на зразок. Той самий стенд показує 67.9% для GPT-5.6 Terra при $0.0304 і 10.1 секунди, а також 74.1% для GPT-5.6 Sol при $0.0836 і 23.3 секунди.

Це результати, опубліковані постачальником, а не універсальний прогноз. Еталоном є середнє передбачення GPT-6 Astra та Fable 5.1, а не розмічена людиною істина. TypeSafe зазначає можливе упередження авторів сценаріїв і каже, що найбільші заявлені приrostи швидкості та зниження вартості, імовірно, знаходяться на верхній межі реальних покращень.

Перед продакшеном порівняйте Jev із вашою поточною LLM, простими правилами та, де це практично, моделлю для конкретної предметної області. Вимірюйте:

• Точність, precision і recall за класами.
• Калібрування та частоту впевнених помилок.
• Частоту відмов від відповіді та ескалацій.
• Затримку p50, p95 і p99 з регіону вашого розгортання.
• Наскрізну вартість усього каскаду, включно з резервними варіантами.
• Продуктивність при зсуві розподілу та змагальних вхідних даних.

Крок 7: додайте операційні запобіжники

Готовність до продакшену вимагає більшого, ніж якість моделі:

• Логуйте версію стану, схему питань, ймовірність, впевненість, обрану гілку та подальший результат.
• Версіонуйте промпти або інструкції до питань і пороги рішень.
• Додайте тайм-ауты, обмежені повторні спроби, автоматичні вимикачі (circuit breakers) і детермінований резервний варіант.
• Окремо переглядайте помилки з високою впевненістю; саме вони є найнебезпечнішими збоями автоматизації.
• Відстежуйте дрейф і перекалібровуйте пороги, коли змінюється популяція вхідних даних.
• Тримайте незворотні або регульовані дії за сильнішими технічними та людськими засобами контролю.

Публічні матеріали наразі не розкривають кількість параметрів Jev, детальну архітектуру, конструкцію винагород RLCD, стандартні криві калібрування, продакшн-SLA або затримку обслуговування p95/p99. Ці прогалини мають стати питаннями для оцінювання, а не припущеннями.

Коли не варто використовувати Jev?

Не використовуйте Jev як основну модель, коли потрібні розмова, узагальнення, генерація коду, детальні пояснення або довготривале міркування. Він також є поганим єдиним особою, що приймає рішення, для високоризикових процесів, які потребують аудиторського обґрунтування. У фіксованій предметній області звичайний малий класифікатор або спеціалізований reranker може бути точнішим, дешевшим у підтримці або легшим для валідації.

Часті запитання

Чи є Jev LLM?

Не в звичайному розумінні чат-моделі. Він споживає текстовий або структурований стан, але повертає заздалегідь визначені типи рішень, а не згенерований текст.

Чи означає «без галюцинацій», що Jev не може помилятися?

Ні. Форма виходу може бути гарантована, тоді як обрана відповідь семантично хибна. Розумійте це твердження як захист від помилок схеми та типів.

Чи замінює Jev модель, що живить агента?

Зазвичай ні. Він краще підходить як доповнення: Jev для швидких структурованих рішень, LLM для міркувань і мови, а код або люди для забезпечення політики.

Що таке RLCD?

TypeSafe розшифровує його як Reinforcement Learning for Calibrated Decisions, мета якого — узгодити заявлену ймовірність із фактичною правильністю. Публічні джерела поки що не містять достатньо деталей навчання або стандартних доказів калібрування для незалежного технічного аудиту.

Що краще прототипувати першим?

Оберіть одну класифікацію з великим обсягом і оборотну, яка вже проходить через LLM. Запустіть Jev у тіньовому режимі, порівняйте рішення з розміченими результатами та впроваджуйте автоматизацію лише після валідації порогів і резервних варіантів.

Почніть з одного вимірюваного рішення

Найсильніша пропозиція Jev полягає не в тому, щоб «замінити кожну LLM». Вона в тому, щоб «перестати платити генеративній моделі за створення рішень, які вже мають відому форму». Оберіть одну гілку у своєму середовищі агента, визначте прийнятну помилку та політику ескалації й протестуйте її на власному трафіку.

Використовуйте вступ TypeSafe AI до моделей System One і Jev для первинних тверджень про модель і застережень, а посібник LangChain зі створення обв'язки з Jev для інтеграції з Python і патернів middleware.

Почніть використовувати Jev з AIHubMix

AIHubMix додав підтримку Jev, давши розробникам одне місце для доступу до нової моделі рішень разом з іншими провідними AI-моделями.

Відвідайте AIHubMix, щоб спробувати Jev і перетворити одну відому гілку у вашому робочому процесі на вимірюваний експеримент. Почніть із оборотного завдання класифікації або оцінювання, визначте поріг успіху та зберігайте резервний варіант із LLM або людиною, поки оцінюєте результати.