Jev Explained: How to Add Fast, Typed Decisions to an AI Agent

Jev най-добре се разбира като слой за решения за софтуера. Той чете текст или структурирано състояние и връща предварително определени класификации, оценки и вероятности за да/не. Той не пише отговор за потребителя. Този по-тесен интерфейс го прави подходящ за стъпки с голям обем на маршрутизация, триаж, проверка и защитни механизми (guardrails) в AI агенти.

Практическият модел е прост: нека Jev прави често срещани, обратими преценки; нека бизнес кодът прилага политиките; ескалирайте несигурните или значимите случаи към напреднал LLM или към човек.

Ако Jev ви е нов, най-краткото обяснение е следното: Jev е новоотговорен AI модел за решения от TypeSafe AI, който се държи по-скоро като семантичен if израз, отколкото като чатбот. Вие предоставяте контекст и фиксиран набор от въпроси; той връща типизирани избори, оценки и вероятности, които кодът на приложението може да използва веднага.

Какво е Jev?

TypeSafe AI нарича Jev първия си System One Model, като заимства „бързата“ страна от разграничението System 1/System 2. Заявката предоставя състояние на програмата и типизирани въпроси. Jev оценява въпросите паралелно и връща вероятности и стойности на увереност, които софтуерът може да използва директно.

Наличните типове въпроси са:

Noul за вероятността едно твърдение с да/не да е вярно.
Choice за избор измежду предварително определени опции, с разпределение на вероятностите и увереност.
Score за оценяване на подредени нива, с оценка, основно разпределение и увереност.

За разлика от авторегресивния LLM, Jev не генерира произволни низове. TypeSafe твърди, че това гарантира съответствие със схемата: отговорът не може да измисли поле или да върне данни с грешен тип. Той все пак може да избере грешен, но валиден отговор, затова типовата безопасност не бива да се представя като семантична непогрешимост.

Къде се вписва Jev в архитектурата на агент?

Използвайте Jev между промените на състоянието, когато системата се нуждае от ограничена преценка:

User or tool result
    -> Jev: classify, score, route, or check risk
        -> application policy
            -> execute a low-risk action
            -> call an LLM for reasoning or language
            -> request human review

Това е допълващо към LLM. LLM се справя с отворени разсъждения, обяснения и генерирано съдържание. Jev се справя с повтарящи се въпроси, чиито възможни отговори са известни предварително.

Изберете правилния слой за всяка задача

Jev е най-лесен за разбиране като компонент в по-голям стек за автоматизация:

Слой	Най-подходящ за
Jev	Повтарящи се класификации, оценяване, маршрутизация и проверки на риска
LLM	Сложни разсъждения, обяснения и генериране на текст
Код на приложението	Детерминистични правила, разрешения и изпълнение
Човешки рецензент	Случаи с висок риск, неясни или изключителни случаи

Това разделение е продуктовата идея зад Jev: моделът не решава всичко и не трябва да казва всичко. Той превръща неясния семантичен контекст в типизиран вероятностен сигнал, докато околната система остава отговорна за политиките и действията.

Стъпка 1: изберете подходящ първи работен процес

Започнете с вече съществуващо решение с голям обем, което вече използва LLM плюс структуриран изход. Добри кандидати са маршрутизиране на заявки в поддръжката, проверка на качеството на съдържание, преглед на трасиранията на агенти, триаж на документи и избор на модел.

Избягвайте да започвате с решение, което е необратимо, юридически чувствително или толкова ценно, че максималната точност е по-важна от латентността и цената. Също така избягвайте задачи, които изискват изход на естествен език или одитируемо обяснение: Jev връща решения и вероятности, а не разсъждателен разказ.

Стъпка 2: дефинирайте състоянието и въпросите

Направете така, че състоянието да съдържа доказателствата, необходими за решението, но запазете политиката в кода на приложението. Когато е възможно, разделяйте широката заявка на независими въпроси.

За работен процес в поддръжката една заявка може да пита:

Коя опашка трябва да получи заявката?
Колко сериозен е проблемът?
Подсказва ли съобщението злоупотреба?
Необходима ли е човешка проверка?

Добавете unknown или none_of_the_above, когато списъкът ви с опции може да не покрива всеки реален случай. Без път за излизане затворен класификатор трябва да избере валиден, но потенциално подвеждащ етикет.

Стъпка 3: извикайте Jev чрез LangChain

Инсталирайте интеграцията и предоставете API ключа през средата си или мениджъра на тайни:

pip install langchain-typesafe
export TYPESAFE_API_KEY="your-api-key"

След това създайте типизиран въпрос:

from langchain_typesafe import Noul, TypeSafeClassifier

classifier = TypeSafeClassifier()

response = classifier.invoke(
    state=(
        "The deploy failed twice and customers are seeing 500s. "
        "Can someone look now?"
    ),
    questions={
        "urgent": Noul(
            instructions="Does this need attention right now?"
        ),
    },
)

urgency = response.nouls["urgent"].noul

Резултатът е вероятност, която вашата политика може да сравни с праг. Той не е инструкция, която сам по себе си да се изпълни.

Стъпка 4: изградете политика за ескалация

Използвайте няколко нива вместо един универсален праг:

high confidence + low consequence -> automatic action
medium confidence                -> LLM verification
low confidence                   -> human review
high consequence at any score    -> stronger control or approval

Задавайте прагове за всяко действие. Автоматичното присвояване на етикет на заявка и автоматичното одобрение на плащане никога не трябва да споделят една и съща политика за риск само защото и двете използват вероятности.

Стъпка 5: използвайте маршрутизация и защитни механизми внимателно

Експерименталният ModelRouterMiddleware на LangChain може да използва Jev, за да изпраща простата работа към бърз модел, а сложната или с високи залози работа – към по-способен модел. Това може да намали използването на пълен модел, без да принуждава всяка заявка да минава през най-евтината опция.

Неговият експериментален AutoModeMiddleware прилага Jev за проверки на риска при извиквания на инструменти и може да блокира предложено извикване преди изпълнение. Поддържайте детерминистични контроли около чувствителните инструменти: списъци за разрешени действия, изолация (sandboxing), ограничени по обхват идентификационни данни, ограничения на честотата и човешко одобрение остават необходими, защото класификаторът може да даде фалшиви отрицателни резултати.

Стъпка 6: оценете на собствените си данни

TypeSafe съобщава за латентност от 70–500 ms от край до край, $0.042 на милион входни токена и неограничен изход. В четирите си оценки на работни процеси той съобщава, че Jev постига средно 67.8% съвпадение с референтните вероятности при около $0.0004 и 0.4 секунди на пример. Същият тестов модул показва 67.9% за GPT-5.6 Terra при $0.0304 и 10.1 секунди, и 74.1% за GPT-5.6 Sol при $0.0836 и 23.3 секунди.

Това са резултати, публикувани от доставчика, а не универсална прогноза. Референцията е средната прогноза на GPT-6 Astra и Fable 5.1, а не човешки етикетирана истина. TypeSafe отбелязва възможна пристрастност на автора на работния процес и казва, че най-големите заглавни печалби по скорост и цена вероятно са в горния край на реалните подобрения.

Преди продукционно внедряване сравнете Jev с текущия си LLM, с прости правила и с модел за конкретна област, когато е практично. Измервайте:

Точност, прецизност и покритие (recall) по клас.
Калибриране и процент на уверени грешки.
Процент на отказ от отговор и ескалация.
Латентност p50, p95 и p99 от региона на вашето внедряване.
Цялата цена от край до край на каскадата, включително резервните варианти.
Производителност при разпределително изместване и враждебни входни данни.

Стъпка 7: добавете оперативни предпазни мерки

Готовността за продукция изисква повече от качество на модела:

Записвайте версията на състоянието, схемата на въпроса, вероятността, увереността, избрания клон и по-късния резултат.
Версионирайте промптовете или инструкциите към въпросите и праговете за решения.
Добавете таймаути, ограничени повторни опити, прекъсвачи (circuit breakers) и детерминистичен резервен вариант.
Преглеждайте отделно грешките с висока увереност; те са най-опасните отказни режими на автоматизацията.
Следете дрейфа и преизчислявайте праговете при промяна на входната съвкупност.
Дръжте необратимите или регулираните действия зад по-строги технически и човешки контроли.

Публичните материали в момента не разкриват броя на параметрите на Jev, подробната архитектура, дизайна на наградата RLCD, стандартните криви на калибриране, производствения SLA или латентността на обслужване p95/p99. Тези празнини трябва да се превърнат във въпроси за оценка, а не в предположения.

Кога не трябва да използвате Jev?

Не използвайте Jev като основен модел, когато са ви нужни разговор, обобщаване, генериране на код, подробни обяснения или дългосрочни разсъждения. Той също така е слаб единствен вземащ решения за процеси с високи залози, които изискват одитируемо обосноваване. В фиксирана област конвенционален малък класификатор или специализиран реранкер може да е по-точен, по-евтин за поддръжка или по-лесен за валидиране.

Често задавани въпроси

Jev LLM ли е?

Не в конвенционалния смисъл на чат модел. Той обработва текстово или структурирано състояние, но връща предварително определени типове решения, а не генерирана проза.

Означава ли „без халюцинации“, че Jev не може да греши?

Не. Формата на изхода може да бъде гарантирана, докато избраният отговор е семантично грешен. Тълкувайте твърдението като защита срещу грешки в схемата и типовете.

Замества ли Jev модела, който захранва агента?

Обикновено не. По-правилно е да се разглежда като допълнение: Jev за бързи структурирани решения, LLM за разсъждения и език, а код или хора – за прилагане на политиките.

Какво е RLCD?

TypeSafe го разшифровава като Reinforcement Learning for Calibrated Decisions (обучение с подкрепление за калибрирани решения), предназначено да съгласува съобщаната вероятност с наблюдаваната коректност. Публичните източници все още не предоставят достатъчно подробности за обучението или стандартни доказателства за калибриране за независим технически одит.

Какво да прототипирам първо?

Изберете една класификация с голям обем и обратима, която вече минава през LLM. Пуснете Jev в режим на сянка, сравнете решенията с етикетирани резултати и въведете автоматизация едва след като праговете и резервните варианти бъдат валидирани.

Започнете с едно измеримо решение

Най-силното предложение на Jev не е „замени всеки LLM“. То е „спрете да плащате на генеративен модел за производство на решения, които вече имат известна форма“. Изберете един клон във вашата агентна среда, дефинирайте приемливата грешка и политиката за ескалация и я тествайте със собствения си трафик.

Използвайте въведението на TypeSafe AI в System One Models и Jev за оригиналните твърдения за модела и ограниженията, и ръководството на LangChain за изграждане на среда с Jev за интеграцията с Python и шаблоните на middleware.

Започнете да използвате Jev с AIHubMix

AIHubMix добави поддръжка за Jev, като дава на разработчиците едно място за достъп до новия модел за решения заедно с други водещи AI модели.

Посетете AIHubMix, за да изпробвате Jev и да превърнете един познат клон от работния си процес в измерим експеримент. Започнете с обратима задача за класификация или оценяване, дефинирайте прага си за успех и поддържайте LLM или човешки резервен вариант, докато оценявате резултатите.