Jev Explained: How to Add Fast, Typed Decisions to an AI Agent

Jev najlepiej rozumieć jako warstwę decyzyjną dla oprogramowania. Odczytuje tekst lub ustrukturyzowany stan i zwraca predefiniowane klasyfikacje, wyniki punktowe oraz prawdopodobieństwa typu tak/nie. Nie tworzy odpowiedzi dla użytkownika. Ten węższy interfejs sprawia, że jest przydatny w routingu o dużym wolumenie, triażu, weryfikacji i krokach zabezpieczających (guardrails) wewnątrz agentów AI.

Praktyczny wzorzec jest prosty: pozwól Jev podejmować częste, odwracalne oceny; pozwól kodowi biznesowemu egzekwować politykę; przekazuj niepewne lub istotne z punktu widzenia konsekwencji przypadki do zdolnego LLM-a lub człowieka.

Jeśli Jev jest dla Ciebie nowy, najkrótsze wyjaśnienie brzmi tak: Jev to nowo wydany model decyzyjny AI od TypeSafe AI, który działa bardziej jak semantyczna instrukcja if niż jak chatbot. Dostarczasz kontekst i stały zestaw pytań, a on zwraca typowane wybory, wyniki i prawdopodobieństwa, które kod aplikacji może od razu wykorzystać.

Czym jest Jev?

TypeSafe AI nazywa Jev swoim pierwszym modelem System One, zapożyczając „szybką” stronę rozróżnienia System 1/System 2. Żądanie zawiera stan programu i typowane pytania. Jev ocenia pytania równolegle i zwraca prawdopodobieństwa oraz wartości pewności, które oprogramowanie może bezpośrednio przetwarzać.

Dostępne typy pytań to:

1. Noul – prawdopodobieństwo, że stwierdzenie typu tak/nie jest prawdziwe.
2. Choice – wybór spośród predefiniowanych opcji, z rozkładem prawdopodobieństwa i pewnością.
3. Score – ocena uporządkowanych poziomów, z wynikiem, bazowym rozkładem i pewnością.

W przeciwieństwie do autoregresywnego LLM-a, Jev nie generuje dowolnych ciągów znaków. TypeSafe twierdzi, że zapewnia to gwarantowaną zgodność ze schematem: odpowiedź nie może wymyślić pola ani zwrócić danych o złym typie. Nadal może jednak wybrać niewłaściwą, a poprawną pod względem formy odpowiedź, dlatego bezpieczeństwo typów nie może być przedstawiane jako semantyczna nieomylność.

Gdzie Jev pasuje w architekturze agenta?

Używaj Jev między zmianami stanu, gdy system potrzebuje ograniczonej oceny:

User or tool result
    -> Jev: classify, score, route, or check risk
        -> application policy
            -> execute a low-risk action
            -> call an LLM for reasoning or language
            -> request human review

To rozwiązanie uzupełnia LLM. LLM obsługuje otwarte rozumowanie, wyjaśnienia i generowanie treści. Jev obsługuje powtarzalne pytania, których możliwe odpowiedzi są znane z góry.

Wybierz właściwą warstwę do każdego zadania

Jev najłatwiej zrozumieć jako jeden komponent większego stosu automatyzacji:

Ten podział jest ideą produktową stojącą za Jev: model nie rozstrzyga wszystkiego i nie musi wszystkiego opisywać. Zamienia rozmyty kontekst semantyczny w typowany, probabilistyczny sygnał, a otaczający system nadal odpowiada za politykę i działanie.

Krok 1: wybierz właściwy pierwszy przepływ pracy

Zacznij od istniejącej, wysokowolumenowej decyzji, która już korzysta z LLM-a i ustrukturyzowanego wyjścia. Dobrymi kandydatami są routing zgłoszeń do pomocy technicznej, kontrole jakości treści, przegląd śladów agentów, triaż dokumentów i wybór modelu.

Unikaj rozpoczynania od decyzji nieodwracalnych, wrażliwych prawnie lub na tyle wartościowych, że maksymalna dokładność jest ważniejsza niż opóźnienie i koszt. Unikaj też zadań wymagających wyjścia w języku naturalnym lub audytowalnego wyjaśnienia: Jev zwraca decyzje i prawdopodobieństwa, a nie narrację uzasadniającą.

Krok 2: zdefiniuj stan i pytania

Niech stan zawiera dowody potrzebne do decyzji, ale politykę zachowaj w kodzie aplikacji. Gdy to możliwe, rozbijaj szerokie żądanie na niezależne pytania.

W przypadku przepływu obsługi klienta jedno żądanie mogłoby zapytać:

• Która kolejka powinna otrzymać zgłoszenie?
• Jak poważny jest problem?
• Czy wiadomość sugeruje nadużycie?
• Czy wymagana jest weryfikacja przez człowieka?

Dodaj unknown lub none_of_the_above, gdy lista opcji może nie obejmować wszystkich rzeczywistych przypadków. Bez ścieżki ucieczki zamknięty klasyfikator musi wybrać poprawną, ale potencjalnie mylącą etykietę.

Krok 3: wywołaj Jev przez LangChain

Zainstaluj integrację i przekaż klucz API przez zmienne środowiskowe lub menedżer sekretów:

pip install langchain-typesafe
export TYPESAFE_API_KEY="your-api-key"

Następnie utwórz typowane pytanie:

from langchain_typesafe import Noul, TypeSafeClassifier

classifier = TypeSafeClassifier()

response = classifier.invoke(
    state=(
        "The deploy failed twice and customers are seeing 500s. "
        "Can someone look now?"
    ),
    questions={
        "urgent": Noul(
            instructions="Does this need attention right now?"
        ),
    },
)

urgency = response.nouls["urgent"].noul

Wynikiem jest prawdopodobieństwo, które Twoja polityka może porównać z progiem. Nie jest to samodzielnie instrukcja do wykonania.

Krok 4: zbuduj politykę eskalacji

Zamiast jednego uniwersalnego progu użyj kilku przedziałów:

high confidence + low consequence -> automatic action
medium confidence                -> LLM verification
low confidence                   -> human review
high consequence at any score    -> stronger control or approval

Ustawiaj progi dla każdej akcji. Automatyczne przypisanie etykiety do zgłoszenia i automatyczne zatwierdzenie płatności nigdy nie powinny dzielić tej samej polityki ryzyka tylko dlatego, że oba korzystają z prawdopodobieństw.

Krok 5: używaj routingu i zabezpieczeń ostrożnie

Eksperymentalny ModelRouterMiddleware w LangChain może używać Jev, aby kierować proste zadania do szybkiego modelu, a złożone lub wysokostawkowe do bardziej zdolnego modelu. Może to ograniczyć użycie pełnego modelu, nie zmuszając każdego żądania do przejścia przez najtańszą opcję.

Eksperymentalny AutoModeMiddleware stosuje Jev do kontroli ryzyka wywołań narzędzi i może zablokować proponowane wywołanie przed wykonaniem. Wokół wrażliwych narzędzi zachowaj deterministyczne mechanizmy kontroli: listy dozwolonych, piaskownicę, ograniczone poświadczenia, limity żądań i zatwierdzanie przez człowieka, ponieważ klasyfikator może generować wyniki fałszywie negatywne.

Krok 6: oceń na własnych danych

TypeSafe podaje opóźnienie end-to-end na poziomie 70–500 ms, $0.042 za milion tokenów wejściowych oraz nielimitowane wyjście. W czterech ocenach przepływów pracy wskazuje, że Jev osiąga średnio 67.8% zgodności z prawdopodobieństwami referencyjnymi, przy koszcie około $0.0004 i 0.4 sekundy na próbkę. Ten sam test podaje 67.9% dla GPT-5.6 Terra przy $0.0304 i 10.1 sekundy oraz 74.1% dla GPT-5.6 Sol przy $0.0836 i 23.3 sekundy.

Są to wyniki opublikowane przez dostawcę, a nie uniwersalna prognoza. Referencją jest średnia predykcja GPT-6 Astra i Fable 5.1, a nie prawda oznaczona przez człowieka. TypeSafe zwraca uwagę na możliwe uprzedzenia autorów przepływów pracy i twierdzi, że największe z podawanych zysków w szybkości i koszcie prawdopodobnie występują w górnym zakresie rzeczywistych usprawnień.

Przed wdrożeniem produkcyjnym porównaj Jev z obecnym LLM-em, prostymi regułami i, jeśli to praktyczne, modelem dziedzinowym. Mierz:

• Dokładność, precyzję i czułość (recall) dla każdej klasy.
• Kalibrację i odsetek pewnych błędów.
• Wskaźnik abstynencji i eskalacji.
• Opóźnienie p50, p95 i p99 z regionu, w którym działa Twoje wdrożenie.
• Koszt end-to-end całej kaskady, łącznie z rozwiązaniami awaryjnymi.
• Działanie przy przesunięciu rozkładu danych i danych wejściowych przygotowanych przeciwnikowi.

Krok 7: dodaj zabezpieczenia operacyjne

Gotowość produkcyjna wymaga czegoś więcej niż jakości modelu:

• Zapisuj wersję stanu, schemat pytania, prawdopodobieństwo, pewność, wybraną gałąź i późniejszy wynik.
• Wersjonuj prompty lub instrukcje pytań oraz progi decyzyjne.
• Dodaj limity czasu, ograniczone ponowienia, wyłączniki obwodowe (circuit breakers) i deterministyczny mechanizm awaryjny.
• Przeglądaj błędy przy wysokiej pewności osobno; to najniebezpieczniejsze awarie automatyzacji.
• Monitoruj dryf i rekalibruj progi, gdy zmienia się populacja danych wejściowych.
• Nieodwracalne lub regulowane działania trzymaj za silniejszymi zabezpieczeniami technicznymi i ludzkimi.

Publiczne materiały nie ujawniają obecnie liczby parametrów Jev, szczegółowej architektury, konstrukcji nagród RLCD, standardowych krzywych kalibracji, produkcyjnego SLA ani opóźnień p95/p99. Te luki powinny stać się pytaniami do oceny, a nie założeniami.

Kiedy nie należy używać Jev?

Nie używaj Jev jako modelu głównego, gdy potrzebujesz rozmowy, streszczania, generowania kodu, szczegółowych wyjaśnień lub długoterminowego rozumowania. Jest też słabym jedynym decydentem w procesach wysokiej stawki, które wymagają audytowalnego uzasadnienia. W ustalonej dziedzinie konwencjonalny mały klasyfikator lub wyspecjalizowany reranker może być dokładniejszy, tańszy w utrzymaniu albo łatwiejszy do walidacji.

FAQ

Czy Jev to LLM?

Nie w konwencjonalnym znaczeniu modelu czatu. Przetwarza tekstowy lub ustrukturyzowany stan, ale zwraca predefiniowane typy decyzji, a nie wygenerowaną prozę.

Czy „brak halucynacji” oznacza, że Jev nie może się mylić?

Nie. Kształt wyniku może być gwarantowany, mimo że wybrana odpowiedź jest semantycznie błędna. Tę deklarację należy rozumieć jako ochronę przed błędami schematu i typów.

Czy Jev zastępuje model zasilający agenta?

Zazwyczaj nie. Lepiej traktować go jako uzupełnienie: Jev do szybkich, ustrukturyzowanych decyzji, LLM do rozumowania i języka, a kod lub ludzie do egzekwowania polityki.

Czym jest RLCD?

TypeSafe rozwija ten skrót jako Reinforcement Learning for Calibrated Decisions, czyli uczenie przez wzmacnianie dla skalibrowanych decyzji, mające dopasować deklarowane prawdopodobieństwo do obserwowanej poprawności. Publiczne źródła nie dostarczają jeszcze wystarczających szczegółów treningu ani standardowych dowodów kalibracji, aby można było przeprowadzić niezależny audyt techniczny.

Co powinienem najpierw przetestować w prototypie?

Wybierz jedną, wysokowolumenową i odwracalną klasyfikację, która już przechodzi przez LLM. Uruchom Jev w trybie cienia (shadow mode), porównaj decyzje z oznaczonymi wynikami i wprowadzaj automatyzację dopiero po zweryfikowaniu progów i mechanizmów awaryjnych.

Zacznij od jednej mierzalnej decyzji

Najmocniejszą propozycją Jev nie jest hasło „zastąp każdy LLM”. Chodzi o to, by przestać płacić modelowi generatywnemu za produkowanie decyzji, które mają już znany kształt. Wybierz jedną gałąź w swoim harnessie agenta, zdefiniuj akceptowalny błąd i politykę eskalacji, a następnie przetestuj ją na własnym ruchu.

Skorzystaj z wprowadzenia do modeli System One i Jev od TypeSafe AI, aby poznać oryginalne twierdzenia o modelu i jego zastrzeżenia, oraz z przewodnika LangChain po budowie harnessa z Jev, aby poznać integrację w Pythonie i wzorce middleware.

Zacznij korzystać z Jev w AIHubMix

AIHubMix dodał obsługę Jev, dając deweloperom jedno miejsce, w którym mogą uzyskać dostęp do nowego modelu decyzyjnego obok innych wiodących modeli AI.

Odwiedź AIHubMix, aby wypróbować Jev i zamienić jedną znaną gałąź w swoim przepływie pracy w mierzalny eksperyment. Zacznij od odwracalnego zadania klasyfikacji lub oceniania, zdefiniuj próg sukcesu i zachowaj rozwiązanie awaryjne w postaci LLM-a lub człowieka, dopóki oceniasz wyniki.