Jev spiegato: come aggiungere decisioni rapide e tipizzate a un agente AI

Jev va inteso meglio come uno strato decisionale per il software. Legge testo o stato strutturato e restituisce classificazioni predefinite, punteggi e probabilità sì-o-no. Non scrive una risposta per l'utente. Questa interfaccia più ristretta lo rende rilevante per il routing ad alto volume, il triage, le verifiche e i passaggi di guardrail all'interno degli agenti AI.

Lo schema pratico è semplice: lascia che Jev prenda giudizi frequenti e reversibili; lascia che il codice di business applichi le policy; escala i casi incerti o di rilievo a un LLM capace o a una persona.

Se non conosci ancora Jev, la spiegazione più breve è questa: Jev è un modello decisionale AI appena rilasciato da TypeSafe AI che si comporta più come un'istruzione semantica if che come un chatbot. Fornisci il contesto e un insieme fisso di domande; restituisce scelte tipizzate, punteggi e probabilità che il codice applicativo può usare immediatamente.

Che cos'è Jev?

TypeSafe AI definisce Jev il suo primo System One Model, prendendo in prestito il lato "veloce" della distinzione tra Sistema 1 e Sistema 2. Una richiesta fornisce lo stato del programma e domande tipizzate. Jev valuta le domande in parallelo e restituisce probabilità e valori di confidenza che il software può consumare direttamente.

I tipi di domanda disponibili sono:

1. Noul per la probabilità che un'affermazione sì-o-no sia vera.
2. Choice per selezionare tra opzioni predefinite, con una distribuzione di probabilità e una confidenza.
3. Score per valutare livelli ordinati, con un punteggio, la distribuzione sottostante e una confidenza.

A differenza di un LLM autoregressivo, Jev non genera stringhe arbitrarie. TypeSafe afferma che questo rende garantita la corrispondenza con lo schema: la risposta non può inventare un campo né restituire un tipo di dato errato. Può comunque scegliere la risposta valida sbagliata, quindi la sicurezza dei tipi non va presentata come infallibilità semantica.

Dove si colloca Jev in un'architettura di agente?

Usa Jev tra un cambiamento di stato e l'altro, quando il sistema ha bisogno di un giudizio vincolato:

User or tool result
    -> Jev: classify, score, route, or check risk
        -> application policy
            -> execute a low-risk action
            -> call an LLM for reasoning or language
            -> request human review

Questo è complementare a un LLM. L'LLM si occupa del ragionamento aperto, delle spiegazioni e dei contenuti generati. Jev si occupa delle domande ripetute le cui possibili risposte sono note in anticipo.

Scegli il livello giusto per ogni compito

Jev è più facile da capire come un componente di uno stack di automazione più ampio:

Questa suddivisione è l'idea di prodotto alla base di Jev: il modello non decide tutto e non deve dire tutto. Trasforma un contesto semantico sfumato in un segnale probabilistico tipizzato, mentre il sistema circostante resta responsabile delle policy e delle azioni.

Passo 1: scegli il primo flusso di lavoro giusto

Inizia da una decisione esistente e ad alto volume che già usa un LLM più un output strutturato. Tra i candidati validi ci sono il routing dei ticket di supporto, i controlli di qualità dei contenuti, la revisione delle tracce degli agenti, il triage dei documenti e la selezione dei modelli.

Evita di iniziare da una decisione irreversibile, sensibile dal punto di vista legale o così preziosa che la massima accuratezza conta più di latenza e costi. Evita anche i compiti che richiedono un output in linguaggio naturale o una spiegazione verificabile: Jev restituisce decisioni e probabilità, non una narrazione del ragionamento.

Passo 2: definisci lo stato e le domande

Fai in modo che lo stato contenga le prove necessarie per la decisione, ma mantieni le policy nel codice applicativo. Scomponi una richiesta ampia in domande indipendenti ogni volta che è possibile.

Per un flusso di supporto, una richiesta potrebbe chiedere:

• Quale coda deve ricevere il ticket?
• Quanto è grave il problema?
• Il messaggio suggerisce un abuso?
• È necessaria una revisione umana?

Aggiungi unknown oppure none_of_the_above quando la tua lista di opzioni potrebbe non coprire ogni caso reale. Senza una via di uscita, un classificatore chiuso deve scegliere un'etichetta valida ma potenzialmente fuorviante.

Passo 3: chiama Jev tramite LangChain

Installa l'integrazione e fornisci la chiave API tramite l'ambiente o il gestore di segreti:

pip install langchain-typesafe
export TYPESAFE_API_KEY="your-api-key"

Poi crea una domanda tipizzata:

from langchain_typesafe import Noul, TypeSafeClassifier

classifier = TypeSafeClassifier()

response = classifier.invoke(
    state=(
        "The deploy failed twice and customers are seeing 500s. "
        "Can someone look now?"
    ),
    questions={
        "urgent": Noul(
            instructions="Does this need attention right now?"
        ),
    },
)

urgency = response.nouls["urgent"].noul

Il risultato è una probabilità che la tua policy può confrontare con una soglia. Non è di per sé un'istruzione da eseguire.

Passo 4: costruisci una policy di escalation

Usa più fasce invece di un unico limite universale:

high confidence + low consequence -> automatic action
medium confidence                -> LLM verification
low confidence                   -> human review
high consequence at any score    -> stronger control or approval

Imposta le soglie per ogni azione. Assegnare automaticamente un'etichetta a un ticket e approvare automaticamente un pagamento non dovrebbero mai condividere la stessa policy di rischio solo perché entrambi usano probabilità.

Passo 5: usa routing e guardrail con attenzione

Il ModelRouterMiddleware sperimentale di LangChain può usare Jev per inviare il lavoro semplice a un modello veloce e il lavoro complesso o ad alto rischio a un modello più capace. Questo può ridurre l'uso del modello completo senza obbligare ogni richiesta a passare dall'opzione più economica.

Il suo AutoModeMiddleware sperimentale applica Jev ai controlli di rischio sulle chiamate agli strumenti e può bloccare una chiamata proposta prima dell'esecuzione. Mantieni controlli deterministici attorno agli strumenti sensibili: allowlist, sandboxing, credenziali con ambito limitato, limiti di frequenza e approvazione umana restano necessari perché un classificatore può produrre falsi negativi.

Passo 6: valuta sui tuoi dati

TypeSafe riporta una latenza end-to-end di 70–500 ms, $0.042 per milione di token di input e output non misurato. Nelle sue quattro valutazioni di flussi di lavoro, riporta che Jev ha una concordanza media del 67.8% con le probabilità di riferimento, con un costo di circa $0.0004 e 0.4 secondi per campione. Lo stesso banco di prova riporta il 67.9% per GPT-5.6 Terra a $0.0304 e 10.1 secondi, e il 74.1% per GPT-5.6 Sol a $0.0836 e 23.3 secondi.

Si tratta di risultati pubblicati dal fornitore, non di una previsione universale. Il riferimento è la previsione media di GPT-6 Astra e Fable 5.1, non una verità etichettata da esseri umani. TypeSafe segnala una possibile distorsione dell'autore dei flussi di lavoro e afferma che i maggiori guadagni di velocità e costo sono probabilmente all'estremo superiore dei miglioramenti reali.

Prima della produzione, confronta Jev con il tuo LLM attuale, con regole semplici e con un modello specifico del dominio, dove è praticabile. Misura:

• Accuratezza, precisione e richiamo per classe.
• Calibrazione e tasso di errori con alta confidenza.
• Tasso di astensione e di escalation.
• Latenza p50, p95 e p99 dalla regione del tuo deployment.
• Costo end-to-end dell'intera cascata, inclusi i fallback.
• Prestazioni in presenza di spostamento della distribuzione e input avversari.

Passo 7: aggiungi salvaguardie operative

La prontezza alla produzione richiede più della qualità del modello:

• Registra la versione dello stato, lo schema delle domande, la probabilità, la confidenza, il ramo selezionato e l'esito successivo.
• Versiona i prompt o le istruzioni delle domande e le soglie decisionali.
• Aggiungi timeout, tentativi limitati, circuit breaker e un fallback deterministico.
• Esamina separatamente gli errori con alta confidenza; sono i guasti di automazione più pericolosi.
• Monitora la deriva e ricalibra le soglie man mano che cambia la popolazione degli input.
• Mantieni le azioni irreversibili o regolamentate dietro controlli tecnici e umani più forti.

Il materiale pubblico non rivela attualmente il numero di parametri di Jev, la sua architettura dettagliata, la struttura di ricompensa di RLCD, le curve di calibrazione standard, lo SLA di produzione o la latenza di servizio p95/p99. Queste lacune dovrebbero diventare domande di valutazione, non ipotesi.

Quando non dovresti usare Jev?

Non usare Jev come modello principale quando servono conversazione, riassunti, generazione di codice, spiegazioni dettagliate o ragionamento su orizzonti lunghi. È inoltre un pessimo decisore unico per processi ad alto rischio che richiedono una motivazione verificabile. In un dominio fisso, un piccolo classificatore tradizionale o un reranker specializzato potrebbero essere più accurati, più economici da gestire o più facili da validare.

FAQ

Jev è un LLM?

Non nel senso convenzionale dei modelli di chat. Elabora stato testuale o strutturato, ma restituisce tipi di decisione predefiniti invece di prosa generata.

"Nessuna allucinazione" significa che Jev non può sbagliare?

No. La forma dell'output può essere garantita mentre la risposta selezionata è semanticamente sbagliata. Interpreta l'affermazione come protezione da errori di schema e di tipo.

Jev sostituisce il modello che alimenta un agente?

Di solito no. È meglio posizionarlo come complemento: Jev per decisioni strutturate rapide, un LLM per il ragionamento e il linguaggio, e codice o persone per l'applicazione delle policy.

Che cos'è RLCD?

TypeSafe lo espande come Reinforcement Learning for Calibrated Decisions, pensato per allineare la probabilità riportata con la correttezza osservata. Le fonti pubbliche non forniscono ancora dettagli di addestramento o prove standard di calibrazione sufficienti per un audit tecnico indipendente.

Che cosa dovrei prototipare per primo?

Scegli una classificazione reversibile, ad alto volume, già eseguita tramite un LLM. Fai funzionare Jev in modalità shadow, confronta le decisioni con gli esiti etichettati e introduci l'automazione solo dopo aver validato soglie e fallback.

Inizia da una decisione misurabile

La proposta più forte di Jev non è "sostituire ogni LLM". È "smettere di pagare un modello generativo per produrre decisioni che hanno già una forma nota". Scegli un ramo del tuo agent harness, definisci l'errore accettabile e la policy di escalation, e testalo sul tuo traffico reale.

Usa l'introduzione di TypeSafe AI ai System One Models e a Jev per le affermazioni originali sul modello e le relative avvertenze, e la guida di LangChain alla costruzione di un harness con Jev per l'integrazione Python e i pattern dei middleware.

Inizia a usare Jev con AIHubMix

AIHubMix ha aggiunto il supporto per Jev, offrendo agli sviluppatori un unico punto di accesso al nuovo modello decisionale insieme ad altri importanti modelli AI.

Visita AIHubMix per provare Jev e trasformare un ramo noto del tuo flusso di lavoro in un esperimento misurabile. Inizia con un'attività di classificazione o valutazione reversibile, definisci la soglia di successo e mantieni un fallback su LLM o persona mentre valuti i risultati.