Jev expliqué : comment ajouter des décisions rapides et typées à un agent IA

Jev est mieux compris comme une couche de décision pour les logiciels. Il lit du texte ou un état structuré et renvoie des classifications, des scores et des probabilités de oui ou non prédéfinis. Il ne rédige pas de réponse pour l'utilisateur. Cette interface plus étroite le rend pertinent pour le routage à fort volume, le triage, la vérification et les étapes de garde-fou au sein des agents IA.

Le schéma pratique est simple : laissez Jev prendre des jugements fréquents et réversibles ; laissez le code métier appliquer la politique ; escaladez les cas incertains ou conséquents à un LLM capable ou à un humain.

Si Jev est nouveau pour vous, la plus courte explication est la suivante : Jev est un modèle de décision IA récemment publié par TypeSafe AI qui se comporte davantage comme une déclaration sémantique if que comme un chatbot. Vous fournissez un contexte et un ensemble fixe de questions ; il renvoie des choix typés, des scores et des probabilités que le code d'application peut utiliser immédiatement.

Qu'est-ce que Jev ?

TypeSafe AI appelle Jev son premier modèle Système Un, empruntant le côté « rapide » de la distinction Système 1/Système 2. Une demande fournit l'état du programme et des questions typées. Jev évalue les questions en parallèle et renvoie des probabilités et des valeurs de confiance que le logiciel peut consommer directement.

Les types de questions disponibles sont :

1. Noul pour la probabilité qu'une déclaration de oui ou non soit vraie.
2. Choice pour sélectionner parmi des options prédéfinies, avec une distribution de probabilité et de confiance.
3. Score pour évaluer des niveaux ordonnés, avec un score, une distribution sous-jacente et de la confiance.

Contrairement à un LLM autoregressif, Jev ne génère pas de chaînes arbitraires. TypeSafe affirme que cela garantit l'appariement de schéma : la réponse ne peut pas inventer un champ ou renvoyer le mauvais type de données. Il peut toujours choisir la mauvaise réponse valide, donc la sécurité de type ne doit pas être présentée comme une infaillibilité sémantique.

Où Jev s'intègre-t-il dans une architecture d'agent ?

Utilisez Jev entre les changements d'état, lorsque le système a besoin d'un jugement contraint :

Résultat utilisateur ou outil
    -> Jev : classifier, scorer, router ou vérifier le risque
        -> politique d'application
            -> exécuter une action à faible risque
            -> appeler un LLM pour le raisonnement ou le langage
            -> demander une révision humaine

Ceci est complémentaire à un LLM. Le LLM gère le raisonnement ouvert, les explications et le contenu généré. Jev gère les questions répétées dont les réponses possibles sont connues à l'avance.

Choisissez la bonne couche pour chaque tâche

Jev est le plus facile à comprendre comme un composant dans une pile d'automatisation plus large :

Cette division est l'idée de produit derrière Jev : le modèle ne décide pas de tout et n'a pas besoin de tout dire. Il transforme un contexte sémantique flou en un signal probabiliste typé, tandis que le système environnant reste responsable de la politique et de l'action.

Étape 1 : choisissez le bon premier flux de travail

Commencez par une décision existante à fort volume qui utilise déjà un LLM plus une sortie structurée. De bons candidats incluent le routage des tickets de support, les vérifications de qualité de contenu, la révision des traces d'agents, le triage de documents et la sélection de modèles.

Évitez de commencer par une décision qui est irréversible, légalement sensible ou suffisamment précieuse pour que la précision maximale compte plus que la latence et le coût. Évitez également les tâches qui nécessitent une sortie en langage naturel ou une explication auditable : Jev renvoie des décisions et des probabilités, pas un récit de raisonnement.

Étape 2 : définissez l'état et les questions

Faites en sorte que l'état contienne les preuves nécessaires à la décision, mais gardez la politique dans le code d'application. Décomposez une demande large en questions indépendantes chaque fois que cela est possible.

Pour un flux de travail de support, une demande pourrait poser :

• Quelle file d'attente devrait recevoir le ticket ?
• Quelle est la gravité du problème ?
• Le message suggère-t-il un abus ?
• Une révision humaine est-elle nécessaire ?

Ajoutez unknown ou none_of_the_above quand votre liste d'options peut ne pas couvrir tous les cas réels. Sans chemin d'évasion, un classificateur fermé doit choisir une étiquette valide mais potentiellement trompeuse.

Étape 3 : appelez Jev via LangChain

Installez l'intégration et fournissez la clé API via votre environnement ou gestionnaire de secrets :

pip install langchain-typesafe
export TYPESAFE_API_KEY="your-api-key"

Ensuite, créez une question typée :

from langchain_typesafe import Noul, TypeSafeClassifier

classifier = TypeSafeClassifier()

response = classifier.invoke(
    state=(
        "Le déploiement a échoué deux fois et les clients voient des erreurs 500. "
        "Quelqu'un peut-il regarder maintenant ?"
    ),
    questions={
        "urgent": Noul(
            instructions="Cela nécessite-t-il une attention immédiate ?"
        ),
    },
)

urgency = response.nouls["urgent"].noul

Le résultat est une probabilité que votre politique peut comparer à un seuil. Ce n'est pas une instruction à exécuter par elle-même.

Étape 4 : construisez une politique d'escalade

Utilisez plusieurs bandes au lieu d'un seul seuil universel :

haute confiance + faible conséquence -> action automatique
confiance moyenne                -> vérification LLM
faible confiance                   -> révision humaine
haute conséquence à tout score    -> contrôle ou approbation plus stricts

Définissez des seuils par action. L'attribution automatique d'une étiquette de ticket et l'approbation automatique d'un paiement ne devraient jamais partager la même politique de risque simplement parce que les deux utilisent des probabilités.

Étape 5 : utilisez le routage et les garde-fous avec précaution

Le ModelRouterMiddleware expérimental de LangChain peut utiliser Jev pour envoyer un travail simple à un modèle rapide et un travail complexe ou à enjeux élevés à un modèle plus capable. Cela peut réduire l'utilisation du modèle complet sans forcer chaque demande à passer par l'option la moins chère.

Son AutoModeMiddleware expérimental applique Jev aux vérifications de risque d'appel d'outil et peut bloquer un appel proposé avant l'exécution. Gardez des contrôles déterministes autour des outils sensibles : les listes blanches, le sandboxing, les identifiants limités, les limites de taux et l'approbation humaine restent nécessaires car un classificateur peut produire des faux négatifs.

Étape 6 : évaluez sur vos propres données

TypeSafe rapporte une latence de bout en bout de 70 à 500 ms, 0,042 $ par million de tokens d'entrée, et une sortie non mesurée. Dans ses quatre évaluations de flux de travail, il rapporte que Jev a en moyenne 67,8 % d'accord avec les probabilités de référence à environ 0,0004 $ et 0,4 secondes par échantillon. Le même dispositif rapporte 67,9 % pour GPT-5.6 Terra à 0,0304 $ et 10,1 secondes, et 74,1 % pour GPT-5.6 Sol à 0,0836 $ et 23,3 secondes.

Ce sont des résultats publiés par le fournisseur, pas une prévision universelle. La référence est la prédiction moyenne de GPT-6 Astra et Fable 5.1 plutôt que la vérité étiquetée par des humains. TypeSafe note un biais possible de l'auteur du flux de travail et affirme que les plus grands gains de vitesse et de coût sont probablement à l'extrémité supérieure des améliorations réelles.

Avant la production, comparez Jev avec votre LLM actuel, des règles simples et un modèle spécifique au domaine lorsque cela est pratique. Mesurez :

• Précision, précision et rappel par classe.
• Calibration et taux d'erreur de confiance.
• Taux d'abstention et d'escalade.
• Latence p50, p95 et p99 de votre région de déploiement.
• Coût de bout en bout de l'ensemble de la cascade, y compris les solutions de secours.
• Performance sous changement de distribution et entrées adversariales.

Étape 7 : ajoutez des garde-fous opérationnels

La préparation à la production nécessite plus que la qualité du modèle :

• Enregistrez la version de l'état, le schéma de question, la probabilité, la confiance, la branche sélectionnée et le résultat ultérieur.
• Versionnez les invites ou les instructions de question et les seuils de décision.
• Ajoutez des délais, des tentatives limitées, des disjoncteurs et une solution de secours déterministe.
• Examinez séparément les erreurs à haute confiance ; ce sont les échecs d'automatisation les plus dangereux.
• Surveillez le dérive et recalibrez les seuils à mesure que la population d'entrée change.
• Gardez les actions irréversibles ou réglementées derrière des contrôles techniques et humains plus stricts.

Le matériel public ne divulgue actuellement pas le nombre de paramètres de Jev, l'architecture détaillée, la conception de récompense RLCD, les courbes de calibration standard, le SLA de production ou la latence de service p95/p99. Ces lacunes devraient devenir des questions d'évaluation, pas des hypothèses.

Quand ne devriez-vous pas utiliser Jev ?

Ne pas utiliser Jev comme modèle principal lorsque vous avez besoin de conversation, de résumé, de génération de code, d'explications détaillées ou de raisonnement à long terme. C'est également un mauvais décideur unique pour des processus à enjeux élevés qui nécessitent une justification auditable. Dans un domaine fixe, un classificateur conventionnel de petite taille ou un reranker spécialisé peut être plus précis, moins coûteux à posséder ou plus facile à valider.

FAQ

Jev est-il un LLM ?

Pas dans le sens conventionnel du modèle de chat. Il consomme un état textuel ou structuré mais renvoie des types de décision prédéfinis plutôt que de la prose générée.

Le fait de ne pas avoir de « hallucination » signifie-t-il que Jev ne peut pas se tromper ?

Non. La forme de sortie peut être garantie tandis que la réponse sélectionnée est sémantiquement incorrecte. Interprétez cette affirmation comme une protection contre les erreurs de schéma et de type.

Jev remplace-t-il le modèle qui alimente un agent ?

Généralement non. Il est mieux positionné comme un complément : Jev pour des décisions structurées rapides, un LLM pour le raisonnement et le langage, et du code ou des humains pour l'application des politiques.

Qu'est-ce que RLCD ?

TypeSafe l'élargit en tant qu'apprentissage par renforcement pour des décisions calibrées, destiné à aligner la probabilité rapportée avec la justesse observée. Les sources publiques ne fournissent pas encore suffisamment de détails sur l'entraînement ou des preuves de calibration standard pour un audit technique indépendant.

Que devrais-je prototyper en premier ?

Choisissez une classification réversible à fort volume déjà en cours via un LLM. Exécutez Jev en mode ombre, comparez les décisions avec des résultats étiquetés et introduisez l'automatisation uniquement après validation des seuils et des solutions de secours.

Commencez par une décision mesurable

La proposition la plus forte de Jev n'est pas « remplacer chaque LLM ». C'est « arrêter de payer un modèle génératif pour produire des décisions qui ont déjà une forme connue ». Choisissez une branche dans votre harnais d'agent, définissez l'erreur acceptable et la politique d'escalade, et testez-la contre votre propre trafic.

Utilisez l' introduction aux modèles Système Un et Jev de TypeSafe AI pour les revendications et mises en garde originales du modèle, et le guide de LangChain pour construire un harnais avec Jev pour l'intégration Python et les modèles de middleware.

Commencez à utiliser Jev avec AIHubMix

AIHubMix a ajouté le support pour Jev, offrant aux développeurs un endroit pour accéder au nouveau modèle de décision aux côtés d'autres modèles IA de premier plan.

Visitez AIHubMix pour essayer Jev et transformer une branche connue de votre flux de travail en une expérience mesurable. Commencez par une tâche de classification ou de scoring réversible, définissez votre seuil de succès et maintenez une solution de secours LLM ou humaine en place pendant que vous évaluez les résultats.