Jev Açıklandı: Bir AI Ajanına Hızlı, Tipli Kararlar Nasıl Eklenir

Jev, yazılım için bir karar katmanı olarak en iyi şekilde anlaşılmaktadır. Metni veya yapılandırılmış durumu okur ve önceden tanımlanmış sınıflandırmalar, puanlar ve evet-hayır olasılıkları döndürür. Kullanıcı için bir cevap yazmaz. Bu daha dar arayüz, yüksek hacimli yönlendirme, triage, doğrulama ve AI ajanları içindeki koruma adımları için ilgili hale getirir.

Pratik model basittir: Jev'in sık, geri alınabilir yargılar vermesine izin verin; iş kodunun politikayı uygulamasına izin verin; belirsiz veya sonuçları önemli olan durumları yetenekli bir LLM veya insana yükseltin.

Eğer Jev sizin için yeni ise, en kısa açıklama şudur: Jev, TypeSafe AI tarafından yayınlanan yeni bir AI karar modelidir ve bir sohbet botundan çok daha çok bir anlamsal if ifadesi gibi davranır. Siz bağlam ve sabit bir soru seti sağlarsınız; o, uygulama kodunun hemen kullanabileceği tipli seçimler, puanlar ve olasılıklar döndürür.

Jev nedir?

TypeSafe AI, Jev'i ilk Sistem Bir Modeli olarak adlandırıyor ve Sistem 1/Sistem 2 ayrımının “hızlı” tarafını ödünç alıyor. Bir istek, program durumunu ve tipli soruları sağlar. Jev, soruları paralel olarak değerlendirir ve yazılımın doğrudan tüketebileceği olasılıkları ve güven değerlerini döndürür.

Kullanılabilir soru türleri şunlardır:

1. Noul bir evet-hayır ifadesinin doğru olma olasılığı için.
2. Choice önceden tanımlanmış seçenekler arasında seçim yapmak için, bir olasılık dağılımı ve güven ile.
3. Score sıralı seviyeleri derecelendirmek için, bir puan, temel dağılım ve güven ile.

Otomatik regresif bir LLM'in aksine, Jev rastgele dizeler üretmez. TypeSafe, bunun şema eşleştirmesinin garanti edildiğini söyler: yanıt bir alan icat edemez veya yanlış veri türü döndüremez. Yine de yanlış geçerli bir yanıt seçebilir, bu nedenle tip güvenliği anlamsal hatasızlık olarak sunulmamalıdır.

Jev, bir ajan mimarisinde nereye oturur?

Jev'i durum değişiklikleri arasında, sistemin kısıtlı bir yargıya ihtiyaç duyduğu zaman kullanın:

Kullanıcı veya araç sonucu
    -> Jev: sınıflandır, puanla, yönlendir veya riski kontrol et
        -> uygulama politikası
            -> düşük riskli bir eylemi gerçekleştir
            -> akıl yürütme veya dil için bir LLM çağır
            -> insan incelemesi talep et

Bu, bir LLM ile tamamlayıcıdır. LLM, açık uçlu akıl yürütme, açıklamalar ve üretilen içerik ile ilgilenir. Jev, olası yanıtların önceden bilindiği tekrarlanan sorularla ilgilenir.

Her iş için doğru katmanı seçin

Jev, daha büyük bir otomasyon yığınındaki bir bileşen olarak en kolay şekilde anlaşılmaktadır:

Bu ayrım, Jev'in arkasındaki ürün fikridir: model her şeyi karar vermez ve her şeyi söylemesine gerek yoktur. Belirsiz anlamsal bağlamı tipli bir olasılık sinyaline dönüştürürken, çevresindeki sistem politika ve eylemden sorumlu kalır.

Adım 1: doğru ilk iş akışını seçin

Mevcut, yüksek hacimli bir kararla başlayın, bu zaten bir LLM ve yapılandırılmış çıktı kullanıyordur. İyi adaylar arasında destek talebi yönlendirme, içerik kalite kontrolleri, ajan izleme incelemesi, belge triage ve model seçimi bulunmaktadır.

Geri alınamaz, yasal olarak hassas veya maksimum doğruluğun gecikme ve maliyetten daha önemli olduğu kadar değerli bir karar ile başlamaktan kaçının. Ayrıca doğal dil çıktısı veya denetlenebilir bir açıklama gerektiren görevlerden de kaçının: Jev kararlar ve olasılıklar döndürür, bir akıl yürütme anlatısı değil.

Adım 2: durumu ve soruları tanımlayın

Durumun, karar için gereken kanıtları içermesini sağlayın, ancak politikayı uygulama kodunda tutun. Geniş bir isteği mümkün olduğunca bağımsız sorulara ayırın.

Bir destek iş akışı için, bir istek şunları sorabilir:

• Hangi kuyruk bileti almalıdır?
• Sorunun ciddiyeti nedir?
• Mesaj kötüye kullanımı öneriyor mu?
• İnsan incelemesi gerekli mi?

Seçenek listeniz her gerçek durumu kapsamayabileceğinden unknown veya none_of_the_above ekleyin. Bir kaçış yolu olmadan, kapalı bir sınıflandırıcı geçerli ama potansiyel olarak yanıltıcı bir etiket seçmek zorundadır.

Adım 3: Jev'i LangChain ile çağırın

Entegrasyonu kurun ve API anahtarını ortamınız veya gizli yöneticiniz aracılığıyla sağlayın:

pip install langchain-typesafe
export TYPESAFE_API_KEY="your-api-key"

Sonra tipli bir soru oluşturun:

from langchain_typesafe import Noul, TypeSafeClassifier

classifier = TypeSafeClassifier()

response = classifier.invoke(
    state=(
        "Dağıtım iki kez başarısız oldu ve müşteriler 500'ler görüyor. "
        "Birisi şimdi bakabilir mi?"
    ),
    questions={
        "urgent": Noul(
            instructions="Bu hemen dikkat gerektiriyor mu?"
        ),
    },
)

urgency = response.nouls["urgent"].noul

Sonuç, politikanızın bir eşik ile karşılaştırabileceği bir olasılıktır. Kendiliğinden yürütme talimatı değildir.

Adım 4: bir yükseltme politikası oluşturun

Tek bir evrensel kesim yerine birden fazla bant kullanın:

yüksek güven + düşük sonuç -> otomatik eylem
orta güven                -> LLM doğrulaması
düşük güven                   -> insan incelemesi
herhangi bir puanda yüksek sonuç    -> daha güçlü kontrol veya onay

Her eylem için eşikler belirleyin. Bir bilet etiketini otomatik olarak atamak ve bir ödemeyi otomatik olarak onaylamak, yalnızca her ikisi de olasılıkları kullandığı için asla aynı risk politikasını paylaşmamalıdır.

Adım 5: yönlendirme ve koruma önlemlerini dikkatli kullanın

LangChain’in deneysel ModelRouterMiddleware Jev'i kullanarak basit işleri hızlı bir modele ve karmaşık veya yüksek riskli işleri daha yetenekli bir modele gönderebilir. Bu, her isteği en ucuz seçeneğe zorlamadan tam model kullanımını azaltabilir.

Deneysel AutoModeMiddleware Jev'i araç çağrısı risk kontrollerine uygular ve bir önerilen çağrıyı yürütmeden önce engelleyebilir. Hassas araçların etrafında belirleyici kontroller bulundurun: izin listeleri, kum havuzları, kapsamlı kimlik bilgileri, oran limitleri ve insan onayı gereklidir çünkü bir sınıflayıcı yanlış negatifler üretebilir.

Adım 6: kendi verilerinizle değerlendirin

TypeSafe, 70–500 ms uçtan uca gecikme, milyon başına $0.042 girdi tokeni ve ölçülmemiş çıktı rapor etmektedir. Dört iş akışı değerlendirmesinde, Jev'in referans olasılıkları ile ortalama %67.8 uyum sağladığını, yaklaşık $0.0004 ve her örnek için 0.4 saniye rapor etmektedir. Aynı test, GPT-5.6 Terra için %67.9 ve $0.0304 ve 10.1 saniye, GPT-5.6 Sol için %74.1 ve $0.0836 ve 23.3 saniye rapor etmektedir.

Bunlar, tedarikçi tarafından yayınlanan sonuçlardır, evrensel bir tahmin değildir. Referans, insan etiketli gerçeklikten ziyade GPT-6 Astra ve Fable 5.1'in ortalama tahminidir. TypeSafe, olası iş akışı-yazar yanlılığını not eder ve en büyük başlık hız ve maliyet kazançlarının muhtemelen gerçek dünya iyileştirmelerinin yüksek ucunda olduğunu söyler.

Üretim öncesinde, Jev'i mevcut LLM'inizle, basit kurallarla ve pratikte bir alan spesifik model ile karşılaştırın. Ölçün:

• Sınıfa göre doğruluk, hassasiyet ve geri çağırma.
• Kalibrasyon ve güvenli hata oranı.
• Çekim ve yükseltme oranı.
• Dağıtım bölgenizden p50, p95 ve p99 gecikmesi.
• Tüm kaskadın uçtan uca maliyeti, yedeklemeler dahil.
• Dağılım kayması ve düşmanca girdiler altındaki performans.

Adım 7: operasyonel güvenlik önlemleri ekleyin

Üretim hazır hale gelmek, model kalitesinden daha fazlasını gerektirir:

• Durum versiyonunu, soru şemasını, olasılığı, güveni, seçilen dalı ve sonraki sonucu kaydedin.
• İstemleri veya soru talimatlarını ve karar eşiklerini sürümleyin.
• Zaman aşımı, sınırlı tekrarlar, devre kesiciler ve belirleyici bir geri dönüş ekleyin.
• Yüksek güvenli hataları ayrı olarak gözden geçirin; bunlar en tehlikeli otomasyon hatalarıdır.
• Kaymayı izleyin ve girdi nüfusu değiştikçe eşikleri yeniden kalibre edin.
• Geri alınamaz veya düzenlenmiş eylemleri daha güçlü teknik ve insan kontrollerinin arkasında tutun.

Halka açık materyal, şu anda Jev'in parametre sayısını, ayrıntılı mimarisini, RLCD ödül tasarımını, standart kalibrasyon eğrilerini, üretim SLA'sını veya p95/p99 hizmet gecikmesini açıklamamaktadır. Bu boşluklar, varsayımlar değil, değerlendirme soruları olmalıdır.

Ne zaman Jev kullanmamalısınız?

Jev'i, konuşma, özetleme, kod üretimi, ayrıntılı açıklamalar veya uzun vadeli akıl yürütme gerektiğinde birincil model olarak kullanmayın. Denetlenebilir bir gerekçe gerektiren yüksek riskli süreçler için de kötü bir tek karar verici olarak kabul edilir. Sabit bir alanda, geleneksel bir küçük sınıflayıcı veya özel bir yeniden sıralayıcı daha doğru, daha ucuz veya doğrulaması daha kolay olabilir.

SSS

Jev bir LLM midir?

Geleneksel sohbet modeli anlamında hayır. Metin veya yapılandırılmış durumu tüketir, ancak üretilmiş bir anlatı yerine önceden tanımlanmış karar türleri döndürür.

“Hafıza yok” ifadesi, Jev'in yanlış olamayacağı anlamına mı gelir?

Hayır. Çıktı şekli garanti edilebilirken, seçilen cevap anlamsal olarak yanlış olabilir. İddianızı şema ve tür hatalarına karşı bir koruma olarak yorumlayın.

Jev, bir ajanı güçlendiren modeli mi değiştirir?

Genellikle hayır. Daha iyi bir tamamlayıcı olarak konumlandırılmıştır: hızlı yapılandırılmış kararlar için Jev, akıl yürütme ve dil için bir LLM ve politika uygulaması için kod veya insanlar.

RLCD nedir?

TypeSafe, bunu Kalibre Edilmiş Kararlar için Pekiştirme Öğrenimi olarak genişletir ve bildirilen olasılığı gözlemlenen doğrulukla hizalamayı amaçlar. Kamu kaynakları, bağımsız teknik denetim için yeterli eğitim ayrıntısı veya standart kalibrasyon kanıtı sağlamamaktadır.

Öncelikle neyi prototiplemeliyim?

Bir LLM üzerinden çalışan bir yüksek hacimli, geri alınabilir sınıflandırma seçin. Jev'i gölge modda çalıştırın, kararları etiketli sonuçlarla karşılaştırın ve yalnızca eşikler ve yedeklemeler doğrulandıktan sonra otomasyonu tanıtın.

Bir ölçülebilir karar ile başlayın

Jev'in en güçlü önerisi “her LLM'yi değiştirmek” değil. “Zaten bilinen bir şekli olan kararlar üretmek için bir üretken modele para ödemeyi durdurun.” Ajanınızda bir dal seçin, kabul edilebilir hata ve yükseltme politikasını tanımlayın ve kendi trafiğinizle test edin.

TypeSafe AI’nin Sistem Bir Modelleri ve Jev'e Giriş makalesini orijinal model iddiaları ve uyarıları için, LangChain’in Jev ile bir harness oluşturma kılavuzunu Python entegrasyonu ve ara katman desenleri için kullanın.

AIHubMix ile Jev kullanmaya başlayın

AIHubMix, geliştiricilere yeni karar modeline diğer önde gelen AI modellerinin yanında erişim sağlayan Jev desteği ekledi.

Jev'i denemek ve iş akışınızdaki bir bilinen dalı ölçülebilir bir deney haline getirmek için AIHubMix ziyaret edin. Geri alınabilir bir sınıflandırma veya puanlama görevi ile başlayın, başarı eşikinizi tanımlayın ve sonuçları değerlendirirken bir LLM veya insan yedeği bulundurun.