Jev nên được hiểu đơn giản nhất là một lớp ra quyết định cho phần mềm. Nó đọc văn bản hoặc trạng thái có cấu trúc, rồi trả về các phân loại được định sẵn, điểm số và xác suất có/không. Nó không viết câu trả lời cho người dùng. Giao diện hẹp hơn này khiến Jev phù hợp với các bước định tuyến khối lượng lớn, phân loại ưu tiên, xác minh và kiểm soát an toàn bên trong AI agent.
Mô hình thực tế rất đơn giản: để Jev đưa ra các phán đoán thường xuyên và có thể đảo ngược; để mã nghiệp vụ thực thi chính sách; và chuyển các trường hợp không chắc chắn hoặc có hậu quả lớn cho một LLM đủ năng lực hoặc cho con người xử lý.
Nếu bạn chưa biết về Jev, cách giải thích ngắn nhất là: Jev là một mô hình ra quyết định AI mới được TypeSafe AI phát hành, hoạt động giống một câu lệnh if mang tính ngữ nghĩa hơn là một chatbot. Bạn cung cấp ngữ cảnh và một tập câu hỏi cố định; Jev trả về các lựa chọn có kiểu dữ liệu, điểm số và xác suất để mã ứng dụng dùng ngay.
Jev là gì?
TypeSafe AI gọi Jev là mô hình System One đầu tiên của họ, mượn ý tưởng về phía "nhanh" trong sự phân biệt System 1/System 2. Một yêu cầu cung cấp trạng thái chương trình và các câu hỏi có kiểu dữ liệu. Jev đánh giá các câu hỏi song song và trả về xác suất cùng giá trị độ tin cậy mà phần mềm có thể sử dụng trực tiếp.
Các loại câu hỏi hiện có gồm:
Nouldùng để tính xác suất một phát biểu có/không là đúng.Choicedùng để chọn một trong các phương án được định sẵn, kèm phân phối xác suất và độ tin cậy.Scoredùng để đánh giá theo các mức có thứ tự, kèm điểm số, phân phối nền và độ tin cậy.
Khác với LLM tự hồi quy, Jev không sinh ra các chuỗi ký tự tùy ý. TypeSafe cho rằng điều này đảm bảo việc khớp schema: phản hồi không thể tự bịa ra trường dữ liệu hay trả về sai kiểu dữ liệu. Tuy vậy, nó vẫn có thể chọn sai một đáp án hợp lệ, nên không được trình bày kiểu an toàn về kiểu dữ liệu như thể nó không bao giờ sai về mặt ngữ nghĩa.
Jev nằm ở đâu trong kiến trúc agent?
Hãy dùng Jev giữa các thay đổi trạng thái, khi hệ thống cần một phán đoán có ràng buộc:
User or tool result
-> Jev: classify, score, route, or check risk
-> application policy
-> execute a low-risk action
-> call an LLM for reasoning or language
-> request human review
Jev bổ trợ cho LLM. LLM xử lý suy luận mở, giải thích và nội dung được sinh ra. Jev xử lý các câu hỏi lặp lại mà các đáp án có thể có đã được biết trước.
Chọn đúng tầng cho từng công việc
Jev dễ hiểu nhất khi xem nó là một thành phần trong một hệ thống tự động hóa lớn hơn:
| Tầng | Phù hợp nhất cho |
|---|---|
| Jev | Phân loại, chấm điểm, định tuyến và kiểm tra rủi ro lặp lại |
| LLM | Suy luận phức tạp, giải thích và sinh văn bản |
| Mã ứng dụng | Quy tắc xác định, phân quyền và thực thi |
| Người kiểm duyệt | Các trường hợp rủi ro cao, mơ hồ hoặc ngoại lệ |
Sự phân chia này chính là ý tưởng sản phẩm đằng sau Jev: mô hình không quyết định mọi thứ và cũng không cần nói ra mọi thứ. Nó biến ngữ cảnh ngữ nghĩa mờ thành một tín hiệu xác suất có kiểu dữ liệu, trong khi hệ thống xung quanh vẫn chịu trách nhiệm về chính sách và hành động.
Bước 1: chọn quy trình đầu tiên phù hợp
Hãy bắt đầu với một quyết định khối lượng lớn đã có sẵn, vốn đã dùng LLM kết hợp đầu ra có cấu trúc. Các ứng viên tốt gồm: định tuyến ticket hỗ trợ, kiểm tra chất lượng nội dung, rà soát log hoạt động của agent, phân loại tài liệu và lựa chọn mô hình.
Tránh bắt đầu với quyết định không thể đảo ngược, nhạy cảm về mặt pháp lý, hoặc có giá trị lớn đến mức độ chính xác tối đa quan trọng hơn độ trễ và chi phí. Cũng nên tránh các tác vụ đòi hỏi đầu ra bằng ngôn ngữ tự nhiên hoặc lời giải thích có thể kiểm toán: Jev chỉ trả về quyết định và xác suất, không trả về một bản tường thuật lập luận.
Bước 2: xác định trạng thái và các câu hỏi
Hãy để trạng thái chứa bằng chứng cần cho quyết định, nhưng giữ chính sách trong mã ứng dụng. Khi có thể, hãy tách một yêu cầu rộng thành các câu hỏi độc lập.
Với quy trình hỗ trợ, một yêu cầu có thể hỏi:
- Ticket nên được chuyển vào hàng đợi nào?
- Mức độ nghiêm trọng của vấn đề là bao nhiêu?
- Nội dung tin nhắn có gợi ý hành vi lạm dụng không?
- Có cần con người xem xét không?
Hãy thêm unknown hoặc none_of_the_above khi danh sách lựa chọn có thể không bao phủ mọi trường hợp thực tế. Nếu không có lối thoát, một bộ phân loại đóng buộc phải chọn một nhãn hợp lệ nhưng có khả năng gây hiểu lầm.
Bước 3: gọi Jev qua LangChain
Cài đặt tích hợp và cung cấp API key thông qua biến môi trường hoặc trình quản lý bí mật của bạn:
pip install langchain-typesafe
export TYPESAFE_API_KEY="your-api-key"
Sau đó tạo một câu hỏi có kiểu dữ liệu:
from langchain_typesafe import Noul, TypeSafeClassifier
classifier = TypeSafeClassifier()
response = classifier.invoke(
state=(
"The deploy failed twice and customers are seeing 500s. "
"Can someone look now?"
),
questions={
"urgent": Noul(
instructions="Does this need attention right now?"
),
},
)
urgency = response.nouls["urgent"].noul
Kết quả là một xác suất mà chính sách của bạn có thể so sánh với ngưỡng. Nó không phải là chỉ thị để tự thực thi.
Bước 4: xây dựng chính sách leo thang
Hãy dùng nhiều mức ngưỡng thay vì một ngưỡng cắt duy nhất cho mọi trường hợp:
high confidence + low consequence -> automatic action
medium confidence -> LLM verification
low confidence -> human review
high consequence at any score -> stronger control or approval
Đặt ngưỡng theo từng hành động. Việc tự động gán nhãn cho ticket và việc tự động duyệt thanh toán không nên dùng chung một chính sách rủi ro chỉ vì cả hai đều dùng xác suất.
Bước 5: sử dụng định tuyến và kiểm soát an toàn một cách thận trọng
Thành phần thử nghiệm ModelRouterMiddleware của LangChain có thể dùng Jev để chuyển các tác vụ đơn giản sang một mô hình nhanh và các tác vụ phức tạp hoặc có rủi ro cao sang một mô hình có năng lực hơn. Cách này có thể giảm việc dùng mô hình lớn mà không buộc mọi yêu cầu phải đi qua lựa chọn rẻ nhất.
Thành phần thử nghiệm AutoModeMiddleware áp dụng Jev để kiểm tra rủi ro của lệnh gọi công cụ và có thể chặn một lệnh gọi trước khi thực thi. Hãy giữ các cơ chế kiểm soát xác định xung quanh những công cụ nhạy cảm: danh sách cho phép, sandbox, thông tin xác thực có phạm vi giới hạn, giới hạn tần suất và phê duyệt của con người vẫn cần thiết, vì một bộ phân loại có thể tạo ra kết quả âm tính giả.
Bước 6: đánh giá trên dữ liệu của chính bạn
TypeSafe báo cáo độ trễ từ đầu đến cuối 70–500 ms, $0.042 cho mỗi triệu token đầu vào, và đầu ra không tính phí. Trong bốn đánh giá quy trình của họ, Jev đạt mức đồng thuận trung bình 67.8% với xác suất tham chiếu, với chi phí khoảng $0.0004 và 0.4 giây cho mỗi mẫu. Cùng bộ đánh giá đó ghi nhận GPT-5.6 Terra đạt 67.9% với chi phí $0.0304 và 10.1 giây, còn GPT-5.6 Sol đạt 74.1% với chi phí $0.0836 và 23.3 giây.
Đây là kết quả do nhà cung cấp công bố, không phải dự báo chung cho mọi trường hợp. Mốc tham chiếu là giá trị dự đoán trung bình của GPT-6 Astra và Fable 5.1, chứ không phải nhãn đúng do con người gán. TypeSafe lưu ý khả năng thiên lệch từ người thiết kế quy trình và cho rằng các mức cải thiện lớn nhất về tốc độ và chi phí được công bố có lẽ thuộc về nhóm cao nhất trong thực tế.
Trước khi đưa vào production, hãy so sánh Jev với LLM hiện tại của bạn, các quy tắc đơn giản và một mô hình chuyên biệt theo lĩnh vực khi có thể. Hãy đo:
- Độ chính xác, precision và recall theo từng lớp.
- Mức độ hiệu chỉnh và tỷ lệ lỗi với độ tin cậy cao.
- Tỷ lệ bỏ qua quyết định và tỷ lệ leo thang.
- Độ trễ p50, p95 và p99 từ khu vực triển khai của bạn.
- Chi phí đầu cuối của toàn bộ chuỗi xử lý, bao gồm cả các phương án dự phòng.
- Hiệu năng khi phân phối dữ liệu thay đổi và khi có đầu vào đối nghịch.
Bước 7: bổ sung các biện pháp bảo vệ vận hành
Sẵn sàng đưa vào production đòi hỏi nhiều hơn chất lượng mô hình:
- Ghi log phiên bản trạng thái, schema câu hỏi, xác suất, độ tin cậy, nhánh được chọn và kết quả sau đó.
- Quản lý phiên bản cho prompt hoặc hướng dẫn câu hỏi và cho các ngưỡng quyết định.
- Thêm timeout, cơ chế retry có giới hạn, circuit breaker và một phương án dự phòng mang tính xác định.
- Rà soát riêng các lỗi có độ tin cậy cao; đây là những lỗi tự động hóa nguy hiểm nhất.
- Theo dõi sự trôi dạt (drift) và hiệu chỉnh lại ngưỡng khi tập đầu vào thay đổi.
- Đặt các hành động không thể đảo ngược hoặc chịu sự quản lý pháp lý phía sau các cơ chế kiểm soát kỹ thuật và con người chặt chẽ hơn.
Tài liệu công khai hiện chưa công bố số lượng tham số, kiến trúc chi tiết, thiết kế phần thưởng RLCD, đường cong hiệu chỉnh tiêu chuẩn, SLA production, hay độ trễ dịch vụ p95/p99 của Jev. Những khoảng trống này nên trở thành các câu hỏi cần đánh giá, chứ không phải những giả định.
Khi nào không nên dùng Jev?
Không dùng Jev làm mô hình chính khi bạn cần hội thoại, tóm tắt, sinh mã, giải thích chi tiết hoặc suy luận dài hạn. Nó cũng là người ra quyết định duy nhất kém phù hợp cho các quy trình rủi ro cao đòi hỏi cơ sở lập luận có thể kiểm toán. Trong một lĩnh vực cố định, một bộ phân loại nhỏ truyền thống hoặc bộ xếp hạng lại chuyên biệt có thể chính xác hơn, rẻ hơn khi vận hành, hoặc dễ kiểm chứng hơn.
Câu hỏi thường gặp
Jev có phải là LLM không?
Không theo nghĩa mô hình chat thông thường. Jev nhận vào trạng thái dạng văn bản hoặc có cấu trúc, nhưng trả về các loại quyết định được định sẵn thay vì văn bản được sinh ra.
"Không ảo giác" có nghĩa là Jev không thể sai không?
Không. Hình dạng đầu ra có thể được đảm bảo trong khi đáp án được chọn vẫn sai về mặt ngữ nghĩa. Hãy hiểu tuyên bố này như một cơ chế bảo vệ trước lỗi schema và lỗi kiểu dữ liệu.
Jev có thay thế mô hình đang vận hành agent không?
Thường là không. Jev phù hợp hơn với vai trò bổ trợ: Jev đưa ra các quyết định có cấu trúc nhanh, LLM xử lý suy luận và ngôn ngữ, còn mã hoặc con người thực thi chính sách.
RLCD là gì?
TypeSafe giải thích viết tắt này là Reinforcement Learning for Calibrated Decisions, nhằm căn chỉnh xác suất được báo cáo với độ đúng được quan sát. Các nguồn công khai hiện chưa cung cấp đủ chi tiết huấn luyện hay bằng chứng hiệu chỉnh tiêu chuẩn để việc kiểm định kỹ thuật độc lập có thể thực hiện.
Nên thử nghiệm nguyên mẫu gì trước?
Hãy chọn một bài toán phân loại khối lượng lớn, có thể đảo ngược và hiện đang chạy qua LLM. Chạy Jev ở chế độ shadow, so sánh quyết định với kết quả đã gán nhãn, và chỉ đưa vào tự động hóa sau khi ngưỡng và phương án dự phòng đã được kiểm chứng.
Bắt đầu với một quyết định có thể đo lường
Giá trị nổi bật nhất của Jev không phải là "thay thế mọi LLM". Đó là "ngừng trả tiền cho một mô hình sinh văn bản chỉ để tạo ra các quyết định vốn đã có hình dạng xác định". Hãy chọn một nhánh trong hệ thống agent của bạn, xác định mức sai số và chính sách leo thang có thể chấp nhận, rồi kiểm thử trên lưu lượng thực tế của chính bạn.
Hãy đọc phần giới thiệu về các mô hình System One và Jev của TypeSafe AI để nắm các tuyên bố gốc về mô hình cùng những lưu ý đi kèm, và hướng dẫn xây dựng harness với Jev của LangChain để tìm hiểu cách tích hợp Python và các mẫu middleware.
Bắt đầu sử dụng Jev với AIHubMix
AIHubMix đã bổ sung hỗ trợ Jev, giúp các nhà phát triển truy cập mô hình ra quyết định mới này cùng với nhiều mô hình AI hàng đầu khác tại một nơi duy nhất.
Truy cập AIHubMix để dùng thử Jev và biến một nhánh đã biết trong quy trình của bạn thành một thí nghiệm có thể đo lường. Hãy bắt đầu với một tác vụ phân loại hoặc chấm điểm có thể đảo ngược, xác định ngưỡng thành công, và giữ một phương án dự phòng bằng LLM hoặc con người trong khi bạn đánh giá kết quả.
