Kiến trúc AI Agent: Định tuyến mô hình và khám phá công cụ

Tìm hiểu vì sao các AI agent trong môi trường production cần hai tích hợp: AIHubMix để định tuyến mô hình theo thời gian thực, và Monid để khám phá công cụ khi chạy cùng truy cập API.

AIHubMixĐọc 8 phút
Kiến trúc AI Agent: Định tuyến mô hình và khám phá công cụ

Kết nối một LLM là đủ để ứng dụng sinh ra văn bản. Nhưng như vậy vẫn chưa đủ để một AI agent hoàn thành một tác vụ thực tế.

Nếu yêu cầu một mô hình tóm tắt một tài liệu đã nằm sẵn trong ngữ cảnh, lớp mô hình là đủ. Nhưng nếu yêu cầu nó so sánh giá của đối thủ hôm nay, bổ sung thông tin cho hồ sơ một công ty, kiểm tra một tài khoản mạng xã hội, hoặc chọn API phù hợp nhất cho một công việc chưa quen, thì phần còn thiếu trở nên rõ ràng: agent cần một cách đáng tin cậy để kết nối với các hệ thống bên ngoài.

Vì vậy, một agent trong môi trường production phải đưa ra hai quyết định riêng biệt:

  1. Mô hình nào nên xử lý bước này?
  2. Công cụ hoặc API nào sẽ cung cấp dữ liệu hoặc hành động?

AIHubMix giải quyết quyết định thứ nhất bằng khả năng truy cập mô hình thống nhất và định tuyến mô hình tại thời điểm gửi yêu cầu. Monid giải quyết quyết định thứ hai bằng khám phá công cụ khi chạy, kiểm tra schema và thực thi theo từng lần gọi (pay-per-call). Hai sản phẩm nằm ở các lớp khác nhau của cùng một kiến trúc.

Công bố thông tin: Bài viết này được thực hiện như một phần của hợp tác nội dung với Monid. AIHubMix là nền tảng mô hình được thảo luận bên dưới; Monid là nền tảng công cụ. Mỗi nền tảng có thể được sử dụng độc lập.

Hai bài toán định tuyến bên trong một AI agent

Một lần chạy agent hiếm khi chỉ là một lần gọi mô hình đồng nhất. Một research agent có thể phân loại yêu cầu, tìm kiếm thông tin hiện tại, trích xuất dữ kiện có cấu trúc, so sánh kết quả và viết câu trả lời cuối cùng. Mỗi bước đó đòi hỏi những năng lực khác nhau.

Điều tương tự cũng xảy ra ngoài mô hình. Một tác vụ nghiên cứu công ty hôm nay có thể cần một API tìm kiếm, ngày mai cần một endpoint bổ sung thông tin doanh nghiệp, và tuần sau cần một công cụ tự động hóa trình duyệt. Nếu mọi mô hình và công cụ đều được mã hóa cứng lúc build, mỗi tác vụ mới sẽ trở thành một dự án tích hợp riêng.

Hai lớp này song song với nhau:

Lớp mô hình Lớp công cụ
Quyết định cốt lõi Mô hình nào nên trả lời? API nào nên được gọi?
Thời điểm lựa chọn Theo từng yêu cầu Theo từng tác vụ, tại thời điểm chạy
Đầu vào Prompt, định dạng dữ liệu, nhu cầu về chất lượng và độ trễ Mục tiêu, dữ liệu hoặc hành động cần thiết, schema và giá
Đầu ra Một kết quả sinh từ mô hình Dữ liệu bên ngoài hoặc một hành động đã được thực thi
Ví dụ AIHubMix Monid

Sự tách biệt này rất quan trọng. Một mô hình tốt hơn không thể tạo ra quyền truy cập dữ liệu trực tiếp, và một danh mục công cụ lớn hơn cũng không thể suy luận trên dữ liệu mà nó trả về. Agent cần cả hai năng lực, cùng với một hợp đồng rõ ràng giữa chúng.

Monid trình bày góc nhìn bổ sung từ phía công cụ trong Vì sao một AI Agent cần hai tích hợp. Từ phía mô hình, bài học về kiến trúc vẫn như vậy: giữ việc lựa chọn mô hình và lựa chọn công cụ độc lập, rồi tối ưu từng lớp cho nhiệm vụ riêng của nó.

Vì sao một mô hình cố định trở nên đắt đỏ trong vòng lặp của agent

Dùng một mô hình cho mọi bước trông có vẻ đơn giản. Trên thực tế, điều đó buộc mọi bước phải chấp nhận cùng một sự đánh đổi giữa năng lực, độ trễ và chi phí.

Hãy xét một agent nghiên cứu thị trường:

  • Phân loại ý định là bước ngắn và mang tính máy móc.
  • Lựa chọn công cụ cần khả năng tuân thủ hướng dẫn đáng tin cậy.
  • Trích xuất trường dữ liệu từ JSON trả về chủ yếu là chuyển đổi dữ liệu.
  • Báo cáo cuối cùng có thể đòi hỏi khả năng suy luận và viết tốt hơn.

Gửi cả bốn bước cho mô hình mạnh nhất sẽ lãng phí tiền cho công việc thường nhật. Gửi cả bốn bước cho mô hình rẻ nhất lại có thể làm giảm chất lượng của kết quả duy nhất mà người dùng thực sự đọc. Khi vòng lặp của agent càng lớn, sự thỏa hiệp đó lặp lại ở mọi lần gọi.

AIHubMix cung cấp một endpoint tương thích OpenAI trên một danh mục mô hình rộng. Một tích hợp OpenAI SDK sẵn có có thể trỏ tới AIHubMix bằng cách thay đổi API key và base_url:

from openai import OpenAI

client = OpenAI(
    api_key="<AIHUBMIX_API_KEY>",
    base_url="https://aihubmix.com/v1",
)

response = client.chat.completions.create(
    model="auto:balanced",
    messages=[
        {"role": "user", "content": "Classify this request and propose the next step."}
    ],
)

Đặt model thành auto sẽ đưa việc lựa chọn mô hình vào luồng xử lý yêu cầu. Bộ định tuyến phân tích tác vụ và chọn ra một mô hình phù hợp. Hậu tố chính sách làm rõ mục tiêu tối ưu:

Giá trị của bộ định tuyến Ưu tiên Bước agent điển hình
auto Ưu tiên chi phí Xử lý hàng loạt và các phép biến đổi thường nhật
auto:balanced Năng lực, chi phí và độ trễ Công việc agent đa dụng
auto:quality_first Ưu tiên năng lực Suy luận phức tạp và sản phẩm đầu ra cuối cùng
auto:latency_critical Ưu tiên tốc độ Vòng lặp tương tác và lập kế hoạch nhẹ

Định tuyến không phát sinh phí riêng. Yêu cầu được tính theo giá niêm yết của mô hình thực sự xử lý nó. Mô hình đã được định tuyến và các chi tiết định tuyến được trả về trong phản hồi, bao gồm header X-Aihubmix-Router-Resolved-Model, nhờ đó quyết định này có thể quan sát được thay vì trở thành một hộp đen.

Toàn bộ hành vi, các endpoint được hỗ trợ, chính sách và những hạn chế hiện tại được ghi trong hướng dẫn AIHubMix LLM Router.

Định tuyến mô hình không cung cấp dữ liệu trực tiếp cho agent

Sau khi cấu hình định tuyến mô hình, agent có thể chọn một "bộ não" phù hợp hơn cho từng bước. Tuy nhiên, nó vẫn không thể biết những gì đã thay đổi sau dữ liệu huấn luyện của mô hình, truy cập một hệ thống kinh doanh riêng tư, hoặc thực hiện hành động trong một ứng dụng khác, trừ khi có một công cụ cung cấp khả năng đó.

Đây là nơi nhiều dự án agent tích tụ mã nguồn dễ vỡ. Một đội nhóm kết nối một API tìm kiếm, rồi một API thu thập dữ liệu, rồi một API bổ sung thông tin. Mỗi tích hợp đưa thêm một tài khoản, thông tin xác thực, định dạng yêu cầu, mô hình lỗi và quan hệ thanh toán riêng. Mô tả công cụ thường được chép vào system prompt và dần trở nên lỗi thời.

Chế độ lỗi này nguy hiểm vì nó có thể trông như đã thành công. Mô hình có thể tạo ra một lệnh gọi hợp lý nhưng dựa trên schema đã lỗi thời, nhận về phản hồi không đầy đủ và vẫn tiếp tục như thể tác vụ đã hoàn thành. Kiểm tra schema khi chạy an toàn hơn so với việc yêu cầu mô hình nhớ hợp đồng API từ dữ liệu huấn luyện hoặc từ một prompt cũ.

Vì vậy, lớp công cụ nên trả lời ba câu hỏi trước khi thực thi:

  1. Công cụ nào có thể đáp ứng mục tiêu này?
  2. Schema và giá nào đang áp dụng ngay bây giờ?
  3. Lệnh gọi thực tế đã trả về kết quả gì?

Khám phá công cụ là lớp định tuyến thứ hai

Monid biến việc truy cập công cụ thành một quy trình khám phá – kiểm tra – thực thi. Thay vì buộc nhà phát triển phải dự đoán mọi API mà agent có thể cần, agent có thể tìm kiếm trong danh mục bằng ngôn ngữ tự nhiên, kiểm tra hợp đồng của một ứng viên và thực thi endpoint được chọn.

Luồng cơ bản trông như sau:

# 1. Find tools that match the goal
monid discover -q "find current product pricing from a public web page"

# 2. Read the selected endpoint's schema and pricing
monid inspect -p PROVIDER_SLUG -e ENDPOINT_PATH

# 3. Execute only after the agent has checked the contract
monid run -p PROVIDER_SLUG -e ENDPOINT_PATH \
  --query '{"url":"https://example.com/product"}'

Khám phá và kiểm tra cho phép agent so sánh các lựa chọn trước khi chi bất cứ khoản nào. Việc thực thi được tính phí theo mô hình giá của endpoint đã chọn. Nhà phát triển chỉ cần giữ một tích hợp, trong khi agent có thể truy cập công cụ từ nhiều nhà cung cấp.

Với các agent runtime có thể đọc hướng dẫn cài đặt, Monid cũng công bố một skill ở định dạng máy đọc được:

Set up https://monid.ai/SKILL.md

Tài liệu quy trình làm việc của Monid giải thích chi tiết hơn về các giai đoạn danh mục, kiểm tra và thực thi.

Cách hai lớp phối hợp với nhau

Cổng mô hình và lớp công cụ nên tách biệt thành các thành phần riêng, với một điểm bàn giao nhỏ và rõ ràng:

  1. Agent nhận mục tiêu từ người dùng.
  2. AIHubMix định tuyến một lệnh gọi lập kế hoạch đến mô hình phù hợp.
  3. Kế hoạch xác định thông tin còn thiếu hoặc hành động bên ngoài cần thiết.
  4. Monid khám phá các công cụ ứng viên và cung cấp schema cùng giá của chúng.
  5. Agent chọn và chạy một công cụ trong phạm vi quyền hạn và ngân sách cho phép.
  6. Công cụ trả về dữ kiện hoặc kết quả của một hành động.
  7. AIHubMix định tuyến lệnh gọi tổng hợp theo yêu cầu về chất lượng, chi phí hoặc độ trễ.
  8. Agent trả về câu trả lời dựa trên kết quả từ công cụ.

Trong đoạn Python được rút gọn, các lệnh gọi phía mô hình có thể giữ nguyên trong khi kết quả công cụ được chèn vào làm ngữ cảnh:

from openai import OpenAI

client = OpenAI(
    api_key="<AIHUBMIX_API_KEY>",
    base_url="https://aihubmix.com/v1",
)

# A fast model is sufficient for a lightweight planning step.
plan = client.chat.completions.create(
    model="auto:latency_critical",
    messages=[
        {
            "role": "user",
            "content": "Plan how to compare the current prices of these products.",
        }
    ],
)

# Your agent uses Monid to discover, inspect, and run an appropriate tool.
# Replace these placeholders with the structured result returned by that call.
tool_result = {
    "source": "<source-url>",
    "data": "<structured-tool-result>",
}

report = client.chat.completions.create(
    model="auto:quality_first",
    messages=[
        {
            "role": "system",
            "content": (
                "Write a concise comparison. Use only the supplied tool result, "
                "preserve source URLs, and state when a value is missing."
            ),
        },
        {"role": "user", "content": str(tool_result)},
    ],
)

Điểm quan trọng không nằm ở số dòng code. Mà ở chỗ không lựa chọn nào cần bị gắn cứng vĩnh viễn vào logic ứng dụng. Mô hình có thể thay đổi khi prompt thay đổi, và công cụ có thể thay đổi khi tác vụ thay đổi.

Kiểm soát chi phí cần có ở cả hai lớp

Chi phí mô hình và chi phí công cụ dùng các đơn vị khác nhau, vì vậy cần được đo lường riêng.

Ở lớp mô hình, mô hình đã được định tuyến quyết định giá theo token. AIHubMix giúp quyết định này có thể truy vết và cho phép nhà phát triển chọn chính sách định tuyến hoặc giới hạn các mô hình mà API key được phép sử dụng. Các bước thường nhật có thể ưu tiên chi phí hoặc độ trễ, còn các đầu ra hướng đến người dùng có thể ưu tiên chất lượng.

Ở lớp công cụ, một endpoint có thể tính phí theo mỗi lần gọi hoặc theo mỗi kết quả. Monid hiển thị giá trong bước kiểm tra, trước khi thực thi. Agent có thể từ chối endpoint vượt ngân sách, ưu tiên một lựa chọn đã được xác minh, hoặc yêu cầu phê duyệt trước một thao tác có chi phí bất thường cao.

Các kiểm soát hữu ích trong môi trường production bao gồm:

  • Danh sách cho phép mô hình hoặc giới hạn giá trần cho mỗi API key.
  • Ngân sách số lần gọi công cụ tối đa cho mỗi tác vụ.
  • Danh sách cho phép nhà cung cấp hoặc endpoint đối với dữ liệu được quy định chặt chẽ.
  • Nhật ký liên kết quyết định định tuyến mô hình với lệnh gọi công cụ và câu trả lời cuối cùng.
  • Xác nhận rõ ràng trước các hành động không thể đảo ngược hoặc nhạy cảm.
  • Kiểm tra đầu ra để xử lý dữ liệu công cụ như đầu vào không đáng tin cậy, chứ không phải như chỉ dẫn.

Cách phân tách này cũng giúp việc gỡ lỗi chi phí dễ dàng hơn. Nếu một lần chạy trở nên tốn kém, nhật ký token cho thấy agent có suy luận quá nhiều hay không, còn nhật ký công cụ cho thấy nó có lấy dữ liệu quá nhiều hay không. Cách khắc phục cho hai trường hợp này khác nhau, và kiến trúc cần giữ được sự khác biệt đó.

Độ tin cậy đòi hỏi hợp đồng luôn mới và quyết định có thể quan sát được

Lựa chọn động không nên đồng nghĩa với hành vi khó đoán.

Ở phía mô hình, AIHubMix báo cáo mô hình đã định tuyến và chính sách định tuyến cho từng yêu cầu. Tính năng session stickiness có thể giữ cho mô hình nhất quán và tận dụng lợi ích prompt cache trong công việc nhiều lượt, trong khi hành vi fallback có thể chuyển khỏi một mô hình không ổn định khi cần thiết.

Ở phía công cụ, agent kiểm tra schema hiện tại của endpoint trước khi thực hiện một lệnh gọi có phí. Kết quả khám phá bao gồm thông tin cần thiết để so sánh các ứng viên, và kết quả của lệnh gọi thực tế trở thành bằng chứng bên ngoài duy nhất được đưa vào lần hoàn thành cuối cùng.

Cùng nhau, các kiểm soát này tạo ra một nhật ký kiểm toán hữu ích:

user goal
  -> routing decision and resolved model
  -> discovered tool candidates
  -> inspected schema and price
  -> selected endpoint and result
  -> final model decision and grounded response

Nhật ký đó có giá trị hơn nhiều so với việc chỉ có quyền truy cập vào nhiều mô hình hoặc nhiều API. Nó giải thích vì sao agent đưa ra từng lựa chọn và bằng chứng nào hỗ trợ câu trả lời của nó.

Khi nào bạn không cần cả hai lớp

Không phải quy trình nào cũng hưởng lợi từ việc lựa chọn khi chạy.

Nếu một ứng dụng chỉ gửi một prompt ổn định đến một mô hình đã được đánh giá, việc chỉ định trực tiếp mô hình đó sẽ đơn giản và có tính xác định hơn so với định tuyến. Nếu một pipeline theo lịch luôn gọi một API đã biết, tích hợp trực tiếp API đó có thể rõ ràng hơn là thêm một lớp khám phá.

Kiến trúc hai lớp chỉ thật sự có giá trị khi tính đa dạng là một phần của khối lượng công việc:

  • Các prompt khác nhau đủ nhiều để mô hình tốt nhất thay đổi theo từng bước.
  • Agent thực hiện nhiều lần gọi mô hình và cần kiểm soát tổng chi phí hoặc độ trễ tích lũy.
  • Các công cụ cần thiết không thể được dự đoán đầy đủ tại thời điểm xây dựng.
  • Dữ liệu bên ngoài phải luôn cập nhật và nguồn của nó phải hiển thị rõ ràng.
  • Nhóm muốn bổ sung thêm năng lực mà không phải tích hợp thêm một nhà cung cấp mới cho mỗi năng lực.

Tùy theo các quyết định mà ứng dụng của bạn thực sự cần đưa ra, hãy sử dụng lớp mô hình, lớp công cụ, hoặc cả hai.

Xây dựng agent xoay quanh quyết định, không phải sự phụ thuộc

Một AI agent sẵn sàng cho production không được định nghĩa bởi số lượng mô hình hoặc API mà nó có thể truy cập. Nó được định nghĩa bởi khả năng chọn đúng năng lực cho bước hiện tại, hoạt động trong giới hạn ngân sách và giải thích được những gì đã xảy ra.

AIHubMix cung cấp cho agent một endpoint mô hình thống nhất và định tuyến tại thời điểm gửi yêu cầu theo các ưu tiên về chi phí, chất lượng và độ trễ. Monid cung cấp cho agent khả năng khám phá công cụ khi chạy, lược đồ hiện tại, bảng giá hiển thị rõ ràng và thực thi trên các nhà cung cấp bên ngoài.

Một lớp quyết định cách agent suy nghĩ, lớp còn lại quyết định cách agent tìm hiểu thông tin và hành động. Tách biệt hai loại quyết định này giúp agent dễ mở rộng, dễ quan sát và dễ kiểm soát hơn.

Bắt đầu với hướng dẫn nhanh AIHubMix, sau đó kết nối phía công cụ thông qua Monid.

Câu hỏi thường gặp

Định tuyến mô hình cho AI agent là gì?

Định tuyến mô hình chọn một mô hình cho từng yêu cầu dựa trên các yếu tố như loại tác vụ, năng lực, chi phí và độ trễ. Với AIHubMix, đặt model thành auto hoặc một chính sách như auto:quality_first sẽ bật tính năng chọn mô hình tại thời điểm gửi yêu cầu, đồng thời vẫn giữ API tương thích với OpenAI.

Tại sao AI agent cần công cụ nếu LLM đã có kiến thức?

LLM tạo câu trả lời dựa trên ngữ cảnh nhận được và những gì đã học trong quá trình huấn luyện. Nó không thể biết chắc chắn giá cả hiện tại, truy vấn cơ sở dữ liệu riêng hoặc thực hiện một hành động bên ngoài nếu không có công cụ được kết nối. Công cụ cung cấp dữ liệu trực tiếp và khả năng thực thi; mô hình lập kế hoạch và diễn giải kết quả.

Cổng mô hình (model gateway) có giống MCP server hoặc nền tảng công cụ không?

Không. Cổng mô hình định tuyến các yêu cầu suy luận đến các mô hình. MCP server và nền tảng công cụ cung cấp các năng lực bên ngoài cho agent. Chúng giải quyết các bài toán tích hợp bổ sung cho nhau và có thể được sử dụng cùng nhau.

AIHubMix và Monid có thể được sử dụng độc lập không?

Có. AIHubMix có thể định tuyến các lần gọi mô hình cho các ứng dụng không có yêu cầu công cụ động. Monid có thể cung cấp khả năng khám phá công cụ cho agent sử dụng một nhà cung cấp mô hình hoặc cổng khác. Sử dụng cả hai sẽ hữu ích khi agent cần lựa chọn trong thời gian chạy ở cả hai lớp.

Làm thế nào để giữ cho việc định tuyến tự động vẫn có thể kiểm toán?

Ghi lại mô hình đã được phân giải, chính sách định tuyến, ứng viên công cụ, giá đã kiểm tra, endpoint được chọn và kết quả trả về cho mỗi tác vụ. AIHubMix hiển thị chi tiết định tuyến mô hình trong phản hồi, còn Monid tách riêng việc khám phá và kiểm tra khỏi việc thực thi, nhờ đó quyết định chọn công cụ có thể được ghi lại trước khi thực hiện lệnh gọi tốn phí.

Một cổng duy nhất tới nhiều nhà cung cấp AI. Sẵn sàng cho môi trường production.

Truy cập AIHubMix