Архітектура AI-агента: маршрутизація моделей і пошук інструментів

Дізнайтеся, чому виробничим AI-агентам потрібні дві інтеграції: AIHubMix для маршрутизації моделей у реальному часі та Monid для пошуку інструментів і доступу до API під час виконання.

AIHubMix8 хв читання
Архітектура AI-агента: маршрутизація моделей і пошук інструментів

Підключення LLM достатньо, щоб застосунок генерував текст. Цього недостатньо, щоб AI-агент виконав реальне завдання.

Якщо попросити модель підсумувати документ, який уже є в її контексті, достатньо шару моделі. Але якщо попросити порівняти сьогоднішні ціни конкурентів, доповнити запис про компанію, перевірити соцмережевий акаунт або вибрати найкращий API для незнайомого завдання, стає очевидною відсутня частина: агенту потрібен надійний спосіб звертатися до зовнішніх систем.

Тому виробничий агент ухвалює два окремі рішення:

  1. Яка модель має обробити цей крок?
  2. Який інструмент або API має надати дані чи виконати дію?

AIHubMix відповідає на перше рішення за допомогою уніфікованого доступу до моделей і маршрутизації моделей на рівні запиту. Monid відповідає на друге за допомогою пошуку інструментів під час виконання, перевірки схем і оплати за виклик. Ці продукти працюють на різних рівнях однієї архітектури.

Розкриття: Цю статтю створено в рамках контентної співпраці з Monid. AIHubMix є платформою моделей, яку ми розглядаємо нижче; Monid є платформою інструментів. Кожну з них можна використовувати незалежно.

Дві задачі маршрутизації всередині AI-агента

Виконання агента рідко складається з одного однорідного виклику моделі. Дослідницький агент може класифікувати запит, шукати актуальну інформацію, витягувати структуровані факти, порівнювати результати та писати фінальну відповідь. Кожен із цих кроків потребує різних можливостей.

Те саме стосується поза межами моделі. Завдання з дослідження компанії сьогодні може потребувати пошукового API, завтра — ендпоінта для збагачення даних про компанію, а наступного тижня — інструмента автоматизації браузера. Якщо кожна модель і кожен інструмент жорстко закодовані під час збирання, кожне нове завдання стає окремим проєктом інтеграції.

Два рівні паралельні:

Рівень моделі Рівень інструментів
Ключове рішення Яка модель має відповісти? Який API слід викликати?
Час вибору Для кожного запиту Для кожного завдання, під час виконання
Вхідні дані Промпт, модальність, вимоги до якості та затримки Мета, потрібні дані або дія, схема і ціна
Результат Завершення від моделі Зовнішні дані або виконана дія
Приклад AIHubMix Monid

Це розділення важливе. Краща модель не створить доступу до живих даних, а більший каталог інструментів не зможе міркувати над даними, які повертає. Агенту потрібні обидві можливості з чітким контрактом між ними.

Monid показує доповняльний погляд зі сторони інструментів у статті Why an AI Agent Needs Two Integrations. З боку моделі архітектурний висновок той самий: тримайте вибір моделі та вибір інструмента незалежними, а потім оптимізуйте кожен рівень для його власного завдання.

Чому одна фіксована модель стає дорогою в циклі агента

Використання однієї моделі для всього виглядає простим. На практиці це змушує кожен крок миритися з однаковим компромісом між можливостями, затримкою та ціною.

Розгляньмо агента для ринкових досліджень:

  • Класифікація наміру коротка і механічна.
  • Вибір інструмента потребує надійного виконання інструкцій.
  • Витягання полів із отриманого JSON — переважно перетворення даних.
  • Фінальний звіт може вимагати сильнішого міркування та кращого письма.

Надсилання всіх чотирьох кроків найпотужнішій моделі витрачає гроші на рутинну роботу. Надсилання всіх чотирьох найдешевшій моделі може знизити якість єдиного результату, який читає користувач. Зі зростанням циклу агента цей компроміс повторюється при кожному виклику.

AIHubMix надає сумісний з OpenAI ендпоінт для широкого каталогу моделей. Наявна інтеграція з OpenAI SDK може вказувати на AIHubMix після зміни API-ключа та base_url:

from openai import OpenAI

client = OpenAI(
    api_key="<AIHUBMIX_API_KEY>",
    base_url="https://aihubmix.com/v1",
)

response = client.chat.completions.create(
    model="auto:balanced",
    messages=[
        {"role": "user", "content": "Classify this request and propose the next step."}
    ],
)

Встановлення model у значення auto переносить вибір моделі у шлях запиту. Маршрутизатор аналізує завдання і визначає відповідну модель. Суфікс політики робить ціль оптимізації явною:

Перевага маршрутизатора Пріоритет Типовий крок агента
auto Спочатку вартість Пакетна робота та рутинні перетворення
auto:balanced Можливості, вартість і затримка Універсальна робота агента
auto:quality_first Спочатку можливості Складні міркування та фінальні результати
auto:latency_critical Спочатку швидкість Інтерактивні цикли та легке планування

Маршрутизація не додає окремої плати. Запит тарифікується за прайсовою ціною моделі, яка фактично його обробила. Визначена модель і деталі маршрутизації передаються у відповіді, зокрема заголовок X-Aihubmix-Router-Resolved-Model, тож рішення лишається прозорим, а не перетворюється на чорну скриньку.

Повна поведінка, підтримувані ендпоінти, політики та поточні обмеження описані в посібнику AIHubMix LLM Router.

Маршрутизація моделей не дає агенту живих даних

Після налаштування маршрутизації моделей агент може обирати кращий «мозок» для кожного кроку. Він, однак, не знатиме, що змінилося після даних навчання моделі, не отримає доступу до приватної бізнес-системи і не виконає дію в іншому застосунку, поки інструмент не надасть таку можливість.

Саме тут у багатьох проєктів з агентами накопичується крихкий код. Команда підключає один пошуковий API, потім один API для скрапінгу, потім один API для збагачення. Кожна інтеграція додає ще один акаунт, облікові дані, формат запитів, модель помилок і платіжні відносини. Описи інструментів часто копіюють у системний промпт, і вони поступово застарівають.

Режим відмови небезпечний тим, що може виглядати успішним. Модель може згенерувати правдоподібний виклик для застарілої схеми, отримати неповну відповідь і продовжити так, ніби завдання виконано. Перевірка схеми під час виконання безпечніша, ніж покладатися на те, що модель пам'ятає контракт API з навчання або зі старого промпту.

Тому рівень інструментів має відповісти на три запитання до виконання:

  1. Який інструмент може досягти цієї мети?
  2. Яка схема і яка ціна діють зараз?
  3. Що насправді повернув виклик?

Пошук інструментів є другим рівнем маршрутизації

Monid перетворює доступ до інструментів на робочий процес «знайти-перевірити-запустити». Замість того щоб вимагати від розробника передбачити кожен API, який може знадобитися агенту, агент може шукати в каталозі природною мовою, перевіряти контракт кандидата і виконувати обраний ендпоінт.

Базовий процес виглядає так:

# 1. Find tools that match the goal
monid discover -q "find current product pricing from a public web page"

# 2. Read the selected endpoint's schema and pricing
monid inspect -p PROVIDER_SLUG -e ENDPOINT_PATH

# 3. Execute only after the agent has checked the contract
monid run -p PROVIDER_SLUG -e ENDPOINT_PATH \
  --query '{"url":"https://example.com/product"}'

Пошук і перевірка дають агенту змогу порівняти варіанти до того, як щось витрачати. Виконання тарифікується згідно з моделлю ціноутворення обраного ендпоінта. Розробник зберігає одну інтеграцію, тоді як агент отримує доступ до інструментів кількох провайдерів.

Для агентних середовищ, які можуть читати інструкції з налаштування, Monid також публікує машиночитабельний skill:

Set up https://monid.ai/SKILL.md

Документація робочого процесу Monid детальніше пояснює етапи каталогу, перевірки та виконання.

Як два рівні працюють разом

Шлюз моделей і рівень інструментів мають залишатися окремими компонентами з невеликою, явною передачею керування:

  1. Агент отримує мету користувача.
  2. AIHubMix маршрутизує виклик планування до відповідної моделі.
  3. План визначає відсутню інформацію або необхідну зовнішню дію.
  4. Monid знаходить кандидатів-інструменти і показує їхні схеми та ціни.
  5. Агент обирає і запускає інструмент у межах своїх повноважень і бюджету.
  6. Інструмент повертає факти або результат дії.
  7. AIHubMix маршрутизує виклик синтезу відповідно до вимог до якості, вартості або затримки.
  8. Агент повертає відповідь, обґрунтовану результатом інструмента.

У спрощеному Python виклики моделі можуть залишатися незмінними, тоді як результат інструмента вставляється як контекст:

from openai import OpenAI

client = OpenAI(
    api_key="<AIHUBMIX_API_KEY>",
    base_url="https://aihubmix.com/v1",
)

# A fast model is sufficient for a lightweight planning step.
plan = client.chat.completions.create(
    model="auto:latency_critical",
    messages=[
        {
            "role": "user",
            "content": "Plan how to compare the current prices of these products.",
        }
    ],
)

# Your agent uses Monid to discover, inspect, and run an appropriate tool.
# Replace these placeholders with the structured result returned by that call.
tool_result = {
    "source": "<source-url>",
    "data": "<structured-tool-result>",
}

report = client.chat.completions.create(
    model="auto:quality_first",
    messages=[
        {
            "role": "system",
            "content": (
                "Write a concise comparison. Use only the supplied tool result, "
                "preserve source URLs, and state when a value is missing."
            ),
        },
        {"role": "user", "content": str(tool_result)},
    ],
)

Важлива не кількість рядків. Важливо, що жоден із виборів не потрібно назавжди вбудовувати в логіку застосунку. Модель може змінюватися разом із промптом, а інструмент може змінюватися разом із завданням.

Контроль витрат потрібен на обох рівнях

Витрати на моделі та інструменти вимірюються в різних одиницях, тож їх слід обліковувати окремо.

На рівні моделі визначена модель визначає ціну за токени. AIHubMix робить це рішення прослідковуваним і дозволяє розробникам обирати політику маршрутизації або обмежувати моделі, які може використовувати API-ключ. Рутинні кроки можуть надавати перевагу вартості чи затримці, тоді як результати для користувача — якості.

На рівні інструментів ендпоінт може стягувати плату за виклик або за результат. Monid показує ціни під час перевірки, до виконання. Агент може відхилити ендпоінт, що перевищує бюджет, надати перевагу перевіреному варіанту або запросити підтвердження перед надзвичайно дорогою операцією.

Корисні виробничі засоби контролю включають:

  • Список дозволених моделей або стелю цін для кожного API-ключа.
  • Максимальний бюджет викликів інструментів на завдання.
  • Списки дозволених провайдерів або ендпоінтів для регульованих даних.
  • Журнали, що пов'язують рішення про маршрутизацію моделі з викликом інструмента та фінальною відповіддю.
  • Явне підтвердження перед незворотними або чутливими діями.
  • Валідацію результатів, щоб дані інструментів розглядалися як ненадійні вхідні дані, а не як інструкції.

Таке розділення також спрощує налагодження витрат. Якщо виконання стає дорогим, журнали токенів показують, чи агент надто багато міркував, а журнали інструментів — чи він надто багато отримував. Виправлення різні, і архітектура має зберігати цю різницю.

Надійність вимагає свіжих контрактів і видимих рішень

Динамічний вибір не повинен означати непередбачувану поведінку.

На боці моделі AIHubMix повідомляє визначену модель і політику маршрутизації для кожного запиту. Прив'язка сесії може зберігати узгодженість моделі та переваги кешування промптів у багатоходовій роботі, а резервна поведінка може перенаправляти з несправної моделі, коли це потрібно.

На боці інструментів агент перевіряє поточну схему ендпоінта перед платним викликом. Результати пошуку містять інформацію, потрібну для порівняння кандидатів, а результат фактичного виклику стає єдиним зовнішнім доказом, який передається у фінальне завершення.

Разом ці засоби створюють корисний журнал аудиту:

user goal
  -> routing decision and resolved model
  -> discovered tool candidates
  -> inspected schema and price
  -> selected endpoint and result
  -> final model decision and grounded response

Цей слід цінніший за простий доступ до багатьох моделей або багатьох API. Він пояснює, чому агент зробив кожен вибір і які докази підтвердили його відповідь.

Коли не потрібні обидва рівні

Не кожен робочий процес вигравав від вибору під час виконання.

Якщо застосунок надсилає один стабільний промпт одній перевіреній моделі, явне вказання цієї моделі простіше і детермінованіше за маршрутизацію. Якщо запланований конвеєр завжди викликає один відомий API, інтеграція цього API напряму може бути зрозумілішою, ніж додавання шару пошуку.

Дворівнева архітектура виправдовує себе, коли різноманітність є частиною навантаження:

  • Промпти відрізняються настільки, що найкраща модель змінюється від кроку до кроку.
  • Агенти виконують кілька викликів моделей і мають контролювати сукупну вартість або затримку.
  • Необхідні інструменти неможливо повністю передбачити на етапі збірки.
  • Зовнішні дані мають бути актуальними, а їхнє джерело має бути видимим.
  • Команда хоче додавати можливості без нової інтеграції з окремим постачальником для кожної з них.

Використовуйте рівень моделей, рівень інструментів або обидва залежно від рішень, які ваш застосунок справді має ухвалювати.

Будуйте агента навколо рішень, а не залежностей

Продуктивний ШІ-агент визначається не тим, до скількох моделей або API він може звернутися. Його визначає те, чи може він вибрати правильну можливість для поточного кроку, працювати в межах бюджету та пояснити, що відбулося.

AIHubMix надає агенту єдиний endpoint для моделей і маршрутизацію під час запиту з урахуванням пріоритетів вартості, якості та затримки. Monid надає йому виявлення інструментів під час виконання, актуальні схеми, видиму ціну та виконання через зовнішніх провайдерів.

Один рівень визначає, як агент мислить. Інший визначає, як він знаходить інформацію та діє. Розділення цих рішень створює агента, яким легше керувати, його простіше розширювати та спостерігати за ним.

Почніть із швидкого старту AIHubMix, а потім підключіть інструменти через Monid.

Часті запитання

Що таке маршрутизація моделей для ШІ-агентів?

Маршрутизація моделей вибирає модель для кожного запиту на основі таких факторів, як тип завдання, можливості, вартість і затримка. З AIHubMix встановлення model у значення auto або політику на кшталт auto:quality_first вмикає вибір під час запиту із збереженням API, сумісного з OpenAI.

Навіщо ШІ-агенту інструменти, якщо LLM уже має знання?

LLM генерує відповіді на основі контексту, який отримує, і того, що вона засвоїла під час навчання. Без підключеного інструменту вона не може достовірно знати актуальні ціни, звернутися до приватної бази даних чи виконати зовнішню дію. Інструменти надають актуальні дані та виконання; модель планує дії та інтерпретує результат.

Чи є шлюз моделей тим самим, що й MCP-сервер або платформа інструментів?

Ні. Шлюз моделей спрямовує запити на інференс до моделей. MCP-сервери та платформи інструментів надають агенту зовнішні можливості. Вони вирішують взаємодоповнюючі завдання інтеграції і можуть використовуватися разом.

Чи можна використовувати AIHubMix і Monid незалежно один від одного?

Так. AIHubMix може маршрутизувати виклики моделей для застосунків без динамічних вимог до інструментів. Monid може надавати агентам виявлення інструментів, які працюють з іншим провайдером моделей або шлюзом. Використання обох разом корисне, коли агенту потрібен вибір під час виконання на обох рівнях.

Як зробити автоматичну маршрутизацію придатною для аудиту?

Фіксуйте для кожного завдання визначену модель, політику маршрутизації, кандидата-інструмент, перевірену ціну, обраний endpoint і повернутий результат. AIHubMix показує деталі маршрутизації моделі у відповіді, а Monid відокремлює виявлення та перевірку від виконання, тому рішення щодо інструмента можна записати до платного виклику.

Один шлюз до багатьох провайдерів ШІ. Створено для продакшену.

Перейти на AIHubMix