Архитектура AI-агентов: маршрутизация моделей и обнаружение инструментов

Узнайте, зачем продакшн-агентам нужны две интеграции: AIHubMix для маршрутизации моделей в реальном времени и Monid для обнаружения инструментов и доступа к API во время выполнения.

AIHubMix8 мин чтения
Архитектура AI-агентов: маршрутизация моделей и обнаружение инструментов

Подключения LLM достаточно, чтобы приложение генерировало текст. Этого недостаточно, чтобы AI-агент выполнял реальную задачу.

Если попросить модель суммировать документ, который уже находится в её контексте, достаточно одного уровня модели. Но если попросить сравнить сегодняшние цены конкурентов, обогатить запись о компании, проверить аккаунт в соцсети или выбрать лучший API для незнакомой задачи, становится очевидно, чего не хватает: агенту нужен надёжный способ обращаться к внешним системам.

Поэтому продакшн-агент принимает два отдельных решения:

  1. Какая модель должна обработать этот шаг?
  2. Какой инструмент или API должен предоставить данные или выполнить действие?

AIHubMix решает первую задачу с помощью единого доступа к моделям и маршрутизации моделей на уровне запроса. Monid решает вторую с помощью обнаружения инструментов во время выполнения, инспекции схем и оплаты за вызов. Продукты работают на разных уровнях одной архитектуры.

Раскрытие информации: Эта статья создана в рамках контентного сотрудничества с Monid. AIHubMix — это платформа моделей, о которой речь пойдёт ниже; Monid — платформа инструментов. Каждой из них можно пользоваться независимо.

Две задачи маршрутизации внутри AI-агента

Запуск агента редко сводится к одному однородному вызову модели. Исследовательский агент может классифицировать запрос, искать актуальную информацию, извлекать структурированные факты, сравнивать результаты и писать итоговый ответ. Для этих шагов нужны разные возможности.

То же верно и за пределами модели. Задача исследования компании сегодня может требовать поискового API, завтра — эндпоинта для обогащения данных о компании, а на следующей неделе — инструмента автоматизации браузера. Если каждая модель и каждый инструмент жёстко заданы на этапе сборки, каждая новая задача превращается в отдельный проект интеграции.

Два уровня работают параллельно:

Уровень модели Уровень инструментов
Ключевое решение Какая модель должна ответить? Какой API нужно вызвать?
Момент выбора Для каждого запроса Для каждой задачи, во время выполнения
Вход Промпт, модальность, требования к качеству и задержке Цель, необходимые данные или действие, схема и цена
Выход Ответ модели Внешние данные или результат выполненного действия
Пример AIHubMix Monid

Это разделение важно. Лучшая модель не даёт доступа к актуальным данным, а больший каталог инструментов не умеет рассуждать над полученными данными. Агенту нужны обе возможности и чёткий контракт между ними.

Monid описывает дополняющий взгляд со стороны инструментов в статье Why an AI Agent Needs Two Integrations. Со стороны модели архитектурный вывод тот же: выбор модели и выбор инструмента должны быть независимыми, а каждый уровень нужно оптимизировать под его задачу.

Почему одна фиксированная модель становится дорогой в цикле агента

Использование одной модели везде выглядит просто. На практике это вынуждает каждый шаг принимать один и тот же компромисс между возможностями, задержкой и ценой.

Рассмотрим агента для маркетингового исследования:

  • Классификация намерения короткая и механическая.
  • Выбор инструмента требует надёжного следования инструкциям.
  • Извлечение полей из возвращённого JSON — в основном преобразование данных.
  • Итоговый отчёт может требовать более сильного рассуждения и лучшего письма.

Если отправлять все четыре шага самой мощной модели, деньги уходят на рутинную работу. Если отправлять все четыре самой дешёвой, может упасть качество единственного результата, который видит пользователь. По мере роста цикла агента этот компромисс повторяется в каждом вызове.

AIHubMix предоставляет совместимый с OpenAI эндпоинт для широкого каталога моделей. Существующую интеграцию с OpenAI SDK можно направить на AIHubMix, изменив API-ключ и base_url:

from openai import OpenAI

client = OpenAI(
    api_key="<AIHUBMIX_API_KEY>",
    base_url="https://aihubmix.com/v1",
)

response = client.chat.completions.create(
    model="auto:balanced",
    messages=[
        {"role": "user", "content": "Classify this request and propose the next step."}
    ],
)

Установка model в значение auto переносит выбор модели в путь запроса. Маршрутизатор анализирует задачу и подбирает подходящую модель. Суффикс политики делает цель оптимизации явной:

Приоритет маршрутизатора Приоритет Типичный шаг агента
auto Сначала стоимость Пакетная обработка и рутинные преобразования
auto:balanced Возможности, стоимость и задержка Универсальная работа агента
auto:quality_first Сначала возможности Сложные рассуждения и итоговые результаты
auto:latency_critical Сначала скорость Интерактивные циклы и лёгкое планирование

Маршрутизация не добавляет отдельной платы. Запрос оплачивается по прайс-цене модели, которая фактически его обработала. Выбранная модель и детали маршрутизации передаются в ответе, в том числе в заголовке X-Aihubmix-Router-Resolved-Model, поэтому решение остаётся наблюдаемым и не превращается в чёрный ящик.

Полное описание поведения, поддерживаемых эндпоинтов, политик и текущих ограничений есть в руководстве по LLM Router от AIHubMix.

Маршрутизация моделей не даёт агенту живых данных

После настройки маршрутизации агент может выбирать более подходящую «модель» для каждого шага. Однако он по-прежнему не знает, что изменилось после обучающих данных модели, не может получить доступ к закрытой бизнес-системе или выполнить действие в другом приложении, если это не делает инструмент.

Именно здесь в проектах с агентами часто накапливается хрупкий код. Команда подключает один поисковый API, затем один скрейпинговый, затем один API обогащения. Каждая интеграция добавляет ещё один аккаунт, учётные данные, формат запросов, модель ошибок и отдельные отношения с биллингом. Описания инструментов часто копируют в системный промпт, и они постепенно устаревают.

Режим отказа опасен тем, что может выглядеть как успех. Модель может сформировать правдоподобный вызов по устаревшей схеме, получить неполный ответ и продолжить так, будто задача выполнена. Инспекция схемы во время выполнения надёжнее, чем просьба к модели помнить контракт API из обучения или старого промпта.

Поэтому уровень инструментов должен отвечать на три вопроса до выполнения:

  1. Какой инструмент может достичь этой цели?
  2. Какая схема и цена действуют прямо сейчас?
  3. Что на самом деле вернул вызов?

Обнаружение инструментов — второй уровень маршрутизации

Monid превращает доступ к инструментам в рабочий процесс «обнаружить — проверить — выполнить». Вместо того чтобы разработчик заранее предсказывал каждый API, который может понадобиться агенту, агент может искать по каталогу на естественном языке, проверять контракт кандидата и выполнять выбранный эндпоинт.

Базовый поток выглядит так:

# 1. Find tools that match the goal
monid discover -q "find current product pricing from a public web page"

# 2. Read the selected endpoint's schema and pricing
monid inspect -p PROVIDER_SLUG -e ENDPOINT_PATH

# 3. Execute only after the agent has checked the contract
monid run -p PROVIDER_SLUG -e ENDPOINT_PATH \
  --query '{"url":"https://example.com/product"}'

Обнаружение и инспекция позволяют агенту сравнить варианты до того, как он что-либо потратит. Выполнение оплачивается по модели ценообразования выбранного эндпоинта. Разработчик сохраняет одну интеграцию, а агент получает доступ к инструментам разных провайдеров.

Для агентных сред, которые умеют читать инструкции по настройке, Monid также публикует машиночитаемый навык:

Set up https://monid.ai/SKILL.md

Документация по рабочему процессу Monid подробнее объясняет этапы каталога, инспекции и выполнения.

Как два уровня работают вместе

Шлюз моделей и уровень инструментов должны оставаться отдельными компонентами с небольшой и явной передачей данных между ними:

  1. Агент получает цель пользователя.
  2. AIHubMix направляет вызов планирования подходящей модели.
  3. План определяет недостающую информацию или необходимое внешнее действие.
  4. Monid находит подходящие инструменты и показывает их схемы и цены.
  5. Агент выбирает и запускает инструмент в рамках своих прав и бюджета.
  6. Инструмент возвращает факты или результат действия.
  7. AIHubMix направляет вызов синтеза в соответствии с требуемым качеством, стоимостью или задержкой.
  8. Агент возвращает ответ, опирающийся на результат инструмента.

В упрощённом примере на Python вызовы модели могут оставаться без изменений, а результат инструмента вставляется как контекст:

from openai import OpenAI

client = OpenAI(
    api_key="<AIHUBMIX_API_KEY>",
    base_url="https://aihubmix.com/v1",
)

# A fast model is sufficient for a lightweight planning step.
plan = client.chat.completions.create(
    model="auto:latency_critical",
    messages=[
        {
            "role": "user",
            "content": "Plan how to compare the current prices of these products.",
        }
    ],
)

# Your agent uses Monid to discover, inspect, and run an appropriate tool.
# Replace these placeholders with the structured result returned by that call.
tool_result = {
    "source": "<source-url>",
    "data": "<structured-tool-result>",
}

report = client.chat.completions.create(
    model="auto:quality_first",
    messages=[
        {
            "role": "system",
            "content": (
                "Write a concise comparison. Use only the supplied tool result, "
                "preserve source URLs, and state when a value is missing."
            ),
        },
        {"role": "user", "content": str(tool_result)},
    ],
)

Важна не количество строк, а то, что ни один из выборов не нужно жёстко встраивать в логику приложения. Модель может меняться вместе с промптом, а инструмент — вместе с задачей.

Контроль затрат нужен на обоих уровнях

Стоимость модели и инструментов измеряется в разных единицах, поэтому их нужно учитывать отдельно.

На уровне модели фактически выбранная модель определяет цену за токены. AIHubMix делает это решение прослеживаемым и позволяет разработчикам выбрать политику маршрутизации или ограничить список моделей, которые может использовать API-ключ. Рутинные шаги могут опираться на стоимость или задержку, а результаты для пользователя — на качество.

На уровне инструментов эндпоинт может брать плату за вызов или за результат. Monid показывает цены при инспекции, до выполнения. Агент может отклонить эндпоинт, превышающий бюджет, предпочесть проверенный вариант или запросить подтверждение перед необычно дорогой операцией.

Полезные производственные механизмы контроля включают:

  • Список разрешённых моделей или потолок цены для каждого API-ключа.
  • Максимальный бюджет вызовов инструментов на одну задачу.
  • Списки разрешённых провайдеров или эндпоинтов для регулируемых данных.
  • Логи, которые связывают решение о маршрутизации модели с вызовом инструмента и итоговым ответом.
  • Явное подтверждение перед необратимыми или чувствительными действиями.
  • Валидацию выходных данных, при которой данные инструментов рассматриваются как недоверенный ввод, а не как инструкции.

Такое разделение также упрощает отладку стоимости. Если запуск становится дорогим, логи токенов показывают, рассуждал ли агент слишком много, а логи инструментов — запрашивал ли он слишком много данных. Исправления разные, и архитектура должна сохранять это различие.

Надёжность требует актуальных контрактов и видимых решений

Динамический выбор не должен означать непредсказуемого поведения.

На стороне модели AIHubMix сообщает выбранную модель и политику маршрутизации для каждого запроса. Привязка сессии сохраняет согласованность модели и преимущества кэша промптов в многоходовых задачах, а механизм отказоустойчивости может перенаправить запрос с нездоровой модели, если это необходимо.

На стороне инструментов агент проверяет текущую схему эндпоинта перед платным вызовом. Результаты обнаружения содержат информацию, необходимую для сравнения кандидатов, а результат фактического вызова становится единственным внешним доказательством, передаваемым в финальный запрос к модели.

Вместе эти механизмы создают полезный журнал аудита:

user goal
  -> routing decision and resolved model
  -> discovered tool candidates
  -> inspected schema and price
  -> selected endpoint and result
  -> final model decision and grounded response

Такой журнал ценнее, чем простой доступ ко многим моделям или многим API. Он объясняет, почему агент сделал каждый выбор и какие данные подтвердили его ответ.

Когда не нужны оба уровня

Не каждый рабочий процесс выигрывает от выбора во время выполнения.

Если приложение отправляет один стабильный промпт одной протестированной модели, указать эту модель напрямую проще и детерминированнее, чем использовать маршрутизацию. Если плановый конвейер всегда вызывает один известный API, интеграция с ним напрямую может быть понятнее, чем дополнительный уровень обнаружения.

Двухуровневая архитектура оправдывает себя, когда разнообразие — часть нагрузки:

  • Промпты отличаются настолько, что лучшая модель меняется от шага к шагу.
  • Агенты выполняют несколько вызовов моделей и должны контролировать совокупную стоимость и задержку.
  • Необходимые инструменты нельзя полностью предсказать на этапе сборки.
  • Внешние данные должны быть актуальными, а их источник должен быть видимым.
  • Команда хочет добавлять новые возможности без новой интеграции с отдельным провайдером для каждой из них.

Используйте слой моделей, слой инструментов или оба в зависимости от решений, которые действительно должно принимать ваше приложение.

Строьте агента вокруг решений, а не зависимостей

Производственного ИИ-агента определяет не количество доступных ему моделей или API, а то, может ли он выбрать подходящую возможность для текущего шага, уложиться в бюджет и объяснить, что произошло.

AIHubMix предоставляет агенту единую конечную точку модели и маршрутизацию во время запроса с учетом приоритетов по стоимости, качеству и задержке. Monid даёт ему обнаружение инструментов во время выполнения, актуальные схемы, прозрачные цены и выполнение у внешних провайдеров.

Один слой решает, как агент рассуждает. Другой решает, как он получает информацию и действует. Разделение этих решений делает агента проще в расширении, наблюдении и контроле.

Начните с быстрого старта AIHubMix, затем подключите часть для инструментов через Monid.

Часто задаваемые вопросы

Что такое маршрутизация моделей для ИИ-агентов?

Маршрутизация моделей выбирает модель для каждого запроса с учетом таких факторов, как тип задачи, возможности, стоимость и задержка. В AIHubMix установка model в значение auto или политики вроде auto:quality_first включает выбор модели во время запроса при сохранении API, совместимого с OpenAI.

Зачем ИИ-агенту инструменты, если LLM уже обладает знаниями?

LLM генерирует ответы на основе контекста, который она получает, и того, что она усвоила во время обучения. Без подключенного инструмента она не может надежно узнать текущие цены, запросить частную базу данных или выполнить внешнее действие. Инструменты предоставляют актуальные данные и выполнение действий; модель планирует и интерпретирует результат.

Является ли шлюз моделей тем же, что сервер MCP или платформа инструментов?

Нет. Шлюз моделей направляет запросы на инференс к моделям. Серверы MCP и платформы инструментов предоставляют агенту внешние возможности. Они решают взаимодополняющие задачи интеграции и могут использоваться вместе.

Можно ли использовать AIHubMix и Monid независимо друг от друга?

Да. AIHubMix может маршрутизировать вызовы моделей для приложений без динамических требований к инструментам. Monid может предоставлять агентам обнаружение инструментов, если они используют другого провайдера моделей или шлюз. Использование обоих полезно, когда агенту нужен выбор во время выполнения на обоих уровнях.

Как сделать автоматическую маршрутизацию поддающейся аудиту?

Для каждой задачи записывайте определённую модель, политику маршрутизации, кандидата-инструмент, проверенную цену, выбранную конечную точку и возвращённый результат. AIHubMix показывает детали маршрутизации модели в ответе, а Monid отделяет обнаружение и проверку от выполнения, поэтому решение об инструменте можно зафиксировать до платного вызова.

Один шлюз ко многим провайдерам ИИ. Создан для продакшена.

Перейти на AIHubMix