Архитектура на AI агенти: маршрутизация на модели и откриване на инструменти

Научете защо производствените AI агенти се нуждаят от две интеграции: AIHubMix за маршрутизация на модели в реално време и Monid за откриване на инструменти по време на изпълнение и достъп до API.

AIHubMix8 мин четене
Архитектура на AI агенти: маршрутизация на модели и откриване на инструменти

Свързването на LLM е достатъчно, за да може едно приложение да генерира текст. Не е достатъчно, за да може AI агент да изпълни реална задача.

Ако поискате от модел да обобщи документ, който вече е в контекста му, слоят с модела е достатъчен. Ако го помолите да сравни днешните цени на конкурентите, да обогати запис за компания, да провери профил в социална мрежа или да избере най-подходящия API за непозната задача, липсващата половина става очевидна: агентът се нуждае от надежден начин да достига до външни системи.

Производственият агент следователно взема две отделни решения:

  1. Кой модел трябва да обработи тази стъпка?
  2. Кой инструмент или API трябва да достави данните или действието?

AIHubMix решава първото с унифициран достъп до модели и маршрутизация на модели по време на заявката. Monid решава второто с откриване на инструменти по време на изпълнение, инспекция на схеми и изпълнение с плащане за всяко извикване. Продуктите са на различни слоеве в една и съща архитектура.

Оповестяване: Тази статия е създадена в рамките на съвместно съдържание с Monid. AIHubMix е платформата за модели, обсъдена по-долу; Monid е платформата за инструменти. Всяка от тях може да се използва самостоятелно.

Двата проблема с маршрутизацията в AI агента

Изпълнението на агент рядко е едно хомогенно извикване на модел. Изследователски агент може да класифицира заявка, да търси актуална информация, да извлича структурирани факти, да сравнява резултати и да напише окончателен отговор. Тези стъпки изискват различни способности.

Същото важи и извън модела. Задачата за проучване на компания може днес да изисква API за търсене, утре крайна точка за обогатяване на данни за компания, а следващата седмица инструмент за автоматизация на браузър. Ако всеки модел и инструмент са зададени твърдо по време на разработка, всяка нова задача се превръща в отделен интеграционен проект.

Двата слоя са паралелни:

Слой на модела Слой на инструментите
Основно решение Кой модел трябва да отговори? Кой API трябва да бъде извикан?
Време на избор За всяка заявка За всяка задача, по време на изпълнение
Вход Подкана, модалност, изисквания за качество и латентност Цел, необходими данни или действие, схема и цена
Изход Завършване от модел Външни данни или изпълнено действие
Пример AIHubMix Monid

Това разделение е важно. По-добър модел не може да осигури достъп до данни в реално време, а по-голям каталог с инструменти не може да разсъждава върху върнатите от него данни. Агентът се нуждае и от двете способности, с ясен договор между тях.

Monid представя допълващата гледна точка от страна на инструментите в Защо AI агентът се нуждае от две интеграции. От страна на модела архитектурният извод е същият: избирайте модел и инструмент независимо един от друг, след което оптимизирайте всеки слой за собствената му задача.

Защо един фиксиран модел става скъп в цикъл на агент

Използването на един модел навсякъде изглежда просто. На практика то принуждава всяка стъпка да приеме един и същи компромис между способности, латентност и цена.

Разгледайте агент за пазарни проучвания:

  • Класифицирането на намерението е кратко и механично.
  • Изборът на инструмент изисква надеждно следване на инструкции.
  • Извличането на полета от върнат JSON е предимно преобразуване.
  • Крайният доклад може да изисква по-силно разсъждение и по-добро писане.

Изпращането на всичките четири стъпки към най-способния модел харчи пари за рутинна работа. Изпращането на всичките четири към най-евтиния модел може да намали качеството на единствения резултат, който потребителят чете. С нарастването на цикъла на агента този компромис се повтаря при всяко извикване.

AIHubMix предоставя крайна точка, съвместима с OpenAI, за широк каталог от модели. Съществуваща интеграция с OpenAI SDK може да сочи към AIHubMix чрез смяна на API ключа и base_url:

from openai import OpenAI

client = OpenAI(
    api_key="<AIHUBMIX_API_KEY>",
    base_url="https://aihubmix.com/v1",
)

response = client.chat.completions.create(
    model="auto:balanced",
    messages=[
        {"role": "user", "content": "Classify this request and propose the next step."}
    ],
)

Задаването на model на auto премества избора на модел в пътя на заявката. Маршрутизаторът анализира задачата и избира подходящ модел. Суфиксът с политика прави целта на оптимизацията явна:

Предимство на маршрутизатора Приоритет Типична стъпка на агента
auto Първо цена Пакетна обработка и рутинни преобразувания
auto:balanced Способности, цена и латентност Универсална работа на агент
auto:quality_first Първо способности Сложно разсъждение и окончателни резултати
auto:latency_critical Първо скорост Интерактивни цикли и лека планировка

Маршрутизацията не начислява отделна такса. Заявката се таксува по списъчната цена на модела, който действително я е обработил. Избраният модел и подробностите за маршрутизацията се показват в отговора, включително заглавката X-Aihubmix-Router-Resolved-Model, така че решението остава видимо и не се превръща в черна кутия.

Пълното поведение, поддържаните крайни точки, политиките и текущите ограничения са документирани в ръководството за маршрутизатора на LLM на AIHubMix.

Маршрутизацията на модели не осигурява на агента данни в реално време

След конфигуриране на маршрутизацията на модели агентът може да избере по-добър „мозък“ за всяка стъпка. Той все още не може да знае какво се е променило след данните за обучение на модела, да достъпи частна бизнес система или да извърши действие в друго приложение, освен ако инструмент не предостави тази способност.

Именно тук много проекти с агенти натрупват крехък код. Екипът свързва един API за търсене, после един API за извличане на данни от уебсайтове, после един API за обогатяване. Всяка интеграция въвежда нов акаунт, нов идентификационен профил, нов формат на заявките, нов модел на грешки и нова финансова връзка. Описанията на инструментите често се копират в системната подкана и постепенно остаряват.

Режимът на отказ е опасен, защото може да изглежда успешен. Модел може да създаде правдоподобно извикване към остаряла схема, да получи непълен отговор и да продължи, сякаш задачата е изпълнена. Инспекцията на схемата по време на изпълнение е по-безопасна, отколкото да се разчита моделът да помни договора за API от обучението или от стара подкана.

Слоят с инструменти следователно трябва да отговаря на три въпроса преди изпълнение:

  1. Кой инструмент може да постигне тази цел?
  2. Коя схема и коя цена важат в момента?
  3. Какъв резултат всъщност върна извикването?

Откриването на инструменти е вторият слой на маршрутизация

Monid превръща достъпа до инструменти в работен процес откриване-инспекция-изпълнение. Вместо разработчикът да предвижда всеки API, от който агентът може да се нуждае, агентът може да търси в каталога на естествен език, да инспектира договора на кандидат и да изпълни избраната крайна точка.

Основният процес изглежда така:

# 1. Find tools that match the goal
monid discover -q "find current product pricing from a public web page"

# 2. Read the selected endpoint's schema and pricing
monid inspect -p PROVIDER_SLUG -e ENDPOINT_PATH

# 3. Execute only after the agent has checked the contract
monid run -p PROVIDER_SLUG -e ENDPOINT_PATH \
  --query '{"url":"https://example.com/product"}'

Откриването и инспекцията позволяват на агента да сравни възможностите, преди да похарчи каквото и да е. Изпълнението се таксува според модела на ценообразуване на избраната крайна точка. Разработчикът поддържа една интеграция, докато агентът получава достъп до инструменти от множество доставчици.

За агентни среди, които могат да четат инструкции за настройка, Monid публикува и машинночетимо умение:

Set up https://monid.ai/SKILL.md

Документацията за работния процес на Monid подробно обяснява етапите на каталога, инспекцията и изпълнението.

Как двата слоя работят заедно

Шлюзът за модели и слоят с инструменти трябва да останат отделни компоненти с малко, но ясно определено предаване:

  1. Агентът получава цел от потребителя.
  2. AIHubMix маршрутизира извикване за планиране към подходящ модел.
  3. Планът определя липсваща информация или необходимо външно действие.
  4. Monid открива кандидат-инструменти и показва техните схеми и цени.
  5. Агентът избира и изпълнява инструмент в рамките на своите права и бюджет.
  6. Инструментът връща факти или резултат от действие.
  7. AIHubMix маршрутизира извикването за синтез според необходимото качество, цена или латентност.
  8. Агентът връща отговор, основан на резултата от инструмента.

В опростен Python извикванията към модела могат да останат непроменени, докато резултатът от инструмента се вмъква като контекст:

from openai import OpenAI

client = OpenAI(
    api_key="<AIHUBMIX_API_KEY>",
    base_url="https://aihubmix.com/v1",
)

# A fast model is sufficient for a lightweight planning step.
plan = client.chat.completions.create(
    model="auto:latency_critical",
    messages=[
        {
            "role": "user",
            "content": "Plan how to compare the current prices of these products.",
        }
    ],
)

# Your agent uses Monid to discover, inspect, and run an appropriate tool.
# Replace these placeholders with the structured result returned by that call.
tool_result = {
    "source": "<source-url>",
    "data": "<structured-tool-result>",
}

report = client.chat.completions.create(
    model="auto:quality_first",
    messages=[
        {
            "role": "system",
            "content": (
                "Write a concise comparison. Use only the supplied tool result, "
                "preserve source URLs, and state when a value is missing."
            ),
        },
        {"role": "user", "content": str(tool_result)},
    ],
)

Важното не е броят на редовете. Важно е, че нито един от двата избора не трябва да бъде постоянно вграден в логиката на приложението. Моделът може да се сменя при промяна на подканата, а инструментът може да се сменя при промяна на задачата.

Контролът на разходите трябва да съществува на двата слоя

Разходите за модели и за инструменти се измерват в различни единици, затова трябва да се отчитат поотделно.

На слоя на модела избраният модел определя цената по токени. AIHubMix прави това решение проследимо и позволява на разработчиците да избират политика за маршрутизация или да ограничат моделите, които даден API ключ може да използва. Рутинните стъпки могат да предпочитат цена или латентност, а изходите, видими за потребителя, могат да предпочитат качество.

На слоя на инструментите крайна точка може да таксува на извикване или на резултат. Monid показва цените по време на инспекцията, преди изпълнението. Агентът може да отхвърли крайна точка, която надхвърля бюджета му, да предпочете проверена опция или да поиска одобрение преди необичайно скъпа операция.

Полезните производствени контроли включват:

  • Списък с разрешени модели или ценови таван за всеки API ключ.
  • Максимален бюджет за извиквания на инструменти на задача.
  • Списъци с разрешени доставчици или крайни точки за регулирани данни.
  • Логове, които свързват решението за маршрутизация на модела с извикването на инструмента и окончателния отговор.
  • Изрично потвърждение преди необратими или чувствителни действия.
  • Валидиране на изхода, така че данните от инструментите да се третират като непроверен вход, а не като инструкции.

Това разделение улеснява и отстраняването на грешки в разходите. Ако изпълнението стане скъпо, логовете на токените показват дали агентът е разсъждавал твърде много, а логовете на инструментите показват дали е извлякъл твърде много данни. Корекциите са различни и архитектурата трябва да запази това разграничение.

Надеждността изисква актуални договори и видими решения

Динамичният избор не трябва да означава непредсказуемо поведение.

От страна на модела AIHubMix отчита избрания модел и политиката за маршрутизация за всяка заявка. Залепването към сесия може да запази съгласуваност на модела и ползите от кеширане на подканите при многоходова работа, а резервното поведение може да премести заявката от нездрав модел, когато е необходимо.

От страна на инструментите агентът инспектира текущата схема на крайната точка, преди да направи платено извикване. Резултатите от откриването включват информацията, необходима за сравняване на кандидатите, а резултатът от реалното извикване става единственото външно доказателство, подавано в окончателното завършване.

Заедно тези контроли създават полезна одитна следа:

user goal
  -> routing decision and resolved model
  -> discovered tool candidates
  -> inspected schema and price
  -> selected endpoint and result
  -> final model decision and grounded response

Тази следа е по-ценна от простото имане на достъп до много модели или много API. Тя обяснява защо агентът е направил всеки избор и какво доказателство е подкрепило отговора му.

Кога не са ви нужни и двата слоя

Не всеки работен процес се възползва от избор по време на изпълнение.

Ако приложението изпраща една стабилна подкана към един тестван модел, по-просто и по-детерминирано е да зададете този модел директно, вместо да използвате маршрутизация. Ако планиран процес винаги извиква един известен API, интегрирането на този API директно може да е по-ясно от добавянето на слой за откриване.

Двуслойната архитектура се оправдава, когато разнообразието е част от натоварването:

  • Подканите се различават достатъчно, така че най-добрият модел се променя според стъпката.
  • Агентите извършват множество извиквания към модели и трябва да контролират натрупаната цена или латентност.
  • Необходимите инструменти не могат да бъдат напълно предвидени по време на изграждането.
  • Външните данни трябва да са актуални, а техният източник трябва да е видим.
  • Екипът иска да добавя възможности, без да добавя нова интеграция с доставчик за всяка една от тях.

Използвайте слоя с моделите, слоя с инструменти или и двата според решенията, които приложението ви действително трябва да взема.

Изграждайте агента около решения, а не около зависимости

Продукционният AI агент не се определя от това към колко модела или API може да се свърже. Определя се от това дали може да избере подходящата възможност за текущата стъпка, да работи в рамките на бюджет и да обясни какво се е случило.

AIHubMix предоставя на агента единна крайна точка за модели и маршрутизация по време на заявката според приоритетите за разходи, качество и латентност. Monid му предоставя откриване на инструменти по време на изпълнение, актуални схеми, видими цени и изпълнение при външни доставчици.

Единият слой решава как мисли агентът. Другият решава как той открива информация и действа. Разделянето на тези решения води до агент, който е по-лесен за разширяване, наблюдение и контрол.

Започнете с бързото начало на AIHubMix, след което свържете инструменталната страна чрез Monid.

Често задавани въпроси

Какво е маршрутизиране на модели за AI агенти?

Маршрутизирането на модели избира модел за всяка заявка въз основа на фактори като тип задача, възможности, цена и латентност. С AIHubMix задаването на model на auto или на политика като auto:quality_first активира избор в момента на заявката, като запазва API, съвместимо с OpenAI.

Защо на AI агента са му нужни инструменти, ако LLM вече има знания?

LLM генерира отговори от контекста, който получава, и от наученото по време на обучението. Той не може надеждно да знае текущи цени, да заявява частна база данни или да извърши външно действие без свързан инструмент. Инструментите осигуряват данни в реално време и изпълнение; моделът планира и интерпретира резултата.

Същото ли е шлюзът за модели като MCP сървър или платформа за инструменти?

Не. Шлюзът за модели насочва заявките за инференция към модели. MCP сървърите и платформите за инструменти предоставят външни възможности на агента. Те решават допълващи се проблеми с интеграцията и могат да се използват заедно.

Могат ли AIHubMix и Monid да се използват самостоятелно?

Да. AIHubMix може да маршрутизира извикванията към модели за приложения без динамични изисквания за инструменти. Monid може да осигури откриване на инструменти за агенти, които използват друг доставчик на модели или шлюз. Използването и на двете е полезно, когато агентът се нуждае от избор по време на изпълнение на двете нива.

Как мога да запазя автоматичното маршрутизиране одитируемо?

Записвайте за всяка задача избрания модел, политиката за маршрутизиране, кандидата за инструмент, проверената цена, избраната крайна точка и върнатия резултат. AIHubMix показва подробностите за маршрутизирането на модела в отговора, а Monid отделя откриването и проверката от изпълнението, така че решението за инструмента да може да бъде записано преди платеното извикване.

Един шлюз към множество AI доставчици. Създаден за продукционна среда.

Посетете AIHubMix