Bir LLM'i bağlamak, bir uygulamanın metin üretmesi için yeterlidir. Ancak bir AI ajanının gerçek dünyadaki bir görevi tamamlaması için yeterli değildir.
Modelden, zaten bağlamında bulunan bir belgeyi özetlemesini istediğinizde model katmanı yeterlidir. Ancak bugünkü rakip fiyatlarını karşılaştırmasını, bir şirket kaydını zenginleştirmesini, bir sosyal hesabı kontrol etmesini veya tanıdık olmayan bir iş için en iyi API'yi seçmesini istediğinizde eksik yarı açıkça ortaya çıkar: ajanın dış sistemlere güvenilir biçimde ulaşmanın bir yoluna ihtiyacı vardır.
Üretim ortamındaki bir ajan bu nedenle iki ayrı karar verir:
- Bu adımı hangi model işlemeli?
- Veriyi veya eylemi hangi araç ya da API sağlamalı?
AIHubMix birinci kararı, birleşik model erişimi ve istek anında model yönlendirme ile ele alır. Monid ise ikinci kararı, çalışma zamanında araç keşfi, şema incelemesi ve çağrı başına ödemeli çalıştırma ile ele alır. Bu ürünler aynı mimarinin farklı katmanlarında yer alır.
Açıklama: Bu makale Monid ile bir içerik iş birliği kapsamında hazırlanmıştır. AIHubMix aşağıda ele alınan model platformudur; Monid ise araç platformudur. Her ikisi de bağımsız olarak kullanılabilir.
Bir AI ajanının içindeki iki yönlendirme sorunu
Bir ajan çalışması nadiren tek tip bir model çağrısından oluşur. Bir araştırma ajanı bir isteği sınıflandırabilir, güncel bilgiyi arayabilir, yapılandırılmış verileri çıkarabilir, sonuçları karşılaştırabilir ve son bir yanıt yazabilir. Bu adımlar farklı yeteneklere ihtiyaç duyar.
Model dışındaki katman için de durum aynıdır. Bir şirket araştırması görevi bugün bir arama API'sine, yarın bir şirket zenginleştirme uç noktasına ve gelecek hafta bir tarayıcı otomasyon aracına ihtiyaç duyabilir. Her model ve araç derleme zamanında sabit kodlanırsa, her yeni görev yeni bir entegrasyon projesine dönüşür.
İki katman paralel çalışır:
| Model katmanı | Araç katmanı | |
|---|---|---|
| Temel karar | Hangi model yanıtlamalı? | Hangi API çağrılmalı? |
| Seçim zamanı | İstek başına | Görev başına, çalışma zamanında |
| Girdi | İstem, modalite, kalite ve gecikme gereksinimleri | Hedef, gerekli veri veya eylem, şema ve fiyat |
| Çıktı | Bir model tamamlaması | Harici veri veya yürütülmüş bir eylem |
| Örnek | AIHubMix | Monid |
Bu ayrım önemlidir. Daha iyi bir model, canlı verilere erişim sağlayamaz; daha büyük bir araç kataloğu da döndürdüğü veriler üzerinde akıl yürütemez. Ajanın, aralarında net bir sözleşme bulunan iki yeteneğe birden ihtiyacı vardır.
Monid, tamamlayıcı araç tarafı görünümünü Neden Bir AI Ajanının İki Entegrasyona İhtiyacı Var başlıklı yazısında sunar. Model tarafından bakıldığında mimari ders aynıdır: model seçimini ve araç seçimini birbirinden bağımsız tutun, ardından her katmanı kendi işi için optimize edin.
Bir ajan döngüsünde tek bir sabit modelin neden pahalıya mal olduğu
Her yerde tek bir model kullanmak basit görünür. Ancak pratikte her adımı yetenek, gecikme ve fiyat arasındaki aynı ödünleşmeye zorlar.
Bir pazar araştırma ajanını düşünelim:
- Niyet sınıflandırması kısa ve mekaniktir.
- Araç seçimi güvenilir talimat takibi gerektirir.
- Döndürülen JSON'dan alanları çıkarmak çoğunlukla dönüştürme işidir.
- Son rapor daha güçlü akıl yürütme ve daha iyi yazım gerektirebilir.
Dört adımın hepsini en yetenekli modele göndermek, rutin işlere harcanan parayı boşa harcar. Hepsini en ucuz modele göndermek ise kullanıcının okuduğu tek çıktının kalitesini düşürebilir. Ajan döngüsü büyüdükçe bu uzlaşma her çağrıda tekrarlanır.
AIHubMix, geniş bir model kataloğu genelinde OpenAI uyumlu bir uç nokta sağlar. Mevcut bir OpenAI SDK entegrasyonu, API anahtarı ve base_url değiştirilerek AIHubMix'e yönlendirilebilir:
from openai import OpenAI
client = OpenAI(
api_key="<AIHUBMIX_API_KEY>",
base_url="https://aihubmix.com/v1",
)
response = client.chat.completions.create(
model="auto:balanced",
messages=[
{"role": "user", "content": "Classify this request and propose the next step."}
],
)
model değerini auto olarak ayarlamak, model seçimini istek yoluna taşır. Yönlendirici görevi analiz eder ve uygun bir modele çözümler. Bir politika eki, optimizasyon hedefini açıkça belirtir:
| Yönlendirici değeri | Öncelik | Tipik ajan adımı |
|---|---|---|
auto |
Önce maliyet | Toplu işler ve rutin dönüştürmeler |
auto:balanced |
Yetenek, maliyet ve gecikme | Genel amaçlı ajan işleri |
auto:quality_first |
Önce yetenek | Karmaşık akıl yürütme ve nihai çıktılar |
auto:latency_critical |
Önce hız | Etkileşimli döngüler ve hafif planlama |
Yönlendirme için ayrı bir ücret alınmaz. İstek, bunu gerçekte işleyen modelin liste fiyatı üzerinden faturalandırılır. Çözümlenen model ve yönlendirme ayrıntıları, X-Aihubmix-Router-Resolved-Model başlığı dahil olmak üzere yanıtta sunulur; böylece karar kara kutu olmaktan çıkar ve gözlemlenebilir kalır.
Tam davranış, desteklenen uç noktalar, politikalar ve mevcut sınırlamalar AIHubMix LLM Router kılavuzunda belgelenmiştir.
Model yönlendirme, ajana canlı veri sağlamaz
Model yönlendirme yapılandırıldıktan sonra ajan her adım için daha iyi bir "beyin" seçebilir. Yine de modelin eğitim verisinden sonra neyin değiştiğini bilemez, özel bir iş sistemine erişemez veya başka bir uygulamada bir eylem gerçekleştiremez; bunu sağlayan bir araç olmadıkça.
Birçok ajan projesinde kırılgan kod işte burada birikir. Bir ekip önce bir arama API'si, ardından bir kazıma API'si, sonra bir zenginleştirme API'si bağlar. Her entegrasyon yeni bir hesap, kimlik bilgisi, istek biçimi, hata modeli ve faturalandırma ilişkisi getirir. Araç açıklamaları çoğu zaman sistem istemine kopyalanır ve zamanla eskir.
Bu hata modu tehlikelidir, çünkü başarılı gibi görünebilir. Bir model, eski bir şemaya karşı makul görünen bir çağrı üretebilir, eksik bir yanıt alabilir ve görevin başarıyla tamamlandığını varsayarak devam edebilir. Modelden eğitimden veya eski bir istemden bir API sözleşmesini hatırlaması istemek yerine, çalışma zamanında şema incelemesi yapmak daha güvenlidir.
Araç katmanı, bu nedenle yürütmeden önce üç soruyu yanıtlamalıdır:
- Bu hedefi hangi araç karşılayabilir?
- Şu anda hangi şema ve fiyat geçerli?
- Çağrı gerçekte ne sonuç döndürdü?
Araç keşfi ikinci yönlendirme katmanıdır
Monid, araç erişimini bir keşfet-incele-çalıştır iş akışına dönüştürür. Geliştiricinin bir ajanın ihtiyaç duyabileceği her API'yi önceden tahmin etmesini gerektirmek yerine, ajan kataloğu doğal dille arayabilir, bir adayın sözleşmesini inceleyebilir ve seçilen uç noktayı çalıştırabilir.
Temel akış şöyle işler:
# 1. Find tools that match the goal
monid discover -q "find current product pricing from a public web page"
# 2. Read the selected endpoint's schema and pricing
monid inspect -p PROVIDER_SLUG -e ENDPOINT_PATH
# 3. Execute only after the agent has checked the contract
monid run -p PROVIDER_SLUG -e ENDPOINT_PATH \
--query '{"url":"https://example.com/product"}'
Keşif ve inceleme, ajanın herhangi bir harcama yapmadan önce seçenekleri karşılaştırmasını sağlar. Yürütme, seçilen uç noktanın fiyatlandırma modeline göre faturalandırılır. Geliştirici tek bir entegrasyon tutarken ajan birden fazla sağlayıcıdaki araçlara erişim kazanır.
Kurulum talimatlarını okuyabilen ajan çalışma zamanları için Monid, makine tarafından okunabilir bir beceri (skill) de yayımlar:
Set up https://monid.ai/SKILL.md
Monid iş akışı belgeleri, katalog, inceleme ve yürütme aşamalarını daha ayrıntılı açıklar.
İki katman birlikte nasıl çalışır
Model ağ geçidi ve araç katmanı, küçük ve açık bir devir teslimi ile ayrı bileşenler olarak kalmalıdır:
- Ajan bir kullanıcı hedefi alır.
- AIHubMix, planlama çağrısını uygun bir modele yönlendirir.
- Plan, eksik bilgiyi veya gerekli harici eylemi belirler.
- Monid, aday araçları keşfeder ve bunların şemalarını ve fiyatlarını sunar.
- Ajan, izinleri ve bütçesi dahilinde bir aracı seçer ve çalıştırır.
- Araç, verileri veya bir eylemin sonucunu döndürür.
- AIHubMix, sentez çağrısını gerekli kalite, maliyet veya gecikmeye göre yönlendirir.
- Ajan, araç sonucuna dayanan bir yanıt döndürür.
Basitleştirilmiş Python kodunda, model tarafındaki çağrılar değişmeden kalabilir; araç sonucu ise bağlam olarak eklenir:
from openai import OpenAI
client = OpenAI(
api_key="<AIHUBMIX_API_KEY>",
base_url="https://aihubmix.com/v1",
)
# A fast model is sufficient for a lightweight planning step.
plan = client.chat.completions.create(
model="auto:latency_critical",
messages=[
{
"role": "user",
"content": "Plan how to compare the current prices of these products.",
}
],
)
# Your agent uses Monid to discover, inspect, and run an appropriate tool.
# Replace these placeholders with the structured result returned by that call.
tool_result = {
"source": "<source-url>",
"data": "<structured-tool-result>",
}
report = client.chat.completions.create(
model="auto:quality_first",
messages=[
{
"role": "system",
"content": (
"Write a concise comparison. Use only the supplied tool result, "
"preserve source URLs, and state when a value is missing."
),
},
{"role": "user", "content": str(tool_result)},
],
)
Önemli olan satır sayısı değildir. Önemli olan, hiçbir seçimin uygulama mantığına kalıcı olarak gömülmek zorunda olmamasıdır. İstem değiştikçe model, görev değiştikçe araç değişebilir.
Maliyet kontrolleri her iki katmana da ait olmalıdır
Model ve araç maliyetleri farklı birimler kullandığından, ayrı ayrı ölçülmelidir.
Model katmanında, çözümlenen model token fiyatlandırmasını belirler. AIHubMix bu kararı izlenebilir kılar ve geliştiricilerin bir yönlendirme politikası seçmesine ya da bir API anahtarının kullanabileceği modelleri kısıtlamasına olanak tanır. Rutin adımlar maliyet veya gecikmeye öncelik verebilirken, kullanıcıya dönük çıktılar kaliteye öncelik verebilir.
Araç katmanında, bir uç nokta çağrı başına veya sonuç başına ücret alabilir. Monid, fiyatlandırmayı yürütmeden önce, inceleme sırasında gösterir. Ajan, bütçesini aşan bir uç noktayı reddedebilir, doğrulanmış bir seçeneği tercih edebilir veya olağandışı pahalı bir işlemden önce onay isteyebilir.
Kullanışlı üretim kontrolleri şunları içerir:
- Her API anahtarı için bir model izin listesi veya fiyat tavanı.
- Görev başına en fazla araç çağrısı bütçesi.
- Düzenlenmiş veriler için sağlayıcı veya uç nokta izin listeleri.
- Model yönlendirme kararını araç çağrısına ve nihai yanıta bağlayan günlükler.
- Geri alınamayan veya hassas eylemlerden önce açık onay.
- Araç verilerinin talimat değil, güvenilmeyen girdi olarak ele alınması için çıktı doğrulaması.
Bu ayrım maliyet hata ayıklamasını da kolaylaştırır. Bir çalışma pahalı hale gelirse, token günlükleri ajanın çok fazla akıl yürütüp yürütmediğini, araç günlükleri ise çok fazla veri çekip çekmediğini gösterir. Çözümler farklıdır ve mimari bu ayrımı korumalıdır.
Güvenilirlik, güncel sözleşmeler ve görünür kararlar gerektirir
Dinamik seçim, öngörülemeyen davranış anlamına gelmemelidir.
Model tarafında AIHubMix, her istek için çözümlenen modeli ve yönlendirme politikasını raporlar. Oturum yapışkanlığı, çok turlu çalışmalarda model tutarlılığını ve istem önbellek avantajlarını koruyabilir; geri dönüş (fallback) davranışı ise gerektiğinde sağlıksız bir modelden uzaklaşabilir.
Araç tarafında ajan, ücretli bir çağrı yapmadan önce mevcut uç nokta şemasını inceler. Keşif sonuçları adayları karşılaştırmak için gereken bilgileri içerir ve gerçek çağrının sonucu, nihai tamamlamaya aktarılan tek harici kanıt olur.
Bu kontroller birlikte kullanışlı bir denetim izi oluşturur:
user goal
-> routing decision and resolved model
-> discovered tool candidates
-> inspected schema and price
-> selected endpoint and result
-> final model decision and grounded response
Bu iz, yalnızca çok sayıda modele ya da API'ye erişim sahibi olmaktan daha değerlidir. Ajanın her seçimi neden yaptığını ve yanıtını hangi kanıtın desteklediğini açıklar.
İki katmana ihtiyaç duymadığınız durumlar
Her iş akışı çalışma zamanı seçiminden yararlanmaz.
Bir uygulama tek bir sabit istemi tek bir kıyaslanmış modele gönderiyorsa, bu modeli doğrudan belirtmek yönlendirmeden daha basit ve daha belirleyicidir. Zamanlanmış bir boru hattı her zaman bilinen tek bir API'yi çağırıyorsa, bu API'yi doğrudan entegre etmek keşif katmanı eklemekten daha net olabilir.
İki katmanlı mimari, çeşitlilik iş yükünün bir parçası olduğunda değerini kanıtlar:
- İstemler adıma göre en iyi modelin değişecek kadar farklılaşır.
- Ajanlar birden fazla model çağrısı yapar ve toplam maliyeti veya gecikmeyi kontrol altında tutmaları gerekir.
- Gerekli araçlar, yapı aşamasında tam olarak önceden tahmin edilemez.
- Dış veriler güncel olmalı ve kaynağı görünür olmalıdır.
- Ekip, her yetenek için yeni bir sağlayıcı entegrasyonu eklemeden yetenekleri genişletmek istiyor.
Uygulamanızın gerçekte vermesi gereken kararlara göre model katmanını, araç katmanını ya da her ikisini birden kullanın.
Ajanı bağımlılıklar değil, kararlar etrafında kurun
Üretimdeki bir yapay zeka ajanı, kaç model ya da API'ye erişebildiğiyle tanımlanmaz. Mevcut adım için doğru yeteneği seçebilmesi, bütçe dahilinde çalışabilmesi ve neler olduğunu açıklayabilmesiyle tanımlanır.
AIHubMix, ajana birleşik bir model uç noktası ve maliyet, kalite ile gecikme önceliklerine göre istek anında yönlendirme sağlar. Monid ise ona çalışma zamanında araç keşfi, güncel şemalar, görünür fiyatlandırma ve farklı dış sağlayıcılar üzerinde yürütme imkânı verir.
Bir katman ajanın nasıl düşüneceğine karar verir, diğeri ise nasıl bilgi edineceğine ve eylemde bulunacağına karar verir. Bu kararları birbirinden ayrı tutmak, genişletilmesi, izlenmesi ve kontrol edilmesi daha kolay bir ajan ortaya çıkarır.
Önce AIHubMix hızlı başlangıç rehberiyle başlayın, ardından araç tarafını Monid üzerinden bağlayın.
SSS
Yapay zeka ajanları için model yönlendirme nedir?
Model yönlendirme, görev türü, yetenek, maliyet ve gecikme gibi faktörlere göre her istek için bir model seçer. AIHubMix ile model değerini auto veya auto:quality_first gibi bir politikaya ayarlamak, OpenAI uyumlu API'yi koruyarak istek anında seçimi etkinleştirir.
LLM zaten bilgiye sahipse yapay zeka ajanının neden araçlara ihtiyacı var?
Bir LLM, aldığı bağlamdan ve eğitim sırasında öğrendiklerinden yanıt üretir. Bağlı bir araç olmadan güncel fiyatları güvenilir biçimde bilemez, özel bir veritabanını sorgulayamaz ya da dış bir eylem gerçekleştiremez. Araçlar canlı veri ve yürütme sağlar; model ise planlamayı yapar ve sonucu yorumlar.
Bir model ağ geçidi, MCP sunucusu veya araç platformu ile aynı şey mi?
Hayır. Model ağ geçidi çıkarım isteklerini modellere yönlendirir. MCP sunucuları ve araç platformları ise dış yetenekleri bir ajana sunar. Bunlar birbirini tamamlayan entegrasyon sorunlarını çözer ve birlikte kullanılabilirler.
AIHubMix ve Monid bağımsız olarak kullanılabilir mi?
Evet. AIHubMix, dinamik araç gereksinimi olmayan uygulamalar için model çağrılarını yönlendirebilir. Monid ise başka bir model sağlayıcısı veya ağ geçidi kullanan ajanlara araç keşfi sağlayabilir. Bir ajanın her iki katmanda da çalışma zamanında seçim yapması gerektiğinde ikisini birlikte kullanmak faydalıdır.
Otomatik yönlendirmeyi nasıl denetlenebilir tutabilirim?
Her görev için çözümlenen modeli, yönlendirme politikasını, araç adayını, incelenen fiyatı, seçilen uç noktayı ve dönen sonucu kaydedin. AIHubMix yanıtta model yönlendirme ayrıntılarını sunar; Monid ise keşfi ve incelemeyi yürütmeden ayırır, böylece araç kararı ücretli çağrıdan önce kaydedilebilir.



