AIHubMix оперира собствена глобална мрежа за акцелерация за API трафик. След оценка на доставчици на акцелерация от трети страни и установяване, че тяхната латентност и стабилност не са достатъчни за производствени AI натоварвания, внедрихме наши собствени ръбови възли, мониторингова система и планиране на трафика. Тази публикация описва измерените резултати и архитектурата зад тях.
Измерени резултати
Следните цифри идват от непрекъснат мониторинг на производството след итерации на алгоритъма за планиране.
Латентността на отговора намалена с 75%
Латентността на API от край до край е намалена средно с 75%. В сценарии на стрийминг това основно подобрява времето до първия токен (TTFT), интервала между изпращането на заявка и получаването на първия изходен токен, който определя как се усеща отзивчивостта на чат приложението.
Колебанията в латентността намалени с 60%
Разликата в латентността от заявка до заявка е намалена с 60%. Последователната латентност е важна за производствени приложения: тя поддържа предсказуеми времена за отговор за потребителите и намалява тайм-аутите при дълга латентност.
Наличност на услугата 99.99%
Наличността, измерена над производствения трафик, достига 99.99%. Това е измерена стойност, обхващаща всички часове, включително уикенди и празници.
Архитектура
Собствени ръбови възли
Мрежата работи на специализирани възли за акцелерация, разположени в множество региони, независими от който и да е един доставчик на линии или облак. Всеки възел преминава тестове за латентност, загуба на пакети и пикова натовареност преди да влезе в производството; възлите, които не отговарят на праговете, се отстраняват от пул. Рутингът избира най-бързия наличен маршрут за всяко API повикване.
Мониторинг на здравето с проби на ниво минута
Разпределените проби в множество региони извършват проверка на здравето от край до край на всеки възел всяка минута, обхващаща три измерения: латентност, процент на успех и стабилност. Цялата мрежа се сканира на всеки 60 секунди, така че аномалиите на възлите се откриват в рамките на един цикъл на пробата.
Планиране на трафика с автоматично прехвърляне
Системата за планиране преизчислява здравния рейтинг за всеки възел всяка минута, базирайки се на данни от проби от четири плъзгащи се прозорци: 1 минута, 5 минути, 15 минути и 1 час. Трафикът се насочва към възела с най-добрия текущ рейтинг. Когато един възел се влоши, прехвърлянето към здрав възел завършва за милисекунди без човешка намеса.
Автоматизирани операции
Управлението на възли, оптимизация на маршрути, внедряване на конфигурации, ротация на сертификати и възстановяване от повреди са напълно автоматизирани. Обработката на инциденти не зависи от времето за реакция на дежурния екип: влошените възли се отстраняват от ротацията от системата за планиране веднага щом пробите открият аномалия.
Какво означава това за вашето приложение
- По-ниско и по-последователно TTFT в стрийминг отговори.
- По-малко грешки при тайм-аут и пикове на дълга латентност под натоварване.
- Няма промени в интеграцията: акцелерацията се прилага автоматично към стандартните API крайни точки.
Често задавани въпроси
Трябва ли да променям интеграцията си, за да се възползвам от мрежата за акцелерация?
Не. Акцелерацията се прилага на слоя за вход на платформата. Съществуващите API крайни точки, ключове и формати на заявки работят без промяна.
Колко често се проверява здравето на възлите?
Разпределените проби сканират всеки възел в мрежата на всеки 60 секунди, измервайки латентност, процент на успех и стабилност от край до край.
Какво се случва, когато един възел се влоши?
Системата за планиране преизчислява здравните оценки всяка минута от четири плъзгащи се прозорци (1 минута, 5 минути, 15 минути, 1 час) и автоматично прехвърля трафика към здрави възли. Прехвърлянето завършва за милисекунди.
Последно обновление: 2026-06-01