AIHubMix는 API 트래픽을 위한 자체 구축한 글로벌 가속화 네트워크를 운영합니다. 서드파티 가속화 제공업체를 평가한 결과, 그들의 지연 시간과 안정성이 생산 AI 워크로드에 충분하지 않다고 판단하여, 우리는 자체 엣지 노드, 모니터링 시스템 및 트래픽 스케줄링을 배포했습니다. 이 게시물에서는 측정된 결과와 그 뒤에 있는 아키텍처를 설명합니다.
측정된 결과
다음 수치는 스케줄링 알고리즘을 반복한 후 지속적인 생산 모니터링에서 나온 것입니다.
응답 지연 시간이 75% 감소했습니다
엔드 투 엔드 API 지연 시간이 평균 75% 감소했습니다. 스트리밍 시나리오에서는 주로 첫 번째 토큰까지의 시간(TTFT)이 개선되며, 이는 요청을 보내고 첫 번째 출력 토큰을 받는 사이의 간격으로, 채팅 애플리케이션의 반응성을 결정합니다.
지연 시간 변동성이 60% 감소했습니다
요청 간 지연 시간 변동성이 60% 감소했습니다. 일관된 지연 시간은 생산 애플리케이션에 중요합니다: 이는 사용자 측 응답 시간을 예측 가능하게 유지하고, 꼬리 지연 시간 초과를 줄입니다.
서비스 가용성이 99.99%입니다
생산 트래픽에서 측정된 가용성은 99.99%에 도달합니다. 이는 주말과 공휴일을 포함한 모든 시간을 포괄하는 측정된 수치입니다.
아키텍처
자체 구축한 엣지 노드
네트워크는 여러 지역에 배포된 전용 가속화 노드에서 운영되며, 단일 회선이나 클라우드 공급업체에 의존하지 않습니다. 각 노드는 생산에 들어가기 전에 지연 시간, 패킷 손실 및 피크 부하 기준을 통과해야 하며, 기준을 충족하지 못하는 노드는 풀에서 제거됩니다. 라우팅은 각 API 호출에 대해 가장 빠른 경로를 선택합니다.
분 단위 프로브를 통한 건강 모니터링
여러 지역에 분산된 프로브가 매 분마다 모든 노드에 대해 엔드 투 엔드 건강 검사를 수행하며, 지연 시간, 성공률 및 안정성의 세 가지 차원을 다룹니다. 전체 네트워크는 매 60초마다 스캔되므로, 노드 이상은 한 프로브 주기 내에 감지됩니다.
자동 장애 조치가 포함된 트래픽 스케줄링
스케줄링 시스템은 매 분마다 네 개의 슬라이딩 윈도우(1분, 5분, 15분, 1시간)의 프로브 데이터를 기반으로 각 노드에 대한 건강 점수를 재계산합니다. 트래픽은 현재 점수가 가장 좋은 노드로 라우팅됩니다. 노드가 저하되면, 건강한 노드로의 장애 조치가 밀리초 내에 자동으로 완료됩니다.
자동화된 운영
노드 관리, 경로 최적화, 구성 배포, 인증서 교체 및 장애 복구는 모두 자동화되어 있습니다. 사고 처리는 온콜 응답 시간에 의존하지 않으며, 저하된 노드는 프로브가 이상을 감지하는 즉시 스케줄링 시스템에 의해 회전에서 제거됩니다.
이것이 귀하의 애플리케이션에 의미하는 바
- 스트리밍 응답에서 더 낮고 일관된 TTFT.
- 부하 하에서의 타임아웃 오류 및 꼬리 지연 시간 급증 감소.
- 통합 변경 없음: 가속화는 표준 API 엔드포인트에 자동으로 적용됩니다.
자주 묻는 질문
가속화 네트워크의 혜택을 받기 위해 통합을 변경해야 하나요?
아니요. 가속화는 플랫폼 진입 계층에서 적용됩니다. 기존 API 엔드포인트, 키 및 요청 형식은 변경 없이 작동합니다.
노드 건강 검사는 얼마나 자주 이루어지나요?
분산된 프로브가 네트워크의 모든 노드를 매 60초마다 스캔하여, 지연 시간, 성공률 및 안정성을 엔드 투 엔드로 측정합니다.
노드가 저하되면 어떻게 되나요?
스케줄링 시스템은 네 개의 슬라이딩 윈도우(1분, 5분, 15분, 1시간)에서 매 분마다 건강 점수를 재계산하고, 자동으로 트래픽을 건강한 노드로 전환합니다. 장애 조치는 밀리초 내에 완료됩니다.
마지막 업데이트: 2026-06-01