AIHubMix vận hành mạng lưới tăng tốc toàn cầu tự xây dựng cho lưu lượng API. Sau khi đánh giá các nhà cung cấp dịch vụ tăng tốc của bên thứ ba và nhận thấy độ trễ cũng như độ ổn định của họ không đáp ứng được khối lượng công việc AI trong môi trường production, chúng tôi đã triển khai các nút biên (edge) riêng, hệ thống giám sát và hệ thống điều phối lưu lượng của mình. Bài viết này mô tả các kết quả đo được và kiến trúc đứng sau chúng.
Kết quả đo được
Các số liệu dưới đây được lấy từ quá trình giám sát liên tục trong môi trường production sau khi chúng tôi tinh chỉnh thuật toán điều phối.
Giảm 75% độ trễ phản hồi
Độ trễ API đầu cuối giảm trung bình 75%. Trong các kịch bản streaming, cải thiện này chủ yếu thể hiện ở thời gian đến token đầu tiên (TTFT), tức khoảng thời gian từ lúc gửi yêu cầu đến lúc nhận được token đầu ra đầu tiên, yếu tố quyết định mức độ phản hồi nhanh nhạy của một ứng dụng chat.
Giảm 60% biến động độ trễ
Phương sai độ trễ giữa các yêu cầu giảm 60%. Độ trễ nhất quán rất quan trọng đối với các ứng dụng production: nó giúp thời gian phản hồi hiển thị cho người dùng luôn có thể dự đoán và giảm số lần timeout do độ trễ đuôi (tail latency).
Độ khả dụng dịch vụ đạt 99,99%
Độ khả dụng đo trên lưu lượng production đạt 99,99%. Đây là con số đo thực tế bao phủ mọi khung giờ, kể cả cuối tuần và ngày lễ.
Kiến trúc
Nút biên tự xây dựng
Mạng lưới chạy trên các nút tăng tốc chuyên dụng được triển khai ở nhiều khu vực, không phụ thuộc vào bất kỳ đường truyền hay nhà cung cấp đám mây đơn lẻ nào. Mỗi nút phải vượt qua các bài kiểm tra benchmark về độ trễ, tỷ lệ mất gói và tải đỉnh trước khi đưa vào production; những nút không đạt ngưỡng sẽ bị loại khỏi nhóm. Định tuyến chọn đường nhanh nhất khả dụng cho từng lệnh gọi API.
Giám sát sức khỏe với kiểm tra theo phút
Các đầu dò phân tán ở nhiều khu vực thực hiện kiểm tra sức khỏe đầu cuối trên mọi nút mỗi phút, bao gồm ba khía cạnh: độ trễ, tỷ lệ thành công và độ ổn định. Toàn bộ mạng lưới được quét mỗi 60 giây, nên các bất thường ở nút được phát hiện trong vòng một chu kỳ kiểm tra.
Điều phối lưu lượng với chuyển đổi dự phòng tự động
Hệ thống điều phối tính lại điểm sức khỏe cho mọi nút mỗi phút, dựa trên dữ liệu kiểm tra từ bốn cửa sổ trượt: 1 phút, 5 phút, 15 phút và 1 giờ. Lưu lượng được định tuyến đến nút có điểm hiện tại tốt nhất. Khi một nút suy giảm, việc chuyển sang nút khỏe mạnh hoàn tất trong vài mili giây mà không cần con người can thiệp.
Vận hành tự động hóa
Quản lý nút, tối ưu tuyến đường, triển khai cấu hình, luân chuyển chứng chỉ và khôi phục sự cố đều được tự động hóa. Việc xử lý sự cố không phụ thuộc vào thời gian phản hồi trực ca: các nút suy giảm được hệ thống điều phối loại khỏi luồng phục vụ ngay khi đầu dò phát hiện bất thường.
Ý nghĩa đối với ứng dụng của bạn
- TTFT thấp hơn và ổn định hơn trong các phản hồi streaming.
- Ít lỗi timeout và ít đột biến độ trễ đuôi hơn khi tải cao.
- Không cần thay đổi tích hợp: tính năng tăng tốc tự động áp dụng cho các endpoint API tiêu chuẩn.
Câu hỏi thường gặp
Tôi có cần thay đổi tích hợp để hưởng lợi từ mạng lưới tăng tốc không?
Không. Tính năng tăng tốc được áp dụng ở tầng truy cập nền tảng. Các endpoint API, khóa và định dạng yêu cầu hiện có vẫn hoạt động bình thường.
Sức khỏe của các nút được kiểm tra bao lâu một lần?
Các đầu dò phân tán quét mọi nút trong mạng lưới mỗi 60 giây, đo độ trễ, tỷ lệ thành công và độ ổn định theo phương thức đầu cuối.
Điều gì xảy ra khi một nút suy giảm?
Hệ thống điều phối tính lại điểm sức khỏe mỗi phút dựa trên bốn cửa sổ trượt (1 phút, 5 phút, 15 phút, 1 giờ) và tự động chuyển lưu lượng sang các nút khỏe mạnh. Việc chuyển đổi hoàn tất trong vài mili giây.
Cập nhật lần cuối: 2026-06-01
