Vào ngày 2026-11-03/04, bộ kiểm thử APB Full được chạy với DeepSeek V4.1 Flash 1017 trên năm nhà cung cấp thông qua AIHubMix. Tất cả nhà cung cấp đều sử dụng cùng mô hình, câu hỏi, tham số và tập lệnh yêu cầu; mô hình được liệt kê trên trang mô hình AIHubMix, còn năm mục nhà cung cấp nằm trên trang models. Hồ sơ APB này chỉ đánh giá Alibaba Cloud: từng mục đo lường điều gì và kết quả ra sao.
Bài viết này báo cáo điểm số mà không xếp hạng hay đề xuất nhà cung cấp nào. Q, F, P, K và R được trình bày trước; K là điểm thành phần của P. Điểm tổng thể là chỉ số tổng hợp, không phải chứng nhận và không có khoảng tin cậy. Quy tắc chấm điểm được quy định trong AIHubMix Provider Benchmark Standard v2.0.
Điểm số của năm nhà cung cấp
In đậm là nhà cung cấp được đánh giá trong bài viết này. Các nhà cung cấp được liệt kê theo thứ tự cố định, không phải thứ hạng. K là điểm thành phần của P, chiếm 20%, được hiển thị riêng để tham khảo. Điểm tổng thể là chỉ số tổng hợp, không có khoảng tin cậy. Kênh chính thức của DeepSeek và Alibaba Cloud chênh nhau 0.37 điểm tổng thể và không thể phân biệt được.
Tổng quan nhanh
- Chất lượng câu trả lời: Q 41.75. BFCL 87.00%, HLE 13.29%, AA-LCR 53.60%. So với kênh chính thức, chênh lệch là −0.71 điểm phần trăm, với khoảng tin cậy 95% từ −1.72 đến +0.26, do đó không thể phân biệt hai bên.
- Hỗ trợ hàm: F 89.78. Có 155 trong số 177 lượt kiểm tra thuộc mẫu số đạt yêu cầu. Schema công cụ không hợp lệ trả về 503 thay vì lỗi tham số, tràn ngữ cảnh không trả về loại lỗi được ghi trong tài liệu, còn kết quả công cụ độc lập trả về 200.
- Tốc độ phản hồi: P 88.58. Trung vị thời gian đến token nội dung đầu tiên là 1.34 s ở mức đồng thời đơn và 1.35 s ở mức đồng thời 10; TPOT là 4.69 ms, và cả 180 yêu cầu đo tốc độ đều hợp lệ.
- Cache: K 99.37. Cả 18 yêu cầu nóng trên các tiền tố 8k và 32k đều trúng cache, và không yêu cầu kiểm soát lạnh nào đọc từ cache.
- Độ ổn định dịch vụ: R 100. Cả 300 yêu cầu chuyên biệt đều thành công ngay lần thử đầu tiên.
Thiết lập kiểm thử
Lần chạy được thực hiện qua AIHubMix bằng cách chọn ID mô hình của nhà cung cấp; hướng dẫn bắt đầu nhanh mô tả tuyến kết nối. Trang định giá của DeepSeek liệt kê mức giá được công bố cho mô hình.
| Hạng mục | Chi tiết |
|---|---|
| Mô hình | DeepSeek V4.1 Flash 1017 |
| ID mô hình được yêu cầu | alicloud-deepseek-v4.1-flash-1017 |
| Tên mô hình được trả về | deepseek-v4.1-flash-1017 |
| Tuyến truy cập | Thông qua AIHubMix bằng cách chọn ID mô hình của nhà cung cấp, không phải bằng cách kết nối với tài khoản riêng của nhà cung cấp |
| Tham số | Chế độ không suy luận, temperature 1.0, max_tokens 16,384, timeout 300 s, không tự động thử lại |
| Tắt suy luận | Tất cả yêu cầu đều dùng reasoning_effort=none |
| Thời gian | 2026-11-03 18:07 – 11-04 16:33 UTC+8. Năm nhà cung cấp dùng chung một máy Mac mini, mạng và tài khoản. |
| Mẫu | Chất lượng câu trả lời: 4,250 lượt chạy câu hỏi (BFCL 500 × 3 vòng, HLE 250 × 10, AA-LCR 25 × 10); các trường hợp kiểm thử chức năng: 60 × 3 khung; tốc độ: 90 yêu cầu ở mức đồng thời đơn và 90 ở mức đồng thời 10; độ ổn định: 300; cache: 30 (tiền tố 8k và 32k, mỗi loại 3 nhóm) |
Q — chất lượng câu trả lời: 41.75
Đánh giá chất lượng câu trả lời sử dụng ba bộ câu hỏi: 500 câu BFCL, mỗi câu 3 vòng; 250 câu HLE, mỗi câu 10 vòng; và 25 câu AA-LCR, mỗi câu 10 vòng. BFCL được chấm theo quy tắc tự động; HLE và AA-LCR được chấm bởi mô hình giám khảo deepseek-flash. Cả năm nhà cung cấp đều trả lời cùng câu hỏi, sau đó kết quả của ba bộ được gộp thành một độ chính xác chung. Mười câu trả lời bị loại vì không thể chấm điểm câu hỏi, còn lại 4,240 lượt chạy câu hỏi được chấm điểm.
| Tác vụ | Số câu hỏi | Đúng | Độ chính xác | Lỗi |
|---|---|---|---|---|
| Gọi công cụ BFCL | 500 × 3 | 1,305/1,500 | 87.00% | 0 |
| HLE hỏi đáp khó | 250 × 10 | 331/2,490 | 13.29% | 8 |
| Lập luận trên tài liệu dài AA-LCR | 25 × 10 | 134/250 | 53.60% | 0 |
| Gộp chung · khoảng tin cậy 95% 39.56%–43.85% | — | 1,770/4,240 | 41.75% | 8 |
Lỗi dịch vụ (yêu cầu thất bại hoặc đầu ra bị cắt cụt) vẫn nằm trong mẫu số và được tính là sai; chúng không bị loại bỏ. Với Alibaba Cloud, đầu ra HLE chạm giới hạn max_tokens và bị cắt cụt 8 lần.
Mỗi câu hỏi BFCL được trả lời qua 3 vòng; bảng hiển thị kết quả gộp của cả 3 vòng.
| Danh mục BFCL | Đạt | Tỷ lệ đạt |
|---|---|---|
| simple_python: một hàm, gọi đúng và truyền đúng đối số | 332/360 | 92.22% |
| multiple: chọn đúng hàm trong số nhiều hàm | 270/300 | 90.00% |
| parallel: gọi cùng một hàm nhiều lần song song | 273/300 | 91.00% |
| parallel_multiple: gọi nhiều hàm khác nhau song song | 212/240 | 88.33% |
| irrelevance: không có hàm nào phù hợp, không nên gọi hàm nào | 113/150 | 75.33% |
| ahm_multi_turn: chuỗi công cụ gồm ba giai đoạn | 105/150 | 70.00% |
So sánh với bốn nhà cung cấp còn lại
So với kênh chính thức: chênh lệch độ chính xác tính theo điểm phần trăm, với khoảng tin cậy 95% được thể hiện bằng các thanh sai số; khoảng tin cậy đi qua 0 được xem là không có khác biệt. Mô hình giám khảo deepseek-flash dùng cho HLE và AA-LCR thuộc cùng họ DeepSeek với mô hình đang kiểm thử và chưa được hiệu chuẩn, nên việc chấm điểm có thể dễ dãi.
F — hỗ trợ hàm: 89.78
Các trường hợp kiểm thử chức năng đánh giá liệu hành vi của giao diện có tuân theo giao thức hay không, chứ không đánh giá chất lượng câu trả lời của mô hình. Có 60 trường hợp thuộc sáu nhóm, mỗi trường hợp chạy trong ba khung, tổng cộng 180 lượt kiểm tra, được đối chiếu với định dạng mà từng nhà cung cấp công bố. Các lượt kiểm tra không áp dụng, không hợp lệ hoặc không quan sát được sẽ bị loại khỏi mẫu số. Alibaba Cloud đạt 155 trong số 177 lượt kiểm tra thuộc mẫu số; áp dụng trọng số theo nhóm cho kết quả 89.78.
Điểm có trọng số được tính từ trọng số của các nhóm, không phải bằng cách tính đơn giản số lượt đạt trên tổng số 177.
| Nhóm | Trọng số | Đạt | Bị loại | Điểm nhóm |
|---|---|---|---|---|
| Truyền phát và giao thức thông điệp | 20% | 30/30 | — | 100.00 |
| Giao diện công cụ | 20% | 30/30 | — | 100.00 |
| Ràng buộc đầu ra và tham số | 20% | 30/30 | — | 100.00 |
| Ngữ cảnh và trạng thái | 15% | 26/30 | — | 86.67 |
| Lỗi và khôi phục | 15% | 18/30 | — | 60.00 |
| Đo lường mức sử dụng và giao thức cache | 10% | 21/27 | 3 | 77.78 |
| Tổng · điểm có trọng số | — | 155/177 | 3 | 89.78 |
Số lượng khung 3/3 nghĩa là trường hợp kiểm thử thất bại trong cả ba khung.
| Trường hợp thất bại | Số khung thất bại | Lý do |
|---|---|---|
| Tràn ngữ cảnh (ngữ cảnh và trạng thái) | 3/3 | Có trả về lỗi nhưng không phải lỗi độ dài ngữ cảnh được ghi trong tài liệu |
| Lỗi định dạng messages (lỗi và khôi phục) | 3/3 | Trả về 400 cùng nội dung phản hồi trống, không có mô tả lỗi có cấu trúc |
| Schema công cụ không hợp lệ (lỗi và khôi phục) | 3/3 | Lẽ ra phải trả về lỗi tham số; thực tế trả về 503 |
| Kết quả công cụ độc lập (lỗi và khôi phục) | 3/3 | Lẽ ra phải trả về lỗi tham số; thực tế trả về 200 |
| Lỗi định dạng stream_options (lỗi và khôi phục) | 3/3 | Trả về 400 cùng nội dung phản hồi trống, không có mô tả lỗi có cấu trúc |
| Đo lường token suy luận (đo lường mức sử dụng và giao thức cache) | 3/3 | Không trả về số lượng token suy luận |
| Định nghĩa công cụ được tính là đầu vào (đo lường mức sử dụng và giao thức cache) | 3/3 | Khi có định nghĩa công cụ, số token đầu vào được báo cáo không cao hơn trường hợp không có chúng |
| Cách ly yêu cầu (ngữ cảnh và trạng thái) | 1/3 | Bước đầu tiên không chỉ trả lời STORED như yêu cầu, nên không thể tiếp tục kiểm tra khả năng cách ly |
Các lượt kiểm tra này bị loại khỏi mẫu số và không được tính là đạt hay thất bại.
| Trạng thái | Trường hợp kiểm thử | Số lượng | Lý do |
|---|---|---|---|
| Không áp dụng | Explicit cache_control | 3 | Được xác định trước là không được giao diện này hỗ trợ |
Các trường hợp kiểm thử lỗi định dạng messages và lỗi định dạng stream_options đều thất bại với cả năm nhà cung cấp: mỗi bên trả về 400 với nội dung phản hồi trống, nên ứng dụng khách không nhận được mô tả lỗi có cấu trúc. Vì cả năm đều có cùng hành vi, nhiều khả năng vấn đề nằm ở lớp cổng AIHubMix và cần được điều tra riêng. Đo lường token suy luận cũng thất bại với cả năm, nhưng vì những lý do khác nhau: ByteDance và Fireworks báo cáo token suy luận ngay cả khi đã tắt suy luận, trong khi ba nhà cung cấp còn lại không trả về số lượng token suy luận.
So sánh với bốn nhà cung cấp còn lại
P — tốc độ phản hồi: 88.58
Mỗi yêu cầu mang khoảng 10,000 token đầu vào và yêu cầu khoảng 1,100 token đầu ra. Trong ba khung, mỗi khung gửi 30 yêu cầu ở mức đồng thời đơn và 30 yêu cầu ở mức đồng thời 10, tổng cộng 180 yêu cầu. Thời gian chờ đến token nội dung đầu tiên (TTFA) được đo cho từng yêu cầu hợp lệ, còn bảng báo cáo trung vị. TPOT được ước tính từ thời gian của các chunk truyền phát, không phải thời gian trên mỗi token của phần cứng; thông lượng được tính bằng số token đầu ra hợp lệ ở mức đồng thời 10 chia cho thời gian thực của toàn bộ lô.
| Chỉ số | Kết quả |
|---|---|
| TTFA — token nội dung đầu tiên | Trung vị ở mức đồng thời đơn 1.34 s, trung vị ở mức đồng thời 10 là 1.35 s |
| Tốc độ tạo sinh TPOT | Mức đồng thời đơn 4.63 ms/token, mức đồng thời 10 là 4.69 ms/token |
| Thông lượng hiệu dụng (goodput) | Mức đồng thời 10: 1,313.6 token/s |
| Yêu cầu hợp lệ | Mức đồng thời đơn 90/90, mức đồng thời 10 là 90/90 |
| Điểm thành phần | TTFA 59.65, TPOT 100.00, thông lượng 100.00; lấy mức thấp hơn trong hai mức cho TTFA và TPOT, trọng số lần lượt là 35% / 35% / 30%, điểm phản hồi 85.88 |
| Điểm P | Điểm phản hồi 85.88 với trọng số 80%, cache K 99.37 với trọng số 20%, tổng điểm 88.58 |
So sánh với bốn nhà cung cấp còn lại
Cả năm nhà cung cấp đều dùng chung máy, mạng và tài khoản. Ba khung được lên lịch lần lượt theo từng nhà cung cấp, nên các khoảng thời gian thu thập dữ liệu không trùng khớp hoàn toàn và không nên diễn giải quá mức những chênh lệch nhỏ.
K — cache: 99.37
Mỗi nhóm gồm năm yêu cầu: yêu cầu đầu tiên mang một tiền tố cố định khoảng 8k hoặc 32k token để tạo cache; các yêu cầu 2–4 giữ nguyên tiền tố và chỉ thay đổi câu hỏi ở cuối, lần lượt sau 5, 30 và 120 giây; yêu cầu thứ năm dùng một tiền tố mới làm đối chứng lạnh. Ba khung × hai độ dài tạo thành 30 yêu cầu. K là số token đã đọc từ cache trong các yêu cầu nóng chia cho số token dự kiến có thể tái sử dụng theo quy tắc, với mỗi độ dài được tính trọng số bằng nhau; K chiếm 20% điểm P. Ma trận thể hiện số lượt đọc token trong cache do máy chủ báo cáo.
| Tiền tố | Khung | Tạo mồi (yêu cầu 1) | Yêu cầu nóng sau 5 s | Yêu cầu nóng sau 30 s | Yêu cầu nóng sau 120 s | Đối chứng lạnh (yêu cầu 5) |
|---|---|---|---|---|---|---|
| 8k | Khung 1 | 0 | 7,936 | 7,936 | 7,936 | 0 |
| 8k | Khung 2 | 0 | 7,936 | 7,936 | 7,936 | 0 |
| 8k | Khung 3 | 0 | 7,936 | 7,936 | 7,936 | 0 |
| 32k | Khung 1 | 0 | 32,000 | 32,000 | 32,000 | 0 |
| 32k | Khung 2 | 0 | 32,000 | 32,000 | 32,000 | 0 |
| 32k | Khung 3 | 0 | 32,000 | 32,000 | 32,000 | 0 |
| Tiền tố | Lượt trúng cache | Token đã đọc | Lượng lẽ ra có thể tái sử dụng | Điểm |
|---|---|---|---|---|
| 8k | 9/9 | 71,424 | 72,270 | 98.83 |
| 32k | 9/9 | 288,000 | 288,279 | 99.90 |
| K (8k và 32k, mỗi loại chiếm một nửa) | 99.37 |
Cả 9 yêu cầu nóng 8k đều trúng cache, mỗi yêu cầu đọc 7,936 token; cả 9 yêu cầu nóng 32k đều trúng cache, mỗi yêu cầu đọc 32,000 token. Yêu cầu tạo mồi và đối chứng lạnh không đọc cache, nên các yêu cầu nóng và lạnh được phân biệt rõ ràng.
So sánh với bốn nhà cung cấp còn lại
R — độ ổn định dịch vụ: 100
300 yêu cầu bao gồm bốn loại — văn bản ngắn, đầu vào dài 10k, gọi công cụ và lịch sử nhiều lượt — được gửi ở mức đồng thời đơn qua ba khung. Chỉ phản hồi đầu tiên được kiểm tra về tính hợp lệ và đầy đủ; không kiểm tra độ chính xác của câu trả lời và không thử lại. Lỗi trong các mục chất lượng câu trả lời và tốc độ lần lượt được tính vào Q và P, không bị tính lại vào R.
| Loại yêu cầu | Thành công ngay lần thử đầu tiên |
|---|---|
| Văn bản ngắn | 120/120 |
| Đầu vào dài 10k | 90/90 |
| Gọi công cụ | 60/60 |
| Lịch sử nhiều lượt | 30/30 |
| Tổng · khoảng tin cậy 95% 98.78%–100% | 300/300 |
Cả 300 yêu cầu đều trả về phản hồi hợp lệ, đầy đủ ngay lần thử đầu tiên. R 100 chỉ bao gồm 300 yêu cầu riêng này, không có nghĩa là toàn bộ chuỗi không gặp lỗi. Cận dưới của khoảng tin cậy 95% là 98.78%: ngay cả với kết quả 300/300, tỷ lệ lỗi nhiều khả năng vẫn dưới 1.22%.
So với bốn nhà cung cấp còn lại
R chỉ bao gồm 300 yêu cầu riêng này; lỗi về chất lượng và tốc độ câu trả lời được ghi nhận trong Q và P, không tính lại trong R.
| Nhà cung cấp | Tỷ lệ thành công ngay lần thử đầu | Khoảng tin cậy 95% |
|---|---|---|
| ByteDance | 300/300 | 98.78%–100% |
| Baidu | 300/300 | 98.78%–100% |
| Alibaba Cloud | 300/300 | 98.78%–100% |
| DeepSeek official | 300/300 | 98.78%–100% |
| Fireworks | 300/300 | 98.78%–100% |
Câu hỏi thường gặp
Chênh lệch tổng thể 0.37 giữa Alibaba Cloud và kênh chính thức có đáng kể không?
Không. Trong lần chạy này, không thể phân biệt hai bên: chênh lệch Q là −0.71 điểm phần trăm, với khoảng tin cậy 95% từ −1.72 đến +0.26, bao gồm 0; còn điểm tổng thể là chỉ số tổng hợp không có khoảng tin cậy.
Điểm Q kết hợp những gì?
Ba bộ: 500 câu hỏi BFCL × 3 lượt, chấm tự động; 250 câu HLE × 10 và 25 câu AA-LCR × 10, được chấm bởi mô hình giám khảo deepseek-flash. Độ chính xác tổng hợp là 41.75% trên 4,240 lượt chạy câu hỏi được chấm.
Tại sao F là 89.78 khi 155/177 mục kiểm tra đạt?
Điểm được tính theo trọng số của từng nhóm, không phải tỷ lệ đạt đơn giản. Nhóm lỗi và khôi phục đạt 60.00, nhóm đo mức sử dụng và giao thức bộ nhớ đệm đạt 77.78, trong khi ba nhóm giao thức đạt 100.00.
Tại sao R báo 100 nếu các phần khác có yêu cầu thất bại?
R chỉ bao gồm 300 yêu cầu kiểm tra độ ổn định riêng. Lỗi về chất lượng và tốc độ câu trả lời được ghi nhận trong Q và P, không tính lại trong R.
K 99.37 có phải là tỷ lệ trúng bộ nhớ đệm không?
Đây là tỷ lệ giữa số token được đọc từ bộ nhớ đệm trong các yêu cầu lặp lại và số token có thể tái sử dụng, với phần 8k và 32k được tính trọng số ngang nhau. Tiền tố 8k đạt 98.83, còn tiền tố 32k đạt 99.90.
Token đầu tiên xuất hiện sau 1.34 s có nghĩa là toàn bộ câu trả lời đến sau 1.34 s không?
Không. Đây là thời gian chờ đến token nội dung đầu tiên. Mỗi yêu cầu đòi hỏi khoảng 1,100 token đầu ra, và TPOT ở mức đồng thời 10 là 4.69 ms mỗi token.
Đọc tiếp: loạt bài DeepSeek V4.1 Flash
- Q tổng hợp của Alibaba Cloud chênh 0.71 điểm phần trăm so với mức chuẩn của kênh chính thức, nằm trong khoảng có bao gồm 0; hồ sơ ByteDance tiếp tục phép so sánh tương tự với việc tính phí gọi công cụ: DeepSeek V4.1 Flash trên ByteDance: gọi công cụ khớp, tính phí thì không.
- Alibaba Cloud trả về phản hồi hợp lệ cho cả 180 yêu cầu kiểm tra tốc độ; hồ sơ Baidu áp dụng cùng bộ kiểm thử, trong đó không có kênh khả dụng nào ảnh hưởng đến Q và P: DeepSeek V4.1 Flash trên Baidu: không có kênh khả dụng nào ảnh hưởng đến Q và P.
- Kênh chính thức là mức chuẩn để so sánh chất lượng câu trả lời trong bài viết này; hồ sơ riêng của kênh này ghi nhận F 94.00 và 15 phép thăm dò không hợp lệ ở mức đồng thời 1: DeepSeek V4.1 Flash trên kênh chính thức: F 94.00, 15 phép thăm dò không hợp lệ.
- Alibaba Cloud đạt 9/9 yêu cầu lặp lại ở cả hai độ dài tiền tố; hồ sơ Fireworks ghi nhận phản hồi dừng trống và 3/9 lần trúng bộ nhớ đệm ở 8k: DeepSeek V4.1 Flash trên Fireworks: phản hồi dừng trống, 3/9 lần trúng bộ nhớ đệm.
