2026-11-05/06，DeepSeek V4.1 Flash 1017 在 Pareto 上完成了 AIHubMix Provider Benchmark (APB) Full 套件测试。得分为 Q 48.40、F 93.42、P 57.69 和 R 100；总指数为 73.09。HLE 有 996 次服务失败被计为错误，180 次速度探测中有 70 次无效。
同一款 DeepSeek V4.1 Flash 1017 可通过六家供应商接入。我们使用 APB Full 套件对每家进行了测试。本篇 APB Profile 仅介绍 Pareto：测试了哪些内容，以及测试结果。
得分仅作报告，不进行排名，也不推荐供应商。首先列出四个维度得分 Q、F、P 和 R；总分是汇总指数，并非认证结果，且没有置信区间。评分规则：AIHubMix Provider Benchmark Standard v2.0。
六家供应商的得分（固定顺序，不代表排名）
| 供应商 | Q | F | P | K | R | 总分 |
|---|---|---|---|---|---|---|
| ByteDance | 42.05 | 74.98 | 84.37 | 93.83 | 100 | 66.37 |
| Baidu | 38.00 | 88.39 | 37.77 | 68.85 | 100 | 56.48 |
| Alibaba Cloud | 41.75 | 89.78 | 88.58 | 99.37 | 100 | 73.38 |
| DeepSeek 官方路线 | 42.45 | 94.00 | 86.14 | 98.38 | 100 | 73.76 |
| Fireworks | 41.42 | 71.78 | 79.51 | 60.68 | 100 | 64.10 |
| Pareto（本文） | 48.40 | 93.42 | 57.69 | 27.58 | 100 | 73.09 |
各行按固定的供应商顺序排列，不代表排名。K 是 P 的一个组成部分，占 20%，单独列出。总分采用 Standard 综合计算（包括与官方路线的比较以及证据完整度）；它不是四列得分的直接加权平均，且没有置信区间。DeepSeek 官方路线与 Alibaba Cloud 之间的 0.37 分差异无法判定为显著差异。
一览
- 回复质量：Q 48.40，其中 BFCL 为 85.07%、HLE 为 23.21%、AA-LCR 为 79.20%。与官方路线相比：高出 5.94 个百分点，95% 区间为 +3.54 至 +8.36。HLE 有 996 次服务失败；据报告，其中大部分是因为思考内容耗尽了输出长度预算而被截断；这些都计为错误。
- 功能支持：F 93.42。33 项计分检查中有 29 项通过（流式输出 23/27、错误 3/3、计量 3/3）。其余 147 项未计入分母。4 项失败中，3 项是在带有 stop 序列的请求中返回空响应体，另有 1 项流式文本测试样例未能完全匹配。
- 回复速度：P 57.69，由 65.22 的响应得分与占比 20% 的缓存得分 K 综合得出。180 次速度探测中有 110 次有效。有效请求的 TTFA 中位数：3.08 s（并发数 1）和 4.92 s（并发数 10）。计分所用的中位数（包括无效请求）为 5.85 s 和 6.13 s。70 次探测无效，是因为思考内容耗尽了速度测试的输出预算。
- 缓存：K 27.58。8k 热请求命中 2/9（读取 15,872 / 可复用 72,504）；32k 命中 3/9（读取 96,000 / 可复用 288,513）。
- 服务可靠性：R 100。所有 300 次专门探测均在首次尝试时成功。
测试设置
| 字段 | 值 |
|---|---|
| 模型 | DeepSeek V4.1 Flash 1017 |
| 请求的模型 ID | deepseek/deepseek-v4.1-flash |
| 接入方式 | Pareto，使用上述模型 ID |
| 参数 | temperature 1.0，max_tokens 16,384，超时 300 s；仅使用流式请求 |
| 思考 | 已启用高强度思考 |
| 时间 | 2026-11-05/06；缓存测试为 2026-11-06 默认配置复测。时间均为 UTC+8。 |
| 样本 | 质量 4,250 个项目轮次（BFCL 500×3、HLE 250×10、AA-LCR 25×10）；功能用例 60 × 3 个窗口；速度 90 + 90；可靠性 300；缓存 30（8k 和 32k 前缀，各 3 组） |
思考：本次测试启用了高强度思考；该系列中的其他五家供应商均未启用思考。功能支持仅根据可用流式输出的子集评分；缓存测试使用默认配置。
Q — 回复质量：48.40
三个类别使用的项目与其他供应商相同。由于项目无法评分，舍弃了 10 次尝试，最终计入 4,240 次尝试。
| 类别 | 项目 × 轮次 | 正确 | 比率 | 服务失败 |
|---|---|---|---|---|
| BFCL | 500 × 3 | 1,276/1,500 | 85.07% | 0 |
| HLE | 250 × 10 | 578/2,490 | 23.21% | 996 |
| AA-LCR | 25 × 10 | 198/250 | 79.20% | 0 |
| 总计 · 95% 区间 45.39%–51.26% | 2,052/4,240 | 48.40% | 996 |
在返回完整答案的 1,494 次 HLE 尝试中，578 次正确（约 38.7%）。
BFCL 类别（合并 3 轮）：simple_python 333/360 (92.50%)、multiple 269/300 (89.67%)、parallel 265/300 (88.33%)、parallel_multiple 203/240 (84.58%)、irrelevance 104/150 (69.33%)、ahm_multi_turn 102/150 (68.00%)。
与官方路线相比，数值差异为 +5.94（+3.54 至 +8.36）。
F — 功能支持：93.42
33 项计分检查中有 29 项通过；147 项未计入。93.42 这一数值是在已观测到的组别上，按原始组别权重重新归一化得出的（流式输出 20%、错误 15%、计量 10%；总计 45%）。简单通过率 29/33 为 87.88%。工具、约束和上下文均未计分。
| 组别 | 权重 | 通过 | 未计分 | 组别得分 |
|---|---|---|---|---|
| 流式输出与消息协议 | 20% | 23/27 | 3 | 85.19 |
| 工具接口 | 20% | — | 30 | — |
| 输出约束与参数 | 20% | — | 30 | — |
| 上下文与状态 | 15% | — | 30 | — |
| 错误与恢复 | 15% | 3/3 | 27 | 100.00 |
| 计量与缓存协议 | 10% | 3/3 | 27 | 100.00 |
| 已观测 / 加权 | 29/33 | 147 | 93.42 |
失败项：流式输出 stop 序列，3/3 个窗口均返回空响应体；流式文本，1/3 个窗口失败，响应体末尾多出一个句点，与要求的测试样例不完全匹配。
P — 回复速度：57.69
评分使用首个内容 token 的时间，而不是首个任意 token 的时间。启用思考后，模型会先输出思考内容，再输出可见的答案文本，因此等待内容的时间长于等待首个数据包的时间。
| 指标 | 值 |
|---|---|
| 内容 TTFA | 计分中位数为 5.85 s（c=1）和 6.13 s（c=10）；有效请求中位数为 3.08 s 和 4.92 s |
| 首个任意 token | 有效请求中位数为 1.46 s 和 1.76 s |
| TPOT | 较慢计分区间：4.87 ms/token |
| 有效吞吐量 | 并发数为 10 时为 519 token/s |
| 有效请求 | c=1 时 53/90，c=10 时 57/90，总计 110/180。70 次无效，是因为思考内容耗尽了速度测试的输出预算（约 2,048 tokens） |
| 组成部分得分 | TTFA 24.59、TPOT 100.00、有效吞吐量 72.05 → 响应得分 65.22 |
| P | 80% × 65.22 + 20% × 27.58 = 57.69 |
有效吞吐量计算不包括思考 tokens。
K — 缓存：27.58
汇总读取数据来自 2026-11-06 的默认配置复测。未提供逐请求缓存矩阵（原始追踪数据未迁移）。
| 前缀 | 热命中 | 读取 / 可复用 | 分段 |
|---|---|---|---|
| 8k | 2/9 | 15,872 / 72,504 | 21.89 |
| 32k | 3/9 | 96,000 / 288,513 | 33.27 |
| K（等权重） | 27.58 |
冷启动对照在每种长度下均通过 6/6。
R — 服务可靠性：100
短请求 120/120，10k 长请求 90/90，工具调用 60/60，多轮历史 30/30。总计 300/300，95% 区间 98.78%–100%。R 仅涵盖这些专门探测；质量和速度测试期间的失败分别计入 Q 和 P。
