2026-11-03/04，DeepSeek V4.1 Flash 1017 在五家供应商上运行了 APB Full 套件；所有测试均通过 AIHubMix 进行，使用相同的问题、参数和请求脚本。本 APB Profile 仅涵盖 Fireworks。该模型列为DeepSeek V4.1 Flash 1017。
得分为 Q 41.42、F 71.78、P 79.51、K 60.68 和 R 100；总指数为 64.10。本文仅报告得分，不提供排名或供应商推荐。Q、F、P、K 和 R 是首要指标；总指数是一个没有置信区间的汇总数值。标准为 AIHubMix Provider Benchmark Standard v2.0。
五家供应商的得分
粗体标示本文所测的供应商。供应商按固定顺序排列，并非排名。K 是 P 的子得分，占 20%。总指数是一个没有置信区间的汇总数值。DeepSeek 官方渠道与 Alibaba Cloud 的差距为 0.37，无法区分。
概览
- Q — 回答质量：41.42。BFCL 85.53%，HLE 14.38%，AA-LCR 46.00%。与官方渠道相比：低 1.04 个百分点，95% CI 为 −2.14 至 +0.05，无法区分。AA-LCR 的 34 次失败全部出现在窗口 2，并计为错误。
- F — 功能支持：71.78。计入的 177 项检查中有 122 项通过。两种 stop 情况均返回空响应；
reasoning_effort=none未能关闭思考模式；10k 输入报告为 10,026 tokens，而原生计数为 10,000。 - P — 响应速度：79.51。响应得分为 84.22，缓存 K 占 20%。TTFA 中位数：单并发 1.63 s，10 并发时 1.64 s；TPOT 为 3.29 ms。180 个输出中有 1 个仅包含一个 token，因此标记为无效。
- K — 缓存：60.68。K 探测使用了文档中说明的会话亲和机制。32k 热缓存 8/9；8k 热缓存 3/9。
- R — 服务稳定性：100。300/300 个专用请求均首次尝试成功。
测试设置
| 项目 | 设置 |
|---|---|
| 模型 | DeepSeek V4.1 Flash 1017 |
| 请求的模型 ID | fireworks-deepseek-v4.1-flash-1017 |
| 返回的模型名称 | accounts/fireworks/models/deepseek-v4p1-flash-1017 |
| 访问路径 | AIHubMix 供应商模型 ID，并非供应商自己的账户 |
| 参数 | 非思考模式，temperature 1.0，max_tokens 16,384，超时 300 s，不重试 |
| 关闭思考模式 | 原生 thinking.type=disabled；reasoning_effort=none 不会关闭思考模式。功能测试用例保留 reasoning_effort=none。 |
| 时间 | 2026-11-03 18:07 – 11-04 16:33 UTC+8。一台 Mac mini；五家供应商共用同一网络和账户。 |
| 样本数 | Q 4,250（BFCL 500×3、HLE 250×10、AA-LCR 25×10）；F 60×3；P 90+90；R 300；K 30 |
| 额外设置 | K 探测请求携带了文档中说明的 user 字段和 x-session-affinity 标头，以实现副本亲和。 |
请求使用 AIHubMix 的快速入门；模型 ID 可在模型页面查看。关闭思考模式使用模型API 文档中的原生thinking.type=disabled。
Q — 回答质量：41.42
该套件运行了 500 道 BFCL 问题 × 3 轮、250 道 HLE × 10 轮，以及 25 道 AA-LCR × 10 轮。BFCL 由程序自动评分；HLE 和 AA-LCR 由deepseek-flash评判。五家供应商收到的问题完全相同。移除了 10 个无法评分的回答，最终得到 4,240 个已评分样本。
| 任务 | 问题数 | 答对数 | 准确率 | 失败数 |
|---|---|---|---|---|
| BFCL 工具调用 | 500 × 3 | 1,283/1,500 | 85.53% | 2 |
| HLE 高难度问答 | 250 × 10 | 358/2,490 | 14.38% | 5 |
| AA-LCR 长文档推理 | 25 × 10 | 115/250 | 46.00% | 34 |
| 总计 · 95% CI 39.13%–43.59% | — | 1,756/4,240 | 41.42% | 41 |
失败仍计入分母，并视为答错：BFCL 2 个（窗口 2 和 3），HLE 5 个在 max_tokens 处被截断，AA-LCR 34 个全部出现在窗口 2。
| BFCL 类别 | 通过数 | 通过率 |
|---|---|---|
| simple_python | 333/360 | 92.50% |
| multiple | 268/300 | 89.33% |
| parallel | 270/300 | 90.00% |
| parallel_multiple | 206/240 | 85.83% |
| irrelevance | 111/150 | 74.00% |
| ahm_multi_turn | 95/150 | 63.33% |
simple_python 通过 333/360（92.50%），parallel 通过 270/300（90.00%），ahm_multi_turn 通过 95/150（63.33%），irrelevance 通过 111/150（74.00%）。
与其他四家相比
与官方渠道相比的百分点差异；误差线表示 95% 区间。区间跨过 0 表示无法区分。deepseek-flash评判器与被测模型属于同一家族，且未经校准，因此可能偏宽松。
F — 功能支持：71.78
60 个用例分为六组，每组在三个窗口中运行：共 180 项检查，依据供应商文档说明的格式进行判定。不适用、无效和未观测的检查不计入分母。计入的 177 项检查中有 122 项通过；按组加权后得分为 71.78。
| 用例组 | 权重 | 通过数 | 排除数 | 组得分 |
|---|---|---|---|---|
| 流式输出与消息 | 20% | 24/30 | — | 80.00 |
| 工具接口 | 20% | 29/30 | — | 96.67 |
| 输出约束 | 20% | 21/30 | — | 70.00 |
| 上下文与状态 | 15% | 15/30 | — | 50.00 |
| 错误与恢复 | 15% | 21/30 | — | 70.00 |
| 计量与缓存 | 10% | 12/27 | 3 | 44.44 |
| 总计 · 加权 | — | 122/177 | 3 | 71.78 |
“失败窗口数”统计该用例未通过的窗口数量。
| 失败用例 | 失败窗口数 | 原因 |
|---|---|---|
| 流式输出 stop | 3/3 | 使用 stop 时响应体为空；不使用 stop 时正常。 |
| 响应体中的推理内容 | 3/3 | reasoning_effort=none 时仍返回了推理内容。 |
| 停止序列 | 3/3 | 使用 stop 时响应体为空；不使用 stop 时正常。 |
| 思考设置 | 3/3 | reasoning_effort=none 时仍返回了推理内容。 |
| 采样多样性 | 3/3 | Temp 0/1 的输出过于相似 |
| 10k 长输入 | 3/3 | 报告为 10,026；原生计数为 10,000。 |
| 在上下文限制内 | 3/3 | 报告为 10,026；原生计数为 10,000。 |
| 32k 长输入 | 3/3 | 报告为 10,026；原生计数为 10,000。 |
| 100k 长输入 | 3/3 | 报告为 10,026；原生计数为 10,000。 |
| 超出上下文限制 | 3/3 | 应返回参数错误；实际返回 200。 |
| 格式错误的消息 | 3/3 | 400，响应体为空 |
| 孤立的工具结果 | 3/3 | 应返回参数错误；实际返回 200。 |
| 格式错误的 stream_options | 3/3 | 400，响应体为空 |
| 思考 token 计量 | 3/3 | 禁用思考模式后仍报告了思考 token。 |
| 原生输入计数 | 3/3 | 报告为 34；原生计数为 8。 |
| 输入中的工具定义 | 3/3 | 无工具对照测试本身就不匹配。 |
| 跨缓存的输入计数 | 3/3 | 重复前缀计数与原生值不符。 |
| 流式输入一致性 | 3/3 | 报告为 34；原生计数为 8 |
| 一次只调用一个工具 | 1/3 | 上游 500。 |
两种 stop 情况在三个窗口中均返回空响应，而相同输入不使用 stop 时则正常。两种思考用例中，reasoning_effort=none仍返回了推理内容。
被排除的检查既不计为通过，也不计为失败。
| 状态 | 用例 | 数量 | 原因 |
|---|---|---|---|
| 不适用 | 显式 cache_control | 3 | 预先登记为此接口不支持 |
格式错误的messages和stream_options在五家供应商上均失败：返回 400，响应体为空，且没有结构化错误信息。共同结果更可能出现在 AIHubMix 网关层，需要另行调查。五家供应商的思考 token 计量也都未通过，但 ByteDance 和 Fireworks 在禁用思考模式后仍报告了思考 token，另外三家则没有返回思考计数。
与其他四家相比
P — 响应速度：79.51
每个请求携带约 10,000 个输入 token，并要求生成约 1,100 个输出 token。在三个窗口中，每个窗口分别以单并发和 10 并发发送 30 个请求，总计 180 个。
| 指标 | 结果 |
|---|---|
| TTFA | 单并发 1.63 s；10 并发时 1.64 s |
| TPOT | 单并发 3.24 ms；10 并发时 3.29 ms |
| 有效吞吐量 | 10 并发时 1,504.5 token/s |
| 有效 | 单并发 90/90；10 并发 89/90（窗口 3 为 29/30），有一个输出仅包含一个 token |
| 组成项 | TTFA 54.91，TPOT 100.00，有效吞吐量 100.00；权重为 35/35/30 |
| P 的构成 | 84.22 × 80% + 60.68 × 20% = 79.51 |
180 个请求中有 179 个有效；无效请求只返回了一个 token，在计算中位数时按无穷大计，因此中位数可能高于仅统计有效请求时的结果。TPOT 根据流式输出分块计算；有效吞吐量为 10 并发时的有效输出 token 数除以批次总耗时。
所有测试共用一台机器、同一网络和同一账户；窗口由供应商安排。
K — 缓存：60.68
每组包含五个请求：先写入一个 8k 或 32k 前缀，然后分别在 5 s、30 s 和 120 s 后使用相同前缀及新的末尾问题发起请求，最后用新前缀作为冷缓存对照。三个窗口 × 两种长度 = 30 个请求。K 的计算方式为热缓存读取的 token 数除以可复用 token 数；两种长度的权重相同。K 占 P 的 20%。
| 前缀 | 窗口 | 种子请求 | +5 s | +30 s | +120 s | 冷缓存对照 |
|---|---|---|---|---|---|---|
| 8k | 窗口 1 | 0 | 7,900 | 0 | 7,900 | 0 |
| 8k | 窗口 2 | 0 | 7,906 | 0 | 0 | 0 |
| 8k | 窗口 3 | 0 | 0 | 0 | 0 | 0 |
| 32k | 窗口 1 | 0 | 31,902 | 31,902 | 31,902 | 0 |
| 32k | 窗口 2 | 0 | 31,902 | 31,902 | 31,902 | 0 |
| 32k | 窗口 3 | 0 | 31,900 | 31,900 | 0 | 0 |
8k 前缀在 9 个热请求中命中 3 次，读取了 23,706 个可复用 token（共 72,252 个），命中率为 32.81。32k 前缀在 9 个热请求中命中 8 次，读取了 255,212 个可复用 token（共 288,261 个），命中率为 88.54。两个长度的权重相同时，K 为 60.68。冷请求对照组读取量为 0。因此，在相同设计下，两个前缀长度的表现有所不同。K 探测使用了文档中说明的 user 字段和 x-session-affinity 请求头。
R — 服务稳定性：100
在三个窗口中，以单并发发送了 300 个请求，覆盖短文本、长输入、工具调用和多轮对话历史。只检查了首次响应的有效性和完整性；未对答案评分，也未重试。Q 和 P 的失败不在此处重复计入。
| 请求类型 | 首次尝试成功率 |
|---|---|
| 短文本 | 120/120 |
| 10k 长输入 | 90/90 |
| 工具调用 | 60/60 |
| 多轮对话历史 | 30/30 |
| 总计 · 95% 置信区间 98.78%–100% | 300/300 |
300 个请求首次尝试均返回了有效且完整的响应。成功次数为 300 时，95% 置信区间下限为 98.78%，因此这些数据只能说明失败率低于 1.22%。R 100 仅涵盖这 300 个请求，并不代表整个链路。
| 供应商 | 首次尝试成功率 | 95% 置信区间 |
|---|---|---|
| ByteDance | 300/300 | 98.78%–100% |
| Baidu | 300/300 | 98.78%–100% |
| Alibaba Cloud | 300/300 | 98.78%–100% |
| DeepSeek 官方 | 300/300 | 98.78%–100% |
| Fireworks | 300/300 | 98.78%–100% |
常见问题
Q 41.42 涵盖哪些内容？
在 4,240 个评分样本上测试 BFCL、HLE 和 AA-LCR：1,756 个正确，正确率为 41.42%，95% 置信区间为 39.13%–43.59%；与官方渠道的差距并无显著差异。
为什么两种 stop 情况都失败了？
带有 stop 的请求在三个窗口中都返回了空响应体，而相同输入在不带 stop 时可以正常工作。流式输出和非流式输出的情况都如此。
reasoning_effort=none 会关闭思考吗？
不会。在三个窗口中，它仍然返回了推理内容；其他请求使用的是原生的 thinking.type=disabled。
为什么 10k 输入报告为 10,026 个 token？
10k 案例报告的 token 数为 10,026，而原生值为 10,000。32k 和 100k 案例也报告了相同的 10,026，而且不使用工具的对照组就已出现不匹配。
为什么 8k 命中 3/9，而 32k 命中 8/9？
两者使用了相同的设计和文档所述的亲和性设置。差异体现在服务器报告的读取次数上：8k 在窗口 1 和 2 中命中，32k 则在三个窗口中都命中。
R 100 涵盖哪些内容？
专门发送的 300 个请求，首次尝试时全部有效；95% 置信区间下限为 98.78%。Q 和 P 的失败不计入 R。
继续阅读：DeepSeek V4.1 Flash 系列
- 与 Fireworks 一样，ByteDance 在思考模式关闭后仍报告了思考 token：ByteDance 上的 DeepSeek V4.1 Flash：工具调用一致，计量不一致
- Baidu 的 Q 为 38.00，P 为 37.77：Baidu 上的 DeepSeek V4.1 Flash：没有可用渠道达到 Q 和 P
- Alibaba Cloud 的首 token 延迟为 1.34 s，缓存命中率为 99.37：Alibaba Cloud 上的 DeepSeek V4.1 Flash：首 token 延迟 1.34s，缓存命中率 99.37
- 官方渠道是 Q 基准，F 为 94.00：官方渠道上的 DeepSeek V4.1 Flash：F 为 94.00，15 次无效探测
