2026-11-03/04、APB FullスイートをAIHubMix経由で5つのプロバイダーのDeepSeek V4.1 Flash 1017に対して実行しました。すべてのプロバイダーで同じ質問、パラメーター、リクエストスクリプトを使用しました。5つのプロバイダーの項目はモデルページに掲載されています。このAPB Profileの対象はDeepSeek公式チャネルのみです。DeepSeekのAPIへの直接接続ではなく、AIHubMixのDeepSeek公式サプライヤールートを経由しています。
この記事ではスコアのみを報告し、プロバイダーの順位付けや推奨は行いません。Q 42.45、F 94.00、P 86.14、K 98.38、R 100です。Q、F、P、Rは4つのセクションスコアで、KはPのサブスコアです。総合スコア73.76は要約指標であり、認証ではなく、信頼区間もありません。評価基準はAIHubMix Provider Benchmark Standard v2.0です。
5つのプロバイダーのスコア
太字はこの記事のプロバイダーを示します。プロバイダーの表示順は固定で、順位を示すものではありません。KはPのサブスコアで、比重は20%です。参考情報として別途記載しています。総合スコアは信頼区間のない要約指標です。DeepSeek公式チャネルとAlibaba Cloudの総合スコアの差は0.37で、両者を区別できる差ではありません。
概要
- 回答品質：Q 42.45。 BFCL 86.13%、HLE 15.06%、AA-LCR 53.20%。HLEの出力7件はmax_tokensの上限で途切れ、不正解としてカウントしました。このチャネルは、ほかの4つと比較する際のQのベースラインです。
- 関数サポート：F 94.00。カウント対象の147件のチェックのうち137件に合格しました。正確なトークン数に依存する追加の27件は無効と判定し、分母から除外しました。
- 応答速度：P 86.14。単一同時実行の最初のウィンドウでは、30件中15件のリクエストが無効でした（503が12件、deadlineが2件、read timeoutが1件）。これらは無限大としてカウントしました。最初のトークンまでの中央値は1.87秒（有効リクエストのみでは1.72秒）、同時実行数10では1.72秒、TPOTは2.84ミリ秒でした。
- キャッシュ：K 98.38。8kと32kのホットリクエストは全18件がヒットし、コールド対照リクエストではキャッシュ読み取りはありませんでした。
- サービス安定性：R 100。専用の300件のリクエストはすべて初回で成功しました。
テスト設定
DeepSeek公式サプライヤールートを選択し、AIHubMix経由でリクエストを送信しました。アクセス設定についてはクイックスタートをご覧ください。
| 項目 | 詳細 |
|---|---|
| モデル | DeepSeek V4.1 Flash 1017 |
| 指定したモデル ID | deepseek-flash |
| 返されたモデル名 | deepseek-flash |
| アクセス経路 | AIHubMixのDeepSeek公式サプライヤールート。DeepSeekのAPIへの直接接続ではありません |
| パラメーター | 非思考モード、temperature 1.0、max_tokens 16,384、タイムアウト300秒、自動再試行なし |
| 思考モード無効 | すべてのリクエストでreasoning_effort=noneを使用 |
| 実施時間 | 2026-11-03 18:07 – 11-04 16:33 UTC+8。5つのプロバイダーでMac mini、ネットワーク、アカウントを共有 |
| サンプル数 | 回答品質：4,250回（BFCL 500 × 3、HLE 250 × 10、AA-LCR 25 × 10）。関数ケース：60 × 3ウィンドウ。速度：単一同時実行90件、同時実行数10で90件。安定性：300件。キャッシュ：30件（8kと32kのプレフィックスで各3グループ） |
Q — 回答品質：42.45
スイートでは、BFCLの500問 × 3回、HLEの250問 × 10回、AA-LCRの25問 × 10回を集計します。BFCLは自動ルールで採点し、HLEとAA-LCRは判定モデルdeepseek-flashで採点します。5つのプロバイダーにはすべて同じ質問を出しました。10件の回答は採点できず除外され、採点対象は4,240回となりました。
| ベンチマーク | 質問数 | 正解数 | 正答率 | 失敗数 |
|---|---|---|---|---|
| BFCL ツール呼び出し | 500 × 3 | 1,292/1,500 | 86.13% | 0 |
| HLE 難問QA | 250 × 10 | 375/2,490 | 15.06% | 7 |
| AA-LCR 長文書推論 | 25 × 10 | 133/250 | 53.20% | 0 |
| 合計 · 95%信頼区間 40.08%–44.73% | 採点対象4,240回 | 1,800/4,240 | 42.45% | 7 |
サービス障害（リクエストの失敗、または出力の途切れ）は分母に含め、不正解としてカウントします。ここでは、max_tokensの上限に達したHLEの出力7件が該当します。BFCLは自動採点、HLEとAA-LCRは判定モデルによる採点です。
BFCLの分母は3回実行分の合計です。
| BFCLカテゴリ | 合格数 | 合格率 |
|---|---|---|
| simple_python — 1つの関数について、正しい呼び出しと引数を指定 | 334/360 | 92.78% |
| multiple — 複数の関数から正しいものを選択 | 268/300 | 89.33% |
| parallel — 同じ関数を複数回並列で呼び出し | 271/300 | 90.33% |
| parallel_multiple — 複数の異なる関数を並列で呼び出し | 207/240 | 86.25% |
| irrelevance — 関連する関数がない場合に、何も呼び出さない | 113/150 | 75.33% |
| ahm_multi_turn — 3段階のツールチェーン | 99/150 | 66.00% |
ほかの4つとの比較
各差分はこのベースラインに対するパーセンテージポイントで、95%区間をひげで示しています。区間が0をまたぐ場合、両者を区別できる差はありません。判定モデルはテスト対象モデルと同じDeepSeekファミリーに属し、調整も行っていないため、HLEとAA-LCRの採点が甘くなる可能性があります。
F — 関数サポート：94.00
関数ケースでは回答品質ではなく、プロトコルの動作をテストします。6つのグループで各60ケースを3つのウィンドウで実行し、計180件のチェックを行いました。判定は各プロバイダーのドキュメントに記載された形式に基づきます。該当しないチェック、無効なチェック、観測されなかったチェックは分母から除外します。このチャネルはカウント対象147件のうち137件に合格し、加重スコアは94.00でした。加重スコアは単純な137/147ではありません。
| グループ | 比重 | 合格数 | 除外数 | グループスコア |
|---|---|---|---|---|
| ストリーミングとメッセージプロトコル | 20% | 27/27 | 3 | 100.00 |
| ツールインターフェース | 20% | 30/30 | — | 100.00 |
| 出力制約とパラメーター | 20% | 30/30 | — | 100.00 |
| コンテキストと状態 | 15% | 14/15 | 15 | 93.33 |
| エラーと復旧 | 15% | 24/30 | — | 80.00 |
| 課金計測とキャッシュプロトコル | 10% | 12/15 | 15 | 80.00 |
| 合計 · 加重 | — | 137/147 | 33 | 94.00 |
加重スコアは各グループの比重に基づいており、合格したチェック数を147で割った値ではありません。
| 失敗したケース | 失敗したウィンドウ数 | 理由 |
|---|---|---|
| 不正なメッセージ（エラーと復旧） | 3/3 | 400が返されましたが、本文は空で、構造化されたエラーの説明はありませんでした |
| 不正なstream_options（エラーと復旧） | 3/3 | 400が返されましたが、本文は空で、構造化されたエラーの説明はありませんでした |
| 思考トークンの課金計測（課金計測とキャッシュプロトコル） | 3/3 | 思考トークン数が返されませんでした |
| リクエストの分離（コンテキストと状態） | 1/3 | 最初のステップで、要件どおりSTOREDのみの応答がなかったため、分離チェックを続行できませんでした |
除外されたチェックは合格にも失敗にもカウントされません。
| ステータス | ケース | 件数 | 理由 |
|---|---|---|---|
| 未観測 | ストリーミングの停止シーケンス | 3 | 前のステップの後、このステップのリクエストは送信されなかったため、判定できませんでした |
| 無効 | 10k長文入力、コンテキスト上限内、32k長文入力、100k長文入力、コンテキスト超過、ネイティブ入力数、ツール定義を入力にカウント、キャッシュ前後の入力数の整合性、ストリーミングと非ストリーミングの入力数の整合性 | 27 | テスト側で固定したネイティブカウント用テンプレートが、このチャネルから報告された使用量と一致しなかったため、正確な数に依存するチェックは無効と判定し、分母から除外しました |
| 該当なし | 明示的なcache_control | 3 | このインターフェースでは非対応として事前登録済み |
無効となった27件のチェックは、一覧にある長文入力、コンテキスト上限、ネイティブカウント、キャッシュ整合性のケースです。固定テンプレートがこのチャネルから報告された使用量と一致しなかったため、正確な数に依存するチェックはすべて採点対象から除外しました。
不正なmessagesと不正なstream_optionsの2つのケースは、5つすべてのプロバイダーで失敗しました。いずれも400が返されましたが、本文が空だったため、クライアントは構造化されたエラーの説明を受け取れませんでした。この共通パターンから、AIHubMixのゲートウェイ層に原因がある可能性が高く、別途調査が必要です。思考トークンの課金計測も5つすべてで失敗しましたが、理由は異なります。ByteDanceとFireworksは思考モードをオフにしても思考トークンを報告した一方、ほかの3つは思考トークン数を返しませんでした。
ほかの4つとの比較
P — 応答速度：86.14
各リクエストには約10,000入力トークンを含め、約1,100出力トークンを生成するよう指示しました。3つのウィンドウでそれぞれ、単一同時実行で30件、同時実行数10で30件を送信し、合計180件となりました。
| 指標 | 値 |
|---|---|
| 最初のトークンまでのTTFA | 単一同時実行：中央値1.87秒（有効リクエストの中央値1.72秒）。同時実行数10：中央値1.72秒 |
| TPOT | 単一同時実行：2.84ミリ秒/トークン。同時実行数10：2.67ミリ秒/トークン |
| 有効スループット（goodput） | 同時実行数10：1,546.0トークン/秒 |
| 有効リクエスト | 単一同時実行75/90（ウィンドウ1：15/30）。同時実行数10：90/90。無効：503 service_unavailable_errorが12件、deadline reachedが2件、read timeoutが1件 |
| 構成スコア | TTFA 51.65、TPOT 100.00、スループット100.00。TTFAとTPOTは2つのティアの低い方を採用し、比重は35% / 35% / 30%。応答スコア83.08 |
| Pの構成 | 応答スコア83.08（比重80%）、キャッシュK 98.38（比重20%）。P 86.14 |
無効なリクエスト15件はすべて、単一同時実行の最初のウィンドウで発生しました。503が12件、期限に達したものが2件、read timeoutが1件です。無効なリクエストは無限大としてカウントするため、報告される中央値は1.87秒です。有効なリクエストのみでは中央値は1.72秒です。同時実行数10でも中央値は1.72秒です。TPOTは単一同時実行で2.84ミリ秒/トークン、同時実行数10で2.67ミリ秒/トークンです。
ほかの4つとの比較
5つのプロバイダーでMac mini、ネットワーク、アカウントを共有しました。3つのウィンドウはプロバイダーごとに順番に実施したため、データ収集期間は完全には重なっていません。わずかな差を過度に解釈しないでください。
K — キャッシュ：98.38
各グループでは5件のリクエストを送ります。最初のリクエストで8kまたは32kの固定プレフィックスをキャッシュに登録します。2〜4件目はプレフィックスを維持し、最後の質問だけを変更して、5秒、30秒、120秒後に送信します。5件目は新しいプレフィックスを使うコールド対照です。3つのウィンドウと2つの長さで、合計30件のリクエストです。Kはホットリクエストで読み取られたキャッシュトークン数を、再利用可能なはずのトークン数で割った値で、各長さの比重は半分ずつです。KはPの20%を占めます。コンテキストキャッシュについてはDeepSeekのAPIドキュメントをご覧ください。
| プレフィックス | ウィンドウ | 登録 | +5 s | +30 s | +120 s | コールド対照 |
|---|---|---|---|---|---|---|
| 8k | ウィンドウ1 | 0 | 7,808 | 7,808 | 7,808 | 0 |
| 8k | ウィンドウ2 | 0 | 7,808 | 7,808 | 7,808 | 0 |
| 8k | ウィンドウ3 | 0 | 7,808 | 7,808 | 7,808 | 0 |
| 32k | ウィンドウ1 | 0 | 31,872 | 31,872 | 31,872 | 0 |
| 32k | ウィンドウ2 | 0 | 31,872 | 31,872 | 31,872 | 0 |
| 32k | ウィンドウ3 | 0 | 31,872 | 31,872 | 31,872 | 0 |
8kのホットリクエストは9件中9件がヒットし、それぞれ7,808トークンを読み取りました。再利用可能な72,261トークンに対して70,272トークンを読み取り、スコアは97.25です。32kのホットリクエストも9件中9件がヒットし、それぞれ31,872トークンを読み取りました。再利用可能な288,270トークンに対して286,848トークンを読み取り、スコアは99.51です。コールド対照ではキャッシュ読み取りはありませんでした。2つの長さを合わせたKは98.38です。
ほかの4つとの比較
R — サービス安定性：100
300件のリクエストで、短文、10k長文入力、ツール呼び出し、複数ターンの履歴を対象とし、3つのウィンドウに分けて単一同時実行で送信します。確認するのは初回の有効性と完全性のみで、回答の正しさは対象外です。再試行もありません。回答品質と速度に関する失敗はQとPでカウントし、Rでは重複してカウントしません。
| リクエスト種別 | 初回成功数 |
|---|---|
| 短文 | 120/120 |
| 10k長文入力 | 90/90 |
| ツール呼び出し | 60/60 |
| 複数ターンの履歴 | 30/30 |
| 合計 · 95%信頼区間 98.78%–100% | 300/300 |
300件のリクエストはすべて、初回の試行で有効かつ完全な応答を返しました。R 100が対象とするのは、この専用リクエスト300件のみであり、経路全体で障害がなかったことを意味するわけではありません。300件すべてが成功した場合、95%信頼区間の下限は98.78%であるため、障害率は1.22%未満である可能性が高いと判断できます。
他の4つと比較
Rが対象とするのは専用リクエスト300件のみです。回答品質と速度に関する実行中の障害はQとPに記録され、Rでは重複してカウントされません。
| プロバイダー | 初回試行の成功率 | 95%信頼区間 |
|---|---|---|
| ByteDance | 300/300 | 98.78%–100% |
| Baidu | 300/300 | 98.78%–100% |
| Alibaba Cloud | 300/300 | 98.78%–100% |
| DeepSeek公式 | 300/300 | 98.78%–100% |
| Fireworks | 300/300 | 98.78%–100% |
よくある質問
DeepSeekのAPIに直接接続していますか？
いいえ。リクエストはAIHubMixのDeepSeek公式プロバイダー経路を経由します。DeepSeekのAPIに直接送信されるわけではありません。
なぜDeepSeek公式チャネルをQのベースラインにしているのですか？
同じモデルを利用するDeepSeekの公式チャネルであるため、他の4つのプロバイダーの回答品質は、ここからの差として表しています。ベースラインとしての役割は、回答品質の順位を示すものではありません。
最初の同時実行数1の速度測定では何が起きましたか？
30件のリクエストのうち15件が無効でした。12件は503を返し、2件は期限に達し、1件は読み取りタイムアウトになりました。これらは無限大としてカウントされるため、中央値は1.87秒です。有効なリクエストのみでは1.72秒です。
無効な関数チェック27件とは何ですか？
これらは正確なトークン数に依存します。長い入力、コンテキストの上限、ネイティブの入力数、キャッシュ入力の整合性が対象です。テスト側で固定したネイティブ数のテンプレートが、このチャネルから報告された使用量と一致しなかったため、失敗として採点せず、分母から除外しました。
R 100で経路に障害がないと保証できないのはなぜですか？
Rが対象とするのは、専用の安定性テストリクエスト300件のみです。回答品質と速度の実行中に発生した障害は、QとPに記録されます。300件中300件が成功した場合、95%信頼区間の下限は98.78%であるため、障害率は1.22%未満である可能性が高いといえますが、ゼロだと証明されたわけではありません。
キャッシュテストでは、ホット読み取りとコールド読み取りをどのように区別しますか？
各グループで8kまたは32kのプレフィックスをキャッシュに登録し、最後の質問を新しくしてから5秒、30秒、120秒後にプレフィックスを再利用します。その後、コールド対照として新しいプレフィックスを送信します。どちらの長さもホットリクエスト9件中9件でヒットし、コールド対照ではすべてキャッシュされたトークンの読み取り数が0でした。
続けて読む：DeepSeek V4.1 Flashシリーズ
- ByteDanceのQはこのベースラインとの差が0.40ポイント以内ですが、関数サポートとキャッシュの結果は異なります。ByteDanceのDeepSeek V4.1 Flash：ツール呼び出しは一致、使用量計測は異なる。
- Baiduでは
no_available_channelによりリクエストが失敗しており、QとPの両方に影響しています。BaiduのDeepSeek V4.1 Flash：no available channelがQとPに影響。 - Alibaba Cloudとの全体差は0.37で、統計的に区別できません。Alibaba CloudのDeepSeek V4.1 Flash：初回トークン1.34秒、キャッシュ99.37。
- Fireworksでは8kのホットリクエスト9件中3件でヒットしましたが、ここでは9件中9件でした。FireworksのDeepSeek V4.1 Flash：空のstop応答、キャッシュヒット3/9。
