GPT-6.1 Sol の推論の強度の選び方:low から max まで

AIHubMix約 6 分で読めます
GPT-6.1 Sol の推論の強度の選び方:low から max まで

GPT-6.1 Sol には推論の強度が5段階あります:low、medium(デフォルト)、high、xhigh、max。GPT-6 Sol からの大きな変更点は、noneとminimalが削除されたことで、そのためlowが現在の最低レベルになっています。

この1つの設定が、レイテンシとコストの両方を左右します。推論トークンは目に見えませんが、出力レートで課金され(6.1 Sol はAIHubMixで100万トークンあたり$10)、コンテキストウィンドウの容量も消費します。レベルを誤ると、必要以上に数倍のお金を払うことになりかねません。


各レベルの用途

この表は、推論ガイドにあるOpenAIの説明と、当社独自の推奨事項をまとめたものです:

レベルOpenAIの説明適した用途不向きな用途
lowレイテンシの増加を抑えた効率的な推論ツールループの中間ステップ、検索、軽いプランニング、分類、抽出、サポートへの返信難しいデバッグ、複数ファイルにまたがるリファクタリング
medium(デフォルト)ほとんどのワークロードに適したバランスの良いデフォルト日常的なコーディング、コードレビュー、文章作成、一般的なエージェントタスクレイテンシが重要な対話型の利用
high高度な推論、複雑なデバッグ、深いプランニング厄介なバグ、アーキテクチャ設計、SWE 系のタスクQPS の高いオンライントラフィック
xhigh深い調査、非同期の作業、長時間のエージェント実行バックグラウンドジョブ、調査レポート評価によって効果が裏付けられていないもの全般
max最も難しいタスク向けの最大限の推論コンピュータ操作、研究レベルの難問、オフラインでの重い処理日常的なリクエストのほぼすべて

OpenAIは effort を「品質を回復するための主要な手段ではなく、調整用のつまみ」と位置づけています。結果が悪いときは、まずプロンプト、ツール定義、コンテキストを確認してください。その後にのみ effort を上げてください。


各レベルについてのベンチマーク結果

これらは OpenAI 自身の数値で、VellumとDataCampがまとめたものです。絶対的な答えではなく、目安として扱ってください。

コーディングでは、通常 high で十分です。 DeepSWE v1.1 では、high の 6.1 Sol が 75.2 を記録し、high の Astra(74.8)と同等でした。1タスクあたりの費用は約 $1.50 です。コストカーブは、1タスクあたり $0.50 から $1.50 の範囲で 72% から 75% に達します。GPT-6 Sol は最大設定で 68.8 を記録しましたが、1タスクあたり約 $2.60 かかりました。

medium を超えても、必ずしも効果があるとは限りません。 AutomationBench では、6.1 Sol は medium で 35.4%、それより高い設定でも約 36.0% にとどまりました。業務自動化においては、追加の推論トークンによる効果はほとんどありませんでした。

max はコンピュータ操作と調査のために取っておきましょう。 OSWorld 2.0 では、max は約 $1.30 のタスク単価で 71.4 を記録しました。Terminal-Bench Science を max で実行すると、1タスクあたり $5.47 かかります。Astra の $23.80 よりはるかに安いものの、ほかのほとんどのワークロードと比べると桁違いに高額です。

low も改善されました。 low での事実誤り率は、6 Sol の 11.4% から 7.7% に低下しました。6 Sol で low では精度が足りないと感じて medium に上げていたタスクがあれば、もう一度 low を試してみてください。


ユースケース別の開始点

ユースケース開始レベル備考
6 Sol で none を使っていた呼び出しlowOpenAI の公式なマッピングです。レイテンシが重要な場合は、引き続き none をサポートする GPT-6 Luna の利用も検討してください
minimal を使っていた呼び出しlowlow から始めて結果を比較してください
チャットボット、カスタマーサポートlow最初のトークンをより早く出力させるため、モデルに一行の前置きを出力させてください
RAG による Q&Alow → medium推論の強度よりも検索品質の方が重要です
IDE のコーディングアシスタントmediumデフォルトで問題ありません
自動バグ修正、SWE エージェントhighDeepSWE では high がすでに Astra と同等であることが示されています
コンピュータ操作、ブラウザエージェントhigh → maxOSWorld は max で性能がピークに達します
バックグラウンドでの調査、長時間の実行xhigh評価で効果が確認できた場合にのみ使用してください。結果をすぐに必要としない場合は、Batch によってコストが半分になります
最も難しい調査課題max、または Astra をそのまま使用してくださいここでも OpenAI は Astra を推奨しています

noneとminimalのマッピングは、OpenAI のGPT-6 移行ガイドに基づいています。


会話の途中で推論の強度を変更する

よくあるパターンは、計画は high で行い、実行は low で行い、何かが失敗したら high に戻す、という方法です。

注意点:リクエストでreasoning.effortを編集すると、プロンプトキャッシュが無効になります。 推論の強度はキャッシュされるプレフィックスの一部です(プロンプトキャッシュのガイドを参照)。6.1 Sol では、キャッシュの読み取りは100万トークンあたり $0.10 ですが、キャッシュの再書き込みは $2.50 かかります。これは25倍の差です。

GPT-6 ファミリーでは、configuration_update入力項目によってこの問題を解決しています。 リクエストレベルのreasoning.effortはそのままにして、次のユーザーメッセージの前に更新を挿入してください。AIHubMix の Responses APIを通した場合の例は以下のとおりです:

from openai import OpenAI
import os

client = OpenAI(
    api_key=os.environ["AIHUBMIX_API_KEY"],
    base_url="https://aihubmix.com/v1",
)

# Turn 1: plan at high effort
r1 = client.responses.create(
    model="gpt-6.1-sol",
    reasoning={"effort": "high"},
    input="Figure out why this repo's tests are failing and propose a fix plan.",
)

# Turn 2: drop to low for execution, without touching request-level effort
r2 = client.responses.create(
    model="gpt-6.1-sol",
    reasoning={"effort": "high"},           # unchanged, so the cache survives
    previous_response_id=r1.id,
    input=[
        {"type": "configuration_update", "reasoning": {"effort": "low"}},
        {"role": "user", "content": "Carry out step 1 of the plan."},
    ],
)
configuration_updateの形式は上記の例であり、説明のためのものです。正確なスキーマについては、OpenAI の推論ガイドを確認してください。AIHubMix の Responses ドキュメントでは現在4つのレベル(minimal から high まで)が記載されているため、小さなテストリクエストを送信して、xhigh、max、configuration_updateが通過することを確認してください。

知っておくべき制限事項:

  • 標準のシングルエージェントモードでのみ動作し、変更できるのは推論の強度のみです。
  • 更新を2つ連続して置くことはできません。
  • 自動コンパクションや切り詰めとは併用できません。明示的なコンパクションは問題ありませんが、その後に新しい更新を追加してください。
  • レスポンスのreasoning.effortフィールドには、依然としてリクエストレベルの値が表示されるため、その値を過度に信用しないでください。

推論の強度と併せて設定する項目

max_output_tokensには余裕を持たせてください。 この上限には推論トークンも含まれます。低すぎると、モデルが目に見えるテキストを一切出力する前に停止することがあります。その場合、status: incompleteが返され、入力と推論の分の料金は引き続き発生します。OpenAI は、まずは少なくとも25,000トークンを確保し、xhigh や max の場合はさらに多く確保することを推奨しています。

推論トークンを追跡してください。 これらはusage.output_tokens_details.reasoning_tokensに含まれます。推論の強度ごとの分布を見るほうが、感覚で調整するよりも確実です。

可視性が必要な場合は要約を有効にしてください。 reasoning.summary: "auto"を指定すると、モデルの推論の要約が返されます(事前に組織の認証が必要な場合があります)。生の推論内容が公開されることはありません。

Pro モードは別のスイッチです。 モデルにより多くの作業をさせるモードで、料金は標準レートですが、全体のトークン数が増えます。追加のレイテンシが許容できる難しい問題に使用してください。


実際に実行できるチューニングの手順

  1. 実際のタスクを20〜50件集めて評価セットを作成してください。
  2. mediumでベースラインを実行してください。成功率、平均推論トークン数、P95 レイテンシを記録してください。
  3. lowを試してください。成功率がほとんど下がらなければ、切り替えてください。
  4. highを試してください。成功率が明確に向上する場合は、そのタスクタイプに対してのみ high を使用してください。
  5.  xhigh や max は、highで不十分な場合にのみ使いましょう。その際には、GPT-6 Astraをhighで比較することもおすすめします。より大きなモデルのほうが、推論の労力を増やすよりも良い結果を出すこともあります。AIHubMixでは、model パラメータを変更するだけで切り替えられ、利用可能なモデルはモデル一覧で確認できます。
  6. 全体で1つの設定を使うのではなく、タスクの種類ごとにルーティングしてください。

要点:まずは medium から始め、low でコストを抑え、コーディングには high を使い、xhigh と max は評価で効果を証明させてください。

次回は、キャッシュ、長いコンテキスト、課金の倍率が絡んだときに、$2 / $10 という価格が実際に何を意味するのかを解説します。


FAQ

GPT-6.1 Sol の推論の強度のデフォルトは何ですか? mediumです。設定しなければ、これが適用されます。

なぜnoneでエラーが返されるのですか? 6.1 Sol はnoneとminimalをサポートしていません。OpenAI はlowへの切り替えを推奨しています。どうしてもnoneが必要な場合は、GPT-6 Sol か GPT-6 Luna を使い続けてください。

推論トークンはどのように課金されますか? 出力レート(6.1 Sol では100万トークンあたり $10)で課金され、コンテキストウィンドウにも含まれます。実際の数値はusage.output_tokens_details.reasoning_tokensで確認してください。

Chat Completions と Responses でパラメータ名は同じですか? いいえ。Chat Completions では最上位のreasoning_effortを使用します。Responses では入れ子になったreasoning: {"effort": ...}を使用します。両者を取り違えるとUnsupported parameterが返されます。

推論の強度を上げれば、常に結果が良くなりますか? いいえ。AutomationBench では、medium を超えてもスコアは 35.4% から約 36.0% に上がっただけで、コストは大幅に増加しました。自社のタスクで検証してください。

会話の途中で推論の強度を変更できますか? はい。configuration_update項目を使用し、プロンプトキャッシュを有効なままにするため、リクエストレベルのreasoning.effortは変更しないでください。自動コンパクションや切り詰めとは併用できません。

出力がないのにstatus: incompleteが返されたのはなぜですか? おそらくmax_output_tokensが低すぎて、推論がそのすべてを使い切ったためです。OpenAI は少なくとも25,000トークンを確保することを推奨しています。


続けて読む:GPT-6.1 Sol シリーズ


出典

ひとつのゲートウェイで複数のAIプロバイダーへ。 本番運用のために設計。

AIHubMix公式サイトへ