如何選擇 GPT-6.1 Sol 的推理強度:從 low 到 max

推理時代閱讀約 6 分鐘
如何選擇 GPT-6.1 Sol 的推理強度:從 low 到 max

GPT-6.1 Sol 有五種推理強度: low, medium (預設值)、 high、 xhigh 和 max。相較於 GPT-6 Sol,最大的變化是 none 和 minimal 已不再提供,因此 low 現在是最低選項。

這項設定同時影響延遲和成本。你看不到推理 token,但仍須按輸出費率付費(6.1 Sol 在 AIHubMix 每百萬 token 收費 $10),而且推理 token 會佔用上下文視窗。選錯等級,很容易多付好幾倍的費用。


各等級的用途

此表整理了 OpenAI 在推理指南 中的說明,以及我們的建議:

等級OpenAI 的說明適合用途不適合用途
low有效率的推理,延遲只會適度增加工具迴圈中的中間步驟、搜尋、簡單規劃、分類、擷取、客服回覆困難的除錯、多檔案重構
medium(預設值)適用於多數工作負載的均衡預設值日常程式設計、程式碼審查、寫作、一般 Agent 任務對延遲要求嚴格的互動式用途
high困難的推理、複雜除錯、深入規劃棘手的錯誤、架構工作、SWE 類型的任務高 QPS 的線上流量
xhigh深入研究、非同步工作、長時間 Agent 執行背景工作、研究報告尚未經評估測試證實有效的任何用途
max針對最困難任務提供最高推理強度電腦操作、研究等級的問題、離線重度運算幾乎所有日常請求

OpenAI 將推理強度稱為「調校旋鈕,而不是提升品質的主要方式」。結果不理想時,應先檢查提示詞、工具定義和上下文。完成這些檢查後,再提高推理強度。


基準測試對各等級的結果

以下是 OpenAI 自行公布的數據,由 Vellum 和 DataCamp 彙整。請將這些數據視為參考,而非絕對標準。

程式設計通常使用 high 就足夠。 在 DeepSWE v1.1 上,6.1 Sol 使用 high 得分 75.2,與 Astra 使用 high 時的 74.8 相當,每項任務的費用約 $1.50。其成本曲線顯示,每項任務花費 $0.50 到 $1.50,可達到 72% 到 75% 的表現。GPT-6 Sol 使用 max 的得分則為 68.8,每項任務約 $2.60。

高於 medium 不一定有幫助。 在 AutomationBench 上,6.1 Sol 使用 medium 得分 35.4%,提高推理強度後也只有約 36.0%。對商業自動化而言,額外的推理 token 幾乎沒有帶來效益。

只有電腦操作和研究才值得使用 max。 在 OSWorld 2.0 上,max 得分 71.4,每項任務約 $1.30。Terminal-Bench Science 使用 max 時,每項任務花費 $5.47:遠低於 Astra 的 $23.80,但仍比多數其他工作負載高出一個數量級。

low 的表現也進步了。 使用 low 時,事實錯誤率從 6 Sol 的 11.4% 降至 7.7%。如果你先前因為 6 Sol 的 low 不夠準確,而將任務提高到 medium,不妨再試試 low。


各用途的建議起始設定

用途建議起始設定備註
原本在 6 Sol 使用 none 的呼叫lowOpenAI 官方建議的對應設定。若延遲至關重要,可考慮仍支援 none 的 GPT-6 Luna
原本使用 minimal 的呼叫low從 low 開始並比較結果
聊天機器人、客戶支援low請模型先輸出一行前言,讓第一個 token 更快出現
RAG 問答low → medium檢索品質比推理強度更重要
IDE 程式設計助理medium使用預設值即可
自動修正錯誤、SWE AgenthighDeepSWE 顯示 high 的表現已經與 Astra 相當
電腦操作、瀏覽器 Agenthigh → maxOSWorld 在 max 時表現最佳
背景研究、長時間執行xhigh只有在評估測試顯示有所提升時才使用。如果不急著取得結果,使用 Batch 可將成本減半
最困難的研究問題max,或直接使用 AstraOpenAI 也建議此處使用 Astra

none 和 minimal 的對應設定來自 OpenAI 的 GPT-6 遷移指南。


在對話中途調整推理強度

常見做法是先用 high 規劃、再用 low 執行,遇到問題時切回 high。

但有個問題:修改請求中的 reasoning.effort 會使提示詞快取失效。 推理強度屬於快取前綴的一部分(請參閱提示詞快取指南)。在 6.1 Sol 上,讀取快取每百萬 token 收費 $0.10,重寫快取則收費 $2.50,兩者相差 25 倍。

GPT-6 系列透過 configuration_update 輸入項目解決了這個問題。保留請求層級的 reasoning.effort 不變,並在下一則使用者訊息前插入更新。透過 AIHubMix Responses API,用法如下:

from openai import OpenAI
import os

client = OpenAI(
    api_key=os.environ["AIHUBMIX_API_KEY"],
    base_url="https://aihubmix.com/v1",
)

# Turn 1: plan at high effort
r1 = client.responses.create(
    model="gpt-6.1-sol",
    reasoning={"effort": "high"},
    input="Figure out why this repo's tests are failing and propose a fix plan.",
)

# Turn 2: drop to low for execution, without touching request-level effort
r2 = client.responses.create(
    model="gpt-6.1-sol",
    reasoning={"effort": "high"},           # unchanged, so the cache survives
    previous_response_id=r1.id,
    input=[
        {"type": "configuration_update", "reasoning": {"effort": "low"}},
        {"role": "user", "content": "Carry out step 1 of the plan."},
    ],
)
上方的 configuration_update 格式僅供示意。確切的 schema 請查閱 OpenAI 的推理指南。AIHubMix 的 Responses 文件目前列出四種等級(從 minimal 到 high),因此請先傳送小型測試請求,確認 xhigh、 max 和 configuration_update 能正常傳遞。

請留意以下限制:

  • 僅適用於標準單一 Agent 模式,而且只能變更推理強度。
  • 兩個更新項目不能相鄰。
  • 無法搭配自動壓縮或截斷使用。明確執行壓縮則沒問題,但之後要再加入新的更新項目。
  • 回應中的 reasoning.effort 欄位仍會顯示請求層級的值,因此不要過度解讀。

搭配推理強度使用的設定

為 max_output_tokens 預留足夠空間。 上限也包含推理 token。設定過低時,模型可能在產生任何可見文字前就停止。你會收到 status: incomplete,但輸入和推理費用仍會照常計算。OpenAI 建議一開始至少預留 25,000 個 token,使用 xhigh 或 max 時則要預留更多。

追蹤推理 token。 相關數值會顯示在 usage.output_tokens_details.reasoning_tokens。檢視各推理強度下的分布,比憑感覺調整更有效。

需要掌握推理情況時,請啟用摘要。 reasoning.summary: "auto" 會傳回模型推理的摘要(可能需要先驗證你的組織)。原始推理內容永遠不會公開。

Pro 模式是獨立的開關。 它會讓模型投入更多運算,依標準費率計費,但整體使用的 token 也會更多。可用於需要更深入處理、且能接受較高延遲的難題。


實際可執行的調校流程

  1. 從真實任務中挑選 20 到 50 個,建立評估資料集。
  2. 使用 medium 執行基準測試。記錄成功率、平均推理 token 數和 P95 延遲。
  3. 試試 low。如果成功率只稍微下降,就改用 low。
  4. 試試 high。如果成功率明顯提高,就只在該類任務中使用 high。
  5. 只有在 high 不夠時,才考慮使用 xhigh 或 max;同時也比較 GPT-6 Astra 使用 high 的表現。有時更大的模型會比更高的推理強度更有效。在 AIHubMix 上,只要修改 model 參數即可,模型清單 列出了可用選項。
  6. 依任務類型分流,不要所有任務都使用同一項全域設定。

簡而言之:從 medium 開始,用 low 節省成本,程式設計使用 high,並在評估測試中確認 xhigh 和 max 確實有助益。

接下來:加上快取、長上下文和計費倍率後,$2 / $10 的價格標籤究竟代表什麼。


常見問題

GPT-6.1 Sol 的預設推理強度是什麼? medium。如果不指定,就會使用這個設定。

為什麼使用 none 會出錯? 6.1 Sol 不支援 none 或 minimal。OpenAI 建議改用 low。如果你確實需要 none,請繼續使用 GPT-6 Sol 或 GPT-6 Luna。

推理 token 如何計費? 依輸出費率計費(6.1 Sol 每百萬 token 收費 $10),且會佔用上下文視窗。請查看 usage.output_tokens_details.reasoning_tokens 取得實際數值。

Chat Completions 和 Responses 的參數名稱相同嗎? 不同。Chat Completions 使用頂層的 reasoning_effort;Responses 使用巢狀的 reasoning: {"effort": ...}。混用會回傳 Unsupported parameter。

提高推理強度一定會帶來更好的結果嗎? 不會。在 AutomationBench 上,從 medium 往上提高只讓分數從 35.4% 升到約 36.0%,成本卻明顯增加。請使用自己的任務進行測試。

可以在對話中途變更推理強度嗎? 可以。使用 configuration_update 項目,並保留請求層級的 reasoning.effort 不變,讓提示詞快取維持有效。此功能無法搭配自動壓縮或截斷使用。

為什麼我收到 status: incomplete ,卻沒有任何輸出? 最可能的原因是 max_output_tokens 設定過低,且額度全被推理耗盡。OpenAI 建議至少預留 25,000 個 token。


繼續閱讀:GPT-6.1 Sol 系列


資料來源

一個閘道接入多家 AI 服務商, 為正式環境而生。

前往推理時代官網