Claude Haiku 5.5 推理強度等級:預設為 Medium,Low 通常就夠用

推理時代閱讀約 8 分鐘
Claude Haiku 5.5 推理強度等級:預設為 Medium,Low 通常就夠用

Claude Haiku 5.5 是第一款支援推理強度設定的 Haiku,而這項設定對帳單的影響,比你能控制的其他任何因素都大。在 Artificial Analysis 的獨立測試中,Haiku 5.5 使用最高推理強度時,Intelligence Index 得分為 43;使用低推理強度時則為 29。最高推理強度也用了 440 million 個輸出 token 才完成該指數測試;低推理強度則用了 32 million 個。

簡單來說:大部分工作維持預設值 medium 即可。高流量、簡單的路由工作改用 low。知識工作和嚴格遵循指令的任務則調高至 high。只有在有證據支持時,才使用 xhigh 和 max,並且在決定採用前,先與 Sonnet 5.5 比較。

本文接下來會說明各個等級的成本、推理強度升級到哪裡就不再划算,以及變更推理強度時哪些設定會出問題或讓成本變高。

這項設定是什麼

Claude Haiku 5.5 支援五種推理強度:low、medium、high、xhigh 和 max。預設值是 medium,這點並不常見:目前大多數 Claude 模型的預設值都是 high,只有 Haiku 5.5 和 Opus 5.5 的預設值低一級。傳送 medium,等同於省略這個參數。

推理強度設定取代了 Haiku 4.5 使用的手動思考預算。現在若傳送包含 thinking: {"type": "enabled", "budget_tokens": N} 的請求,會收到 400 錯誤,因此沒有舊數值可沿用。根據 Anthropic 的推理強度說明文件,你可以在 output_config 中設定:

output_config={"effort": "low"}

以下三項事實是理解後續內容的關鍵:

  • 思考預設為開啟。除非另有指定,Haiku 5.5 會使用自適應思考。推理強度越低,思考越少;面對簡單請求時,模型甚至可以完全略過思考。
  • 思考 token 會計入輸出 token。它們會計入 max_tokens,並以輸出費率計費(提示詞最多 100K token 時,每百萬個 token 收費 $0.50)。
  • 在提示詞中要求少思考並不管用。在 Anthropic 的測試中,即使提示詞要求模型直接回答,它仍然會思考。推理強度才是可以調整的控制項。

各個等級的成本

有兩個獨立來源測量了 Haiku 5.5 在不同推理強度下的表現。指數數據來自 Artificial Analysis;FrontierCode 數據則來自 Cognition 公開的結果檔案,由 Kingy.ai 彙整。這兩者都無法涵蓋你的工作負載,因此應將它們視為變化趨勢,而非你的實際數據。

Artificial Analysis Intelligence Index v4.3.2(共十項評估,涵蓋知識工作到終端機任務):

推理強度 指數得分 完成指數測試所用的輸出 token 每項任務的成本 首個 token 的生成時間
low 29 32M $0.02 9.9 s
medium 34 54M $0.05 13.4 s
high 38 97M $0.08 28.0 s
xhigh 41 180M $0.12 n/a
max 43 440M $0.21 n/a

Artificial Analysis 尚未公布 xhigh 的延遲數據。其 max 推理強度的延遲數據似乎異常,因此未列出。

FrontierCode 1.1 Main,Haiku 5.5 在 Claude Code 中執行:

推理強度 綜合得分 每次執行的成本 每次執行的輸出 token
low 34.8% $0.06 23,868
medium 41.6% $0.13 36,172
high 41.9% $0.26 55,149
xhigh 45.8% $0.63 100,847
max 46.4% $1.33 181,387

成本四捨五入至美分。

把兩張表放在一起看,有三個值得注意的地方。

從 low 升至 medium,是成本最低的一步。在指數測試中,輸出 token 約增加 1.7 倍,得分提高 5 分。在 FrontierCode 中,每次執行的成本約增加 2 倍,得分提高 6.8 分。

從 medium 升至 high,提升可能有限。在 FrontierCode 中,high 的得分只比 medium 高 0.3 分,成本卻約為兩倍。在涵蓋範圍更廣的指數測試中,high 的得分則增加了 4 分。你的工作負載屬於前者還是後者,正是快速評估可以告訴你的事。

最高兩個等級的成本很高。在指數測試中,從 high 升至 max,輸出 token 約增加 4.5 倍,得分只提高 5 分。在 FrontierCode 中,max 的成本約為 medium 的十倍,得分只多 4.8 分;而從 xhigh 升至 max,成本大約翻倍,得分只提高 0.6 分。Anthropic 自己的建議也以更直白的方式說明了同一件事:只有在評估結果顯示有所提升時,才使用 xhigh 和 max;而且應先從效能、成本和速度方面與 Sonnet 5.5 比較。

預設值之所以重要,還有另一個原因:Anthropic 發布時的基準測試是在 max 推理強度下執行的。系統卡中的 medium 推理強度成績較低(GDPval-AA 為 1277,而非 1620)。如果部署時使用預設值,就應以這些數字作為比較基準。

依工作負載選擇起始等級

工作負載 建議起始等級 以下情況可調高
分類、路由、標記 low 困難案例的標籤開始不一致
從短文件擷取資料 low 欄位遺漏或合併
聊天和即時客服 low 長時間對話中未能遵守規則
摘要和內容精簡 medium 重要細節遺漏
在大型模型底下執行的子 Agent 工作 medium 主模型重做子 Agent 的工作
Agent 式程式碼撰寫、範圍明確的修改 medium 第一次嘗試時測試失敗
知識工作、長時間 Agent 任務 high 評估結果顯示還有提升空間

這些起始等級是依據 Anthropic 對 Haiku 5.5 的建議;「調高」的訊號則是你可以從自己的記錄中觀察的指標。

值得再仔細看一次的項目是聊天。Low 是速度最快的等級,適合即時客服。不過,Anthropic 建議在最重視遵循指令時使用 high;例如客服助理必須在使用者爭辯時,仍遵守系統提示詞中的規則。請用過去曾出錯的對話測試這兩種設定。

變更推理強度時可能出現的問題或成本增加

max_tokens 太小,可能導致回覆尚未開始就結束。思考會計入 max_tokens。若上限是為只需一個字的分類任務設定,例如 50 個 token,就可能全花在思考上,最後回應以 stop_reason: "max_tokens" 結束,沒有任何文字。請提高上限以保留足夠空間,或降低推理強度。

在對話中途變更推理強度會重設快取。在不同請求之間變更頂層的推理強度值,會使該對話訊息的提示詞快取失效。如果 Agent 在 low 對話中需要一輪較困難的任務,並使用 high,Anthropic 提供逐訊息變更推理強度的方式(beta 標頭 mid-conversation-output-config-2026-07-01,適用於 Claude API 和 Google Cloud),可保留快取。此功能要求思考保持開啟。仰賴這項功能前,值得先確認代理是否會轉送該 beta 標頭。

關閉思考有其限制。thinking: {"type": "disabled"}可搭配 low、medium 和 high 使用。在 xhigh 或 max 下則會回傳 400 錯誤。關閉思考時,逐訊息變更推理強度也會回傳 400 錯誤;若同一個請求要求輸出 JSON,模型還可能略過必要的工具呼叫。Anthropic 的建議是保持思考開啟,改用較低的推理強度。

低推理強度可能讓模型提早停止。當系統提示詞很長、又使用 low 時,Haiku 5.5 有時會在工作完成前就停止,並把任務交還。在 Anthropic 的測試中,從 low 調到 medium,提早停止的情況約減半,每次嘗試的輸出 token 則增加一倍以上。Haiku 5.5 提示詞指南中有一段簡短的「持續工作直到完成」指示,可以用較低的成本解決同樣的問題。

Low 和 medium 可能略過驗證。在程式碼任務中,模型有時會在沒有執行測試的情況下,回報修改已完成。提示詞指南中有一段驗證說明可解決這個問題;這會增加 token 用量,但能提高經過檢查的修改比例。

Xhigh 可能回傳空白回覆。在 xhigh 的多輪聊天中,模型有時會把整個答案都寫在思考內容裡,結束該輪時卻沒有可見文字。如果使用 xhigh,請檢查是否有空白文字區塊。

強制使用工具會略過思考。Haiku 5.5 接受強制指定的 tool_choice,但回應會直接以工具呼叫開頭,不包含思考。如果模型需要先推理再呼叫工具,請使用 auto,並在提示詞中說明何時呼叫工具。

透過 AIHubMix 執行自己的推理強度測試

最快的選擇方式,是拿 20 到 50 個實際提示詞,在兩到三個等級下執行,再比較品質、輸出 token 和延遲。透過AIHubMix Claude 原生端點,並設定好 AIHUBMIX_API_KEY:

import os
import time
import anthropic

client = anthropic.Anthropic(
    api_key=os.environ["AIHUBMIX_API_KEY"],
    base_url="https://aihubmix.com",
)

prompts = [
    "Summarize this support ticket in one sentence: ...",
    "Extract the invoice number and total from: ...",
]

for effort in ["low", "medium", "high"]:
    out_tokens, seconds = 0, 0.0
    for prompt in prompts:
        start = time.time()
        r = client.messages.create(
            model="claude-haiku-5-5",
            max_tokens=8000,
            output_config={"effort": effort},
            messages=[{"role": "user", "content": prompt}],
        )
        seconds += time.time() - start
        out_tokens += r.usage.output_tokens
        text = next((b.text for b in r.content if b.type == "text"), "")
        # Save `text` next to the prompt and grade it against your own rubric.
    print(f"{effort}: {out_tokens} output tokens, {seconds:.1f}s total")

如果 low 和 high 的輸出 token 數量差異很小,推理強度設定可能沒有傳到模型;請檢查代理轉送的請求。在 AIHubMix 的Haiku 5.5 頁面上,各個推理強度等級的每 token 價格都相同,因此這次測試得出的 token 數量可以直接換算成金額。

常見問題

Claude Haiku 5.5 的預設推理強度是什麼?
Medium。目前大多數 Claude 模型的預設值都是 high,因此,若程式碼沿用其他模型的預設值,Haiku 5.5 的推理強度會低一級,除非明確設定。

可以完全關閉思考嗎?
在 low、medium 和 high 推理強度下,可以將 thinking 設為 disabled。在 xhigh 和 max 下則會回傳錯誤。Anthropic 建議改用較低的推理強度,因為模型能自行判斷是否在簡單請求中略過思考,也能維持工具呼叫行為。

哪個推理強度等級最便宜?
Low。在 Artificial Analysis 的測試中,完成整個指數測試約使用 32 million 個輸出 token;medium 使用 54 million 個,max 則使用 440 million 個。各個等級的每 token 價格相同;差異在於生成的 token 數量。

在 Haiku 5.5 上使用 max 推理強度值得嗎?
只有在你自己的評估結果提供證據時才值得。在 FrontierCode 中,max 的成本約為 medium 的十倍,得分卻只提高 4.8 分。此時 Anthropic 建議與 Sonnet 5.5 比較,後者或許能以較低成本達到相同品質。

為什麼我的回應會在沒有文字的情況下停止?
通常是因為思考用完了 max_tokens,答案還沒開始生成。請提高 max_tokens 或降低推理強度。在多輪聊天中使用 xhigh 時,空白回覆也可能表示模型把答案放進了思考內容裡。

變更推理強度會影響提示詞快取嗎?
會。在不同請求之間變更頂層的推理強度,會使該對話的快取訊息失效。目前仍在 beta 階段的逐訊息推理強度變更功能則不會影響快取。

為什麼發布時的基準測試數據和我在預設設定下看到的不一致?
發布時的數據是在最高推理強度下測得的。在 medium 設定下,系統卡報告的分數較低,例如 GDPval-AA 為 1277,而不是 1620。

繼續閱讀:Claude Haiku 5.5 系列

資料來源

一個閘道接入多家 AI 服務商, 為正式環境而生。

前往推理時代官網