Lựa chọn mức Reasoning Effort cho GPT-6.1 Sol: từ low đến max

GPT-6.1 Sol có năm mức reasoning effort: low, medium (mặc định), high, xhigh và max. Thay đổi lớn so với GPT-6 Sol là none và minimal đã bị loại bỏ, nên low giờ là mức thấp nhất.

Thiết lập duy nhất này quyết định cả độ trễ lẫn chi phí. Bạn không thấy các reasoning token, nhưng vẫn phải trả tiền cho chúng theo đơn giá đầu ra ($10 mỗi triệu token đối với 6.1 Sol trên AIHubMix), và chúng chiếm dung lượng trong context window. Chọn sai mức, bạn có thể dễ dàng trả gấp nhiều lần mức cần thiết.

Mỗi mức dùng để làm gì

Bảng này kết hợp mô tả của OpenAI từ hướng dẫn reasoning với khuyến nghị của chúng tôi:

OpenAI gọi effort là "núm điều chỉnh, không phải cách chính để khôi phục chất lượng." Khi kết quả kém, hãy xem prompt, định nghĩa tool và context trước. Chỉ tăng effort sau khi đã kiểm tra những thứ đó.

Các benchmark nói gì về từng mức

Đây là số liệu riêng của OpenAI, được Vellum và DataCamp tổng hợp. Hãy xem chúng như tham khảo, không phải chân lý.

Với lập trình, high thường là đủ. Trên DeepSWE v1.1, 6.1 Sol ở mức high đạt 75.2 điểm, ngang với Astra ở mức high (74.8), với chi phí khoảng $1.50 mỗi tác vụ. Đường cong chi phí của nó đạt 72% đến 75% với mức từ $0.50 đến $1.50 mỗi tác vụ. GPT-6 Sol ở mức tối đa đạt 68.8 với chi phí khoảng $2.60.

Vượt quá medium không phải lúc nào cũng có ích. Trên AutomationBench, 6.1 Sol đạt 35.4% ở mức medium và chỉ khoảng 36.0% ở mức cao hơn. Với tự động hóa nghiệp vụ, các reasoning token thêm vào hầu như không mang lại lợi ích gì.

Chỉ dùng max cho sử dụng máy tính và nghiên cứu. Trên OSWorld 2.0, max đạt 71.4 với khoảng $1.30 mỗi tác vụ. Terminal-Bench Science ở mức max tốn $5.47 mỗi tác vụ: rẻ hơn nhiều so với $23.80 của Astra, nhưng cao hơn một bậc độ lớn so với hầu hết các khối lượng công việc khác.

Low cũng đã tốt hơn. Tỷ lệ lỗi sự thật ở mức low giảm từ 11.4% trên 6 Sol xuống 7.7%. Nếu bạn từng nâng tác vụ lên medium trên 6 Sol vì low chưa đủ chính xác, hãy thử lại low.

Điểm xuất phát theo từng trường hợp sử dụng

Ánh xạ none và minimal đến từ hướng dẫn di chuyển sang GPT-6 của OpenAI.

Thay đổi effort giữa cuộc hội thoại

Một mẫu phổ biến là lên kế hoạch ở high, thực thi ở low, và chuyển lại high khi có lỗi.

Điểm cần lưu ý: sửa reasoning.effort trong request sẽ làm hỏng prompt cache của bạn. Effort là một phần của tiền tố được cache (xem hướng dẫn prompt caching). Trên 6.1 Sol, một lần đọc cache có giá $0.10 mỗi triệu token, còn ghi lại cache tốn $2.50. Chênh lệch là 25 lần.

Họ GPT-6 khắc phục điều này bằng một item đầu vào configuration_update. Giữ nguyên reasoning.effort ở cấp request và chèn một bản cập nhật trước tin nhắn tiếp theo của người dùng. Dưới đây là cách làm qua Responses API của AIHubMix:

from openai import OpenAI
import os

client = OpenAI(
    api_key=os.environ["AIHUBMIX_API_KEY"],
    base_url="https://aihubmix.com/v1",
)

# Turn 1: plan at high effort
r1 = client.responses.create(
    model="gpt-6.1-sol",
    reasoning={"effort": "high"},
    input="Figure out why this repo's tests are failing and propose a fix plan.",
)

# Turn 2: drop to low for execution, without touching request-level effort
r2 = client.responses.create(
    model="gpt-6.1-sol",
    reasoning={"effort": "high"},           # unchanged, so the cache survives
    previous_response_id=r1.id,
    input=[
        {"type": "configuration_update", "reasoning": {"effort": "low"}},
        {"role": "user", "content": "Carry out step 1 of the plan."},
    ],
)

Cấu trúc configuration_update ở trên chỉ mang tính minh họa. Hãy kiểm tra hướng dẫn reasoning của OpenAI để biết schema chính xác. Tài liệu Responses của AIHubMix hiện liệt kê bốn mức (từ minimal đến high), vì vậy hãy gửi một request thử nhỏ để xác nhận rằng xhigh, max và configuration_update được truyền qua.

Một số giới hạn cần biết:

• Chỉ hoạt động ở chế độ single-agent tiêu chuẩn, và chỉ thay đổi effort.
• Hai bản cập nhật không thể đứng cạnh nhau.
• Không kết hợp với compaction hoặc truncation tự động. Compaction tường minh thì được, nhưng sau đó hãy thêm một bản cập nhật mới.
• Trường reasoning.effort trong response vẫn hiển thị giá trị ở cấp request, nên đừng suy diễn quá nhiều từ nó.

Các thiết lập đi kèm với effort

Chừa chỗ trong max_output_tokens. Giới hạn này bao gồm cả reasoning token. Đặt quá thấp, model có thể dừng trước khi tạo ra bất kỳ văn bản nhìn thấy nào. Bạn sẽ nhận status: incomplete và vẫn phải trả tiền cho input và reasoning. OpenAI gợi ý dành ít nhất 25.000 token để bắt đầu, và nhiều hơn cho xhigh hoặc max.

Theo dõi reasoning token. Chúng nằm trong usage.output_tokens_details.reasoning_tokens. Xem phân bố theo từng mức effort tốt hơn là điều chỉnh theo cảm tính.

Bật tóm tắt nếu bạn cần khả năng quan sát. reasoning.summary: "auto" trả về bản tóm tắt phần suy luận của model (bạn có thể cần xác minh tổ chức trước). Phần suy luận thô không bao giờ được lộ ra.

Chế độ Pro là một công tắc riêng. Nó khiến model làm nhiều việc hơn, được tính theo giá tiêu chuẩn nhưng tổng số token nhiều hơn. Hãy dùng cho các bài toán khó mà độ trễ tăng thêm là chấp nhận được.

Một quy trình tinh chỉnh bạn thực sự có thể chạy

1. Thu thập 20 đến 50 tác vụ thực tế vào một tập eval.
2. Chạy baseline ở medium. Ghi lại tỷ lệ thành công, số reasoning token trung bình và độ trễ P95.
3. Thử low. Nếu tỷ lệ thành công hầu như không giảm, hãy chuyển sang.
4. Thử high. Nếu tỷ lệ thành công tăng rõ rệt, chỉ dùng high cho loại tác vụ đó.
5. Chỉ dùng xhigh hoặc max khi high không đủ, và đồng thời so sánh với GPT-6 Astra ở mức high. Đôi khi một model lớn hơn tốt hơn việc tăng effort. Trên AIHubMix, điều đó chỉ cần đổi tham số model, và danh sách model cho thấy những gì đang có sẵn.
6. Định tuyến theo loại tác vụ thay vì dùng một thiết lập chung cho tất cả.

Tóm lại: bắt đầu ở medium, tiết kiệm chi phí với low, dùng high cho lập trình, và buộc xhigh và max phải chứng minh giá trị trong eval của bạn.

Tiếp theo: $2 / $10 thực sự có ý nghĩa gì khi tính đến caching, ngữ cảnh dài và hệ số tính phí.

FAQ

Mức reasoning effort mặc định của GPT-6.1 Sol là gì? medium. Nếu bạn không đặt gì, đây là mức bạn nhận được.

Vì sao none trả về lỗi? 6.1 Sol không hỗ trợ none hoặc minimal. OpenAI khuyến nghị chuyển sang low. Nếu thực sự cần none, hãy dùng GPT-6 Sol hoặc GPT-6 Luna.

Reasoning token được tính phí thế nào? Theo đơn giá đầu ra ($10 mỗi triệu token đối với 6.1 Sol), và chúng được tính vào context window. Xem usage.output_tokens_details.reasoning_tokens để biết số liệu thực tế.

Tên tham số có giống nhau trong Chat Completions và Responses không? Không. Chat Completions dùng reasoning_effort ở cấp cao nhất. Responses dùng reasoning: {"effort": ...} lồng nhau. Nhầm lẫn giữa hai cái sẽ trả về Unsupported parameter.

Effort cao hơn có luôn cho kết quả tốt hơn không? Không. Trên AutomationBench, vượt quá medium chỉ làm điểm số tăng từ 35.4% lên khoảng 36.0%, trong khi chi phí tăng đáng kể. Hãy kiểm thử trên các tác vụ của riêng bạn.

Tôi có thể đổi effort giữa chừng cuộc hội thoại không? Có. Dùng item configuration_update và giữ nguyên reasoning.effort ở cấp request để prompt cache vẫn còn hiệu lực. Cách này không hoạt động với compaction hoặc truncation tự động.

Vì sao tôi nhận status: incomplete mà không có output? Rất có thể max_output_tokens quá thấp và reasoning đã dùng hết. OpenAI khuyến nghị dành ít nhất 25.000 token.

Đọc tiếp: loạt bài về GPT-6.1 Sol

• Phần lớn hóa đơn của bạn là reasoning sao? Effort chỉ là một đòn bẩy. Caching, ngưỡng 272K và chiết khấu Batch đều ảnh hưởng đến con số cuối cùng. Xem GPT-6.1 Sol Thực Sự Tốn Bao Nhiêu: Vượt Ra Ngoài Mức Giá $2 / $10.
• Code từng dùng none? Chuyển sang low mới chỉ là bước đầu. Tool call, tham số sampling và thiết lập cache cũng cần thay đổi: Di chuyển sang GPT-6.1 Sol: 9 điều có thể sai.
• 6.1 Sol tốt hơn 6 Sol và Astra bao nhiêu? Thông số và benchmark đặt cạnh nhau trong GPT-6.1 Sol so với GPT-6 Sol: Nâng cấp chỉ trong một tuần gần đuổi kịp Astra.

Nguồn

• OpenAI: Hướng dẫn reasoning
• OpenAI: Hướng dẫn di chuyển GPT-6
• AIHubMix: GPT-6.1 Sol
• AIHubMix: Tài liệu Responses API
• Vellum: Giải thích benchmark GPT-6.1 Sol