Избор на ниво на разсъждение за GPT-6.1 Sol: от low до max

GPT-6.1 Sol има пет нива на усилие за разсъждение: low, medium (по подразбиране), high, xhigh и max. Голямата промяна спрямо GPT-6 Sol е, че none и minimal отпаднаха, така че low вече е най-ниското ниво.

Тази единствена настройка определя както латентността, така и разхода. Никога не виждате токените за разсъждение, но ги плащате по изходната цена (10 $ на милион за 6.1 Sol в AIHubMix), а и заемат място в контекстния прозорец. Ако изберете грешно ниво, лесно можете да платите няколко пъти повече, отколкото ви е нужно.

За какво служи всяко ниво

Таблицата съчетава описанията на OpenAI от ръководството за разсъждение с нашите собствени препоръки:

OpenAI нарича усилието „регулатор за настройка, а не основният начин за възстановяване на качеството“. Когато резултатите са лоши, първо проверете промпта, дефинициите на инструментите и контекста. Увеличавайте усилието едва след това.

Какво казват бенчмарковете за всяко ниво

Това са собствените числа на OpenAI, събрани от Vellum и DataCamp. Третирайте ги като ориентир, а не като непреложна истина.

За кодиране high обикновено е достатъчно. В DeepSWE v1.1 6.1 Sol при high получава 75.2, което съвпада с Astra при high (74.8), при около 1.50 $ на задача. Кривата на разходите достига от 72% до 75% при between 0.50 $ и 1.50 $ на задача. GPT-6 Sol при максимум достига 68.8 при около 2.60 $.

Над medium не винаги помага. В AutomationBench 6.1 Sol получава 35.4% при medium и само около 36.0% при по-високо усилие. За бизнес автоматизация допълнителните токени за разсъждение почти не донесоха нищо.

Запазете max за работа с компютър и изследвания. В OSWorld 2.0 max получава 71.4 при около 1.30 $ на задача. Terminal-Bench Science при max струва 5.47 $ на задача: далеч по-евтино от 23.80 $ на Astra, но с порядък над повечето други натоварвания.

Low също се подобри. Процентът на фактологичните грешки при low падна от 11.4% при 6 Sol на 7.7%. Ако сте вдигнали задачи на medium при 6 Sol, защото low не беше достатъчно точен, опитайте отново с low.

Отправни точки според случая на употреба

Съответствията none и minimal идват от ръководството за миграция към GPT-6 на OpenAI.

Смяна на усилието по средата на разговор

Често срещан модел е да планирате при high, да изпълнявате при low и да се върнете към high, когато нещо се повреди.

Уловката: редактирането на reasoning.effort в заявката нарушава кеша на промптовете. Усилието е част от кешираната префиксна част (вижте ръководството за кеширане на промптове). При 6.1 Sol четенето от кеша струва 0.10 $ на милион токена, а презаписването на кеша струва 2.50 $. Това е разлика от 25×.

Семейството GPT-6 решава това с елемент от вход configuration_update. Оставете reasoning.effort на ниво заявка непроменен и вмъкнете актуализация преди следващото съобщение на потребителя. Ето как изглежда това през Responses API на AIHubMix:

from openai import OpenAI
import os

client = OpenAI(
    api_key=os.environ["AIHUBMIX_API_KEY"],
    base_url="https://aihubmix.com/v1",
)

# Turn 1: plan at high effort
r1 = client.responses.create(
    model="gpt-6.1-sol",
    reasoning={"effort": "high"},
    input="Figure out why this repo's tests are failing and propose a fix plan.",
)

# Turn 2: drop to low for execution, without touching request-level effort
r2 = client.responses.create(
    model="gpt-6.1-sol",
    reasoning={"effort": "high"},           # unchanged, so the cache survives
    previous_response_id=r1.id,
    input=[
        {"type": "configuration_update", "reasoning": {"effort": "low"}},
        {"role": "user", "content": "Carry out step 1 of the plan."},
    ],
)

Формата configuration_update по-горе е илюстративна. Проверете ръководството на OpenAI за разсъждения за точната схема. Документацията за Responses на AIHubMix в момента изброява четири нива (от minimal до high), затова изпратете малка тестова заявка, за да потвърдите, че xhigh, max и configuration_update минават.

Някои ограничения, които трябва да знаете:

• Работи само в стандартен режим с един агент и променя само усилието.
• Две актуализации не могат да стоят една до друга.
• Не се комбинира с автоматична компактизация или съкращаване. Изричната компактизация е наред, но след нея добавете нова актуализация.
• Полето reasoning.effort в отговора все още показва стойността от ниво заявка, затова не го тълкувайте прекалено.

Настройки, които вървят заедно с усилието

Оставете място в max_output_tokens. Лимитът включва токените за разсъждение. Ако го зададете твърде ниско, моделът може да спре, преди да е произвел видим текст. Получавате status: incomplete и пак плащате за входа и разсъжденията. OpenAI препоръчва да резервирате поне 25 000 токена за начало и повече за xhigh или max.

Следете токените за разсъждение. Те са в usage.output_tokens_details.reasoning_tokens. Разпределението по ниво на усилие е по-добро от настройка по усет.

Включете обобщенията, ако ви е нужна видимост. reasoning.summary: "auto" връща обобщение на разсъжденията на модела (може да се наложи първо да потвърдите организацията си). Суровите разсъждения никога не се показват.

Pro режимът е отделен превключвател. Той кара модела да върши повече работа, таксувана по стандартни цени, но с повече токени общо. Използвайте го за трудни задачи, при които допълнителната латентност е приемлива.

Процес на настройка, който наистина можете да изпълните

1. Съберете 20 до 50 реални задачи в набор за оценка.
2. Направете базов тест при medium. Записвайте процента на успех, средния брой токени за разсъждение и P95 латентността.
3. Пробвайте low. Ако успехът почти не падне, сменете.
4. Пробвайте high. Ако успехът ясно се подобри, използвайте high само за този тип задача.
5. Посягайте към xhigh или max само когато high не стига, и сравнявайте с GPT-6 Astra при high. Понякога по-голям модел побеждава повече усилие. В AIHubMix това е просто промяна на параметъра model, а списъкът с модели показва какво е налично.
6. Насочвайте заявките по тип задача вместо една глобална настройка.

Накратко: започнете с medium, спестявайте с low, използвайте high за кодиране и накарайте xhigh и max да се докажат във вашите оценки.

Следва: какво всъщност означава цената 2 $ / 10 $, когато влязат в сила кеширането, дългият контекст и множителите при таксуване.

Често задавани въпроси

Какво е усилието за разсъждение по подразбиране за GPT-6.1 Sol? medium. Ако не го зададете, това получавате.

Защо none връща грешка? 6.1 Sol не поддържа none или minimal. OpenAI препоръчва да се премине към low. Ако наистина ви трябва none, останете на GPT-6 Sol или GPT-6 Luna.

Как се таксуват токените за разсъждение? По изходната цена (10 $ на милион за 6.1 Sol) и се броят към контекстния прозорец. Проверете usage.output_tokens_details.reasoning_tokens за реалните стойности.

Еднакво ли е името на параметъра в Chat Completions и Responses? Не. Chat Completions използва reasoning_effort на най-горно ниво. Responses използва вложено reasoning: {"effort": ...}. Ако ги объркате, получавате Unsupported parameter.

Дали по-голямото усилие винаги дава по-добри резултати? Не. В AutomationBench преминаването над medium промени резултата само от 35.4% до около 36.0%, при забележимо по-висока цена. Тествайте върху собствените си задачи.

Мога ли да сменя усилието по средата на разговор? Да. Използвайте елемент configuration_update и оставете reasoning.effort на ниво заявка непроменен, за да остане валиден кешът на промптовете. Не работи с автоматична компактизация или съкращаване.

Защо получих status: incomplete без изход? Най-вероятно max_output_tokens е бил твърде нисък и разсъжденията са го изчерпали. OpenAI препоръчва да резервирате поне 25 000 токена.

Продължете с четенето: серията GPT-6.1 Sol

• Каква част от сметката ви е разсъждение? Усилието е само един лост. Кеширането, прагът от 272K и отстъпките за Batch определят крайната сума. Вижте What GPT-6.1 Sol Really Costs: Beyond the $2 / $10 Price Tag.
• Код, който използва none? Смяната на low е само началото. Извикванията на инструменти, параметрите за семплиране и настройките на кеша също се нуждаят от промени: Migrating to GPT-6.1 Sol: 9 Things That Can Go Wrong.
• Колко по-добър е 6.1 Sol спрямо 6 Sol и Astra? Спецификации и бенчмаркове един до друг са в GPT-6.1 Sol vs GPT-6 Sol: A One-Week Upgrade That Nearly Catches Astra.

Източници

• OpenAI: Ръководство за разсъждение
• OpenAI: Ръководство за миграция към GPT-6
• AIHubMix: GPT-6.1 Sol
• AIHubMix: Документация за Responses API
• Vellum: GPT-6.1 Sol benchmarks explained