Вибір зусиль для міркування для GPT-6.1 Sol: від низького до максимального

GPT-6.1 Sol має п’ять рівнів зусиль для міркування: low, medium (за замовчуванням), high, xhigh, і max. Основна зміна від GPT-6 Sol полягає в тому, що none і minimal зникли, тому low тепер є базовим.

Це одне налаштування впливає як на затримку, так і на вартість. Ви ніколи не бачите токени міркування, але платите за них за ставкою виходу (10 доларів за мільйон для 6.1 Sol на AIHubMix), і вони займають місце в контекстному вікні. Виберіть неправильний рівень, і ви можете легко заплатити в кілька разів більше, ніж потрібно.

Що призначено для кожного рівня

Ця таблиця поєднує описи OpenAI з посібника з міркування з нашими власними рекомендаціями:

OpenAI називає зусилля "регулятором налаштування, а не основним способом відновлення якості." Коли результати погані, спочатку зверніть увагу на запит, визначення інструментів і контекст. Підвищуйте зусилля лише після цього.

Що кажуть бенчмарки про кожен рівень

Це власні дані OpenAI, зібрані Vellum та DataCamp. Ставтеся до них як до орієнтира, а не як до істини.

Для кодування високий зазвичай достатній. На DeepSWE v1.1, 6.1 Sol на високому рівні отримує 75.2, що відповідає Astra на високому (74.8), за приблизно 1.50 долара за завдання. Його крива витрат досягає 72% до 75% за між 0.50 і 1.50 долара за завдання. GPT-6 Sol досяг максимального рівня 68.8 за приблизно 2.60 долара.

Перехід вище середнього не завжди допомагає. На AutomationBench, 6.1 Sol отримує 35.4% на середньому рівні і лише близько 36.0% на вищих зусиллях. Для автоматизації бізнесу додаткові токени міркування не принесли майже нічого.

Залиште максимальний для використання комп’ютера та досліджень. На OSWorld 2.0, максимальний отримує 71.4 за близько 1.30 долара за завдання. Terminal-Bench Science на максимальному рівні коштує 5.47 долара за завдання: набагато дешевше, ніж 23.80 долара Astra, але на порядок вище за більшість інших навантажень.

Низький також покращився. Рівень фактичних помилок на низькому рівні знизився з 11.4% на 6 Sol до 7.7%. Якщо ви підвищили завдання до середнього на 6 Sol, тому що низький був недостатньо точним, спробуйте знову низький.

Початкові точки за випадком використання

Картки none і minimal походять з посібника з міграції GPT-6.

Зміна зусиль під час розмови

Звичайна схема полягає в тому, щоб планувати на високому, виконувати на низькому та повертатися до високого, коли щось ламається.

Підводний камінь: редагування reasoning.effort в запиті ламає кеш вашого запиту. Зусилля є частиною кешованого префікса (див. посібник з кешування запитів). На 6.1 Sol читання кешу коштує 0.10 долара за мільйон токенів, тоді як переписування кешу коштує 2.50 долара. Це різниця в 25 разів.

Сімейство GPT-6 виправляє це за допомогою елемента введення configuration_update. Залиште рівень запиту reasoning.effort незмінним і вставте оновлення перед наступним повідомленням користувача. Ось як це виглядає через API відповідей AIHubMix:

from openai import OpenAI
import os

client = OpenAI(
    api_key=os.environ["AIHUBMIX_API_KEY"],
    base_url="https://aihubmix.com/v1",
)

# Поворот 1: планувати на високому зусиллі
r1 = client.responses.create(
    model="gpt-6.1-sol",
    reasoning={"effort": "high"},
    input="Визначте, чому тести цього репозиторію не проходять, і запропонуйте план виправлення.",
)

# Поворот 2: знизити до низького для виконання, не торкаючись зусиль на рівні запиту
r2 = client.responses.create(
    model="gpt-6.1-sol",
    reasoning={"effort": "high"},           # незмінно, тому кеш зберігається
    previous_response_id=r1.id,
    input=[
        {"type": "configuration_update", "reasoning": {"effort": "low"}},
        {"role": "user", "content": "Виконайте крок 1 плану."},
    ],
)

Форма configuration_update вище є ілюстративною. Перевірте посібник з міркування OpenAI для точного схеми. Документація API відповідей AIHubMix наразі містить чотири рівні (мінімальний до високого), тому надішліть невеликий тестовий запит, щоб підтвердити, що xhigh, max і configuration_update проходять.

Деякі обмеження, які слід знати:

• Це працює лише в стандартному режимі з одним агентом і лише змінює зусилля.
• Два оновлення не можуть стояти поруч один з одним.
• Це не змішується з автоматичним стисненням або скороченням. Явне стиснення нормально, але додайте нове оновлення після цього.
• Поле reasoning.effort в відповіді все ще показує значення на рівні запиту, тому не читайте в це занадто багато.

Налаштування, які йдуть з зусиллям

Залиште місце в max_output_tokens. Обмеження включає токени міркування. Встановіть його занадто низьким, і модель може зупинитися, не створивши жодного видимого тексту. Ви отримаєте status: incomplete і все ще заплатите за вхідні дані та міркування. OpenAI рекомендує резервувати принаймні 25,000 токенів на початку, і більше для xhigh або max.

Відстежуйте токени міркування. Вони знаходяться в usage.output_tokens_details.reasoning_tokens. Перегляд розподілу за рівнем зусиль перевершує налаштування на дотик.

Увімкніть підсумки, якщо вам потрібна видимість. reasoning.summary: "auto" повертає підсумок міркування моделі (можливо, вам спочатку потрібно буде підтвердити вашу організацію). Сирі міркування ніколи не розкриваються.

Pro режим є окремим перемикачем. Він змушує модель виконувати більше роботи, з рахунком за стандартними ставками, але з більшою кількістю токенів загалом. Використовуйте його для складних проблем, де додаткова затримка є прийнятною.

Процес налаштування, який ви дійсно можете запустити

1. Зберіть 20-50 реальних завдань у набір оцінки.
2. Запустіть базовий тест на medium. Запишіть рівень успіху, середню кількість токенів міркування та P95 затримку.
3. Спробуйте low. Якщо успіх ледве знижується, переходьте.
4. Спробуйте high. Якщо успіх явно покращується, використовуйте високий лише для цього типу завдань.
5. Звертайтеся до xhigh або max тільки коли високий не виправдовує, і порівнюйте з GPT-6 Astra на високому, поки ви на цьому. Іноді більша модель перевершує більше зусиль. На AIHubMix це просто зміна параметра model, а список моделей показує, що доступно.
6. Маршрутизуйте за типом завдання, а не використовуйте одне глобальне налаштування.

Коротка версія: починайте з середнього, економте гроші з низьким, використовуйте високий для кодування, і нехай xhigh і max доведуть свою цінність у ваших оцінках.

Далі: що насправді означає цінник у 2 долари / 10 доларів, коли кешування, довгий контекст і множники виставлення рахунків вступають у гру.

Часті запитання

Яке значення зусиль для міркування за замовчуванням для GPT-6.1 Sol? medium. Якщо ви його не встановите, це те, що ви отримаєте.

Чому none повертає помилку? 6.1 Sol не підтримує none або minimal. OpenAI рекомендує перейти на low. Якщо вам дійсно потрібно none, залишайтеся на GPT-6 Sol або GPT-6 Luna.

Як рахуються токени міркування? За ставкою виходу (10 доларів за мільйон для 6.1 Sol), і вони враховуються в контекстному вікні. Перевірте usage.output_tokens_details.reasoning_tokens для фактичних цифр.

Чи однакове ім’я параметра в Chat Completions і Responses? Ні. Chat Completions використовує верхній рівень reasoning_effort. Responses використовує вкладений reasoning: {"effort": ...}. Змішування їх повертає Unsupported parameter.

Чи завжди вищі зусилля дають кращі результати? Ні. На AutomationBench, перехід вище середнього лише перемістив бал з 35.4% до близько 36.0%, при цьому коштуючи помітно більше. Тестуйте на своїх завданнях.

Чи можу я змінити зусилля під час розмови? Так. Використовуйте елемент configuration_update і залишайте зусилля на рівні запиту reasoning.effort незмінним, щоб кеш запиту залишався дійсним. Це не працює з автоматичним стисненням або скороченням.

Чому я отримав status: incomplete без виходу? Швидше за все, max_output_tokens був занадто низьким, і міркування використало все. OpenAI рекомендує резервувати принаймні 25,000 токенів.

Продовжуйте читати: серія GPT-6.1 Sol

• Скільки вашого рахунку становить міркування? Зусилля - це лише один важіль. Кешування, поріг 272K і знижки на пакет формують остаточну цифру. Дивіться Що насправді коштує GPT-6.1 Sol: за межами цінника 2 долари / 10 доларів.
• Код, який використовував none? Перехід на low це лише початок. Виклики інструментів, параметри вибірки та налаштування кешу також потребують змін: Міграція на GPT-6.1 Sol: 9 речей, які можуть піти не так.
• Наскільки краще 6.1 Sol, ніж 6 Sol і Astra? Специфікації та бенчмарки поруч у GPT-6.1 Sol проти GPT-6 Sol: оновлення за один тиждень, яке майже наздоганяє Astra.

Джерела

• OpenAI: Посібник з міркування
• OpenAI: Посібник з міграції GPT-6
• AIHubMix: GPT-6.1 Sol
• AIHubMix: Документація API відповідей
• Vellum: Пояснення бенчмарків GPT-6.1 Sol