Міграція з Claude Haiku 4.5 на 5.5: п'ять помилок 400 і тихі зміни

AIHubMix9 хв читання
Міграція з Claude Haiku 4.5 на 5.5: п'ять помилок 400 і тихі зміни

Заміна claude-haiku-4-5 на claude-haiku-5-5 є найменшою частиною цієї міграції. П'ять шаблонів запитів, які працювали на Haiku 4.5, тепер повертають помилку 400, а кілька інших змін не призводять до збою запиту, але змінюють отриману відповідь, її вартість або поведінку моделі всередині агента.

Anthropic стверджує, що наявні промпти для Haiku 4.5 мають добре працювати на Haiku 5.5 без змін. Код запитів навколо цих промптів — інша історія. Цей пост перелічує кожну проблему так, як ви з нею зіткнетеся: що побачите, чому це відбувається і як виправити, а наприкінці наведено чек-лист. Авторитетне джерело — посібник з міграції Haiku 5.5 від Anthropic.

Триаж: зіставте симптом

Що ви бачите Причина Виправлення
400 на запит із бюджетом міркувань Ручне мислення вилучено Адаптивне мислення плюс effort
400 з temperature, top_p або top_k Параметри семплювання заблоковано Видаліть їх
400, коли повідомлення закінчуються ходом асистента Префілл вилучено Завершуйте ходом користувача
400 у computer use Старий інструмент для комп'ютера відхилено Перейдіть на набір інструментів для комп'ютера
400 після редагування попередніх ходів Мислення прив'язане до історії Зберігайте історію лише з додаванням у кінець
Парсер повертає порожній або неправильний текст Блок мислення стоїть першим Вибирайте блоки за типом
Відповідь обрізано або її немає Мислення враховується в ліміті Збільште max_tokens або знизьте effort
Кількість токенів і вартість зростають приблизно на 30% Новий токенізатор Перерахуйте на новій моделі
Відповідь зі stop reason refusal Нові класифікатори безпеки Обробляйте це у своєму клієнті

Перші п'ять збоїв є очевидними. Решта проявляється тихо, тому знаходити їх дорожче.

П'ять гучних збоїв

1. Ручні бюджети мислення

Що ви побачите: помилку 400 на будь-який запит, який надсилає thinking: {"type": "enabled", "budget_tokens": N}.

Чому: Haiku 4.5 підтримував ручне розширене мислення лише з бюджетом токенів. Haiku 5.5 підтримує лише адаптивне мислення і регулює глибину за допомогою effort.

Виправлення: надсилайте {"type": "adaptive"} або не вказуйте thinking, а також оберіть рівень effort. Якщо старий бюджет був малим, щоб заощадити токени, оберіть низький рівень.

# Before: Haiku 4.5
thinking={"type": "enabled", "budget_tokens": 8000}

# After: Haiku 5.5
thinking={"type": "adaptive"},
output_config={"effort": "medium"},

2. Параметри семплювання

Що ви побачите: помилку 400, якщо запит задає temperature, top_p або top_k.

Чому: Haiku 5.5 приймає лише значення за замовчуванням: temperature 1 і top_p 0.99. Будь-яке інше значення будь-якого з них, будь-який top_k або одночасне надсилання temperature і top_p повертає 400, незалежно від того, чи використовується мислення. Навіть top_p зі значенням 1 відхиляється.

Виправлення: видаліть усі три параметри. Типовий випадок — temperature=0 у класифікаторі, який використовували для стабільних міток. Замініть його структурованим виводом або інструментом, чий вхід є переліком (enum), щоб набір міток забезпечувався схемою, а не семплюванням. Також перевірте SDK-обгортки та шлюзи, які самі додають значення семплювання за замовчуванням.

3. Префілл відповіді асистента

Що ви побачите: помилку 400, коли останнім елементом у messages є хід асистента, навіть якщо мислення вимкнено.

Чому: префілл не підтримується в Haiku 5.5, як і в решти поточної лінійки Claude.

Виправлення: завершуйте messages ходом користувача і замініть префілл тим, для чого він використовувався. Керування форматом переходить до структурованого виводу (output_config.format). Заздалегідь заповнена преамбула стає інструкцією в системному промпті відповідати одразу. Продовження перерваної відповіді переноситься в повідомлення користувача: «Твоя попередня відповідь закінчувалася на [текст]. Продовж звідти».

4. Computer use

Що ви побачите: помилку 400 у Claude API або Google Cloud, коли запит оголошує інструмент computer_20250124.

Чому: на цих платформах Haiku 5.5 підтримує computer use лише через новіший набір інструментів computer_toolset_20260801.

Виправлення: приберіть beta-заголовок computer-use-2025-01-24, замініть запис інструмента на {"type": "computer_toolset_20260801"} і оновіть цикл агента: диспетчеризуйте за name і toolset_name кожного блоку tool_use, а не за input.action, обробляйте кожен такий блок у ході та повертайте toolset_name у результатах. Масштабування увімкнено за замовчуванням; якщо ваше середовище його не реалізує, вимкніть його в конфігурації набору інструментів. На Amazon Bedrock перевірте примітки щодо сумісності інструмента computer use перед вибором версії. Ця родина наборів також додає browser use, якого не було в Haiku 4.5.

5. Редагування попередніх ходів

Що ви побачите: помилку 400, коли запит повертає блок мислення після того, як щось перед ним змінилося: системний промпт, список інструментів або попереднє повідомлення.

Чому: блок мислення Haiku 5.5 залишається дійсним лише тоді, коли все, що надсилалося раніше, не змінилося. Перевірка застосовується за замовчуванням для акаунтів, створених 31 серпня 2026 року або пізніше, а для старіших акаунтів — лише якщо запит її явно ввімкне.

Виправлення: тримайте розмови лише з додаванням у кінець. Типові причини: системний промпт із міткою часу, список інструментів, який зростає після підключення плагіна, клієнтське обрізання історії та нагадування, які вставляються в історію і видаляються на наступному ході. Для інструкцій на кожен хід Haiku 5.5 підтримує системні повідомлення всередині messages без beta-заголовка; вони додають контекст, не змінюючи попередні повідомлення.

Тихі збої

Блоки мислення стоять першими. Мислення увімкнено за замовчуванням, тому відповідь може починатися з одного або кількох блоків thinking. Код, який читає response.content[0].text як відповідь, ламається або повертає порожній текст. Вибирайте блоки за type.

Текст мислення за замовчуванням порожній. Haiku 4.5 повертав підсумоване мислення. Haiku 5.5 повертає блоки thinking з порожнім полем тексту та лише підписом. Якщо ваш інтерфейс показував підсумки міркувань, задайте thinking: {"type": "adaptive", "display": "summarized"}. У будь-якому разі передавайте блоки мислення назад без змін разом із результатами інструментів; серіалізатор, який відкидає порожні блоки, їх видаляє.

Тепер max_tokens має покривати мислення. Ліміт, розрахований на коротку відповідь, може бути вичерпаний мисленням, і відповідь завершиться з stop_reason: "max_tokens" ще до появи тексту. Збільште ліміт або знизьте effort.

Той самий текст займає приблизно на 30% більше токенів. Новий токенізатор змінює поля usage, результати count_tokens, бюджети контексту та будь-які значення max_tokens, підібрані для Haiku 4.5. Він також переміщує межу ціни 100K токенів приблизно до 77K токенів у тому вигляді, як їх рахував Haiku 4.5. Перерахуйте реальні промпти з моделлю claude-haiku-5-5, перш ніж довіряти панелі витрат.

Effort за замовчуванням — medium. Haiku 4.5 не мав налаштування effort. Haiku 5.5 за замовчуванням використовує medium, що може бути більше мислення, ніж потрібно для простого маршруту. Задайте значення явно.

Блоки мислення належать акаунту, який їх створив. Якщо ваш сервіс відтворює збережені розмови через інший акаунт API, блоки мислення Haiku 5.5 тихо відкидаються, і запит виконується без цього міркування. Відтворюйте кожну розмову через акаунт, який її створив.

Priority Tier не переноситься. Haiku 5.5 не підтримує Priority Tier, тому плануйте потужності окремо, якщо ви покладалися на нього для Haiku 4.5.

Зміни поведінки, важливі для агентів із реальними правами доступу

Відмови тепер є, і ніщо їх за вас не перехоплює. Haiku 5.5 використовує класифікатори безпеки в чотирьох категоріях: кібербезпека, біо, розробка frontier LLM і загальні шкоди. Відмова повертається як звичайна HTTP 200 з stop_reason: "refusal" і категорією в stop_details. Haiku 5.5 не має серверного резервного механізму: список резервних моделей повертає 400, а режим резерву за замовчуванням залишає запит відхиленим. Перевіряйте stop_reason перед читанням content і вирішуйте у своєму коді, чи переформулювати запит, передати його більшій моделі або зупинитися. Згідно з анонсом, кіберзахист дозволяє ширший спектр оборонних завдань, ніж у Sonnet 5.5, але блокує тестування на проникнення.

Текст користувача всередині результатів інструментів може ігноруватися. Haiku 5.5 навчений опиратися промпт-ін'єкціям через результати інструментів. Якщо ваш harness передає повідомлення, яке користувач написав під час завдання, всередині блоку tool_result, модель може вважати його ненадійним і проігнорувати. Розміщуйте введення користувача посеред ходу в текстовому блоці після останнього результату інструмента, а службові повідомлення harness тримайте в окремому системному повідомленні.

На низькому effort агенти можуть зупинитися раніше або пропустити перевірки. Із довгим системним промптом для кодувального агента на low Haiku 5.5 іноді повертає завдання до його завершення, а на low і medium іноді повідомляє про зміну коду як готову без запуску тесту. В посібнику з промптингу Haiku 5.5 від Anthropic є короткі інструкції для обох випадків. Для агента, який може записувати файли або запускати команди, неперевірене «готово» є небезпечнішим із двох.

Примусовий виклик інструмента пропускає мислення. Примусовий tool_choice все ще приймається, але модель тоді викликає інструмент без попереднього мислення. Для інструментів із побічними ефектами auto разом із чіткою інструкцією дає моделі змогу міркувати перед дією.

Пошуковим інструментам потрібна поточна дата. Якщо в Haiku 5.5 є пошуковий інструмент, вкажіть поточну дату в системному промпті або в описі інструмента. За тестами Anthropic, це дозволяло прив'язувати відповіді до свіжих результатів.

Мігрований запит через AIHubMix

Класифікатор для Haiku 4.5, який використовував temperature=0 і префілл { для JSON, переписаний для Haiku 5.5 через нативний ендпоінт Claude від AIHubMix:

import os
import anthropic

client = anthropic.Anthropic(
    api_key=os.environ["AIHUBMIX_API_KEY"],
    base_url="https://aihubmix.com",
)

r = client.messages.create(
    model="claude-haiku-5-5",
    max_tokens=2000,                     # room for thinking plus the JSON
    output_config={
        "effort": "low",                 # thinking is on by default; keep it light
        "format": {                      # replaces the prefill and temperature=0
            "type": "json_schema",
            "schema": {
                "type": "object",
                "properties": {
                    "label": {"type": "string", "enum": ["billing", "bug", "other"]}
                },
                "required": ["label"],
                "additionalProperties": False,
            },
        },
    },
    messages=[{"role": "user", "content": "Ticket: 'I was charged twice for October.'"}],
)

if r.stop_reason == "refusal":
    raise RuntimeError(f"declined: {r.stop_details}")
text = next(b.text for b in r.content if b.type == "text")
print(text)

Варто перевірити під час першого тестового запуску, чи шлюз передає поля output_config і новіші beta-заголовки без змін. Коли мігрований маршрут проходить ваші евали, список моделей AIHubMix дозволяє легко перенаправити той самий код на Sonnet 5.5 для будь-якого типу завдань, який постійно не вдається на Haiku.

Чек-лист міграції

  1. Змініть ID моделі на claude-haiku-5-5 без суфікса дати.
  2. Замініть кожен бюджет мислення на адаптивне мислення з явним рівнем effort.
  3. Видаліть temperature, top_p і top_k, включно зі значеннями за замовчуванням, які додають обгортки.
  4. Замініть префіли асистента структурованим виводом, системними інструкціями або продовженням у ході користувача.
  5. Перенесіть комп'ютерне використання до набору інструментів computer і оновіть цикл агента.
  6. Якщо блоки thinking відтворюються, робіть історію розмови лише доданою в кінець (append-only).
  7. Читайте вміст відповіді за типом блоку та зберігайте порожні блоки thinking під час відтворення.
  8. Підвищіть max_tokens на маршрутах із короткими відповідями або знизьте effort.
  9. Обробляйте причину зупинки refusal до читання вмісту; не налаштовуйте серверні резервні варіанти (fallback).
  10. Перерахуйте токени промпту для нової моделі та заново встановіть базові значення панелей витрат.
  11. Перевірте, які промпти тепер перевищують 100K токенів, і скоротіть їх або розділіть.
  12. Встановіть display на summarized, якщо користувачі бачили підсумки міркувань.
  13. Передавайте введення користувача, яке надходить посеред ходу, поза результатами інструментів.
  14. Вкажіть агентам з увімкненим пошуком сьогоднішню дату.
  15. Повторно перевірте ліміти швидкості та потреби в Priority Tier перед перенесенням обсягу.

Часті запитання

Чи працюватимуть мої промпти Haiku 4.5 на Haiku 5.5?
Anthropic стверджує, що наявні промпти мають працювати добре без змін. Ламаються параметри запиту навколо них: бюджети thinking, налаштування семплювання, префіли та старий інструмент комп'ютерного використання. Усі вони повертають помилки.

Чому мій класифікатор перестав працювати після того, як я прибрав temperature 0?
Він не повинен ламатися, але мітки можуть варіюватися більше. Використовуйте структурований вивід або інструмент із полем enum, щоб дозволені мітки забезпечувалися схемою. Це надійніше, ніж будь-коли був temperature 0.

Чи можна все ще вимкнути thinking?
Так, на рівнях effort low, medium і high. На xhigh і max вимкнення thinking повертає помилку. Anthropic натомість рекомендує нижчий рівень effort, оскільки модель може сама пропускати thinking у простих запитах.

Що має робити мій код, коли Haiku 5.5 відмовляє?
Перевіряйте причину зупинки перед читанням вмісту. Haiku 5.5 не має серверного резервного варіанту, тому ваш код вирішує, чи переформулювати запит, надіслати його більшій моделі чи повернути користувачу помилку.

Чому після міграції зросло використання токенів?
Є дві причини. Новий токенізатор рахує приблизно на 30% більше токенів для того самого тексту, а thinking увімкнено за замовчуванням, що додає вихідні токени. Знизьте effort і перерахуйте свої промпти для нової моделі.

Чи потрібно щось змінювати для кешування промптів?
Зазвичай ні, і стає простіше: згідно з посібником з міграції Anthropic, мінімальний кешований промпт зменшується з 4 096 до 512 токенів, а блоки thinking з попередніх ходів за замовчуванням залишаються в кешованому префіксі. Уникайте редагування попередніх ходів, адже це анулює блоки thinking і кеш.

Чи може розмова перейти від Haiku 5.5 до більшої моделі?
Так, сама розмова переноситься. Чи переносяться й попередні блоки thinking Haiku 5.5, залежить від цільової моделі, тож перевірте документацію Anthropic щодо збережених блоків thinking, перш ніж на них покладатися.

Читайте далі: серія Claude Haiku 5.5

Джерела

Один шлюз до багатьох провайдерів ШІ. Створено для продакшену.

Перейти на AIHubMix