Миграция от Claude Haiku 4.5 към 5.5: пет грешки 400 и тихите промени

AIHubMix9 мин четене
Миграция от Claude Haiku 4.5 към 5.5: пет грешки 400 и тихите промени

Смяната на claude-haiku-4-5 с claude-haiku-5-5 е най-малката част от тази миграция. Пет шаблона на заявки, които работеха с Haiku 4.5, сега връщат грешка 400, а няколко други промени не провалят заявка, но променят какво получавате обратно, колко струва и как се държи моделът в рамките на агент.

Anthropic твърди, че съществуващите промптове за Haiku 4.5 трябва да работят добре с Haiku 5.5 без промени. Кодът около тези промптове е друга история. Тази публикация изброява всеки проблем така, както ще го срещнете: какво ще видите, защо се случва и как да го поправите, следвано от контролен списък. Авторитетният източник е ръководството за миграция към Haiku 5.5 на Anthropic.

Диагностика: съпоставете симптома

Какво виждате Причина Корекция
400 при заявка с бюджет за мислене Ръчното мислене е премахнато Адаптивно мислене плюс effort
400 с temperature, top_p или top_k Параметрите за семплиране са заключени Премахнете ги
400, когато съобщенията завършват с ход на асистента Prefill е премахнат Завършете с потребителски ход
400 при компютърна употреба Старият компютърен инструмент е отхвърлен Преминете към компютърния toolset
400 след редактиране на предишни ходове Мисленето е свързано с историята Пазете историята само с добавяне
Парсърът връща празен или грешен текст Блокът с мислене е първи Избирайте блоковете по тип
Отговорът е прекъснат или липсва Мисленето се брои към лимита Увеличете max_tokens или намалете effort
Броят токени и цената нарастват с около 30% Нов токенизатор Преброй наново на новия модел
Отговор с stop reason refusal Нови класификатори за безопасност Обработете го във вашия клиент

Първите пет се провалят шумно. Останалите се провалят тихо, което ги прави по-скъпи за откриване.

Петте шумни грешки

1. Ръчни бюджети за мислене

Какво ще видите: грешка 400 при всяка заявка, която изпраща thinking: {"type": "enabled", "budget_tokens": N}.

Защо: Haiku 4.5 поддържаше ръчно разширено мислене само с токенен бюджет. Haiku 5.5 поддържа само адаптивно мислене и контролира дълбочината чрез effort.

Корекция: изпратете {"type": "adaptive"} или пропуснете thinking и изберете ниво на effort. Когато старият бюджет е бил малък, за да се спестят токени, изберете ниско ниво.

# Before: Haiku 4.5
thinking={"type": "enabled", "budget_tokens": 8000}

# After: Haiku 5.5
thinking={"type": "adaptive"},
output_config={"effort": "medium"},

2. Параметри за семплиране

Какво ще видите: грешка 400, когато заявката задава temperature, top_p или top_k.

Защо: Haiku 5.5 приема само стойностите по подразбиране: temperature от 1 и top_p от 0.99. Всяка друга стойност на който и да е от тях, всеки top_k или изпращането едновременно на temperature и top_p връща 400, независимо дали се използва мислене. top_p със стойност 1 също се отхвърля.

Корекция: премахнете и трите. Типичният случай е temperature=0 при класификатор, използван за стабилни етикети. Заменете го със структуриран изход или с инструмент, чийто вход е enum, така че наборът от етикети се налага чрез схема, а не чрез семплиране. Проверете също SDK обвивки и шлюзове, които добавят стандартни стойности за семплиране от ваше име.

3. Предварително попълване от асистента

Какво ще видите: грешка 400, когато последният елемент в messages е ход на асистента, дори при изключено мислене.

Защо: prefill не се поддържа при Haiku 5.5, в съответствие с останалата част от актуалната линия Claude.

Корекция: завършете messages с потребителски ход и заменете prefill с това, за което е служил. Контролът на формата става структуриран изход (output_config.format). Предварително попълнено въведение става инструкция в системния промпт да отговаря директно. Продължение на прекъснат отговор се премества в потребителското съобщение: "Предишният ти отговор завърши с [текст]. Продължи от там."

4. Компютърна употреба

Какво ще видите: грешка 400 в Claude API или Google Cloud, когато заявката декларира инструмента computer_20250124.

Защо: на тези платформи Haiku 5.5 поддържа компютърна употреба само чрез по-новия toolset, computer_toolset_20260801.

Корекция: премахнете beta заглавката computer-use-2025-01-24, заменете записа на инструмента с {"type": "computer_toolset_20260801"} и актуализирайте цикъла на агента: диспечирайте по name и toolset_name на всеки блок tool_use, а не по input.action, обработвайте всеки такъв блок в ход и върнете toolset_name в резултатите. Zoom е включен по подразбиране; ако средата ви не го поддържа, изключете го в конфигурацията на toolset. В Amazon Bedrock проверете бележките за съвместимост на инструмента за компютърна употреба, преди да изберете версия. Същото семейство toolset-и добавя и browser use, който Haiku 4.5 никога не е имал.

5. Редактиране на предишни ходове

Какво ще видите: грешка 400, когато заявка изпраща обратно блок с мислене, след като нещо преди него се е променило: системният промпт, списъкът с инструменти или предишно съобщение.

Защо: блок с мислене на Haiku 5.5 остава валиден само докато всичко, изпратено преди него, е непроменено. Проверката е налагана по подразбиране за акаунти, създадени на или след 31 август 2026 г., а при по-стари акаунти - само когато заявката изрично се включи в нея.

Корекция: пазете разговорите само с добавяне. Чести виновници са системен промпт с времево клеймо, списък с инструменти, който расте при свързване на плъгин, клиентско съкращаване и напомняния, вмъквани в историята и премахвани при следващия ход. За инструкции за всеки ход Haiku 5.5 поддържа системни съобщения в messages без beta заглавка, които добавят контекст, без да редактират вече казаното.

Тихите грешки

Блоковете с мислене са първи. Мисленето е включено по подразбиране, така че отговорът може да започне с един или повече блока thinking. Код, който чете response.content[0].text като отговор, се чупи или връща празен текст. Избирайте блоковете по type.

Текстът на мисленето е празен по подразбиране. Haiku 4.5 връщаше обобщено мислене. Haiku 5.5 връща блокове thinking с празно текстово поле и само подпис. Ако интерфейсът ви показва обобщения на разсъжденията, задайте thinking: {"type": "adaptive", "display": "summarized"}. Във всеки случай връщайте блоковете с мислене непроменени заедно с резултатите от инструменти; сериализатор, който премахва празни блокове, ги изтрива.

max_tokens сега трябва да покрива мисленето. Лимит, оразмерен за кратък отговор, може да се изчерпи от мислене, като отговорът завърши с stop_reason: "max_tokens", преди да има текст. Увеличете лимита или намалете effort.

Същият текст е около 30% повече токени. Новият токенизатор променя полетата usage, резултатите от count_tokens, бюджетите на контекста и всеки max_tokens, настроен за Haiku 4.5. Той също премества границата от 100K токена на цена към около 77K токена според начина, по който Haiku 4.5 ги броеше. Преброете реалните промпти с модел claude-haiku-5-5, преди да се доверите на табло с разходи.

Effort по подразбиране е medium. Haiku 4.5 нямаше настройка за effort. Haiku 5.5 използва по подразбиране medium, което може да е повече мислене, отколкото е нужно за прост маршрут. Задайте го изрично.

Блоковете с мислене остават при акаунта, който ги е създал. Ако услугата ви пуска запазени разговори през друг API акаунт, блоковете с мислене на Haiku 5.5 се отхвърлят мълчаливо и заявката се изпълнява без това разсъждение. Пускайте всеки разговор през акаунта, който го е създал.

Priority Tier не се пренася. Haiku 5.5 не поддържа Priority Tier, затова планирайте капацитета отделно, ако разчитате на него за Haiku 4.5.

Промени в поведението, важни за агенти с реални права

Отказите са нови и нищо няма да ги улови вместо вас. Haiku 5.5 използва класификатори за безопасност в четири категории: кибер, био, разработка на водещи LLM и общи вреди. Отказ се връща като нормален HTTP 200 с stop_reason: "refusal" и категория в stop_details. Haiku 5.5 няма резервен модел от страна на сървъра: списък с резервни модели връща 400, а режимът по подразбиране оставя заявката отхвърлена. Проверявайте stop_reason преди да четете content и решете във вашия код дали да перифразирате, да ескалирате към по-голям модел или да спрете. Според публикацията за пускането кибер предпазните мерки позволяват по-широк обхват защитна работа от тези на Sonnet 5.5, но блокират тестовете за проникване.

Потребителският текст във вътрешността на резултати от инструменти може да бъде игнориран. Haiku 5.5 е обучен да устоява на prompt injection през резултати от инструменти. Ако вашата среда доставя съобщение, написано от потребителя по време на задачата, във вътрешността на блок tool_result, моделът може да го третира като недоверено и да го игнорира. Поставяйте потребителския вход в текстов блок след последния резултат от инструмент, а системните известия пазете в отделно системно съобщение.

При нисък effort агентите могат да спрат рано или да пропуснат проверки. С дълъг системен промпт за кодиращ агент при low Haiku 5.5 понякога връща задачата, преди да е завършена, а при low и medium понякога докладва промяна в кода като готова, без да пусне тест. В ръководството за промптове на Anthropic за Haiku 5.5 има кратки инструкции за двата случая. За агент, който може да пише файлове или да изпълнява команди, непроверено "готово" е по-опасното от двете.

Принуждаването на инструмент пропуска мисленето. Принудителният tool_choice все още се приема, но моделът тогава извиква инструмента, без първо да мисли. За инструменти със странични ефекти auto плюс ясна инструкция позволява на модела да разсъждава преди действие.

Инструментите за търсене се нуждаят от днешната дата. Когато Haiku 5.5 има инструмент за търсене, задайте текущата дата в системния промпт или в описанието на инструмента. В тестовете на Anthropic това наложи отговорите да се базират на актуални резултати.

Мигрирана заявка през AIHubMix

Класификатор за Haiku 4.5, който използваше temperature=0 и предварително попълнено { за JSON, пренаписан за Haiku 5.5 през нативната Claude крайна точка на AIHubMix:

import os
import anthropic

client = anthropic.Anthropic(
    api_key=os.environ["AIHUBMIX_API_KEY"],
    base_url="https://aihubmix.com",
)

r = client.messages.create(
    model="claude-haiku-5-5",
    max_tokens=2000,                     # room for thinking plus the JSON
    output_config={
        "effort": "low",                 # thinking is on by default; keep it light
        "format": {                      # replaces the prefill and temperature=0
            "type": "json_schema",
            "schema": {
                "type": "object",
                "properties": {
                    "label": {"type": "string", "enum": ["billing", "bug", "other"]}
                },
                "required": ["label"],
                "additionalProperties": False,
            },
        },
    },
    messages=[{"role": "user", "content": "Ticket: 'I was charged twice for October.'"}],
)

if r.stop_reason == "refusal":
    raise RuntimeError(f"declined: {r.stop_details}")
text = next(b.text for b in r.content if b.type == "text")
print(text)

Заслужава да проверите при първото тестово изпълнение дали шлюзът предава полетата output_config и по-новите beta заглавки непроменени. Когато мигрираният маршрут премине вашите оценки, списъкът с модели на AIHubMix улеснява насочването на същия код към Sonnet 5.5 за всеки тип задача, която продължава да се проваля на Haiku.

Контролен списък за миграция

  1. Сменете ID на модела с claude-haiku-5-5, без суфикс с дата.
  2. Заменете всеки бюджет за мислене с адаптивно мислене и изричено ниво на effort.
  3. Премахнете temperature, top_p и top_k, включително стойностите по подразбиране, добавени от обвивки.
  4. Замете асистентските префилове със структуриран изход, системни инструкции или продължения в потребителския ход.
  5. Преместете компютърната употреба в инструментариума за компютър и актуализирайте цикъла на агента.
  6. Направете историята на разговора само за добавяне, ако блоковете с мислене се повторно изпращат.
  7. Четете съдържанието на отговора по тип блок и запазвайте празните блокове с мислене при повторно изпращане.
  8. Увеличете max_tokens при маршрутите с кратки отговори или намалете effort.
  9. Обработвайте причината за спиране refusal, преди да четете съдържанието; не конфигурирайте резервни варианти от страна на сървъра.
  10. Преброете отново входните токени на новия модел и пренастройте таблата за разходи.
  11. Проверете кои промпти вече надхвърлят 100K токена и ги съкратете или разделете.
  12. Задайте display на summarized, ако потребителите са виждали обобщения на разсъжденията.
  13. Доставяйте въвеждането на потребителя по средата на хода извън резултатите от инструментите.
  14. Подайте на агентите с търсене днешната дата.
  15. Проверете отново лимитите на заявките и нуждата от Priority Tier, преди да прехвърлите обема.

Често задавани въпроси

Ще работят ли моите промптове за Haiku 4.5 на Haiku 5.5?
Anthropic казва, че съществуващите промптове трябва да работят добре без промени. Параметрите на заявката около тях са това, което се чупи: бюджетите за мислене, настройките за семплиране, префилovete и старият инструмент за компютърна употреба връщат грешки.

Защо моят класификатор се проваля сега, след като премахнах temperature 0?
Не би трябвало да се проваля, но етикетите може да варират повече. Използвайте структуриран изход или инструмент с поле enum, за да се налагат разрешените етикети чрез схемата. Това е по-надеждно, отколкото някога е бил temperature 0.

Мога ли все още да изключа мисленето?
Да, при effort low, medium и high. При xhigh и max изключването на мисленето връща грешка. Anthropic препоръчва вместо това по-нисško ниво на effort, тъй като моделът може сам да пропусне мисленето при прости заявки.

Какво трябва да прави кодът ми, когато Haiku 5.5 откаже?
Проверете причината за спиране, преди да четете съдържанието. Haiku 5.5 няма резервен вариант от страна на сървъра, така че вашият код решава дали да перефразира, да изпрати заявката към по-голям модел или да върне грешка на потребителя.

Защо използването на токени се увеличи след миграцията?
Две причини. Новият токенизатор брои около 30% повече токени за същия текст, а мисленето е включено по подразбиране и добавя изходни токени. Намалете effort и преброете отново промптовете си на новия модел.

Трябва ли да променя нещо за кеширане на промптове?
Обикновено не, а и става по-лесно: според ръководството на Anthropic за миграция минималният кешируем промпт пада от 4096 на 512 токена, а блоковете с мислене от предишни ходове остават в кешираната префиксна част по подразбиране. Избягвайте редактиране на предишни ходове, тъй като то сега анулира както блоковете с мислене, така и кеша.

Може ли разговор да се премести от Haiku 5.5 към по-голям модел?
Да, самият разговор се прехвърля. Дали предишните блокове с мислене на Haiku 5.5 също се прехвърлят, зависи от целевия модел, затова проверете документацията на Anthropic за запазеното мислене, преди да разчитате на това.

Продължете с четенето: серията Claude Haiku 5.5

  • Преди да планирате миграцията, е полезно да знаете дали новият модел отговаря на вашите изисквания за качество. За бенчмаркове срещу Haiku 4.5, GPT-6 Luna и Sonnet 5.5 прочетете Claude Haiku 5.5 vs Haiku 4.5: What Ten Cents Now Buys
  • Стъпка 2 от списъка ви моли да изберете ниво на effort. За това колко струва всяко ниво в токени и откъде да започнете прочетете Claude Haiku 5.5 Effort Levels: Medium Is the Default, Low Is Often Enough
  • Промяната на токенизатора мести ценовата граница, но и таблата ви. За да видите какво означава това за реална сметка, прочетете Claude Haiku 5.5 Pricing: The 100K Line Behind the 90% Cut

Източници

Един шлюз към множество AI доставчици. Създаден за продукционна среда.

Посетете AIHubMix