Migreren van Claude Haiku 4.5 naar 5.5: vijf 400-fouten en de stille wijzigingen

AIHubMix9 min leestijd
Migreren van Claude Haiku 4.5 naar 5.5: vijf 400-fouten en de stille wijzigingen

Het wijzigen van claude-haiku-4-5 naar claude-haiku-5-5 is het kleinste deel van deze migratie. Vijf requestpatronen die op Haiku 4.5 werkten, geven nu een 400-fout terug, en verschillende andere wijzigingen laten geen request mislukken, maar veranderen wel wat je terugkrijgt, wat het kost of hoe het model zich gedraagt binnen een agent.

Anthropic zegt dat bestaande Haiku 4.5-prompts zonder wijzigingen goed op Haiku 5.5 zouden moeten werken. De requestcode rond die prompts is een ander verhaal. Dit bericht beschrijft elk probleem zoals je het tegenkomt: wat je ziet, waarom het gebeurt en hoe je het oplost, gevolgd door een checklist. De gezaghebbende referentie is Anthropics Haiku 5.5-migratiegids.

Triage: zoek het symptoom

Wat je ziet Oorzaak Oplossing
400 bij een request met een thinking-budget Handmatig denken verwijderd Adaptief denken plus effort
400 bij temperature, top_p of top_k Samplingparameters vergrendeld Verwijder ze
400 wanneer messages eindigt op een assistant-beurt Prefill verwijderd Eindig op een user-beurt
400 bij computer use Oude computertool geweigerd Overstappen naar de computer-toolset
400 na het bewerken van eerdere beurten Thinking gebonden aan geschiedenis Houd geschiedenis alleen-toevoegen
Parser geeft lege of verkeerde tekst terug Thinking-blok staat vooraan Selecteer blokken op type
Antwoord afgekapt of ontbrekend Thinking telt mee voor de limiet Verhoog max_tokens of verlaag effort
Tokentellingen en kosten stijgen met ongeveer 30% Nieuwe tokenizer Tel opnieuw met het nieuwe model
Antwoord met stop reason refusal Nieuwe veiligheidsclassificaties Verwerk het in je client

De eerste vijf falen luid. De rest faalt stilzwijgend, wat het duurder maakt om ze te vinden.

De vijf luide fouten

1. Handmatige thinking-budgetten

Wat je ziet: een 400 bij elk request dat thinking: {"type": "enabled", "budget_tokens": N} stuurt.

Waarom: Haiku 4.5 ondersteunde alleen handmatig uitgebreid denken met een tokenbudget. Haiku 5.5 ondersteunt alleen adaptief denken en regelt de diepte met effort.

Oplossing: stuur {"type": "adaptive"} of laat thinking weg, en kies een effortniveau. Als het oude budget klein was om tokens te besparen, kies dan een laag niveau.

# Before: Haiku 4.5
thinking={"type": "enabled", "budget_tokens": 8000}

# After: Haiku 5.5
thinking={"type": "adaptive"},
output_config={"effort": "medium"},

2. Samplingparameters

Wat je ziet: een 400 wanneer een request temperature, top_p of top_k instelt.

Waarom: Haiku 5.5 accepteert alleen de standaardwaarden: temperature van 1 en top_p van 0,99. Elke andere waarde van een van beide, elke top_k, of het tegelijk sturen van temperature en top_p geeft een 400, ongeacht of thinking wordt gebruikt. Een top_p van 1 wordt ook geweigerd.

Oplossing: verwijder alle drie. Het gangbare geval is temperature=0 bij een classifier, gebruikt om stabiele labels te krijgen. Vervang dit door gestructureerde output of een tool waarvan de invoer een enum is, zodat de labelset via het schema wordt afgedwongen in plaats van via sampling. Controleer ook SDK-wrappers en gateways die namens jou standaard samplingwaarden toevoegen.

3. Assistant-prefill

Wat je ziet: een 400 wanneer het laatste item in messages een assistant-beurt is, ook met thinking uit.

Waarom: prefill wordt niet ondersteund op Haiku 5.5, net als bij de rest van de huidige Claude-lijn.

Oplossing: laat messages eindigen met een user-beurt en vervang de prefill door waarvoor die diende. Opmaakcontrole wordt gestructureerde output (output_config.format). Een vooraf ingevulde inleiding wordt een instructie in de systeemprompt om direct te antwoorden. Een voortzetting van een onderbroken antwoord verhuist naar het usericbericht: "Je vorige antwoord eindigde met [tekst]. Ga daar verder."

4. Computer use

Wat je ziet: een 400 op de Claude API of Google Cloud wanneer het request de tool computer_20250124 declareert.

Waarom: op die platforms ondersteunt Haiku 5.5 computer use alleen via de nieuwere toolset, computer_toolset_20260801.

Oplossing: laat de beta-header computer-use-2025-01-24 weg, vervang het toolitem door {"type": "computer_toolset_20260801"} en werk de agentloop bij: verwerk elk tool_use-blok op basis van zijn name en toolset_name in plaats van op input.action, behandel elk zo'n blok in een beurt, en herhaal toolset_name in de resultaten. Zoomen staat standaard aan; als je omgeving dit niet implementeert, schakel het uit in de toolsetconfiguratie. Controleer bij Amazon Bedrock de compatibiliteitsnotities van de computer use-tool voordat je een versie kiest. Dezelfde toolsetfamilie brengt ook browser use mee, wat Haiku 4.5 nooit had.

5. Eerdere beurten bewerken

Wat je ziet: een 400 wanneer een request een thinking-blok terugstuurt nadat iets ervoor is veranderd: de systeemprompt, de toollijst of een eerder bericht.

Waarom: een thinking-blok van Haiku 5.5 blijft alleen geldig zolang alles dat er eerder naartoe is gestuurd ongewijzigd blijft. De controle wordt standaard afgedwongen voor accounts die op of na 31 augustus 2026 zijn aangemaakt, en op oudere accounts alleen wanneer een request ervoor kiest.

Oplossing: houd gesprekken alleen-toevoegen. Veelvoorkomende boosdoeners zijn een systeemprompt met een tijdstempel, een toollijst die groeit wanneer een plugin verbinding maakt, troncatie aan clientzijde, en herinneringen die in de geschiedenis worden geïnjecteerd en bij de volgende beurt worden verwijderd. Voor instructies per beurt ondersteunt Haiku 5.5 systeemberichten binnen messages, zonder beta-header, die context toevoegen zonder wat eerder kwam te bewerken.

De stille fouten

Thinking-blokken staan vooraan. Thinking staat standaard aan, dus een antwoord kan beginnen met een of meer thinking-blokken. Code die response.content[0].text als antwoord leest, breekt of geeft lege tekst terug. Selecteer blokken op type.

De thinking-tekst is standaard leeg. Haiku 4.5 gaf samengevatte thinking terug. Haiku 5.5 geeft thinking-blokken terug met een leeg tekstveld en alleen een handtekening. Als je UI redeneringssamenvattingen toonde, stel dan thinking: {"type": "adaptive", "display": "summarized"} in. In beide gevallen stuur je thinking-blokken ongewijzigd terug bij toolresultaten; een serializer die lege blokken weglaat, verwijdert ze.

max_tokens moet nu thinking dekken. Een limiet die is afgestemd op een kort antwoord kan worden opgebruikt door thinking, waardoor het antwoord eindigt met stop_reason: "max_tokens" voordat er tekst is. Verhoog de limiet of verlaag effort.

Dezelfde tekst kost ongeveer 30% meer tokens. De nieuwe tokenizer verandert usage-velden, count_tokens-resultaten, contextbudgetten en elke max_tokens die voor Haiku 4.5 was afgesteld. Ook verschuift de prijsgrens van 100K tokens naar ongeveer 77K tokens, geteld zoals Haiku 4.5 ze telde. Tel echte prompts opnieuw met het model ingesteld op claude-haiku-5-5 voordat je een kostendashboard vertrouwt.

De standaard effort is medium. Haiku 4.5 had geen effortinstelling. Haiku 5.5 staat standaard op medium, wat meer denken kan zijn dan een eenvoudige route nodig heeft. Stel het expliciet in.

Thinking-blokken blijven bij het account dat ze maakte. Als je service opgeslagen gesprekken via een ander API-account opnieuw afspeelt, worden de thinking-blokken van Haiku 5.5 stilzwijgend weggelaten en draait het request zonder die redenering. Speel elk gesprek opnieuw af via het account dat het heeft geproduceerd.

Priority Tier werkt niet meer mee. Haiku 5.5 ondersteunt Priority Tier niet, dus plan de capaciteit apart als je dat voor Haiku 4.5 gebruikt.

Gedragswijzigingen die ertoe doen voor agents met echte rechten

Weigeringen zijn nieuw, en niets vangt ze voor je op. Haiku 5.5 draait veiligheidsclassificaties in vier categorieën: cyber, bio, ontwikkeling van frontier-LLM's en algemene schade. Een weigering komt terug als een normale HTTP 200 met stop_reason: "refusal" en een categorie in stop_details. Haiku 5.5 heeft geen fallback aan serverzijde: een lijst met fallbackmodellen geeft een 400, en de standaard fallbackmodus laat het request geweigerd. Controleer stop_reason voordat je content leest, en beslis in je eigen code of je het herformuleert, escaleert naar een groter model of stopt. Volgens de lanceringspost staan de cyberbeveiligingen een breder scala aan defensief werk toe dan die van Sonnet 5.5, maar blokkeren ze penetratietests.

Gebruikerstekst in toolresultaten kan worden genegeerd. Haiku 5.5 is getraind om prompt injection via toolresultaten te weerstaan. Als je harness een bericht dat de gebruiker tijdens een taak typte binnen een tool_result-blok levert, kan het model dit als onbetrouwbaar beschouwen en negeren. Zet invoer van de gebruiker midden in een beurt in een tekstblok na het laatste toolresultaat, en houd meldingen van de harness in een apart systeembericht.

Op lage effort kunnen agents vroegtijdig stoppen of controles overslaan. Met een lange systeemprompt voor een coding-agent op low geeft Haiku 5.5 soms de taak terug voordat die af is, en op low en medium meldt het soms een codewijziging als klaar zonder een test te draaien. Anthropics Haiku 5.5-promptinggids bevat korte instructies voor beide. Voor een agent die bestanden kan schrijven of commando's kan draaien, is een ongeverifieerd "klaar" het gevaarlijkst van de twee.

Een tool forceren slaat thinking over. Geforceerde tool_choice wordt nog steeds geaccepteerd, maar het model roept de tool dan aan zonder eerst te denken. Voor tools met bijwerkingen laat auto plus een duidelijke instructie het model redeneren voordat het handelt.

Zoektools hebben de datum van vandaag nodig. Wanneer Haiku 5.5 een zoektool heeft, geef het de huidige datum in de systeemprompt of in de toolbeschrijving. In Anthropics tests zorgde dit ervoor dat antwoorden op recente resultaten waren gebaseerd.

Een gemigreerd request via AIHubMix

Een Haiku 4.5-classifier die temperature=0 en een vooraf ingevulde { voor JSON gebruikte, herschreven voor Haiku 5.5 op het AIHubMix Claude native endpoint:

import os
import anthropic

client = anthropic.Anthropic(
    api_key=os.environ["AIHUBMIX_API_KEY"],
    base_url="https://aihubmix.com",
)

r = client.messages.create(
    model="claude-haiku-5-5",
    max_tokens=2000,                     # room for thinking plus the JSON
    output_config={
        "effort": "low",                 # thinking is on by default; keep it light
        "format": {                      # replaces the prefill and temperature=0
            "type": "json_schema",
            "schema": {
                "type": "object",
                "properties": {
                    "label": {"type": "string", "enum": ["billing", "bug", "other"]}
                },
                "required": ["label"],
                "additionalProperties": False,
            },
        },
    },
    messages=[{"role": "user", "content": "Ticket: 'I was charged twice for October.'"}],
)

if r.stop_reason == "refusal":
    raise RuntimeError(f"declined: {r.stop_details}")
text = next(b.text for b in r.content if b.type == "text")
print(text)

Of een gateway output_config-velden en nieuwere beta-headers ongewijzigd doorstuurt, is het waard om bij je eerste testrun te controleren. Wanneer de gemigreerde route je evaluaties doorstaat, maakt de AIHubMix-modellijst het eenvoudig om dezelfde code voor elk taaktype dat blijft mislukken op Haiku naar Sonnet 5.5 te laten wijzen.

Migratiechecklist

  1. Wijzig de model-ID naar claude-haiku-5-5, zonder datumsuffix.
  2. Vervang elk thinking-budget door adaptief denken en een expliciet effortniveau.
  3. Verwijder temperature, top_p en top_k, inclusief standaardwaarden die door wrappers zijn toegevoegd.
  4. Vervang assistant-prefills door gestructureerde output, systeeminstructies of continuaties in de user-beurt.
  5. Verplaats computer use naar de computer-toolset en werk de agent-loop bij.
  6. Maak de gespreksgeschiedenis alleen-toevoegbaar als thinking-blocks opnieuw worden afgespeeld.
  7. Lees de responsinhoud per bloktype en behoud lege thinking-blocks bij het opnieuw afspelen.
  8. Verhoog max_tokens op routes met korte antwoorden, of verlaag effort.
  9. Verwerk de stop reason refusal voordat je de inhoud leest; configureer geen fallbacks aan de serverkant.
  10. Tel de prompttokens opnieuw op het nieuwe model en stel de kostendashboards opnieuw in als basislijn.
  11. Controleer welke prompts nu de 100K-tokengrens overschrijden en kort ze in of splits ze.
  12. Stel display in op summarized als gebruikers redeneersamenvattingen zagen.
  13. Lever invoer van de gebruiker midden in een beurt aan buiten de toolresultaten.
  14. Geef agents met zoekfunctie vandaag de datum.
  15. Controleer de rate limits en of je Priority Tier nodig hebt voordat je volume verplaatst.

FAQ

Werken mijn Haiku 4.5-prompts op Haiku 5.5?
Anthropic zegt dat bestaande prompts zonder wijzigingen goed moeten werken. De requestparameters eromheen zijn wat breekt: thinking-budgetten, samplinginstellingen, prefills en de oude computer use-tool geven allemaal fouten.

Waarom faalt mijn classifier nu ik temperature 0 heb verwijderd?
Dat zou niet moeten gebeuren, maar de labels kunnen sterker variëren. Gebruik gestructureerde output of een tool met een enum-veld, zodat de toegestane labels via het schema worden afgedwongen. Dat is betrouwbaarder dan temperature 0 ooit was.

Kan ik thinking nog steeds uitschakelen?
Ja, bij effort low, medium en high. Bij xhigh en max geeft het uitschakelen van thinking een fout. Anthropic raadt in plaats daarvan een lager effortniveau aan, omdat het model bij eenvoudige requests zelf thinking kan overslaan.

Wat moet mijn code doen wanneer Haiku 5.5 weigert?
Controleer de stop reason voordat je de inhoud leest. Haiku 5.5 heeft geen fallback aan de serverkant, dus jouw code bepaalt of de vraag opnieuw wordt geformuleerd, naar een groter model wordt gestuurd of als fout aan de gebruiker wordt teruggegeven.

Waarom is mijn tokenverbruik na de migratie gestegen?
Twee redenen. De nieuwe tokenizer telt voor dezelfde tekst ongeveer 30% meer tokens, en thinking staat standaard aan, wat extra outputtokens toevoegt. Verlaag effort en tel je prompts opnieuw op het nieuwe model.

Moet ik iets wijzigen voor prompt caching?
Meestal niet, en het wordt eenvoudiger: volgens de migratiegids van Anthropic daalt de minimale cacheerbare prompt van 4.096 naar 512 tokens, en blijven thinking-blocks uit eerdere beurten standaard in het gecachte voorvoegsel. Vermijd het bewerken van eerdere beurten, want dat maakt nu naast de cache ook de thinking-blocks ongeldig.

Kan een gesprek van Haiku 5.5 naar een groter model worden overgezet?
Ja, het gesprek zelf wordt overgenomen. Of de eerdere thinking-blocks van Haiku 5.5 ook meegaan, hangt af van het doelmodel, dus controleer de documentatie van Anthropic over behouden thinking voordat je erop vertrouwt.

Lees verder: de Claude Haiku 5.5-serie

Bronnen

Eén gateway naar meerdere AI-aanbieders. Gebouwd voor productie.

Bezoek AIHubMix