Chuyển từ Claude Haiku 4.5 sang 5.5: Năm lỗi 400 và những thay đổi âm thầm

AIHubMixĐọc 9 phút
Chuyển từ Claude Haiku 4.5 sang 5.5: Năm lỗi 400 và những thay đổi âm thầm

Đổi claude-haiku-4-5 thành claude-haiku-5-5 là phần nhỏ nhất của quá trình chuyển đổi này. Năm kiểu yêu cầu chạy được trên Haiku 4.5 nay trả về lỗi 400, và còn nhiều thay đổi khác không làm yêu cầu thất bại nhưng lại ảnh hưởng đến kết quả nhận được, chi phí, hoặc cách mô hình hoạt động bên trong một agent.

Anthropic cho biết các prompt Haiku 4.5 hiện có sẽ hoạt động tốt trên Haiku 5.5 mà không cần thay đổi. Phần mã nguồn gửi yêu cầu xung quanh các prompt đó thì khác. Bài viết này liệt kê từng vấn đề như bạn sẽ gặp: bạn sẽ thấy gì, vì sao xảy ra, và cách sửa, kèm theo một danh sách kiểm tra. Tài liệu tham khảo chính thức là hướng dẫn chuyển đổi Haiku 5.5 của Anthropic.

Phân loại: đối chiếu triệu chứng

Bạn thấy gì Nguyên nhân Cách sửa
Lỗi 400 với yêu cầu có ngân sách thinking Đã loại bỏ thinking thủ công Adaptive thinking cộng với effort
Lỗi 400 với temperature, top_p hoặc top_k Các tham số lấy mẫu bị khóa Xóa chúng đi
Lỗi 400 khi messages kết thúc bằng lượt assistant Đã loại bỏ prefill Kết thúc bằng lượt user
Lỗi 400 với computer use Công cụ computer cũ bị từ chối Chuyển sang bộ công cụ computer
Lỗi 400 sau khi chỉnh sửa các lượt trước Thinking gắn chặt với lịch sử Giữ lịch sử chỉ thêm vào cuối
Bộ phân tích trả về văn bản rỗng hoặc sai Khối thinking nằm ở đầu Chọn khối theo type
Phản hồi bị cắt hoặc thiếu Thinking được tính vào giới hạn Tăng max_tokens hoặc giảm effort
Số token và chi phí tăng khoảng 30% Bộ tokenizer mới Đếm lại trên mô hình mới
Phản hồi có stop reason là refusal Bộ phân loại an toàn mới Xử lý trong client của bạn

Năm lỗi đầu tiên thất bại rõ ràng. Những lỗi còn lại thất bại một cách âm thầm, nên khó tìm hơn và tốn kém hơn.

Năm lỗi rõ ràng

1. Ngân sách thinking thủ công

Bạn sẽ thấy: lỗi 400 với mọi yêu cầu gửi thinking: {"type": "enabled", "budget_tokens": N}.

Vì sao: Haiku 4.5 chỉ hỗ trợ extended thinking thủ công với ngân sách token. Haiku 5.5 chỉ hỗ trợ adaptive thinking và điều chỉnh độ sâu bằng effort.

Cách sửa: gửi {"type": "adaptive"} hoặc bỏ thinking đi, rồi chọn mức effort. Nếu ngân sách cũ nhỏ để tiết kiệm token, hãy chọn mức thấp.

# Before: Haiku 4.5
thinking={"type": "enabled", "budget_tokens": 8000}

# After: Haiku 5.5
thinking={"type": "adaptive"},
output_config={"effort": "medium"},

2. Tham số lấy mẫu

Bạn sẽ thấy: lỗi 400 khi yêu cầu đặt temperature, top_p hoặc top_k.

Vì sao: Haiku 5.5 chỉ chấp nhận giá trị mặc định: temperature bằng 1 và top_p bằng 0.99. Bất kỳ giá trị nào khác của một trong hai, bất kỳ top_k nào, hoặc gửi đồng thời temperature và top_p đều trả về lỗi 400, bất kể có dùng thinking hay không. top_p bằng 1 cũng bị từ chối.

Cách sửa: xóa cả ba tham số. Trường hợp phổ biến là temperature=0 trên bộ phân loại, dùng để có nhãn ổn định. Hãy thay bằng structured output hoặc một công cụ có đầu vào là enum, để tập nhãn được ép theo schema thay vì phụ thuộc vào lấy mẫu. Cũng hãy kiểm tra các SDK wrapper và gateway tự động thêm giá trị lấy mẫu mặc định thay bạn.

3. Prefill của assistant

Bạn sẽ thấy: lỗi 400 khi phần tử cuối cùng trong messages là lượt assistant, kể cả khi đã tắt thinking.

Vì sao: prefill không được hỗ trợ trên Haiku 5.5, giống với phần còn lại của dòng Claude hiện tại.

Cách sửa: kết thúc messages bằng lượt user, và thay prefill bằng mục đích mà nó từng phục vụ. Kiểm soát định dạng chuyển sang structured output (output_config.format). Phần mở đầu được prefill trở thành chỉ dẫn trong system prompt yêu cầu trả lời trực tiếp. Phần tiếp nối một câu trả lời bị gián đoạn chuyển vào tin nhắn user: "Phản hồi trước của bạn kết thúc ở [văn bản]. Hãy tiếp tục từ đó."

4. Computer use

Bạn sẽ thấy: lỗi 400 trên Claude API hoặc Google Cloud khi yêu cầu khai báo công cụ computer_20250124.

Vì sao: trên các nền tảng đó, Haiku 5.5 chỉ hỗ trợ computer use qua bộ công cụ mới hơn, computer_toolset_20260801.

Cách sửa: bỏ header beta computer-use-2025-01-24, thay mục công cụ bằng {"type": "computer_toolset_20260801"}, và cập nhật vòng lặp agent: điều phối dựa trên name và toolset_name của mỗi khối tool_use thay vì dựa trên input.action, xử lý mọi khối như vậy trong một lượt, và trả lại toolset_name trong kết quả. Tính năng zoom được bật mặc định; nếu môi trường của bạn không triển khai nó, hãy tắt trong cấu hình bộ công cụ. Trên Amazon Bedrock, hãy kiểm tra ghi chú tương thích của công cụ computer use trước khi chọn phiên bản. Họ bộ công cụ này cũng mang đến browser use, thứ mà Haiku 4.5 chưa bao giờ có.

5. Chỉnh sửa các lượt trước

Bạn sẽ thấy: lỗi 400 khi yêu cầu gửi lại một khối thinking sau khi có thứ gì đó phía trước nó thay đổi: system prompt, danh sách công cụ, hoặc một tin nhắn trước đó.

Vì sao: khối thinking của Haiku 5.5 chỉ hợp lệ khi mọi thứ gửi trước nó không đổi. Kiểm tra này được áp dụng mặc định với các tài khoản tạo từ ngày 31 tháng 8 năm 2026, còn với tài khoản cũ thì chỉ khi yêu cầu chủ động bật.

Cách sửa: giữ hội thoại ở chế độ chỉ thêm vào cuối. Các nguyên nhân thường gặp là system prompt có dấu thời gian, danh sách công cụ tăng lên khi có plugin kết nối, việc cắt bớt phía client, và các nhắc nhở được chèn vào lịch sử rồi bị xóa ở lượt sau. Với chỉ dẫn theo từng lượt, Haiku 5.5 hỗ trợ system message nằm bên trong messages, không cần header beta, giúp bổ sung ngữ cảnh mà không phải sửa những gì đã có trước đó.

Những lỗi âm thầm

Khối thinking nằm ở đầu. Thinking được bật mặc định, nên một phản hồi có thể bắt đầu bằng một hoặc nhiều khối thinking. Mã đọc response.content[0].text làm câu trả lời sẽ bị lỗi hoặc trả về văn bản rỗng. Hãy chọn khối theo type.

Nội dung thinking mặc định là rỗng. Haiku 4.5 trả về thinking đã được tóm tắt. Haiku 5.5 trả về các khối thinking với trường văn bản rỗng và chỉ có chữ ký. Nếu giao diện của bạn hiển thị tóm tắt suy luận, hãy đặt thinking: {"type": "adaptive", "display": "summarized"}. Dù thế nào, vẫn phải gửi lại các khối thinking nguyên vẹn cùng kết quả công cụ; một bộ serialize loại bỏ khối rỗng sẽ làm mất chúng.

max_tokens giờ phải bao gồm thinking. Giới hạn được đặt cho một câu trả lời ngắn có thể bị thinking dùng hết, khiến phản hồi kết thúc với stop_reason: "max_tokens" trước khi có bất kỳ văn bản nào. Hãy tăng giới hạn hoặc giảm effort.

Cùng một văn bản tốn khoảng 30% token nhiều hơn. Bộ tokenizer mới thay đổi các trường usage, kết quả count_tokens, ngân sách ngữ cảnh, và mọi max_tokens đã được tinh chỉnh cho Haiku 4.5. Nó cũng đưa mốc giá 100K token về khoảng 77K token theo cách Haiku 4.5 đếm. Hãy đếm lại các prompt thực tế với mô hình đặt là claude-haiku-5-5 trước khi tin vào bảng điều khiển chi phí.

Effort mặc định là medium. Haiku 4.5 không có cài đặt effort. Haiku 5.5 mặc định là medium, có thể nhiều thinking hơn mức một tuyến đơn giản cần. Hãy đặt giá trị này một cách rõ ràng.

Khối thinking gắn với tài khoản đã tạo ra chúng. Nếu dịch vụ của bạn phát lại các hội thoại đã lưu qua một tài khoản API khác, các khối thinking của Haiku 5.5 sẽ bị bỏ qua một cách âm thầm và yêu cầu chạy mà không có phần suy luận đó. Hãy phát lại mỗi hội thoại qua chính tài khoản đã tạo ra nó.

Priority Tier không được chuyển sang. Haiku 5.5 không hỗ trợ Priority Tier, vì vậy hãy lên kế hoạch dung lượng riêng nếu bạn đang phụ thuộc vào tính năng này với Haiku 4.5.

Những thay đổi hành vi quan trọng với agent có quyền thực sự

Từ chối là chuyện mới, và không có gì bắt được chúng thay bạn. Haiku 5.5 chạy bộ phân loại an toàn theo bốn nhóm: cyber, bio, phát triển LLM tiên tiến, và tác hại chung. Một lần từ chối trả về dưới dạng HTTP 200 bình thường với stop_reason: "refusal" và một nhóm trong stop_details. Haiku 5.5 không có cơ chế dự phòng phía máy chủ: danh sách mô hình dự phòng sẽ trả về lỗi 400, và chế độ dự phòng mặc định để yêu cầu bị từ chối. Hãy kiểm tra stop_reason trước khi đọc content, rồi tự quyết định trong mã của bạn xem nên diễn đạt lại, chuyển lên một mô hình lớn hơn, hay dừng lại. Theo bài công bố, các biện pháp bảo vệ cyber cho phép nhiều công việc phòng thủ hơn so với Sonnet 5.5, nhưng chặn kiểm thử xâm nhập.

Văn bản người dùng trong kết quả công cụ có thể bị bỏ qua. Haiku 5.5 được huấn luyện để chống lại prompt injection qua kết quả công cụ. Nếu harness của bạn gửi một tin nhắn mà người dùng gõ giữa chừng nhiệm vụ bên trong một khối tool_result, mô hình có thể coi đó là không đáng tin cậy và bỏ qua. Hãy đặt đầu vào của người dùng giữa lượt vào một khối văn bản sau kết quả công cụ cuối cùng, và giữ các thông báo của harness trong một system message riêng.

Ở mức effort thấp, agent có thể dừng sớm hoặc bỏ qua các bước kiểm tra. Với một system prompt dài dành cho coding agent ở low, Haiku 5.5 đôi khi trả lại tác vụ khi chưa hoàn thành, còn ở low và medium, nó đôi khi báo đã thay đổi code mà không chạy test. Hướng dẫn prompting cho Haiku 5.5 của Anthropic có các chỉ dẫn ngắn gọn cho cả hai trường hợp. Với một agent có thể ghi file hoặc chạy lệnh, một kết quả "đã xong" chưa được kiểm chứng là điều nguy hiểm hơn trong hai vấn đề này.

Ép dùng công cụ sẽ bỏ qua thinking. tool_choice bắt buộc vẫn được chấp nhận, nhưng khi đó mô hình gọi công cụ mà không suy nghĩ trước. Với các công cụ có tác dụng phụ, auto kèm một chỉ dẫn rõ ràng sẽ cho phép mô hình suy luận trước khi hành động.

Công cụ tìm kiếm cần ngày hiện tại. Khi Haiku 5.5 có công cụ tìm kiếm, hãy cung cấp ngày hiện tại trong system prompt hoặc mô tả công cụ. Trong thử nghiệm của Anthropic, điều này giúp câu trả lời dựa trên các kết quả gần đây.

Một yêu cầu đã chuyển đổi qua AIHubMix

Một bộ phân loại Haiku 4.5 từng dùng temperature=0 và prefill { cho JSON, được viết lại cho Haiku 5.5 trên endpoint Claude native của AIHubMix:

import os
import anthropic

client = anthropic.Anthropic(
    api_key=os.environ["AIHUBMIX_API_KEY"],
    base_url="https://aihubmix.com",
)

r = client.messages.create(
    model="claude-haiku-5-5",
    max_tokens=2000,                     # room for thinking plus the JSON
    output_config={
        "effort": "low",                 # thinking is on by default; keep it light
        "format": {                      # replaces the prefill and temperature=0
            "type": "json_schema",
            "schema": {
                "type": "object",
                "properties": {
                    "label": {"type": "string", "enum": ["billing", "bug", "other"]}
                },
                "required": ["label"],
                "additionalProperties": False,
            },
        },
    },
    messages=[{"role": "user", "content": "Ticket: 'I was charged twice for October.'"}],
)

if r.stop_reason == "refusal":
    raise RuntimeError(f"declined: {r.stop_details}")
text = next(b.text for b in r.content if b.type == "text")
print(text)

Nên kiểm tra ngay trong lần chạy thử đầu tiên xem gateway có chuyển tiếp nguyên vẹn các trường output_config và các header beta mới hơn hay không. Khi tuyến đã chuyển đổi vượt qua bộ đánh giá của bạn, danh sách mô hình AIHubMix giúp bạn dễ dàng trỏ cùng mã đó sang Sonnet 5.5 cho bất kỳ loại tác vụ nào vẫn liên tục thất bại trên Haiku.

Danh sách kiểm tra chuyển đổi

  1. Đổi ID mô hình thành claude-haiku-5-5, không có hậu tố ngày tháng.
  2. Thay mọi ngân sách thinking bằng adaptive thinking và một mức effort rõ ràng.
  3. Xóa temperature, top_p và top_k, bao gồm cả các giá trị mặc định do wrapper thêm vào.
  4. Thay các prefill của assistant bằng structured output, system instructions hoặc continuation trong lượt user.
  5. Chuyển computer use sang computer toolset và cập nhật agent loop.
  6. Nếu thinking block được replay, hãy để lịch sử hội thoại chỉ được thêm vào cuối (append-only).
  7. Đọc nội dung phản hồi theo loại block, và giữ lại các thinking block rỗng khi replay.
  8. Tăng max_tokens cho các route trả lời ngắn, hoặc giảm effort.
  9. Xử lý stop reason refusal trước khi đọc content; không cấu hình server-side fallback.
  10. Đếm lại số prompt token trên model mới và thiết lập lại mốc chi phí trên dashboard.
  11. Kiểm tra những prompt nào giờ vượt 100K token và cắt bớt hoặc chia nhỏ chúng.
  12. Đặt display thành summarized nếu người dùng từng thấy phần tóm tắt quá trình suy luận.
  13. Gửi đầu vào mới của người dùng giữa lượt ngoài phần tool result.
  14. Cung cấp ngày hiện tại cho các agent có bật tìm kiếm.
  15. Kiểm tra lại rate limit và nhu cầu Priority Tier trước khi chuyển lưu lượng lớn.

Câu hỏi thường gặp

Prompt của Haiku 4.5 có chạy được trên Haiku 5.5 không?
Anthropic cho biết các prompt hiện có nên hoạt động tốt mà không cần thay đổi. Phần tham số request xung quanh chúng mới là chỗ bị lỗi: thinking budget, cài đặt sampling, prefill và công cụ computer use cũ đều trả về lỗi.

Vì sao classifier của tôi bị lỗi sau khi đã bỏ temperature 0?
Lẽ ra nó không bị lỗi, nhưng nhãn có thể dao động nhiều hơn. Hãy dùng structured output hoặc một tool có trường enum để buộc các nhãn được phép theo schema. Cách này đáng tin cậy hơn nhiều so với temperature 0.

Tôi vẫn có thể tắt thinking không?
Có, ở các mức effort low, medium và high. Ở xhigh và max, việc tắt thinking sẽ trả về lỗi. Anthropic khuyên nên dùng mức effort thấp hơn, vì model có thể tự bỏ qua thinking với các request đơn giản.

Code của tôi nên làm gì khi Haiku 5.5 từ chối trả lời?
Kiểm tra stop reason trước khi đọc content. Haiku 5.5 không có server-side fallback, nên code của bạn sẽ quyết định việc diễn đạt lại yêu cầu, gửi yêu cầu đến model lớn hơn, hay trả về lỗi cho người dùng.

Vì sao mức sử dụng token của tôi tăng sau khi chuyển đổi?
Có hai lý do. Tokenizer mới đếm nhiều hơn khoảng 30% token cho cùng một đoạn văn bản, và thinking được bật mặc định nên làm tăng số output token. Hãy giảm effort và đếm lại prompt trên model mới.

Tôi có cần thay đổi gì với prompt caching không?
Thường thì không, và việc này còn dễ hơn: theo hướng dẫn di chuyển của Anthropic, số token tối thiểu để cache prompt giảm từ 4.096 xuống 512, và các thinking block từ những lượt trước mặc định vẫn nằm trong phần tiền tố được cache. Tránh chỉnh sửa các lượt trước, vì điều này giờ làm mất hiệu lực cả thinking block lẫn cache.

Một cuộc hội thoại có thể chuyển từ Haiku 5.5 sang model lớn hơn không?
Được, bản thân cuộc hội thoại vẫn được giữ nguyên. Việc các thinking block trước đó của Haiku 5.5 có được giữ lại hay không phụ thuộc vào model đích, vì vậy hãy kiểm tra tài liệu của Anthropic về preserved thinking trước khi dựa vào điều đó.

Tiếp tục đọc: loạt Claude Haiku 5.5

Nguồn tham khảo

Một cổng duy nhất tới nhiều nhà cung cấp AI. Sẵn sàng cho môi trường production.

Truy cập AIHubMix