DeepSeek V4.1 Flash 1017 vs V4 Pro: Czy Flash wystarcza już teraz?

AIHubMix6 min czytania
DeepSeek V4.1 Flash 1017 vs V4 Pro: Czy Flash wystarcza już teraz?

Linia modeli DeepSeek ma tej jesieni nietypowy układ. V4 Pro 0813 jest większym i droższym modelem: w godzinach szczytu jego wyjście kosztuje 3.96 USD za 1M tokenów, czyli 3.3 razy więcej niż 1.20 USD Flasha. Flash został jednak dwukrotnie ponownie wytrenowany od premiery Pro w sierpniu, a aktualizacja z 17 października, V4.1 Flash 1017, przewyższa teraz Pro w każdym teście agentowym i kodowania, jaki DeepSeek publikuje dla obu modeli.

Czy istnieje jeszcze jakiekolwiek zadanie związane z kodowaniem lub agentami, w którym Pro jest wart dopłaty? Według własnych liczb DeepSeek, bardzo niewiele. Pro utrzymuje wąską przewagę w jednym teście rozumowania naukowego i zwykle pisze krótsze odpowiedzi niż wrześniowy Flash. W przypadku agentów, pracy w terminalu i wszystkiego, co dotyczy obrazów, Flash jest teraz lepszym i tańszym modelem.

Różnica cenowa

Model Wejście, szczyt Wyjście, szczyt Trafienie w cache, szczyt
V4.1 Flash 1017 $0.30 $1.20 $0.006
V4 Pro 0813 $1.32 $3.96 $0.044

Ceny katalogowe DeepSeek za 1M tokenów, z strony cenowej DeepSeek. Poza szczytem cena wynosi połowę dla obu modeli. AIHubMix podaje ceny Flash 1017 na poziomie 0.3098 / 1.2392, a Pro 0813 na poziomie 1.3944 / 4.1832 USD w szczycie.

Pro kosztuje 4.4 razy więcej za token wejściowy, 3.3 razy więcej za token wyjściowy i ponad 7 razy więcej za token z cache. Jego limit równoległych żądań w API DeepSeek jest też niższy: 500 wobec 2,500 w przypadku Flasha.

Co mówią własne liczby DeepSeek

Wyniki Pro poniżej pochodzą z tabeli 3 artykułu o V4.1 Flash DeepSeek, wszystkie przy maksymalnym poziomie wysiłku; wyniki 1017 pochodzą z jego karty modelu. Obie są pomiarami DeepSeek i nikt ich jeszcze nie odtworzył. Kolumna Pro w artykule nie podaje wersji 0813, ale jej wynik w Terminal-Bench 2.1 zgadza się z kartą 0813.

Benchmark V4 Pro Flash (wrzesień) Flash 1017
Terminal-Bench 4.0 12.4 31.2 42.3
DeepSWE v1.1 62.7 74.2 77.0
ProgramBench 15.5 20.3 29.1
NL2Repo-Bench 61.5 65.4 68.2
Automation-Bench 43.2 54.8 60.5
Agents' Last Exam 25.7 31.8 35.4
HLE, podzbiór tylko tekstowy 42.7 39.1 44.0
GPQA Diamond 92.4 90.9 —

Myślnik oznacza, że DeepSeek nie opublikował wyniku dla 1017 w tym teście.

Wiersze agentowe nie są bliskie. W Terminal-Bench 4.0 Pro uzyskuje 12.4, a 1017 42.3; w DeepSWE 62.7 wobec 77.0. Nawet wrześniowy Flash wyprzedzał Pro w każdym wierszu dotyczącym kodowania i agentów. Artificial Analysis niezależnie doszło do tego samego wniosku w swoim indeksie ogólnym we wrześniu, nazywając V4.1 Flash „nowym flagowcem” DeepSeek, przed V4 Pro 0813.

Gdzie Pro wciąż ma argumenty

Lista jest krótka, a każdy punkt jest węższy, niż się wydaje.

  • GPQA Diamond. Wynik Pro 92.4 pokonuje wrześniowy Flash (90.9). DeepSeek nie opublikował wyniku 1017, więc to jest jedyny test, w którym Pro może wciąż prowadzić.
  • Długość wyjścia. Artificial Analysis stwierdziło, że wrześniowy Flash zużył o 62% więcej tokenów wyjściowych niż Pro 0813, aby przeprowadzić swój indeks. Model 1017 został wytrenowany pod krótsze wyjścia, ale żadna zewnętrzna firma tego jeszcze nie zmierzyła ponownie. Dopóki ktoś tego nie zrobi, rozwlekły Flash w cenie jednej trzeciej jest nadal tańszy niż zwięzły Pro.
  • Stabilna, datowana wersja. Pro 0813 jest dostępny od sierpnia, a dziennik zmian DeepSeek mówi, że będzie go nadal obsługiwać. Jeśli Twoje oceny były dostrajane na Pro, to znany punkt odniesienia.
  • Wiedza. W podzbiorze HLE obejmującym tylko tekst Pro (42.7) plasuje się między wrześniowym Flashem (39.1) a 1017 (44.0). Ta przewaga zniknęła.

Pro w ogóle nie przyjmuje obrazów; 1017 tak. Jeśli jakikolwiek etap Twojego procesu odczytuje zrzut ekranu, wykres lub interfejs, to samo w sobie rozstrzyga wybór.

To samo zadanie na każdym modelu

Żaden opublikowany test nie podaje liczby tokenów na zadanie dla żadnego z modeli, więc ten przykład opiera się na przyjętych założeniach. Sesja naprawy błędu przez agenta wykonuje 40 wywołań modelu, wysyła łącznie 1.2M tokenów wejściowych, z czego 90% jest obsługiwane z cache, i generuje 60K tokenów wyjściowych, wliczając myślenie. Oba modele otrzymują te same liczby tokenów. Według cen katalogowych AIHubMix:

Model Szczyt Poza szczytem
V4.1 Flash 1017 $0.118 $0.059
V4 Pro 0813 $0.469 $0.233

Obliczenie dla Pro w szczycie: 0.12M × $1.3944 + 1.08M × $0.0465 + 0.06M × $4.1832 = $0.469.

Przy równych liczbach tokenów Pro kosztuje około cztery razy więcej za tę samą sesję. Aby osiągnąć próg rentowności, Pro musiałby wykonać zadanie przy mniej więcej jednej czwartej tokenów Flasha. Różnica zmierzona przez Artificial Analysis jest znacznie mniejsza: wrześniowy Flash zużył 1.62 razy więcej tokenów wyjściowych niż Pro, więc Pro potrzebował około 62% ich liczby, a nie 25%. Co więcej, w testach porównawczych tańszy model jest też bardziej skłonny do ukończenia zadania.

Kto wciąż potrzebuje Pro

  • Zostań przy Pro, jeśli masz potok produkcyjny sprawdzony na Pro 0813 i nie masz czasu na ponowne przeprowadzenie ocen w tym miesiącu, albo obciążenie związane z pytaniami naukowymi, gdzie luka w GPQA pojawiła się w Twoich własnych testach.
  • Przejdź na Flasha w przypadku agentów kodujących, automatyzacji terminala, potoków wywołań narzędzi, wszystkiego, co dotyczy obrazów, oraz wszystkiego o dużej liczbie żądań, gdzie ważna jest równoległość.
  • Przetestuj przed przejściem długie teksty i analizy, w których polegałeś na krótszych, bardziej zwięzłych odpowiedziach Pro. 1017 jest krótszy niż wrześniowy Flash, ale nikt jeszcze nie porównał go z Pro.

Jak przetestować przełączenie w AIHubMix

Oba modele są dostępne w AIHubMix pod jednym kluczem: deepseek-v4.1-flash-1017 i deepseek-v4-pro-0813. Uruchom swój zestaw ewaluacyjny na każdym z nich, porównaj wskaźniki zaliczeń i sprawdź koszt każdego uruchomienia w logach żądań. Strona porównania AIHubMix pokazuje ich specyfikacje i ceny obok siebie.

import os
from openai import OpenAI

client = OpenAI(api_key=os.environ["AIHUBMIX_API_KEY"], base_url="https://aihubmix.com/v1")

for model in ("deepseek-v4-pro-0813", "deepseek-v4.1-flash-1017"):
    resp = client.chat.completions.create(
        model=model,
        messages=[{"role": "user", "content": "Find the bug: def mean(xs): return sum(xs) / len(xs) - 1"}],
        max_tokens=16000,
    )
    print(model, resp.usage.completion_tokens, resp.choices[0].message.content[:200])

Porównanie completion_tokens w Twoich własnych promptach to najszybszy sposób, by sprawdzić, czy krótsze wyjścia 1017 utrzymują się względem Pro w Twoim obciążeniu.

Często zadawane pytania

Czy DeepSeek V4.1 Flash 1017 jest lepszy od V4 Pro?
W każdym teście kodowania i agentów, jaki DeepSeek publikuje dla obu modeli, tak, często z dużym marginesem: Terminal-Bench 4.0 to 42.3 wobec 12.4, a DeepSWE to 77.0 wobec 62.7. To własne dane DeepSeek.

O ile więcej kosztuje V4 Pro?
Przy szczytowych cenach DeepSeek Pro kosztuje 1.32 USD za wejście i 3.96 USD za wyjście za 1M tokenów, wobec 0.30 USD i 1.20 USD Flasha, co daje 3.3 razy więcej za wyjście. Poza szczytem obie ceny są o połowę niższe.

Gdzie V4 Pro jest wciąż lepszy?
Pro uzyskuje 92.4 w GPQA Diamond wobec 90.9 wrześniowego Flasha, a dla 1017 nie opublikowano wyniku. Artificial Analysis zmierzyło też, że wrześniowy Flash zużywał więcej tokenów wyjściowych niż Pro.

Czy V4 Pro obsługuje obrazy?
Nie. Strona cenowa DeepSeek wymienia obsługę obrazów tylko dla Flasha.

Czy DeepSeek wycofa V4 Pro?
DeepSeek zapowiedział, że będzie nadal obsługiwać V4 Pro, i nie podał daty wycofania.

Czy krótsze wyjścia 1017 mogą sprawić, że w przeliczeniu na zadanie będzie tańszy niż Pro?
Już teraz jest tańszy w przeliczeniu na zadanie przy równych liczbach tokenów, o około cztery razy w powyższym przykładzie. Krótsze wyjścia jeszcze poszerzają tę różnicę.

Czy przenieść dziś produkcyjny potok oparty na Pro?
Najpierw uruchom zestaw ewaluacyjny na obu modelach. Jeśli 1017 dorówna wskaźnikowi zaliczeń Pro, przejście obniży koszty i zwiększy zapas przy równoległości.

Czytaj dalej: seria DeepSeek V4.1 Flash 1017

Źródła