DeepSeek V4.1 Flash 1017 проти V4 Pro: чи достатньо Flash тепер?

AIHubMix6 хв читання
DeepSeek V4.1 Flash 1017 проти V4 Pro: чи достатньо Flash тепер?

Лінійка DeepSeek цієї осені має незвичну структуру. V4 Pro 0813 — більша й дорожча модель: у пікові години її вивід коштує $3.96 за 1M токенів, тобто в 3.3 раза більше, ніж $1.20 за Flash. Але Flash перенавчали двічі відтоді, як Pro вийшла в серпні, і оновлення від 17 жовтня, V4.1 Flash 1017, тепер перевершує Pro за кожним агентним і кодувальним бенчмарком, які DeepSeek публікує для обох моделей.

То чи є ще якесь завдання з кодингу чи агентів, де Pro варта своєї ціни? За власними цифрами DeepSeek, таких майже немає. Pro зберігає невелику перевагу в одному науковому бенчмарку з міркувань і, як правило, пише коротші відповіді, ніж Flash з вересневої версії. Для агентів, роботи в терміналі та будь-чого з зображеннями Flash тепер є кращою і дешевшою моделлю.

Цінова різниця

Модель Вхід, пік Вихід, пік Попадання в кеш, пік
V4.1 Flash 1017 $0.30 $1.20 $0.006
V4 Pro 0813 $1.32 $3.96 $0.044

Офіційні ціни DeepSeek за 1M токенів, за даними сторінки цін DeepSeek. Поза піком для обох моделей ціна вдвічі нижча. AIHubMix пропонує Flash 1017 за $0.3098 / $1.2392, а Pro 0813 за $1.3944 / $4.1832 у пікові години.

Pro коштує в 4.4 раза більше за вхідний токен, у 3.3 раза більше за вихідний і понад у 7 разів більше за токен із кешу. Її ліміт одночасних запитів в API DeepSeek також нижчий: 500 проти 2,500 у Flash.

Що кажуть власні цифри DeepSeek

Показники Pro нижче взято з Таблиці 3 статті про V4.1 Flash DeepSeek, усі при максимальному рівні зусиль; показники 1017 — з його картки моделі. Обидва набори є вимірюваннями DeepSeek, і ніхто їх ще не відтворив. У колонці Pro зі статті не вказано збірку 0813, але її результат у Terminal-Bench 2.1 збігається з карткою 0813.

Бенчмарк V4 Pro Flash (вер.) Flash 1017
Terminal-Bench 4.0 12.4 31.2 42.3
DeepSWE v1.1 62.7 74.2 77.0
ProgramBench 15.5 20.3 29.1
NL2Repo-Bench 61.5 65.4 68.2
Automation-Bench 43.2 54.8 60.5
Agents' Last Exam 25.7 31.8 35.4
HLE, підмножина лише тексту 42.7 39.1 44.0
GPQA Diamond 92.4 90.9 —

Прочерк означає, що DeepSeek не опублікувала цей результат для 1017.

В агентних рядках різниця велика. У Terminal-Bench 4.0 Pro набирає 12.4, а 1017 — 42.3; у DeepSWE 62.7 проти 77.0. Навіть Flash з вересневої версії вже обійшов Pro у кожному рядку з кодингу та агентів. Artificial Analysis у вересні незалежно дійшла того самого висновку у своєму загальному індексі, назвавши V4.1 Flash «новим флагманом» DeepSeek, який випереджає V4 Pro 0813.

Де Pro ще має аргументи

Список короткий, і кожен пункт вужчий, ніж здається.

  • GPQA Diamond. Результат Pro 92.4 перевищує 90.9 у Flash з вересневої версії. DeepSeek не опублікувала результат 1017, тож це єдиний бенчмарк, де Pro, можливо, ще лідирує.
  • Довжина виводу. Artificial Analysis з'ясувала, що Flash з вересневої версії використав на 62% більше вихідних токенів, ніж Pro 0813, щоб пройти її індекс. Модель 1017 навчали на коротших виводах, але жодна стороння організація ще не перевірила це повторно. Доки хтось цього не зробить, багатослівний Flash за третину ціни дешевший за лаконічний Pro.
  • Стабільна збірка з датою. Pro 0813 працює з серпня, а журнал змін DeepSeek повідомляє, що її й далі підтримуватимуть. Якщо ваші оцінювання налаштовувалися на Pro, для вас це відома величина.
  • Знання. На підмножині HLE лише з текстом Pro (42.7) посідає місце між Flash з вересневої версії (39.1) і 1017 (44.0). Ця перевага зникла.

Pro взагалі не приймає зображення, а 1017 приймає. Якщо будь-який крок вашого робочого процесу читає скріншот, діаграму чи інтерфейс, цього вже достатньо, щоб вирішити питання.

Одне й те саме завдання на кожній моделі

Жоден опублікований тест не дає кількості токенів на завдання для жодної з моделей, тож цей приклад спирається на заявлені припущення. Сесія виправлення помилок агентом робить 40 викликів моделі, надсилає загалом 1.2M вхідних токенів, з яких 90% обслуговуються з кешу, і генерує 60K вихідних токенів, включно з міркуваннями. Обидві моделі отримують однакову кількість токенів. За офіційними цінами AIHubMix:

Модель Пік Поза піком
V4.1 Flash 1017 $0.118 $0.059
V4 Pro 0813 $0.469 $0.233

Розрахунок для Pro в пікові години: 0.12M × $1.3944 + 1.08M × $0.0465 + 0.06M × $4.1832 = $0.469.

За однакової кількості токенів Pro коштує приблизно вчетверо більше за ту саму сесію. Щоб вийти на паритет, Pro мала б завершити завдання приблизно з чвертю токенів Flash. Різниця, яку виміряла Artificial Analysis, значно менша: Flash з вересневої версії використав у 1.62 раза більше вихідних токенів, ніж Pro, тож Pro потрібно було близько 62% від обсягу, а не 25%. А за бенчмарками дешевша модель ще й частіше доводить завдання до кінця.

Кому ще потрібна Pro

  • Залишайте Pro, якщо у вас є виробничий конвеєр, перевірений на Pro 0813, і немає часу повторно проганяти оцінювання цього місяця, або робочі навантаження з науковими питаннями, де розрив у GPQA уже проявився у ваших власних тестах.
  • Переходьте на Flash для агентів з кодингу, автоматизації терміналу, конвеєрів із викликами інструментів, будь-чого зі зображеннями та будь-яких високонавантажених сценаріїв, де важлива кількість одночасних запитів.
  • Тестуйте перед переходом довгі тексти та аналітику, де ви покладалися на коротші й щільніші відповіді Pro. Модель 1017 коротша за Flash з вересневої версії, але ніхто ще не порівнював її з Pro.

Як протестувати перехід на AIHubMix

Обидві моделі доступні на AIHubMix під одним ключем: deepseek-v4.1-flash-1017 і deepseek-v4-pro-0813. Проженіть свій набір для оцінювання через кожну, порівняйте частку успішних проходжень і перевірте вартість кожного запуску в журналах запитів. Сторінка порівняння AIHubMix показує їхні характеристики та ціни поруч.

import os
from openai import OpenAI

client = OpenAI(api_key=os.environ["AIHUBMIX_API_KEY"], base_url="https://aihubmix.com/v1")

for model in ("deepseek-v4-pro-0813", "deepseek-v4.1-flash-1017"):
    resp = client.chat.completions.create(
        model=model,
        messages=[{"role": "user", "content": "Find the bug: def mean(xs): return sum(xs) / len(xs) - 1"}],
        max_tokens=16000,
    )
    print(model, resp.usage.completion_tokens, resp.choices[0].message.content[:200])

Порівняння completion_tokens на ваших власних промптах — найшвидший спосіб дізнатися, чи коротші виводи 1017 зберігаються порівняно з Pro на вашому навантаженні.

Часті запитання

Чи краща DeepSeek V4.1 Flash 1017, ніж V4 Pro?
За кожним кодувальним і агентним бенчмарком, які DeepSeek публікує для обох, так, часто з великим відривом: Terminal-Bench 4.0 — 42.3 проти 12.4, а DeepSWE — 77.0 проти 62.7. Це власні цифри DeepSeek.

Наскільки дорожча V4 Pro?
За піковими цінами DeepSeek Pro коштує $1.32 за вхід і $3.96 за вихід за 1M токенів, проти $0.30 і $1.20 у Flash, тобто в 3.3 раза дорожче за вихід. Поза піком обидві ціни вдвічі нижчі.

Де V4 Pro все ще краща?
Pro набирає 92.4 у GPQA Diamond проти 90.9 у Flash з вересневої версії, а результату для 1017 не опубліковано. Artificial Analysis також виміряла, що Flash з вересневої версії використовує більше вихідних токенів, ніж Pro.

Чи підтримує V4 Pro зображення?
Ні. На сторінці цін DeepSeek можливості роботи із зображеннями вказано лише для Flash.

Чи вилучить DeepSeek V4 Pro з обігу?
DeepSeek заявила, що продовжуватиме обслуговувати V4 Pro, і не оголошувала дати припинення підтримки.

Чи можуть коротші виводи 1017 зробити її дешевшою за Pro в розрахунку на завдання?
Вона вже дешевша за завдання за однакової кількості токенів, приблизно вчетверо в наведеному прикладі. Коротші виводи збільшують цю різницю ще більше.

Чи варто переносити виробничий конвеєр на Pro вже сьогодні?
Спершу проженіть свій набір для оцінювання через обидві моделі. Якщо 1017 досягає такої самої частки успішних проходжень, як Pro, перехід зменшить витрати й дасть запас для одночасних запитів.

Читайте далі: серія DeepSeek V4.1 Flash 1017

Джерела