В полном прогоне APB от 2026-11-03/04 четыре оценки Pareto составили: Q — 44.58, F — 93.42, P — 57.69 и R — 100; общая оценка — 68.72. Для горячих запросов 8k зафиксировано 2 попадания из 9, для 32k — 3 из 9.
2026-11-03/04 модель DeepSeek V4.1 Flash 1017 протестировали через AIHubMix у шести провайдеров с набором APB Full, используя для каждого одинаковые вопросы, параметры и скрипты запросов. В этом профиле APB рассматривается только Pareto: что измерялось в каждом разделе и каковы результаты.
Приведённые ниже числа — это оценки, а не рейтинг и не рекомендация провайдера. Сначала указаны четыре оценки — Q, F, P и R; общая оценка представляет собой сводный индекс, а не сертификацию, и для неё не рассчитан доверительный интервал. Правила подсчёта описаны в Стандарте бенчмарка провайдеров AIHubMix v2.0.
Оценки шести провайдеров
| Провайдер | Q — качество | F — функции | P — скорость | K — кэш | R — стабильность | Общая оценка |
|---|---|---|---|---|---|---|
| ByteDance | 42.05 | 74.98 | 84.37 | 93.83 | 100 | 66.37 |
| Baidu | 38.00 | 88.39 | 37.77 | 68.85 | 100 | 56.48 |
| Alibaba Cloud | 41.75 | 89.78 | 88.58 | 99.37 | 100 | 73.38 |
| Официальный канал DeepSeek | 42.45 | 94.00 | 86.14 | 98.38 | 100 | 73.76 |
| Fireworks | 41.42 | 71.78 | 79.51 | 60.68 | 100 | 64.10 |
| Pareto (эта статья) | 44.58 | 93.42 | 57.69 | 27.58 | 100 | 68.72 |
Провайдеры перечислены в фиксированном порядке, это не рейтинг. K — подоценка P, она составляет 20% от неё и приведена отдельно для справки. Общая оценка рассчитывается по правилам составления из Стандарта бенчмарка провайдеров AIHubMix, которые также учитывают сравнение с официальным каналом и полноту доказательств; она не является прямым взвешенным сочетанием четырёх оценок в таблице. Это сводный индекс без доверительного интервала. Общие оценки официального канала DeepSeek и Alibaba Cloud различаются всего на 0.37, что не является статистически различимым отличием.
Краткий обзор
- Качество ответов: Q — 44.58; BFCL — 85.27%, HLE — 19.32%, AA-LCR — 52.00%. Отставание от официального канала составляет +2.12 процентного пункта, 95%-й интервал — от −0.02 до +4.18: отличие неразличимо.
- Поддержка функций: F — 93.42; пройдены 29 из 33 исходных проверок с подсчётом баллов. Для вызовов инструментов и полного цикла обмена результатами инструментов, параллельных и именованных вызовов, режима JSON и истории диалога имеются дополнительные успешно пройденные проверки в потоковом режиме; оценки сохранены без изменений.
- Скорость ответа: P — 57.69. Медианное время до первого токена тела ответа — 5.85 с при одном одновременном запросе и 6.13 с при 10 параллельных запросах, TPOT — 4.63 мс; действительными признаны 110 из 180 запросов на скорость.
- Кэш: K — 27.58. Для горячих запросов 8k зафиксировано 2 попадания из 9, для 32k — 3 из 9; ни один контрольный холодный запрос не прочитал данные из кэша.
- Стабильность сервиса: R — 100. Все 300 специально выделенных запросов прошли с первой попытки.
Настройки тестирования
| Пункт | Подробности |
|---|---|
| Модель | DeepSeek V4.1 Flash 1017 |
| Запрошенный ID модели | deepseek/deepseek-v4.1-flash |
| Возвращённое имя модели | deepseek/deepseek-v4.1-flash |
| Маршрут доступа | Через AIHubMix с ID модели, специфичным для провайдера; это не прямое подключение к аккаунту провайдера |
| Параметры | Фиксированный профиль запросов APB v2, temperature 1.0, max_tokens 16,384, тайм-аут 300 s, автоматические повторы отключены |
| Время | 2026-11-03 18:07 – 11-04 16:33; запросы к кэшу — 11-05 19:31 – 11-06 10:35; всё время указано в UTC+8. Все шесть провайдеров использовали один Mac mini, одну сеть и одну учётную запись. |
| Выборка | Q — 4,250 экземпляров вопросов; F — 180 проверок; P — 180 запросов; R — 300; K — 30 |
Для запросов использовался маршрут AIHubMix быстрого старта с ID модели, специфичным для провайдера; ID моделей остальных провайдеров указаны на странице моделей. Параметры самой модели описаны в документации API DeepSeek.
Q — качество ответов: 44.58
Качество ответов оценивалось по трём наборам: на 500 вопросов BFCL давали по 3 ответа, на 250 вопросов HLE — по 10, а на 25 вопросов AA-LCR — по 10. Результаты BFCL оценивались автоматическими правилами; ответы на HLE и AA-LCR судейская модель deepseek-flash оценивала как правильные или неправильные. Все шесть провайдеров получили одинаковые вопросы, результаты по трём наборам объединены в одну метрику точности. Десять ответов исключили, поскольку их нельзя было оценить, поэтому в подсчёте осталось 4,240 экземпляров вопросов.
| Набор | Вопросы × раунды | Правильно | Точность | Сбои сервиса |
|---|---|---|---|---|
| Вызовы инструментов BFCL, автоматическая оценка | 500 × 3 | 1,279/1,500 | 85.27% | 0 |
| Сложные вопросы и ответы HLE, оценка судейской моделью | 250 × 10 | 481/2,490 | 19.32% | 0 |
| Рассуждения по длинным документам AA-LCR, оценка судейской моделью | 25 × 10 | 130/250 | 52.00% | 0 |
| Итого · 95%-й интервал 41.57%–47.49% | — | 1,890/4,240 | 44.58% | 0 |
На каждый экземпляр вопроса был дан полный ответ; сбоев сервиса не было.
| Категория BFCL | Пройдено | Доля успешных ответов |
|---|---|---|
| simple_python: одна функция, правильный вызов и аргументы | 333/360 | 92.50% |
| multiple: выбрать нужную функцию из нескольких | 269/300 | 89.67% |
| parallel: несколько одновременных вызовов одной функции | 265/300 | 88.33% |
| parallel_multiple: одновременные вызовы нескольких функций | 203/240 | 84.58% |
| irrelevance: подходящей функции нет, поэтому вызов не выполняется | 109/150 | 72.67% |
| ahm_multi_turn: цепочка инструментов из трёх этапов | 100/150 | 66.67% |
На каждый вопрос BFCL давали по 3 ответа; в таблице суммированы результаты всех 3 раундов.
Сравнение с остальными пятью
| Провайдер | BFCL | HLE | AA-LCR | В совокупности | По сравнению с официальным каналом |
|---|---|---|---|---|---|
| ByteDance | 85.20% | 15.34% | 49.20% | 42.05% | −0.40 (от −1.46 до +0.66), отличие неразличимо |
| Baidu | 86.40% | 9.36% | 32.80% | 38.00% | −4.46 (от −5.78 до −3.16), результат ниже официального |
| Alibaba Cloud | 87.00% | 13.29% | 53.60% | 41.75% | −0.71 (от −1.72 до +0.26), отличие неразличимо |
| Официальный канал DeepSeek | 86.13% | 15.06% | 53.20% | 42.45% | Базовый уровень |
| Fireworks | 85.53% | 14.38% | 46.00% | 41.42% | −1.04 (от −2.14 до +0.05), отличие неразличимо |
| Pareto (эта статья) | 85.27% | 19.32% | 52.00% | 44.58% | +2.12 (от −0.02 до +4.18), отличие неразличимо |
Сравнение с официальным каналом: разрыв в точности в процентных пунктах; в скобках приведён 95%-й интервал. Если интервал пересекает 0, отличие считается неразличимым. Судейская модель для HLE и AA-LCR, deepseek-flash, относится к тому же семейству DeepSeek, что и тестируемая модель, и не проходила калибровку, поэтому её оценки могут быть снисходительными.
F — поддержка функций: 93.42
Проверки функций выясняют, соответствует ли поведение интерфейса протоколу. Оценка F 93.42 рассчитана по 33 учитываемым проверкам (29 пройдены) с перенормировкой весов наблюдаемых групп; остальные 147 запланированных проверок исходного набора исключили из подсчёта.
| Группа проверок | Вес | Пройдены / наблюдения в потоковом режиме | Исключено | Оценка группы |
|---|---|---|---|---|
| Потоковая передача и протокол сообщений | 20% | 23/27 | 3 | 85.19 |
| Интерфейс инструментов Вызовы инструментов, полный цикл обмена результатами, параллельные и именованные вызовы | 20% | Зафиксированы успешно пройденные проверки в потоковом режиме* | 30 | — |
| Ограничения вывода и параметры Режим JSON и отключённый thinking mode | 20% | Зафиксированы успешно пройденные проверки в потоковом режиме* | 30 | — |
| Контекст и состояние История диалога и системные инструкции | 15% | Зафиксированы успешно пройденные проверки в потоковом режиме* | 30 | — |
| Ошибки и восстановление | 15% | 3/3 | 27 | 100.00 |
| Учёт использования и протокол кэша | 10% | 3/3 | 27 | 100.00 |
| Итого · взвешенная оценка | 29/33 | 147 | 93.42 | |
- Для перечисленных функций есть записи об успешном прохождении проверок в потоковом режиме; это не означает, что вся группа получила максимальный балл. Новые проверки в подсчёт не добавлялись. F 93.42 и общая оценка 68.72 сохранены без изменений.
| Не пройденная проверка | Окна | Причина |
|---|---|---|
| Стоп-последовательность в потоковом режиме Потоковая передача и протокол сообщений | 3/3 | Пустое тело ответа при указании стоп-последовательности; тот же ввод без стоп-последовательности сработал |
| Точный текстовый вывод Потоковая передача и протокол сообщений | 1/3 | Дополнительная точка в конце нарушила точное совпадение текста |
«Окна» — это количество окон из 3, в которых проверка не пройдена.
Для нескольких провайдеров запросы с некорректными сообщениями и параметрами потоковой передачи вернули код 400 и пустое тело ответа. Учёт токенов рассуждений различался у разных провайдеров.
Сравнение с остальными пятью
| Провайдер | Пройдено | Не пройдено | Исключено | Взвешенная оценка |
|---|---|---|---|---|
| ByteDance | 124 | 50 | 6 | 74.98 |
| Baidu | 148 | 26 | 6 | 88.39 |
| Alibaba Cloud | 155 | 22 | 3 | 89.78 |
| Официальный канал DeepSeek | 137 | 10 | 33 | 94.00 |
| Fireworks | 122 | 55 | 3 | 71.78 |
| Pareto (эта статья) | 29 | 4 | 147 | 93.42 |
P — скорость ответа: 57.69
Каждый запрос содержал около 10,000 входных токенов и запрашивал около 1,100 выходных токенов текста тела ответа. В каждом из трёх временных окон запускали по 30 запросов с одним одновременным запросом и по 30 при 10 параллельных запросах: всего 180 запросов.
| Показатель | Подробности |
|---|---|
| Первый токен тела ответа (TTFA) | Медиана: 5.85 с при одном запросе (только действительные: 3.08 с), 6.13 с при 10 параллельных запросах (только действительные: 4.92 с) |
| Скорость генерации (TPOT) | 4.42 мс/токен при одном запросе, 4.63 мс/токен при 10 параллельных запросах |
| Эффективная пропускная способность | 519.4 токена/с при 10 параллельных запросах |
| Действительные запросы | 53/90 при одном запросе (окна 1–3: 15/30, 18/30, 20/30), 57/90 при 10 параллельных запросах (23/30, 16/30, 18/30); недействительные: 70 запросов вернули 200 с None |
| Подоценки | TTFA — 24.59, TPOT — 100.00, пропускная способность — 72.05; TTFA и TPOT относятся к нижнему диапазону, веса показателей — 35% / 35% / 30%: оценка скорости ответа — 65.22 |
| Оценка P | Оценка скорости ответа 65.22 × 80% + кэш K 27.58 × 20% = 57.69 |
Недействительным запросам присваивается бесконечное значение, поэтому указанные в таблице медианы могут быть выше медиан только по действительным запросам. TPOT оценивается по передаваемым потоком фрагментам, а не измеряется на оборудовании отдельно для каждого токена. Пропускная способность — это количество действительных выходных токенов при 10 параллельных запросах, делённое на время выполнения пакета.
Сравнение с остальными пятью
| Провайдер | Действительные запросы | TTFA: один запрос | TTFA: 10 параллельных запросов | TPOT (медленнее) | Пропускная способность, токенов/с | Ответ |
|---|---|---|---|---|---|---|
| ByteDance | 180/180 | 2.12 s | 2.10 s | 3.43 мс | 1,250 | 82.00 |
| Baidu | 118/180 | 2.26 s | ∞ | 50.00 мс | 1,329 | 30.00 |
| Alibaba Cloud | 180/180 | 1.34 s | 1.35 s | 4.69 мс | 1,314 | 85.88 |
| Официальный канал DeepSeek | 165/180 | 1.87 s | 1.72 s | 2.84 мс | 1,546 | 83.08 |
| Fireworks | 179/180 | 1.63 s | 1.64 s | 3.29 мс | 1,505 | 84.22 |
| Pareto (эта статья) | 110/180 | 5.85 s | 6.13 s | 4.63 мс | 519 | 65.22 |
Все шесть работали на одной машине, в одной сети и с одной учётной записью. Три окна запускались отдельно для каждого провайдера, поэтому периоды сбора данных не полностью совпадают; не стоит придавать слишком большое значение небольшим различиям. ∞ означает, что более половины запросов оказались недействительными, поэтому медиана считается бесконечной.
K — кэш: 27.58
В каждой группе отправляется пять запросов. Первый содержит фиксированный префикс примерно на 8k или 32k токенов и заполняет кэш. В запросах 2–4 префикс сохраняется, меняется только заключительный вопрос; интервалы между запросами составляют 5 с, 30 с и 120 с. В пятом запросе используется новый префикс для проверки без кэширования. Три окна × две длины дают 30 запросов. K — это количество токенов, прочитанных из кэша в горячих запросах, делённое на количество токенов, которые должны повторно использоваться согласно правилам; обе длины имеют одинаковый вес, а K составляет 20% от P.
| Окно | 1 · заполнение | 2 · +5 s | 3 · +30 s | 4 · +120 s | 5 · без кэширования |
|---|---|---|---|---|---|
| Префикс 8k · попадания в горячих запросах 2/9 · прочитано 15,872 из 72,504 повторно используемых токенов · 21.89 | — | — | — | — | — |
| Окно 1 | 0 | 0 | 7,936 | 0 | 0 |
| Окно 2 | 0 | 0 | 0 | 0 | 0 |
| Окно 3 | 0 | 0 | 7,936 | 0 | 0 |
| Префикс 32k · попадания в горячих запросах 3/9 · прочитано 96,000 из 288,513 повторно используемых токенов · 33.27 | — | — | — | — | — |
| Окно 1 | 0 | 0 | 32,000 | 0 | 0 |
| Окно 2 | 0 | 0 | 0 | 0 | 0 |
| Окно 3 | 0 | 0 | 0 | 32,000 | 0 |
| K (8k и 32k имеют одинаковый вес) | — | — | — | — | 27.58 |
Указаны значения количества токенов, прочитанных из кэша, по данным сервера; «Not returned» означает, что поле отсутствовало в ответе.
В горячих запросах с префиксом 8k попадания были в 2 из 9 случаев, при каждом из которых считывалось 7,936 токенов; для префикса 32k попадания были в 3 из 9 случаев, при каждом считывалось 32,000 токенов. В запросах без кэширования кэш не читался, поэтому горячие запросы и запросы без кэширования чётко различаются.
Сравнение с остальными пятью
| Провайдер | Попадания для 8k | 8k | Попадания для 32k | 32k | K |
|---|---|---|---|---|---|
| ByteDance | 9/9 | 98.84 | 8/9 | 88.81 | 93.83 |
| Baidu | 5/9 | 49.60 | 8/9 | 88.10 | 68.85 |
| Alibaba Cloud | 9/9 | 98.83 | 9/9 | 99.90 | 99.37 |
| Официальный канал DeepSeek | 9/9 | 97.25 | 9/9 | 99.51 | 98.38 |
| Fireworks | 3/9 | 32.81 | 8/9 | 88.54 | 60.68 |
| Pareto (эта статья) | 2/9 | 21.89 | 3/9 | 33.27 | 27.58 |
R — стабильность сервиса: 100
300 запросов делятся на четыре типа: короткий текст, длинный ввод, вызовы инструментов и история диалога из нескольких ходов. Они выполнялись с одним одновременным запросом в каждом из трёх окон. Проверяется только то, вернула ли первая попытка корректный и полный ответ; качество ответов не оценивается, повторных попыток нет. Сбои в разделах о качестве ответов и скорости учитываются в Q и P, а не повторно в R.
| Тип запроса | Успех с первой попытки |
|---|---|
| Короткий текст | 120/120 |
| Длинный ввод 10k | 90/90 |
| Вызовы инструментов | 60/60 |
| История диалога из нескольких ходов | 30/30 |
| Итого · 95%-й интервал 98.78%–100% | 300/300 |
Все 300 запросов с первой попытки вернули корректный и полный ответ. R = 100 относится только к этим 300 специально выделенным запросам; это не означает, что во всей цепочке не было сбоев. Нижняя граница 95%-го интервала — 98.78%: 300 успешных ответов из 300 позволяют утверждать лишь, что вероятность сбоя, скорее всего, ниже 1.22%.
Сравнение с остальными пятью
| Провайдер | Успех с первой попытки | 95%-й интервал |
|---|---|---|
| ByteDance | 300/300 | 98.78%–100% |
| Baidu | 300/300 | 98.78%–100% |
| Alibaba Cloud | 300/300 | 98.78%–100% |
| Официальный канал DeepSeek | 300/300 | 98.78%–100% |
| Fireworks | 300/300 | 98.78%–100% |
| Pareto (эта статья) | 300/300 | 98.78%–100% |
R охватывает только эти 300 специально выделенных запросов; сбои в разделах о качестве ответов и скорости учитываются в Q и P и не учитываются повторно в R.
Часто задаваемые вопросы
Почему F равен 93.42, если учтено только 33 проверки?
В исходном подсчёте прошли 29 из 33 проверок, что дало F 93.42 после перенормировки весов наблюдаемых групп; остальные 147 запланированных проверок исключили из оценки. Записи потоковой передачи описывают конкретные работающие функции и не добавляют проверок, учитываемых в оценке. Итоговая оценка остаётся равной 68.72.
Почему P равен 57.69, если TPOT получил 100.00?
Действительными оказались только 110 из 180 запросов на скорость; 70 вернули 200 с None. Недействительные запросы считаются бесконечными, поэтому медианное время до первого токена в теле ответа составляет 5.85 с при одном одновременном запросе и 6.13 с при 10 одновременных (3.08 с и 4.92 с только для действительных запросов). TTFA получил 24.59, а пропускная способность — 72.05, что даёт оценку ответа 65.22; с учётом кэша K 27.58, вес которого составляет 20%, P равен 57.69.
Почему K составляет всего 27.58?
Для префикса 8k попадания в горячих запросах были в 2 из 9 случаев (21.89), а для 32k — в 3 из 9 (33.27); обе длины имеют одинаковый вес. При попадании считывалось 7,936 или 32,000 токенов, а при проверке без кэширования кэш не считывался.
Качество ответов Pareto выше, чем у официального канала?
Достоверно отличить их нельзя. Совокупная точность составляет 44.58% против 42.45%, разница — +2.12 процентного пункта, но 95%-й интервал простирается от −0.02 до +4.18 и включает 0. Судья для HLE и AA-LCR, deepseek-flash, не был откалиброван и может оценивать слишком снисходительно.
Какие проверки F не прошли?
Две. При использовании последовательности остановки в потоковом режиме во всех трёх окнах возвращалось пустое тело ответа, тогда как тот же ввод без параметра stop срабатывал. В одном из трёх окон в точном текстовом выводе появилась лишняя точка в конце.
Читайте далее: серия материалов о DeepSeek V4.1 Flash
- Разница Q у Pareto в +2.12 измерена относительно официального канала; собственный тест базового варианта приведён в статье Официальный канал DeepSeek — обзор DeepSeek V4.1 Flash: базовое сравнение, 15 недействительных запросов при одном одновременном запросе.
- Fireworks также возвращал пустое тело ответа на запросы с stop, а попадания для 8k составили 3 из 9: Fireworks — обзор DeepSeek V4.1 Flash: запросы с stop возвращают пустое тело ответа, попадания в кэш для горячих запросов 8k — 3 из 9.
- В горячих запросах Alibaba Cloud попадания составили 18 из 18 против 5 из 18 у Pareto: Alibaba Cloud — обзор DeepSeek V4.1 Flash: 1.34 с до первого токена в теле ответа, все 18 горячих запросов попали в кэш, ответы неотличимы от официальных.
- Все запросы на скорость у ByteDance были действительными, время до первого токена в теле ответа составило 2.12 с: ByteDance — обзор DeepSeek V4.1 Flash: ответы неотличимы от официальных, количество входных данных не совпадает.
- У Baidu также оказалось много потерянных запросов на скорость из-за no_available_channel: Baidu — обзор DeepSeek V4.1 Flash: вызовы инструментов на уровне официального канала, частые ошибки no-available-channel снижают качество ответов и скорость.
Источники
- Страница модели DeepSeek V4.1 Flash 1017 (AIHubMix)
- Стандарт бенчмарка провайдеров AIHubMix v2.0 (документация AIHubMix)
- Быстрый старт (документация AIHubMix)
- Модели (AIHubMix)
- Документация DeepSeek API (DeepSeek)
