2026-11-03/04 tarihlerinde DeepSeek V4.1 Flash 1017, her seferinde aynı sorular, parametreler ve istek betikleri kullanılarak APB Full paketiyle AIHubMix üzerinden beş sağlayıcıda test edildi. Bu APB Profili, Baidu testini bölüm bölüm ele alıyor.
Aşağıdaki sayılar yalnızca puanlardır; sıralama veya sağlayıcı önerisi değildir. Önce Q 38.00, F 88.39, P 37.77, K 68.85 ve R 100 değerleri gelir; genel puan olan 56.48 ise güven aralığı bulunmayan bir özet endekstir. Puanlama kuralları AIHubMix Provider Benchmark Standard v2.0’a aittir.
Beş sağlayıcının puanları
Kalın yazı, bu yazıdaki sağlayıcıyı gösterir. Sağlayıcılar sıralama amacı olmaksızın sabit bir düzende listelenmiştir. K, P’nin %20 ağırlıklı bir alt puanıdır. Genel puan, güven aralığı bulunmayan bir özet endekstir. Resmî kanal ile Alibaba Cloud arasındaki 0.37 fark ayırt edilebilir değildir.
Genel bakış
- Q: 38.00. BFCL %86.40, HLE %9.36, AA-LCR %32.80. Birleşik sonuç, resmî kanalın 4.46 puan altında; %95 güven aralığı olan −5.78 ile −3.16 aralığı 0’ı kapsamıyor. HLE’de 864, AA-LCR’de 100 istek hatası kaydedildi; bunların neredeyse tamamı ilk pencerede gerçekleşti ve yanlış yanıt olarak sayıldı.
- F: 88.39. Sayılan 174 kontrolün 148’i başarılı oldu. Önbellek okuma alanı ve akıl yürütme belirteci sayısı döndürülmedi; bağlam aşımı ve eşleşmeyen araç sonucu vakalarında 200 döndürüldü.
- P: 37.77. Eşzamanlılık düzeyi 10 olan 90 testin 50’si
no_available_channeldöndürdü; yani yarıdan fazlası geçersizdi ve TTFA ile TPOT ceza değerleriyle puanlandı. Eşzamanlılık düzeyi 1 olan testlerden 90’da 78’i geçerliydi. - K: 68.85. 8k’lık sıcak isteklerde 9 denemenin 5’inde isabet görüldü ve 3 istek başarısız oldu; 32k öneki 9 denemenin 8’inde isabet etti. İsabetler 1,024 belirteçlik bloklarla raporlanır: 8k için 7,168, 32k için 31,744 belirteç.
- R: 100. Özel olarak gönderilen 300 isteğin tamamı ilk denemede başarılı oldu. Yanıt üretimi ve hız testleri sırasında yaşanan kanal hataları Q ve P kapsamında sayılır.
Test düzeneği
İsteklerde sağlayıcıya özel bir kimlikle AIHubMix hızlı başlangıç rotası kullanıldı; parametreler DeepSeek’in API belgeleri doğrultusunda belirlendi. Diğer sağlayıcı kimlikleri modeller sayfasında listelenmiştir. Bu, doğrudan Baidu’nun kendi hesabına bağlanmak değildir.
| Alan | Değer |
|---|---|
| Model | DeepSeek V4.1 Flash 1017 |
| İstenen model kimliği | baidu-deepseek-v4.1-flash-1017 |
| Döndürülen model adı | deepseek-v4.1-flash-1017 |
| Erişim rotası | Sağlayıcıya özel model kimliğiyle AIHubMix üzerinden; sağlayıcının kendi hesabına doğrudan bağlantı değil |
| Parametreler | Akıl yürütme modu kapalı, temperature 1.0, max_tokens 16,384, zaman aşımı 300 s, otomatik yeniden deneme yok |
| Akıl yürütme kapalı | Her istekte reasoning_effort=none kullanıldı |
| Zaman | 2026-11-03 18:07 – 11-04 16:33 UTC+8; beş sağlayıcının tamamı aynı Mac mini’yi, ağı ve hesabı paylaştı |
| Örnekler | 4,250 yanıt denemesi (BFCL 500 × 3, HLE 250 × 10, AA-LCR 25 × 10); 60 işlev vakası × 3 pencere; eşzamanlılık düzeyi 1’de 90 ve eşzamanlılık düzeyi 10’da 90 hız testi; 300 kararlılık isteği; 30 önbellek testi (8k ve 32k öneklerin her biri için üç grup) |
Q — yanıt kalitesi: 38.00
Yanıt kalitesi üç görev türüyle ölçülür: her biri üç kez yanıtlanan 500 BFCL görevi, onar kez yanıtlanan 250 HLE görevi ve onar kez yanıtlanan 25 AA-LCR görevi. BFCL otomatik kurallarla puanlanır; HLE ve AA-LCR’de yanıtların doğruluğunu deepseek-flash değerlendirici modeli belirler. Beş sağlayıcının tümüne aynı görev seti verildi ve üç tür tek bir doğruluk oranında birleştirildi. Görev değerlendirilemediği için on yanıt çıkarıldı; böylece puanlanan deneme sayısı 4,240 oldu.
| Görev | Öğe sayısı | Doğru | Doğruluk | Hatalar |
|---|---|---|---|---|
| BFCL araç çağrıları | 500 × 3 | 1,296/1,500 | 86.40% | 0 |
| Zor HLE soruları, değerlendirici puanlamalı | 250 × 10 | 233/2,490 | 9.36% | 875 |
| AA-LCR uzun belgeli akıl yürütme | 25 × 10 | 82/250 | 32.80% | 100 |
| Birleşik · %95 güven aralığı 36.23%–39.58% | — | 1,611/4,240 | 38.00% | 975 |
İstek başarısızlığı veya kesilmiş çıktı fark etmeksizin hizmet hataları paydada kalır ve yanlış yanıt sayılır. HLE’de 864 istek hatası (863 ilk pencerede, 1 ikinci pencerede) ve max_tokens sınırında kesilen 11 çıktı vardı. AA-LCR’deki 100 istek hatasının tamamı ilk pencerede gerçekleşti.
BFCL’de her görev üç kez yanıtlanır; tabloda üç turun toplamı gösterilir.
| BFCL kategorisi | Başarılı | Başarı oranı |
|---|---|---|
| simple_python: tek işlev, doğru çağrı ve bağımsız değişkenler | 336/360 | 93.33% |
| multiple: birkaç işlev arasından doğru olanı seçme | 269/300 | 89.67% |
| parallel: tek bir işlevi paralel olarak birkaç kez çağırma | 268/300 | 89.33% |
| parallel_multiple: birkaç farklı işlevi paralel olarak çağırma | 206/240 | 85.83% |
| irrelevance: hiçbir işlev uygun değil, çağrı yapma | 113/150 | 75.33% |
| ahm_multi_turn: üç aşamalı araç zinciri | 104/150 | 69.33% |
Diğer dört sağlayıcıyla karşılaştırma
Fark, resmî kanala kıyasla yüzde puan cinsindendir; %95 güven aralığı hata çubuklarıyla gösterilir. 0’ı kesen bir aralık, ayırt edilebilir olmayan fark olarak değerlendirilir. HLE ve AA-LCR değerlendiricisi deepseek-flash, test edilen modelle aynı DeepSeek ailesindendir ve kalibre edilmemiştir; bu nedenle değerlendirmeleri hoşgörülü olabilir.
F — işlev desteği: 88.39
İşlev vakaları, modelin ne kadar iyi yanıt verdiğini değil, arayüzün protokolde belirtildiği gibi davranıp davranmadığını sınar. Altı gruptaki 60 vaka, üç pencerenin her birinde bir kez çalıştırılarak toplam 180 kontrol yapıldı ve sağlayıcının belgelediği biçime göre değerlendirildi. Uygulanamayan, geçersiz veya gözlemlenemeyen kontroller paydadan çıkarılır. Baidu için 174 kontrol sayıldı; bunların 148’i başarılı oldu ve ağırlıklı puan 88.39 olarak hesaplandı.
Grup puanı, basit bir 148/174 oranıyla değil, her grubun payına göre ağırlıklandırılır.
| Vaka grubu | Ağırlık | Başarılı | Hariç tutulan | Grup puanı |
|---|---|---|---|---|
| Akış ve mesaj protokolü | 20% | 27/27 | 3 | 100.00 |
| Araç arayüzü | 20% | 30/30 | — | 100.00 |
| Çıktı kısıtları ve parametreler | 20% | 29/30 | — | 96.67 |
| Bağlam ve durum | 15% | 26/30 | — | 86.67 |
| Hata ve kurtarma | 15% | 21/30 | — | 70.00 |
| Kullanım ölçümü ve önbellek protokolü | 10% | 15/27 | 3 | 55.56 |
| Toplam, ağırlıklı | 100% | 148/174 | 6 | 88.39 |
| Başarısız vaka | Başarısız olan pencereler | Neden |
|---|---|---|
| Bağlam aşımı (bağlam ve durum) | 3/3 | Parametre hatası döndürmesi gerekirken 200 döndürüldü |
| Bozuk mesajlar (hata ve kurtarma) | 3/3 | Yapılandırılmış hata olmadan, boş gövdeli 400 döndürüldü |
| Eşleşmeyen araç sonucu (hata ve kurtarma) | 3/3 | Parametre hatası döndürmesi gerekirken 200 döndürüldü |
| Bozuk stream_options (hata ve kurtarma) | 3/3 | Yapılandırılmış hata olmadan, boş gövdeli 400 döndürüldü |
| Önbellek okuma alanı (kullanım ölçümü ve önbellek protokolü) | 3/3 | Önbellek okuma alanı döndürülmedi; okuma doğrulanamıyor |
| Akıl yürütme belirteci ölçümü (kullanım ölçümü ve önbellek protokolü) | 3/3 | Akıl yürütme belirteci sayısı döndürülmedi |
| Girdi içinde sayılan araç tanımları (kullanım ölçümü ve önbellek protokolü) | 3/3 | Araç tanımları varken bildirilen girdi belirteci sayısı, araç tanımları yokken bildirilenden fazla değildi |
| Önbellek öncesi ve sonrası tutarlı girdi sayısı (kullanım ölçümü ve önbellek protokolü) | 3/3 | Önbellek okuma alanı döndürülmedi; okuma doğrulanamıyor |
| Örnekleme çeşitliliği (çıktı kısıtları ve parametreler) | 1/3 | temperature 0 ve 1’de yinelenen çıktılar, önceden kaydedilmiş standardın altında kalacak kadar az farklılık gösterdi |
| İstekler arası yalıtım (bağlam ve durum) | 1/3 | İlk adımın, gerektiği gibi yalnızca STORED yanıtını vermemesi nedeniyle yalıtım kontrolü sürdürülemedi |
Bu kontroller paydadan çıkarılır: ne başarılı ne de başarısız sayılırlar.
| Durum | Vaka | Sayı | Neden |
|---|---|---|---|
| Gözlemlenemedi | Akış durdurma dizisi | 3 | Önceki adımdan sonra bu adımın isteği gönderilmediği için değerlendirilemiyor |
| Uygulanamaz | Açık cache_control | 3 | Önceden kaydedilmiş test planında bu arayüzün desteklemediği belirtilmişti |
Bozuk messages ve bozuk stream_options, beş sağlayıcının tamamında başarısız oldu: ikisi de boş gövdeli 400 döndürdü ve istemciye yapılandırılmış bir hata iletilmedi. Beş sağlayıcının tamamında görülen bu başarısızlığın AIHubMix ağ geçidi katmanında olması daha olasıdır ve ayrıca incelenmesi gerekir. Akıl yürütme belirteci ölçümü de beşinin tamamında başarısız oldu, ancak nedenler farklıydı: ByteDance ve Fireworks, akıl yürütme kapalıyken bile akıl yürütme belirteçleri bildirdi; diğer üçü ise akıl yürütme belirteci sayısı döndürmedi.
Diğer dört sağlayıcıyla karşılaştırma
P — yanıt hızı: 37.77
Her istek yaklaşık 10,000 girdi belirteci içeriyor ve yaklaşık 1,100 çıktı belirteçlik bir gövde istiyordu. Üç pencerenin her birinde eşzamanlılık düzeyi 1’de 30, eşzamanlılık düzeyi 10’da 30 test gönderildi; toplamda 180 istek yapıldı.
| Metrik | Sonuç |
|---|---|
| İlk belirtece kadar geçen süre (TTFA) | Eşzamanlılık düzeyi 1: medyan 2.26 s (geçerli isteklerin medyanı 2.05 s); eşzamanlılık düzeyi 10: yarıdan fazlası geçersiz, hesaba katılan medyan sonsuz (geçerli isteklerin medyanı 1.86 s) |
| Üretim hızı (TPOT) | Eşzamanlılık düzeyi 1: 3.48 ms/belirteç; eşzamanlılık düzeyi 10: 50.00 ms/belirteç (yarıdan fazlası geçersiz, ceza değeri) |
| Goodput (geçerli aktarım hızı) | Eşzamanlılık düzeyi 10: 1,329.2 token/s |
| Geçerli istekler | Eşzamanlılık düzeyi 1: 78/90 (ilk pencerede 18/30); eşzamanlılık düzeyi 10: 40/90 (ilk pencerede 0/30, üçüncü pencerede 10/30) |
| Geçersizlik nedeni | 62 test 400 no_available_channel döndürdü |
| Bileşen puanı | TTFA 0.00, TPOT 0.00, aktarım hızı 100.00; yanıt puanı 30.00 |
| P bileşimi | Yanıt puanı 30.00 (%80 ağırlık), önbellek K 68.85 (%20 ağırlık), toplam 37.77 |
TPOT, donanımda belirteç başına ölçülmez; akış parçalarından tahmin edilir. Goodput, eşzamanlılık düzeyi 10’daki yük altında üretilen geçerli çıktı belirteçlerinin toplu işlemin geçen süresine bölünmesiyle hesaplanır.
Eşzamanlılık düzeyi 10 basamağındaki 90 testin 50’si no_available_channel döndürdü. Yarısından fazlası geçersiz olduğundan ilk belirtece kadar geçen sürenin medyanı sonsuz kabul edilir; TTFA ve TPOT ceza değerlerini alır. Eşzamanlılık düzeyi 1 basamağındaki 90 testin 78’i geçerli kaldı.
Beş sağlayıcının tamamı aynı makineyi, ağı ve hesabı paylaştı. Üç pencere sağlayıcı bazında planlandığından veri toplama dönemleri tam olarak örtüşmüyor; küçük farklara gereğinden fazla anlam yüklenmemelidir.
K — önbellek: 68.85
Her grup beş istek gönderir. İlk istek, önbelleği doldurmak için yaklaşık 8k veya 32k belirteçlik sabit bir önek içerir. 2–4. isteklerde önek korunur ve yalnızca sondaki soru 5 s, 30 s ve 120 s aralıklarla değiştirilir. Beşinci istekte soğuk kontrol amacıyla yeni bir önek kullanılır. Üç pencere × iki uzunluk toplam 30 istek eder. K, sıcak isteklerce okunan önbellek belirteçlerinin kurallara göre yeniden kullanılabilir olması beklenen belirteçlere oranıdır; her uzunluğa eşit ağırlık verilir. K, P’nin %20’sidir.
Tabloda, sunucunun bildirdiği önbellekten okunan belirteç sayısı gösterilir; “döndürülmedi” ifadesi, alanın yanıtta bulunmadığı anlamına gelir.
| Önek | Pencere | Başlangıç isteği | +5 s | +30 s | +120 s | Soğuk kontrol |
|---|---|---|---|---|---|---|
| 8k | 1 | Başarısız | Başarısız | Başarısız | Döndürülmedi | Döndürülmedi |
| 8k | 2 | Döndürülmedi | 7,168 | 7,168 | Başarısız | Başarısız |
| 8k | 3 | Döndürülmedi | 7,168 | 7,168 | 7,168 | Döndürülmedi |
| 32k | 1 | Döndürülmedi | Döndürülmedi | 31,744 | 31,744 | Döndürülmedi |
| 32k | 2 | Döndürülmedi | 31,744 | 31,744 | 31,744 | Döndürülmedi |
| 32k | 3 | Döndürülmedi | 31,744 | 31,744 | 31,744 | Döndürülmedi |
8k öneki, yeniden kullanılabilir olması gereken 72,252 tokenın 35,840'ını okuyarak 9 sıcak isteğin 5'inde isabet sağladı; puanı 49.60 oldu. 32k öneki, 288,261 tokenın 253,952'sini okuyarak 9 isteğin 8'inde isabet sağladı; puanı 88.10 oldu. İki uzunluğa eşit ağırlık verildiğinde K değeri 68.85'tir. 8k katmanındaki beş istek genel olarak başarısız oldu: 1. pencerenin seed, 5 s ve 30 s istekleri ile 2. pencerenin 120 s ve soğuk kontrol isteklerinin tümünde no_available_channel hatası alındı. Böylece 8k katmanında başarısız olan üç sıcak istek kalıyor.
İsabet durumunda raporlanan okuma, 1,024 tokenlık bloklar hâlinde sayılır: 8k öneki için 7,168 token, 32k öneki için 31,744 token. İsabetsizlik durumunda kullanım bloğunda prompt_tokens_details yer almaz; tabloda "döndürülmedi" olarak kaydedilir ve değer 0 sayılır.
Diğer dört sağlayıcıyla karşılaştırma
R — hizmet kararlılığı: 100
300 istek dört türe ayrılıyor: kısa metin, uzun girdi, araç çağrısı ve çok turlu geçmiş. İstekler, üç pencere boyunca eşzamanlılık 1 olacak şekilde gönderildi. Yalnızca ilk yanıtın geçerli ve eksiksiz olup olmadığı kontrol ediliyor; yanıtlar puanlanmıyor ve hiçbir istek yeniden denenmiyor. Yanıtlama ve hız testleri sırasındaki hatalar, R altında tekrar sayılmadan Q ve P kapsamında değerlendiriliyor.
| İstek türü | İlk denemedeki başarı |
|---|---|
| Kısa metin | 120/120 |
| 10k uzun girdi | 90/90 |
| Araç çağrısı | 60/60 |
| Çok turlu geçmiş | 30/30 |
| Toplam | 300/300, %95 GA %98.78–%100 |
300 isteğin tamamı ilk denemede geçerli ve eksiksiz bir yanıt döndürdü. R 100 yalnızca bu 300 özel isteği kapsar; tüm işlem yolunda hiç hata yaşanmadığı anlamına gelmez. 300 isteğin tamamı başarılı olduğundan, %95 güven aralığının alt sınırı %98.78'dir; dolayısıyla hata oranının %1.22'nin altında olması muhtemeldir.
Diğer dört sağlayıcıyla karşılaştırma
R yalnızca bu 300 özel isteği kapsar; yanıtlama ve hız testleri sırasındaki hatalar, R altında tekrar sayılmadan Q ve P kapsamında kaydedilir.
| Sağlayıcı | İlk denemedeki başarı | %95 güven aralığı |
|---|---|---|
| ByteDance | 300/300 | 98.78%–100% |
| Baidu | 300/300 | 98.78%–100% |
| Alibaba Cloud | 300/300 | 98.78%–100% |
| DeepSeek resmî | 300/300 | 98.78%–100% |
| Fireworks | 300/300 | 98.78%–100% |
SSS
Genel puan neyi ifade ediyor?
Bu, güven aralığı olmayan bir özet endeksidir; sertifika değildir. Bu yazıda Q, F, P, K ve R raporlanıyor ve herhangi bir sağlayıcı önerilmiyor.
Eşzamanlılık 10 olan test isteklerinin yarısı neden başarısız oldu?
90 isteğin 50'si no_available_channel hatası döndürdü. Yarısından fazlası geçersiz olduğundan, ilk tokenın medyan süresi sonsuz kabul ediliyor; TTFA ve TPOT da ceza değerleri üzerinden puanlanıyor.
R 100, kanal hatası olmadığı anlamına mı geliyor?
Hayır. R, tümü ilk denemede başarılı olan 300 özel isteği kapsar. Hız testindeki 62 no_available_channel yanıtı ve yanıtlama testindeki hatalar P ve Q kapsamında sayılır.
32k öneki 9 isteğin 8'inde isabet sağladığı hâlde K neden 68.85?
İki uzunluğa eşit ağırlık veriliyor. 8k öneki 9 sıcak isteğin 5'inde isabet sağladı ve 49.60 puan aldı; 32k ise 9 isteğin 8'inde isabet sağlayarak 88.10 puan aldı. Ortalama 68.85'tir.
Baidu'nun yanıt kalitesi resmî kanaldan ayırt edilebilir mi?
Evet. Birleşik Q farkı −4.46 yüzde puandır; %95 güven aralığı −5.78 ile −3.16 arasındadır ve 0'ı kapsamaz. Güven aralığı 0'ı kapsamayan, resmî kanalın altında kalan tek sağlayıcı sonucu budur.
F hesabının dışında hangi kontroller bırakıldı?
Altı kontrol: önceki adımdaki istek gönderilmediği için hiç gözlemlenmeyen üç akış durdurma dizisi kontrolü ve bu arayüzün desteklemediği önceden kaydedilmiş üç açık cache_control kontrolü.
Okumaya devam edin: DeepSeek V4.1 Flash serisi
- Baidu'nun BFCL doğruluğu resmî kanala yakındı; ByteDance yazısı da aynı test paketini araç çağrısı ve ücretlendirme sonuçlarıyla ele alıyor: ByteDance'te DeepSeek V4.1 Flash: araç çağrıları eşleşiyor, ücretlendirme eşleşmiyor
- Baidu'da eşzamanlılık 1 iken TTFA 2.26 s oldu; bu, 1.34 s'ye ulaşan bir test sonucuyla tezat oluşturuyor: Alibaba Cloud'da DeepSeek V4.1 Flash: ilk token 1.34s, önbellek 99.37
- Baidu'nun F değeri 88.39; 15 geçersiz test isteği içeren referans testinde ise bu değer 94.00: Resmî kanalda DeepSeek V4.1 Flash: F 94.00, 15 geçersiz test isteği
- Baidu'daki 8k önbellek isabeti 5/9; başka bir testte ise isabet 3/9 ve durdurma yanıtları boş: Fireworks'te DeepSeek V4.1 Flash: boş durdurma yanıtları, 3/9 önbellek isabeti
