2026-11-03/04 tarihlerinde APB Full paketi, AIHubMix üzerinden beş sağlayıcıda DeepSeek V4.1 Flash 1017 ile çalıştırıldı. Her sağlayıcıda aynı sorular, parametreler ve istek betikleri kullanıldı; beş sağlayıcı girdisi modeller sayfasında yer alıyor. Bu APB Profili yalnızca DeepSeek resmi kanalını kapsar. Kanal, DeepSeek API'sine doğrudan bağlanmak yerine AIHubMix'in DeepSeek resmi tedarikçi rotası üzerinden kullanılır.
Bu yazı yalnızca puanları bildirir; sağlayıcıları sıralamaz veya birini önermez: Q 42.45, F 94.00, P 86.14, K 98.38 ve R 100. Q, F, P ve R dört bölümün puanlarıdır; K, P'nin alt puanıdır. Genel puan olan 73.76, bir özet endeksidir; sertifikasyon değildir ve güven aralığı yoktur. Puanlama standardı AIHubMix Provider Benchmark Standard v2.0'dır.
Beş sağlayıcı arasındaki puanlar
Kalın yazı bu yazının sağlayıcısını belirtir. Sağlayıcıların sırası sabittir, sıralama değildir. K, P'nin %20 ağırlıklı alt puanıdır ve referans olması için ayrıca listelenmiştir. Genel puan, güven aralığı olmayan bir özet endeksidir. DeepSeek resmi kanalı ile Alibaba Cloud arasındaki genel puan farkı 0.37'dir ve bu iki sağlayıcı birbirinden ayırt edilemez.
Özet
- Yanıt kalitesi: Q 42.45. BFCL 86.13%, HLE 15.06%, AA-LCR 53.20%. Yedi HLE çıktısı max_tokens sınırında kesildi ve yanlış sayıldı. Bu kanal, diğer dört kanal için Q temel değeridir.
- Fonksiyon desteği: F 94.00. Sayılan 147 kontrolden 137'si geçti. Kesin token sayılarına bağlı 27 ek kontrol geçersiz olarak işaretlendi ve paydadan çıkarıldı.
- Yanıt hızı: P 86.14. İlk tek eşzamanlılık penceresinde 30 isteğin 15'i geçersizdi (12 × 503, 2 × deadline, 1 × read timeout) ve sonsuz olarak sayıldı; ilk token medyanı 1.87 s (yalnızca geçerli isteklerde 1.72 s); 10 eşzamanlılıkta 1.72 s; TPOT 2.84 ms.
- Önbellek: K 98.38. 8k ve 32k'de gönderilen 18 sıcak isteğin tümü isabet etti; soğuk kontrol istekleri önbellekten veri okumadı.
- Hizmet kararlılığı: R 100. Ayrı olarak gönderilen 300 isteğin tümü ilk denemede başarılı oldu.
Test kurulumu
İstekler, DeepSeek resmi tedarikçi rotası seçilerek AIHubMix üzerinden gönderildi; hızlı başlangıç erişim yapılandırmasını açıklar.
| Öğe | Ayrıntı |
|---|---|
| Model | DeepSeek V4.1 Flash 1017 |
| İstenen model kimliği | deepseek-flash |
| Dönen model adı | deepseek-flash |
| Erişim rotası | AIHubMix DeepSeek resmi tedarikçi rotası; DeepSeek API'sine doğrudan bağlantı değil |
| Parametreler | Düşünme modu kapalı, temperature 1.0, max_tokens 16,384, zaman aşımı 300 s, otomatik yeniden deneme yok |
| Düşünme kapalı | Tüm isteklerde reasoning_effort=none kullanıldı |
| Zaman | 2026-11-03 18:07 – 11-04 16:33 UTC+8; beş sağlayıcı tek bir Mac mini'yi, ağı ve hesabı paylaştı |
| Örnekler | Yanıt kalitesi 4,250 deneme (BFCL 500 × 3, HLE 250 × 10, AA-LCR 25 × 10); fonksiyon testleri 60 × 3 pencere; hız, tek eşzamanlılıkta 90 ve 10 eşzamanlılıkta 90; kararlılık 300; önbellek 30 (8k ve 32k öneklerin her birinde üç grup) |
Q — yanıt kalitesi: 42.45
Paket, BFCL'den 500 soru × 3 çalıştırmayı, HLE'den 250 × 10'u ve AA-LCR'den 25 × 10'u bir araya getirir. BFCL otomatik kurallarla, HLE ve AA-LCR ise hakem modeli deepseek-flash ile puanlanır. Beş sağlayıcının tümü aynı soruları yanıtladı. On yanıt puanlanamadığı için çıkarıldı ve geriye puanlanan 4,240 deneme kaldı.
| Kıyaslama testi | Sorular | Doğru | Doğruluk | Hatalar |
|---|---|---|---|---|
| BFCL araç çağrıları | 500 × 3 | 1,292/1,500 | 86.13% | 0 |
| HLE zor soru-cevap | 250 × 10 | 375/2,490 | 15.06% | 7 |
| AA-LCR uzun belge akıl yürütme | 25 × 10 | 133/250 | 53.20% | 0 |
| Toplam · %95 GA 40.08%–44.73% | 4,240 puanlanan | 1,800/4,240 | 42.45% | 7 |
Hizmet hataları — başarısız istekler veya kesilen çıktılar — paydada tutulur ve yanlış sayılır. Burada buna, max_tokens sınırına ulaşan yedi HLE çıktısı dahildir. BFCL otomatik, HLE ve AA-LCR ise hakem tarafından puanlanır.
BFCL paydaları üç çalıştırmanın toplamıdır.
| BFCL kategorisi | Geçti | Geçme oranı |
|---|---|---|
| simple_python — tek fonksiyon, doğru çağrı ve argümanlar | 334/360 | 92.78% |
| multiple — birkaç fonksiyon arasından doğru olanı seçme | 268/300 | 89.33% |
| parallel — aynı fonksiyonu birkaç kez paralel çağırma | 271/300 | 90.33% |
| parallel_multiple — farklı fonksiyonları paralel çağırma | 207/240 | 86.25% |
| irrelevance — hiçbir fonksiyon uygun değildir, hiçbir fonksiyon çağrılmamalıdır | 113/150 | 75.33% |
| ahm_multi_turn — üç aşamalı araç zinciri | 99/150 | 66.00% |
Diğer dört sağlayıcıyla karşılaştırma
Her fark, bu temel değere göre yüzde puan cinsindendir; %95 aralık bıyıklarla gösterilir. Aralık 0'ı kesiyorsa fark ayırt edilebilir değildir. Hakem, test edilen modelle aynı DeepSeek ailesindendir ve kalibre edilmemiştir; bu nedenle HLE ve AA-LCR puanlaması hoşgörülü olabilir.
F — fonksiyon desteği: 94.00
Fonksiyon testleri yanıt kalitesini değil, protokol davranışını ölçer. Üç pencerenin her birinde altı gruptan 60 vaka — toplam 180 kontrol — çalıştırıldı ve her sağlayıcının belgelerinde belirttiği biçime göre değerlendirildi. Uygulanamaz, geçersiz ve gözlemlenemeyen kontroller paydadan çıkarılır. Bu kanal, sayılan 147 kontrolün 137'sini geçti ve ağırlıklı puanı 94.00 oldu; ağırlıklı puan basitçe 137/147 değildir.
| Grup | Ağırlık | Geçti | Hariç tutuldu | Grup puanı |
|---|---|---|---|---|
| Akış ve mesaj protokolü | 20% | 27/27 | 3 | 100.00 |
| Araç arayüzü | 20% | 30/30 | — | 100.00 |
| Çıktı kısıtları ve parametreler | 20% | 30/30 | — | 100.00 |
| Bağlam ve durum | 15% | 14/15 | 15 | 93.33 |
| Hatalar ve kurtarma | 15% | 24/30 | — | 80.00 |
| Ücretlendirme ve önbellek protokolü | 10% | 12/15 | 15 | 80.00 |
| Toplam · ağırlıklı | — | 137/147 | 33 | 94.00 |
Ağırlıklı puan grup ağırlıklarına göre hesaplanır; geçen kontrollerin 147'ye bölümü değildir.
| Başarısız vaka | Başarısız pencereler | Neden |
|---|---|---|
| Hatalı biçimlendirilmiş mesajlar (Hatalar ve kurtarma) | 3/3 | 400 döndü, ancak gövde boştu ve yapılandırılmış bir hata açıklaması yoktu |
| Hatalı biçimlendirilmiş stream_options (Hatalar ve kurtarma) | 3/3 | 400 döndü, ancak gövde boştu ve yapılandırılmış bir hata açıklaması yoktu |
| Düşünme token'ı ölçümü (Ücretlendirme ve önbellek protokolü) | 3/3 | Düşünme token'ı sayısı döndürülmedi |
| İstek yalıtımı (Bağlam ve durum) | 1/3 | İlk adım, gerektiği gibi yalnızca STORED yanıtını vermediği için yalıtım kontrolüne devam edilemedi |
Hariç tutulan kontroller ne başarılı ne de başarısız sayılır.
| Durum | Vaka | Sayı | Neden |
|---|---|---|---|
| Gözlemlenemedi | Akış durdurma dizisi | 3 | Önceki adımdan sonra bu adımın isteği gönderilmediği için değerlendirilemedi |
| Geçersiz | 10k uzun girdi; bağlam sınırı içinde; 32k uzun girdi; 100k uzun girdi; bağlam sınırını aşma; yerel girdi sayısı; girdide sayılan araç tanımları; önbellekten önce ve sonra tutarlı girdi sayısı; akışlı ve akışsız girdinin tutarlılığı | 27 | Test tarafında sabitlenen yerel sayı şablonu, bu kanalın bildirdiği kullanımla eşleşmedi; bu nedenle kesin sayılara bağlı kontroller geçersiz olarak işaretlendi ve paydadan çıkarıldı |
| Uygulanamaz | Açık cache_control | 3 | Bu arayüzün desteklemediği önceden kaydedilmişti |
Geçersiz 27 kontrol, listedeki uzun girdi, bağlam sınırı, yerel sayı ve önbellek tutarlılığı vakalarından oluşur. Sabitlenen şablon, bu kanalın bildirdiği kullanımla eşleşmediği için kesin sayıya bağlı her kontrol puanlanmak yerine hariç tutuldu.
Hatalı biçimlendirilmiş messages ve stream_options olmak üzere iki vaka beş sağlayıcının tümünde başarısız oldu. Her ikisi de boş gövdeli 400 döndürdü; bu nedenle istemci yapılandırılmış bir hata açıklaması alamadı. Ortak örüntü, ayrı bir inceleme gerektiren AIHubMix ağ geçidi katmanına daha çok işaret ediyor. Düşünme token'ı ölçümü de beş sağlayıcının tümünde başarısız oldu, ancak nedenleri farklıydı: ByteDance ve Fireworks, düşünme kapatıldıktan sonra da düşünme token'larını bildirmeye devam ederken diğer üçü düşünme token'ı sayısı döndürmedi.
Diğer dört sağlayıcıyla karşılaştırma
P — yanıt hızı: 86.14
Her istek yaklaşık 10,000 girdi token'ı içeriyor ve yaklaşık 1,100 çıktı token'ı istiyordu. Üç pencerenin her birinde tek eşzamanlılıkta 30, 10 eşzamanlılıkta 30 istek gönderildi; toplam 180 istek.
| Metrik | Değer |
|---|---|
| İlk token TTFA | Tek eşzamanlılık: medyan 1.87 s (geçerli isteklerin medyanı 1.72 s). 10 eşzamanlılık: medyan 1.72 s |
| TPOT | Tek eşzamanlılık: 2.84 ms/token. 10 eşzamanlılık: 2.67 ms/token |
| Geçerli aktarım hızı (goodput) | 10 eşzamanlılık: 1,546.0 token/s |
| Geçerli istekler | Tek eşzamanlılık 75/90 (1. pencere: 15/30); 10 eşzamanlılık 90/90. Geçersiz: 12 × 503 service_unavailable_error, 2 × deadline reached, 1 × read timeout |
| Bileşen puanları | TTFA 51.65, TPOT 100.00, aktarım hızı 100.00; TTFA ve TPOT iki kademenin düşük olanını alır, ağırlıklar sırasıyla %35 / %35 / %30'dur; yanıt puanı 83.08 |
| P bileşimi | Yanıt puanı 83.08, %80 ağırlıkla; önbellek K 98.38, %20 ağırlıkla; P 86.14 |
Geçersiz 15 isteğin tümü ilk tek eşzamanlılık penceresindeydi: 12'si 503 döndürdü, 2'si son tarihe ulaştı ve 1'i okuma zaman aşımına uğradı. Geçersiz istekler sonsuz olarak sayıldığından bildirilen medyan 1.87 s'dir. Yalnızca geçerli isteklerde medyan 1.72 s'dir. 10 eşzamanlılıkta da medyan 1.72 s'dir. TPOT, tek eşzamanlılıkta 2.84 ms/token, 10 eşzamanlılıkta ise 2.67 ms/token'dır.
Diğer dört sağlayıcıyla karşılaştırma
Beş sağlayıcı tek bir Mac mini'yi, ağı ve hesabı paylaştı. Üç pencere sağlayıcılara göre sırayla planlandığından veri toplama dönemleri tam olarak örtüşmüyor; küçük farklara gereğinden fazla anlam yüklemeyin.
K — önbellek: 98.38
Her grupta beş istek gönderilir. İlk istek, sabit bir 8k veya 32k öneki önbelleğe alır. İkinci ila dördüncü istekler öneki koruyup yalnızca son soruyu 5, 30 ve 120 saniyede değiştirir. Beşinci istek, soğuk kontrol olarak yeni bir önek kullanır. Üç pencere × iki uzunluk, toplam 30 istek eder. K, sıcak isteklerde önbellekten okunan token'ları yeniden kullanılabilir olması gereken token'lara böler; her uzunluk eşit ağırlıktadır. K, P'nin %20'sini oluşturur. DeepSeek'in API belgeleri bağlam önbelleğe almayı açıklar.
| Önek | Pencere | Önbelleğe alma | +5 s | +30 s | +120 s | Soğuk kontrol |
|---|---|---|---|---|---|---|
| 8k | 1. pencere | 0 | 7,808 | 7,808 | 7,808 | 0 |
| 8k | 2. pencere | 0 | 7,808 | 7,808 | 7,808 | 0 |
| 8k | 3. pencere | 0 | 7,808 | 7,808 | 7,808 | 0 |
| 32k | 1. pencere | 0 | 31,872 | 31,872 | 31,872 | 0 |
| 32k | 2. pencere | 0 | 31,872 | 31,872 | 31,872 | 0 |
| 32k | 3. pencere | 0 | 31,872 | 31,872 | 31,872 | 0 |
8k sıcak isteklerin 9/9'u isabet etti ve her biri 7,808 token okudu: 72,261 yeniden kullanılabilir tokene karşılık 70,272 okundu; puan 97.25. 32k sıcak isteklerin 9/9'u isabet etti ve her biri 31,872 token okudu: 288,270 tokene karşılık 286,848 okundu; puan 99.51. Soğuk kontroller önbellekten veri okumadı. İki uzunluk genelinde K 98.38'dir.
Diğer dört sağlayıcıyla karşılaştırma
R — hizmet kararlılığı: 100
300 istek; kısa metni, 10k uzun girdiyi, araç çağrılarını ve çok turlu geçmişi kapsar ve üç pencere boyunca tek eşzamanlılıkta gönderilir. Yalnızca ilk denemedeki geçerlilik ve eksiksizlik kontrol edilir — yanıtların doğruluğu değil — ve yeniden deneme yapılmaz. Yanıt kalitesi ve hız testlerindeki hatalar Q ve P'de sayılır, R'de tekrar sayılmaz.
| İstek türü | İlk denemede başarı |
|---|---|
| Kısa metin | 120/120 |
| 10k uzun girdi | 90/90 |
| Araç çağrıları | 60/60 |
| Çok turlu geçmiş | 30/30 |
| Toplam · %95 GA 98.78%–100% | 300/300 |
İlk denemede 300 isteğin tamamı geçerli ve eksiksiz yanıt döndürdü. R 100 yalnızca bu 300 özel isteği kapsar; tüm yolun hatasız olduğu anlamına gelmez. 300 başarıyla, %95 güven aralığının alt sınırı %98.78 olduğundan, hata oranının muhtemelen %1.22'nin altında olduğuna dair kanıt vardır.
Diğer dört sağlayıcıyla karşılaştırma
R yalnızca 300 özel isteği kapsar; yanıt kalitesi ve hızdaki hatalar Q ve P'de kaydedilir, R'de yeniden sayılmaz.
| Sağlayıcı | İlk denemede başarı | %95 güven aralığı |
|---|---|---|
| ByteDance | 300/300 | 98.78%–100% |
| Baidu | 300/300 | 98.78%–100% |
| Alibaba Cloud | 300/300 | 98.78%–100% |
| DeepSeek resmi | 300/300 | 98.78%–100% |
| Fireworks | 300/300 | 98.78%–100% |
SSS
Bu, DeepSeek API'sine doğrudan bağlantı mı?
Hayır. İstekler, AIHubMix'in DeepSeek resmi sağlayıcı rotası üzerinden gönderilir; doğrudan DeepSeek API'sine gönderilmez.
DeepSeek resmi kanalı neden Q temel çizgisi?
Aynı model için DeepSeek'in resmi kanalı olduğundan, diğer dört sağlayıcının yanıt kalitesi sonuçları bu kanala göre fark olarak ifade edilir. Temel çizgi rolü, yanıt kalitesi sıralaması olduğu anlamına gelmez.
İlk tek eşzamanlılık hız aralığında ne oldu?
30 isteğin 15'i geçersizdi: 12'si 503 döndürdü, 2'si son tarihe ulaştı ve 1'i okuma zaman aşımına uğradı. Bunlar sonsuz olarak sayıldığından medyan 1.87 s'dir; yalnızca geçerli istekler hesaba katıldığında ise 1.72 s'dir.
27 geçersiz işlev kontrolü nedir?
Bunlar kesin token sayılarına bağlıdır: uzun girdiler, bağlam sınırları, yerel girdi sayıları ve önbellek girdi tutarlılığı. Test tarafında sabitlenen yerel sayı şablonu, bu kanalın bildirdiği kullanımla eşleşmediğinden kontroller başarısız sayılmak yerine paydadan çıkarıldı.
R 100, rotanın hatasız olduğunu neden garanti etmiyor?
R yalnızca 300 özel kararlılık isteğini kapsar. Yanıt kalitesi ve hız testleri sırasında oluşan hatalar Q ve P'de kaydedilir. 300 isteğin 300'ü de başarılı olduğundan, %95 güven aralığının alt sınırı %98.78'dir; bu da hata oranının muhtemelen %1.22'nin altında olduğunu gösterir, sıfır olduğunu kanıtlamaz.
Önbellek testi, sıcak okumaları soğuk okumalardan nasıl ayırıyor?
Her grup, 8k veya 32k'lık bir öneki önceden yükler; ardından yeni bir son soruyla öneki 5, 30 ve 120 saniyede tekrarlar ve soğuk kontrol olarak yeni bir önek gönderir. Her iki uzunlukta da sıcak isteklerin 9'da 9'u önbelleğe isabet etti; soğuk kontrollerin tümünde önbelleğe alınmış token sayısı sıfırdı.
Okumaya devam edin: DeepSeek V4.1 Flash serisi
- ByteDance'in Q sonucu bu temel çizginin 0.40 puan içinde; ancak işlev desteği ve önbellek sonuçları farklı: ByteDance'te DeepSeek V4.1 Flash: araç çağrıları eşleşiyor, ölçüm eşleşmiyor.
- Baidu'da istekler
no_available_channelhatası nedeniyle başarısız oldu; bu hem Q'ya hem P'ye yansıyor: Baidu'da DeepSeek V4.1 Flash: uygun kanal yok hatası Q ve P'yi etkiliyor. - Alibaba Cloud'un genel sonucu 0.37 farklı ve ayırt edilebilir değil: Alibaba Cloud'da DeepSeek V4.1 Flash: ilk token 1.34s, önbellek 99.37.
- Fireworks, 8k sıcak isteklerde 9'da 3 isabet aldı; burada ise 9'da 9: Fireworks'te DeepSeek V4.1 Flash: boş stop yanıtları, 3/9 önbellek isabeti.
