Gemini Decision 1 kontra Jev 1.14: który model wybrać?

Wybierz Gemini Decision 1, jeśli ewaluacja na zbiorze testowym wykaże, że jego polityka routingu pozwala uniknąć wystarczającej liczby kosztownych błędów lub eskalacji, by uzasadnić wyższą cenę za dane wejściowe. W przypadku routera tekstowego wrażliwego na cenę danych wejściowych warto wcześnie poddać ewaluacji model Jev 1.14. Żaden z nich nie jest uniwersalnym zwycięzcą.

Konkretna decyzja dotyczy tego, czy skierować żądanie, zezwolić na działanie narzędzia, czy przekazać sprawę do eskalacji. Oba modele obsługują ograniczone decyzje „tak/nie” (noul), wybór i ocenę według rubryki. Jev jest istotnym konkurentem, ponieważ Google bezpośrednio porównuje właśnie tę wersję, a nie dlatego, że któryś z tych modeli prowadzi w ogólnym rankingu chatbotów.

Wykres Google daje niejednoznaczny werdykt

Dane pochodzą z ewaluacji opublikowanej przez Google przy premierze. Są to wyniki własne, a nie niezależna weryfikacja ani pomiary AIHubMix.

JevBench korzysta z publicznego podziału danych. ECE i koszt obejmują siedem wspólnych ewaluacji; niższe ECE jest lepsze. Google uznaje odmowy, blokady bezpieczeństwa i żądania, których model nie mógł przyjąć, za niepoprawne, przyjmując cały benchmark jako mianownik.

Gemini osiąga lepszy wynik w JevBench i łącznej kalibracji; Jev — w dokładności When2Call. Oczekiwany błąd kalibracji mierzy zgodność pewności z zaobserwowaną poprawnością, a nie odsetek błędnych klasyfikacji. Niższy łączny ECE nie dowodzi, że próg dla routera narzędzi jest skalibrowany.

Wykres nie podaje precyzji ani czułości dla poszczególnych tras, odsetka nieuzasadnionych wywołań narzędzi ani zakresu automatyzacji przy ustalonym budżecie błędów. Te brakujące pomiary mają większe znaczenie dla wdrożenia niż ogłoszenie zwycięzcy na podstawie jednego wiersza.

Porównuj polityki routingu, a nie zbieżne wartości pewności

Dokumentacja Google dotycząca pewności definiuje pewność jako największe prawdopodobieństwo wyniku. W przypadku pytań tak/nie jest to większa z wartości: prawdopodobieństwa odpowiedzi „tak” i „nie” — a nie dodatkowa, niezależna kontrola.

Natywne odpowiedzi Jev typu noul zawierają prawdopodobieństwo bez osobnego pola pewności. Takie same nazwy pól w odpowiedziach typu wybór lub ocena nie dowodzą identycznej kalibracji. Przeniesienie progu między modelami, trasami lub wersjami jest więc nieprzetestowaną zmianą polityki.

Użyj oznakowanych danych rozwojowych, by dobrać próg dla każdego modelu. Następnie porównaj wyniki na osobnym zbiorze testowym, zachowując te same definicje tras i koszt fałszywego działania. Zlicz zarówno błędne działania automatyczne, jak i prawidłowe żądania niepotrzebnie przekazane do eskalacji; podaj, jaką część ruchu każda polityka może obsłużyć automatycznie w ramach tego samego budżetu błędów.

Jeśli jeden model wymaga większego udziału kontroli człowieka, by zmieścić się w tym budżecie, uwzględnij ten koszt. W przypadku działań o poważnych konsekwencjach domyślnie odmawiaj lub stosuj ręczną procedurę awaryjną. Kontrole autoryzacji powinny pozostawać poza zakresem decyzji modelu.

Oficjalna cena to dopiero punkt wyjścia

Poniżej podano oficjalne ceny katalogowe zakupu bezpośrednio przez API ze strony z cennikiem Google i dokumentacji modeli TypeSafe, a nie ceny kanałów AIHubMix.

Gemini generuje zero tokenów wyjściowych. Bezpłatne dane wyjściowe Jev nie oznaczają, że raportowane zużycie tokenów wyjściowych musi wynosić zero. Cena tokenów wejściowych Gemini jest około 2.38× wyższa niż w przypadku Jev, ale niekoniecznie przekłada się to na taki sam stosunek całkowitego kosztu każdego żądania.

Załóżmy 1,000,000 decyzji, jedno żądanie na decyzję i po 2,000 rozliczanych tokenów wejściowych na żądanie, łącznie z pytaniami — przyjmując niezależnie takie samo zużycie dla obu dostawców. Daje to 2 billion rozliczanych tokenów wejściowych: USD 200 w przypadku Gemini wobec USD 84 w przypadku Jev, czyli różnicę USD 116 według oficjalnych stawek.

Szacunek ten nie wyrównuje tokenizacji ani formatowania, liczby ponowień, eskalacji czy dokładności. Nie jest to faktura od bramki API; rzeczywiste opłaty sprawdź w cenniku wybranego kanału.

Wskaźnik kosztów ewaluacji Google jest inny: USD 0.88 / USD 0.68 to około 1.29×. Różne obciążenia i liczby rozliczanych tokenów mogą dać inny wskaźnik, bez sprzeczności z cenami katalogowymi.

Natywne funkcje mogą zmienić listę rozważanych modeli

Google dokumentuje obsługę tekstu, obrazów, dźwięku, wideo i plików PDF, z limitem 262,144 tokenów łącznie dla danych wejściowych i pytań. Limit 1–1,000 pytań nie daje przewagi nad Jev pod względem pojemności: TypeSafe nie określa osobnego limitu liczby pytań, z zastrzeżeniem limitów kontekstu.

Jev obsługuje nie tylko tekst. Przyjmuje tekst oraz obrazy PNG/JPEG, ale informacje o wydaniu Jev 1.14 oznaczają obrazy, Box i rozszerzony kontekst jako funkcje eksperymentalne. Obsługa obrazów i Box jest domyślnie wyłączona i wymaga nagłówka opt-in dostawcy; nie zweryfikowano, jak ten nagłówek działa przez bramkę API. Domyślne limity to 64k tokenów dla wspólnego stanu i wszystkich pytań oraz 32k dla wspólnego stanu i pojedynczego pytania. Eksperymentalny nagłówek dostawcy zwiększa oba limity do 262k, ale przetwarzanie jest wolniejsze i mniej dokładne.

Są to natywne możliwości dostawców, a nie zweryfikowane gwarancje bramki API. W szczególności nie planuj przepływu pracy AIHubMix z multimediami ani długim kontekstem wyłącznie na podstawie tych specyfikacji. Natywne API Google nie obsługuje też cache’owania ani Batch i nie przyjmuje natywnych bloków wejściowych wywołań narzędzi; decyzja o tym, czy uruchomić narzędzie, to nie to samo co przyjmowanie jego bloków protokołu.

Wybierz udokumentowane identyfikatory i zapisuj zwracaną wersję

Strona porównawcza AIHubMix to punkt wyjścia do wyboru tych dwóch produktów. Publiczne instrukcje opisują POST /v1/systemone, ten sam klucz AIHubMix oraz strukturę żądania state plus questions.

AIHubMix dokumentuje identyfikatory produktów gemini-decision-1 i jev-1.14; same nazwy nie gwarantują niezmiennych wersji kompilacji po stronie dostawcy. Natywny identyfikator wersji Jev to jev-1.14.0. Zapisuj model i wersję zwrócone przez używany kanał i nie zakładaj, że zmienny alias wskazuje tę samą wersję wszędzie.

Na potrzeby tego porównania nie wysłano uwierzytelnionego żądania. Dokumentacja wspólnych żądań tekstowych stanowi punkt wyjścia do ewaluacji, ale nie dowodzi równoważności odpowiedzi. Nie potwierdzono, że AIHubMix przepuszcza natywne multimedia, pełne limity kontekstu ani limit Gemini wynoszący 1,000 pytań.

Zanim dokonasz wyboru:

• Określ akceptowalny odsetek fałszywych działań i politykę awaryjną.
• Porównaj zakres automatyzacji na zbiorze testowym i całkowity koszt operacyjny.
• Zweryfikuj wymagane funkcje w wybranym kanale.

Pozostań przy Jev, jeśli spełnia te kryteria przy niższym całkowitym koszcie; wybierz Gemini, jeśli potwierdzona ewaluacją korzyść uzasadnia wyższą cenę. Powtórz ewaluację po zmianie modelu, wersji lub ruchu.

FAQ

Który model lepiej nadaje się do routingu narzędzi?
Nie ma uniwersalnego rankingu. Wynik When2Call Google przemawia na korzyść Jev, a wynik łącznej kalibracji — Gemini. Przetestuj rzeczywistą politykę routingu.

Czy niższe ECE oznacza mniej błędnych decyzji?
Nie. Kalibracja i dokładność to różne miary. Niższe łączne ECE nie określa wskaźników błędów dla poszczególnych tras ani bezpiecznych progów.

Czy można stosować ten sam próg pewności?
Nie bez walidacji. Dobierz progi na danych rozwojowych osobno dla każdego modelu i trasy, a następnie oceń je na oddzielnym ruchu testowym.

Czy Gemini zawsze jest 2.38× droższy?
Nie. To stosunek oficjalnych cen tokenów wejściowych. Liczba rozliczanych tokenów, ponowienia i koszty eskalacji mogą zmienić stosunek kosztów operacyjnych.

Czy Jev 1.14 obsługuje tylko tekst?
Nie. Natywnie obsługuje obrazy PNG/JPEG, ale obrazy i Box mają status eksperymentalny. Nie potwierdza to obsługi obrazów przez AIHubMix.

Czy zweryfikowano równoważność funkcji AIHubMix?
Nie wysłano uwierzytelnionego żądania. Nie należy zakładać równoważności natywnej obsługi multimediów, kontekstu, liczby pytań ani semantyki odpowiedzi wyłącznie na podstawie dokumentacji.

Czytaj dalej: seria Gemini Decision 1

• Przykład udokumentowanego żądania i szersze wprowadzenie do modelu znajdziesz w artykule Cennik Gemini Decision 1: 0.10 USD/M za dane wejściowe, API i zastosowania.

Źródła

Zrzuty oficjalnych cenników: Google, November 12, 2026, 06:43 UTC; TypeSafe, November 12, 2026, 06:53 UTC. Przykłady kosztów to szacunki na podstawie dokumentacji, a nie pomiary inferencji.

1. Google: premiera Gemini Decisions API i wykres benchmarków.
2. Google: dokumentacja Decisions API i oficjalny cennik.
3. TypeSafe: dokumentacja modeli, wydanie Jev 1.14, ograniczenia obrazów i natywny schemat API.
4. AIHubMix: Gemini Decision 1 (instrukcje) i Jev 1.14 (instrukcje).
5. AIHubMix: porównanie Gemini Decision 1 i Jev 1.14.