15 września Google udostępniło Gemini 3.8 Live i Gemini 3.8 Live Extended Thinking, nazywając je swoimi najzaawansowanymi dotąd modelami audio.
Oba modele potrafią rozmawiać, rozumować i wykonywać zadania. Jak jednak wypadają w rankingach niezależnych analityków? Wersja Extended Thinking zajęła pierwsze miejsce w indeksie Speech-to-Speech firmy Artificial Analysis z wynikiem 82,6, wyprzedzając GPT-Live-1 i Grok Voice.
Śledź nas na X, aby otrzymywać najnowsze wiadomości na bieżąco
Jak benchmarki oceniają najnowszy konwersacyjny model AI Google’a
Indeks Artificial Analysis to średnia wyników w zakresie rozumowania na podstawie mowy, działania w roli agenta, preferencji użytkowników w bezpośrednich porównaniach i skuteczności wykonywania zadań.
Gemini 3.8 Live Extended Thinking, przetestowany przy wysokim poziomie wysiłku włożonego w rozumowanie, zadebiutował na pierwszym miejscu. Tuż za nim znalazły się GPT-Live-1 Astra z wynikiem 81,5 oraz Grok Voice Think Fast 2.0 High z wynikiem 81,3.
Standardowy Gemini 3.8 Live zajął piąte miejsce z wynikiem 76,0. Obie wersje pokonały Gemini 3.1 Flash Live High, który uzyskał 71,5.
Różnica w możliwościach agentowych jest większa. Extended Thinking osiągnął 68,6% w benchmarku Tau Voice, podczas gdy poprzednia generacja uzyskała 37,7%.
W benchmarku rozumowania na podstawie mowy Extended Thinking uzyskał 97,7%, nieznacznie wyprzedzając Grok Voice z wynikiem 97,2%. Nie dorównał jednak Qwen Audio 3.0 Realtime Plus, który uzyskał 99,2%.
Ludzcy testerzy wciąż chętniej wybierają starszy model Gemini
Różnica najbardziej uwidacznia się w cenie. Korzystanie ze standardowego modelu kosztuje 0,84 USD za godzinę wejściowego sygnału audio. To mniej więcej połowa ceny poprzednika, wynoszącej 1,75 USD, i najniższa stawka w indeksie.
Rozszerzone myślenie kosztuje 3,50 USD za godzinę. To mniej niż GPT-Live-1 Sol (4,47 USD) i Grok Voice Think Fast 2.0 High (4,80 USD).
Spadło również opóźnienie. Średni czas do pierwszego dźwięku skrócił się do 1,18 sekundy, w porównaniu z 2,99 sekundy w starszym modelu Gemini.
Słuchacze nie są jednak do końca przekonani. Gemini 3.1 Flash Live nadal cieszy się największą popularnością w zaślepionych rozmowach w Speech Agent Arena, z wynikiem Elo 1096.
Gemini 3.8 Live zajmuje drugie miejsce z wynikiem 1083. Wariant z Rozszerzonym myśleniem pozostaje w tyle z wynikiem 990, mimo że wykonuje 89,1% zadań.
AI głosowe ocenia się teraz według dwóch kryteriów, które wskazują różne kierunki. Benchmarki nagradzają model, który najlepiej rozumuje. Preferencje — ten, który najlepiej rozmawia. Obecnie Google przoduje w obu kategoriach, dzięki różnym modelom.
Subskrybuj nasz kanał YouTube, aby oglądać liderów i dziennikarzy, którzy dostarczają fachowych spostrzeżeń
Źródło: BeInCrypto
