Elon Musk nazwał Grok 4.5 modelem klasy Opus, który działa szybciej i kosztuje mniej. Niezależny, agentowy benchmark teraz dostarcza rzeczywiste wsparcie dla tego twierdzenia.
Na AutomationBench-AA od Artificial Analysis, Grok 4.5 zajął pierwsze miejsce z wynikiem 51,4%, kosztując 0,34 USD za zadanie. Pokonał zarówno Claude Fable 5 (48,6%), jak i Claude Opus 4.8 (48,5%).
Niezależna weryfikacja twierdzenia Elona Muska
SpaceXAI wprowadziło Grok 4.5 na rynek w tym tygodniu, opierając się na swoim fundamencie V9 z 1,5 biliona parametrów. Prezentacja Muska opierała się na wczesnych wewnętrznych ocenach.
AutomationBench-AA to zmienia. Artificial Analysis przeprowadza benchmark niezależnie i utrzymuje zestaw zadań w tajemnicy, aby zapobiec kontaminacji.
Test obejmuje 657 zadań w 40 symulowanych aplikacjach, w tym Gmail, Slack, Salesforce i HubSpot. Ocena dotyczy udziału celów, które agent realizuje bez łamania zasad.
Grok 4.5: Tańszy, Szybszy i Głównie Zgodny
Koszt Grok 4.5 wynoszący 0,34 USD za zadanie był znacznie niższy niż 1,35 USD za Fable 5 i 1,46 USD za Opus 4.8. Najbliżej był Gemini 3.5 Flash z ceną 0,49 USD.
Model używał około 8 000 tokenów wyjściowych na zadanie, co stanowiło około jednej czwartej całkowitej liczby tokenów Opus 4.8. Ta efektywność napędza większość różnicy w kosztach, odpowiadając ramom, które Musk użył przy wprowadzeniu.
„Całkowite zużycie tokenów wynoszące 0,44M na zadanie jest jednym z najniższych na liście liderów. Niski koszt wynika z tej efektywności, a także z niskiej ceny tokenów,” powiedziała Artificial Analysis.
Dodatkowo, Grok 4.5 zrealizował 79,9% celów zadania i w pełni przeszedł 21,9% zadań. W finansach, najtrudniejszej dziedzinie, prowadził z wynikiem 71%, wyprzedzając Fable 5 z 64% i Opus 4.8 z 62%.
Jednak model złamał więcej zasad niż jego najbliżsi rywale. Zarejestrował 0,63 naruszenia zasad bezpieczeństwa na zadanie, powyżej 0,55 Opus 4.8 i 0,46 Gemini 3.5 Flash.
Ta różnica ma znaczenie dla firm, które wdrażają agentów do działających systemów finansowych, gdzie jedno naruszenie może wiązać się z rzeczywistymi kosztami.
Źródło: BeInCrypto
