Anthropic udostępniło Claude Sonnet 5.5 28 września w tej samej cenie katalogowej co Sonnet 5. Firma twierdzi, że model działa o ponad 30% szybciej, a jego koszt za zadanie jest nawet o 30% niższy.
Niezależna firma zajmująca się benchmarkingiem doszła do innych wniosków dotyczących kosztów, gdy doprowadziła model do granic jego możliwości.
Śledź nas na X, aby otrzymywać najnowsze wiadomości na bieżąco
Drugi model 5.5 od Anthropic pojawił się kilka dni po Opus
Sonnet 5.5 to drugi model z rodziny Claude 5.5. Anthropic uruchomiło Opus 5.5 22 września. Tego samego dnia OpenAI udostępniło również GPT-6 Sol i Luna.
Nowy model zachowuje ceny Sonnet 5: 2 dolary za milion tokenów wejściowych i 10 dolarów za milion tokenów wyjściowych. Anthropic poinformowało o wyniku 70,6% w teście Terminal-Bench 4.0, sprawdzającym kodowanie agentowe. Sonnet 5 uzyskał zaledwie 10,3%, a Opus 5.5 — 66,4%.
„Opus 5.5 stworzono z myślą o złożonych zadaniach wymagających starannej oceny, natomiast Sonnet 5.5 najlepiej radzi sobie z dobrze określonymi, codziennymi zadaniami, naprawianiem błędów oraz tworzeniem dopracowanych dokumentów, prezentacji i arkuszy kalkulacyjnych” — powiedział zespół.
Anthropic poinformowało, że Sonnet 5.5 nie przesuwa granic możliwości modelu. Dlatego przegląd jego zgodności z zasadami bezpieczeństwa skupił się na zagrożeniach, takich jak wprowadzanie użytkowników w błąd i ułatwianie szkodliwych działań o poważnych konsekwencjach.
Sonnet 5.5 ma również zabezpieczenia przed cyberzagrożeniami i klasyfikatory antydestylacyjne. Blokują one próby wydobycia toku rozumowania modelu w celu trenowania konkurencyjnych systemów. Claude Haiku 5.5 pojawi się w nadchodzących tygodniach.
Tymczasem OpenAI wstrzymało prace nad nadchodzącym modelem GPT-6.1 Astra z powodów związanych z bezpieczeństwem. W poniedziałek CNBC potwierdziło, że model nie spełnił standardów firmy.
Artificial Analysis wykrywa większe zużycie tokenów przy maksymalnym wysiłku
Artificial Analysis, firma benchmarkingowa, która uplasowała Groka 4.7 na czwartym miejscu, przyznała Sonnetowi 5.5 wynik 56 w swoim indeksie inteligencji. To daje mu drugie miejsce w klasyfikacji ogólnej, 2 punkty za Opusem 5.5 przy maksymalnym wysiłku.
Firma odnotowała wynik 64% dla Sonneta 5.5 w teście Terminal-Bench 4.0, w porównaniu z 60% dla Opusa 5.5 i GPT-6 Astra. W testach wiedzy zawodowej, takich jak GDPval-AA, Sonnet 5.5 uzyskał wynik mniej więcej równy Opusowi 5.5.
Firma poinformowała, że Sonnet 5.5 zużył znacznie więcej tokenów, aby osiągnąć te wyniki.
„Przy maksymalnym wysiłku, gdy osiąga wyniki zbliżone do Opusa 5.5, Claude Sonnet 5.5 zużywa około 193 tys. tokenów wyjściowych na każde zadanie z indeksu inteligencji”
To około 60% więcej niż Opus 5.5 i Sonnet 5 przy maksymalnym wysiłku. To również mniej więcej 7 razy więcej niż wynosi zużycie GPT-6 Astra przy maksymalnym wysiłku.
Klienci Anthropic, którzy uzyskali wczesny dostęp, odnotowali przeciwny trend w porównaniu z Sonnetem 5, choć w ramach innych zadań. Balyasny Asset Management zaobserwowało znacznie mniejsze zużycie tokenów w zadaniach finansowych.
„W naszym prywatnym zestawie 2441 zadań finansowych obejmujących pytania i odpowiedzi, ekstrakcję, analizę oraz prognozowanie Claude Sonnet 5.5 uzyskał lepszy wynik niż Sonnet 5 i zużywał około 121 tys. tokenów na odpowiedź, podczas gdy Sonnet 5 zużywał ich 497 tys.” — stwierdził Joe Poirier, starszy inżynier AI w Balyasny Asset Management.
Artificial Analysis przetestowało przedpremierową wersję z błędem dotyczącym ustrukturyzowanych danych wyjściowych, który Anthropic zdążył już naprawić. Firma planuje wkrótce ponownie przeprowadzić odpowiednie ewaluacje.
Subskrybuj nasz kanał YouTube, aby oglądać liderów i dziennikarzy, którzy dostarczają fachowych spostrzeżeń
Źródło: BeInCrypto
