Vitalik Buterin promuje lokalną sztuczną inteligencję: czy Twój laptop może zastąpić ChatGPT?

Współzałożyciel Ethereum Vitalik Buterin twierdzi, że lokalna sztuczna inteligencja (AI) jest bliska przejęcia dużej części codziennych zadań. Uruchomił model Qwen3.8-Flash-Next firmy Alibaba na własnym laptopie i opublikował wyniki dotyczące jego szybkości.

W przeciwieństwie do ChatGPT ta konfiguracja nigdy nie łączy się z serwerem w chmurze. Model działa na komputerze, który samodzielnie odpowiada na zapytanie.

Test lokalnej AI Vitalika Buterina pokazuje, że działa ona z użyteczną szybkością

Jego laptop korzysta z układu Strix Halo firmy AMD. W większości komputerów praca jest podzielona między procesor a osobną kartę graficzną, z których każde ma własną pulę pamięci. Strix Halo umieszcza oba elementy na jednym kawałku krzemu i pozwala im korzystać ze wspólnej puli pamięci.

Ta konstrukcja ma znaczenie, bo model AI musi zmieścić się w pamięci, zanim w ogóle będzie można go uruchomić. Typowa karta graficzna oferuje od 8 do 24 gigabajtów — zdecydowanie za mało dla modelu tej wielkości. Komputery ze Strix Halo są wyposażone w maksymalnie 128 gigabajtów, z których może korzystać dowolna część układu. Dzięki temu jeden laptop może pomieścić model, który jeszcze niedawno wymagał sprzętu serwerowego.

Opublikowane przez niego wyniki pokazują szybkość wystarczającą do zwykłej pracy. Odpowiedzi na krótkie polecenia pojawiały się w tempie wygodnym do czytania. Generowanie zwalniało, gdy polecenie liczyło dziesiątki tysięcy słów, więc bardzo długie dokumenty nadal stanowią słaby punkt.

Alibaba opublikowała otwarte wagi modelu 26 sierpnia. Zespół twierdzi, że model ma 125 miliardów parametrów, ale w danym momencie aktywuje tylko sześć miliardów, dzięki czemu zapotrzebowanie na pamięć pozostaje niewielkie.

Buterin nazwał go Qwen3.8-Flash, choć Alibaba udostępnia wersję do pobrania pod nazwą Qwen3.8-Flash-Next. Jego większy brat, Qwen3.8-Max, uzyskał wysokie wyniki w benchmarkach w sierpniu.

Dlaczego prywatność zmienia rachunek

Buterin dostrzega też inną korzyść poza samą szybkością. Lokalny model odpowiada na urządzeniu, więc żaden dostawca nigdy nie otrzymuje zapytania.

Do bardziej wymagających zadań proponuje podział pracy. Lokalny model zajmowałby się tym, z czym sobie poradzi, a następnie usuwał wrażliwe szczegóły z wszystkiego, co przekazuje większemu modelowi działającemu w chmurze.

„używaj lokalnego modelu do koordynowania zapytań do zaawansowanych modeli, aby nie ujawniać w nich swoich danych osobowych”

W praktyce lokalny model usuwałby z promptu nazwiska, adresy portfeli lub prywatny kod, a następnie przekazywał dalej samo pozostałe pytanie. Taka kontrola ograniczyłaby ilość danych opuszczających urządzenie, ale nie gwarantowałaby, że nic wrażliwego się nie przedostanie.

To podejście jest zgodne z jego dotychczasową działalnością. Podczas sporu o unijny projekt Chat Control ostrzegał przed inwigilacją, a użytkownicy kryptowalut z podobnych powodów domagali się ściślejszych ograniczeń dla agentów.

W pozwie zbiorowym złożonym w maju zarzucono OpenAI udostępnianie zapytań użytkowników ChatGPT firmom Meta i Google.

Dostawcy usług w chmurze wciąż mają przewagę w dziedzinie najbardziej zaawansowanych modeli. Jednak każdy wzrost wydajności modeli lokalnych przenosi kolejne rutynowe zadania poza ich serwery, a tani sprzęt ze współdzieloną pamięcią staje się coraz powszechniejszy.

Otwarte pozostaje pytanie, z jakiej części możliwości ludzie będą skłonni zrezygnować w zamian za kontrolę.

Źródło: BeInCrypto