NVIDIA niedawno wydało Nemotron 3 Ultra — największy otwarty model AI w linii Nemotron 3. Premiera miała miejsce 4 czerwca 2026 roku: wagi modelu, dane treningowe oraz same metody treningowe zostały udostępnione publicznie na licencji bezpłatnej. Model jest zaprojektowany do długoterminowych autonomicznych agentów i złożonego rozumowania.
W przeciwieństwie do zamkniętych flagowców takich jak ChatGPT czy Claude, Nemotron 3 Ultra można pobrać, dostosować do własnych danych i uruchomić na własnej infrastrukturze. Zakładamy tutaj nie na maksymalną inteligencję, ale na otwartość, efektywność i kontrolę nad modelem.
Chcesz więcej ekskluzywnych wiadomości i analiz? Zapisz się do naszegokanał Telegram, dyskutuj o wiadomościach i dziel się swoimi opiniami na temat najnowszych wydarzeń rynkowych na czacie!
Co sprawia, że architektura modelu jest wyjątkowa
Nemotron 3 Ultra to nie tylko «powiększony transformer». W jego rdzeniu leży hybrydowa architektura składająca się z trzech różnych podejść: warstw Mamba-2, warstw uwagi (Attention) oraz latentnej mieszanki ekspertów (Latent MoE) — mechanizmu, który kieruje każde zapytanie tylko do odpowiednich «specjalistów» wewnątrz modelu.
Warstwy Mamba-2 przetwarzają długie teksty szybko i ekonomicznie: ich koszty rosną liniowo z długością, a nie lawinowo, jak w przypadku zwykłego mechanizmu uwagi. Warstwy uwagi z kolei dokładnie przechowują duże objętości tekstu w pamięci. A Latent MoE kompresuje dane przed przekazaniem ich do ekspertów, dzięki czemu każdy z nich działa wąsko i precyzyjnie, nie wymagając dodatkowych obliczeń.
W sumie model ma około 550 miliardów parametrów, ale tylko około 55 miliardów jest zaangażowanych w przetwarzanie każdego tokena. Z tego powodu myśli jak ogromny system, podczas gdy pod względem kosztów zachowuje się jak znacznie bardziej kompaktowy. Wraz z oknem kontekstowym wynoszącym 1 milion tokenów i prędkością przekraczającą 300 tokenów na sekundę, to zapewnia pięciokrotnie do sześciokrotnie większą przepustowość i około 30% niższy koszt zadania.
Źródło: BeInCrypto
