Alibaba zaprezentowało Qwen-Robot Suite — zestaw modeli AI dla robotów i zadań w fizycznym środowisku: Qwen-RobotNav do nawigacji, Qwen-RobotManip do działań z obiektami oraz Qwen-RobotWorld do przewidywania, jak scena się rozwinie. Zespół opisał projekt jako «pełny stos dla ucieleśnionej sztucznej inteligencji».
To modele oprogramowania mające na celu pomoc fizycznym agentom w postrzeganiu otoczenia, planowaniu działań i wykonywaniu poleceń w naturalnym języku. Qwen-Robot Suite już przechodzi pilotażowe próby z wybranymi klientami korporacyjnymi Alibaba Cloud w dziedzinie robotyki.
Dlaczego Alibaba wprowadza Qwen do fizycznego świata
Duże modele językowe i multimodalne mogą już pracować z tekstem, obrazami, wideo i mową, ale to nie wystarcza dla robotów. Fizyczne agenty muszą nie tylko rozumieć polecenie, ale także przetłumaczyć je na ruch, uwzględnić przestrzeń, właściwości obiektów, ograniczenia czujników i konsekwencje działań.
Alibaba nazywa to dziedziną fizycznej AI, lub «ucieleśnionej AI». W tym podejściu model musi działać nie tylko z danymi cyfrowymi, ale także z fizycznym środowiskiem: poruszając się, znajdując obiekty, kontrolując manipulatorów i przewidując, co się wydarzy po działaniu.
Qwen-RobotNav: pięć zadań nawigacyjnych w jednym modelu
Qwen-RobotNav odpowiada za nawigację. Model łączy pięć grup zadań:
- podążanie za instrukcjami;
- przemieszczanie się do określonego punktu;
- wyszukiwanie obiektów;
- śledzenie celu;
- autonomiczne prowadzenie.
Według Alibaba, Qwen-RobotNav jest zbudowany na Qwen3-VL i wytrenowany na 15,6 miliona próbek związanych z planowaniem tras i rozumowaniem wizualno-językowym.
Firma twierdzi, że osiągnęła 76,5% sukcesu w VLN-CE RxR i 90% w EVT-Bench. Alibaba również określiło, że model może działać jako narzędzie dla większych systemów agentowych: model wyższego poziomu planuje zadanie, podczas gdy Qwen-RobotNav zajmuje się ruchem.
W swoich demonstracjach Alibaba opisuje scenariusze takie jak poszukiwanie zagubionego przedmiotu w pokoju lub sprawdzanie, czy konkretny obiekt w budynku jest otwarty. W takich zadaniach robot musi nie tylko się poruszać, ale także zbierać dowody wizualne i zwracać odpowiedź użytkownikowi.
Qwen-RobotManip: działania z obiektami
Qwen-RobotManip jest zaprojektowany do fizycznych działań z obiektami. Model ma na celu pomoc robotom w podnoszeniu, przenoszeniu i umieszczaniu przedmiotów, a także w transferze umiejętności między różnymi typami urządzeń.
Jednym z kluczowych wyzwań w robotyce jest to, że roboty opisują działania w różny sposób. Manipulator, platforma z dwoma ramionami, robot z ręką lub system mobilny używają różnych współrzędnych, stawów i formatów poleceń. Qwen-RobotManip stara się wprowadzić te dane do wspólnej reprezentacji, aby trening na jednym typie robota pomógł innemu.
Do treningu Alibaba wykorzystał ponad 38 100 godzin danych. Ta objętość obejmowała 11 320 godzin otwartych danych robotycznych, 1 933 godziny wideo z akcjami ludzi z perspektywy pierwszej osoby oraz 24 808 godzin syntetycznych demonstracji robotów stworzonych na podstawie takich wideo.
Firma stwierdziła, że model zajął pierwsze miejsce w RoboChallenge Table30 v1 w kategorii modeli ogólnego przeznaczenia. Według Alibaba, Qwen-RobotManip również wykazał odporność na nowe instrukcje, nieznane obiekty oraz transfer umiejętności między różnymi robotami.
Qwen-RobotWorld: model świata dla robotów
Qwen-RobotWorld to model świata wideo kontrolowany przez naturalny język. Ma na celu przewidywanie, jak scena rozwinie się po danym działaniu.
Na przykład model otrzymuje bieżącą obserwację i polecenie tekstowe, a następnie generuje prawdopodobny przyszły stan środowiska. To podejście może być używane do manipulacji, autonomicznej jazdy, nawigacji, planowania oraz tworzenia syntetycznych danych treningowych dla robotów.
Aby wytrenować Qwen-RobotWorld, zespół zebrał korpus Embodied World Knowledge. Zawiera on 8,6 miliona par «wideo-tekst» i ponad 200 milionów klatek, obejmuje ponad 20 typów platform robotycznych i ponad 500 kategorii działań.
Alibaba stwierdził, że Qwen-RobotWorld zajął pierwsze miejsce w EWMBench i DreamGen Bench, a także przewyższył wszystkie otwarte modele w WorldModelBench i PBench. Opis techniczny również twierdzi, że model wykazuje wysoką spójność z podstawowymi regularnościami fizycznymi — ruchem, zachowaniem masy, cieczy i grawitacją.
Roboty masowego rynku są wciąż daleką przyszłością
Pomimo deklarowanych wyników, Qwen-Robot Suite na razie pozostaje zestawem modeli, a nie gotową platformą robotyki konsumenckiej. W rzeczywistym wdrożeniu napotyka się na szumy z czujników, zużycie aktuatorów, nietypowe sytuacje, błędy percepcyjne i ogromną liczbę rzadkich scenariuszy. Wiele z benchmarków, na podstawie których porównuje się takie systemy, jest przeprowadzanych w symulacji lub w ograniczonych warunkach eksperymentalnych.
Alibaba nie ujawnił również kosztu dostępu, harmonogramu publicznego uruchomienia ani listy klientów, którzy już testują Qwen-Robot Suite.
Przypominamy, że w kwietniu Alibaba Cloud zaprezentował model agentowy Qwen3.6-Plus z oknem kontekstowym o wielkości 1 miliona tokenów i wsparciem dla narzędzi zewnętrznych.
Źródło: ForkLog
