Nvidia zaprezentowała system do szkolenia robotów

Badacze z Nvidii, Uniwersytetu Carnegie Mellon i Uniwersytetu Kalifornijskiego w Berkeley wprowadzili ENPIRE — framework, który pozwala agentom AI poprawiać polityki sterowania robotami na rzeczywistym sprzęcie.

System działa w zamkniętej pętli: robot wykonuje zadanie, środowisko automatycznie ocenia wynik i wraca do swojego początkowego stanu, a agent AI analizuje błędy, przepisuje kod i uruchamia kolejną serię prób.

Jak działa ENPIRE

W robotyce szkolenie na rzeczywistym sprzęcie pozostaje kosztownym i wolnym procesem. Po nieudanej próbie scena musi zostać przywrócona do swojego początkowego stanu, wynik sprawdzony, algorytm zmieniony, a próba przeprowadzona ponownie. Zwykle część tej pracy wymaga zaangażowania inżynierów.

ENPIRE przenosi do świata fizycznego podejście, które Nvidia nazywa AutoResearch: agenci AI piszą kod, testują go i poprawiają w kolejnych iteracjach. Jednak w przeciwieństwie do środowiska cyfrowego, tutaj każdy eksperyment obejmuje rzeczywiste roboty, kamery, obiekty, błędy chwytania, tarcie i inne ograniczenia fizyczne.

Framework składa się z czterech modułów:

• Środowisko odpowiada za automatyczne resetowanie sceny, weryfikację wyników, logowanie i interfejsy bezpieczeństwa;
• Poprawa Polityki uruchamia poprawę polityki sterowania;
• Ocena ocenia politykę na jednym lub kilku fizycznych robotach;
• Ewolucja pozwala agentom analizować logi, szukać pomysłów w literaturze, zmieniać infrastrukturę szkoleniową i poprawiać kod.

Po początkowej konfiguracji środowiska, pętla może działać bez stałej nadzoru człowieka. Agent otrzymuje dane z wideo, trajektorii i funkcji nagrody, proponuje nową hipotezę, zmienia kod, testuje wynik na robocie i zapisuje zmiany, jeśli poprawiają one metrykę.

Dlaczego potrzebna jest automatyczna weryfikacja i resetowanie

Kluczowym elementem ENPIRE jest automatyzacja dwóch operacji: weryfikacji wyniku i przywracania sceny do jej początkowego stanu. Pierwsza jest potrzebna, aby system mógł samodzielnie określić, czy zadanie zostało zakończone. Na przykład, w scenariuszu z opaską kablową, funkcja oceny łączyła detektor, model segmentacji i weryfikację przez dwie kamery. W ten sposób agent otrzymywał sygnał sukcesu lub błędu bez ręcznego etykietowania każdego uruchomienia.

Automatyczny reset pozwala na przeprowadzanie wielu prób z rzędu. Po nieudanej akcji robot musi przywrócić obiekt lub scenę do stanu odpowiedniego dla następnego eksperymentu. Bez tego, trening na rzeczywistym sprzęcie szybko napotyka potrzebę stałego zaangażowania człowieka.

Jak zauważył Decrypt, na pierwszym etapie człowiek pomaga agentowi stworzyć trwałe narzędzia — procedurę resetowania i funkcję nagrody. Po tym są one ponownie wykorzystywane, a agent przejmuje dalsze doskonalenie polityki.

Co pokazano na robotach

W rzeczywistych eksperymentach zespół testował ENPIRE w kilku zadaniach manipulacyjnych. Push-T sprawdza, czy robot potrafi wcisnąć obiekt w kształcie T do określonej strefy. Wstawianie pinów wymaga włożenia pinów do otworów o średnicy 4 mm. Instalacja GPU i operacje z opaską kablową są również pokazane.

Na stronie projektu Nvidia stwierdzono, że w rzeczywistych zadaniach manipulacyjnych system pomyślnie zakończył zadanie w 99% przypadków, jeśli agent miał do dyspozycji do ośmiu prób, biorąc pod uwagę wcześniejsze błędy. Metryka odzwierciedla zdolność systemu do regeneracji po awariach i powtarzania działań z uwzględnieniem kontekstu, a nie dokładność pojedynczej, izolowanej próby.

Jako agenci kodujący zespół porównał Codex na GPT-5.5, Claude Code na Opus 4.7 oraz Kimi Code na Kimi K2.6. Ocena miała miejsce w benchmarku AutoEnvBench w zadaniach Push-T i Wstawianie pinów.

Badacze przetestowali również ENPIRE w RoboCasa — symulatorze zadań domowych, takich jak otwieranie szafek i szuflad oraz włączanie i wyłączanie obiektów w kuchni. W tych scenariuszach ENPIRE przewyższył GR00T i CaP-X firmy Nvidia — system agenta, który używa narzędzi, ale nie przeprowadza pełnego cyklu automatycznych badań.

Osiem robotów przyspieszyło szkolenie

Osobny blok pracy poświęcony jest skalowaniu do floty robotów. Nvidia przeprowadziła eksperyment na ośmiu stacjach robotycznych z dwoma manipulatorami. Każdy miał własny sprzęt, komputer i agenta kodującego AI.

Stacje wymieniały wyniki za pośrednictwem Gita: udany pomysł lub zmiana kodu mogły szybko rozprzestrzenić się między agentami. Takie podejście umożliwiło skrócenie czasu szkolenia. Według Decrypt, przejście z jednego robota na osiem skróciło czas opanowania Push-T z około pięciu do dwóch godzin. W przypadku Pin Insertion czas spadł z ponad 90 minut do około 40 minut.

Ograniczenia

Autorzy podkreślili, że skalowanie nie rozwiązuje wszystkich problemów. Gdy agenci przeglądają logi, piszą kod, debugują go lub czekają na odpowiedź od podstawowego modelu językowego, roboty i zasoby obliczeniowe nie są w pełni wykorzystywane. W miarę wzrostu liczby robotów, aktywność GPU rośnie, ale średnie wykorzystanie samych robotów maleje. Zespoły agentów spędzają więcej czasu na podsumowywaniu wyników innych gałęzi i koordynacji, zamiast tylko na fizycznych uruchomieniach.

Kolejnym ograniczeniem jest wzrost zużycia tokenów. Większa flota robotów szybciej przynosi politykę do stanu roboczego, ale wymaga więcej tokenów z powodu przeglądania logów, dzielenia się pomysłami i koordynacji między agentami.

Ponadto, ENPIRE jak dotąd zostało pokazane na ograniczonej liczbie zadań manipulacyjnych. Jego wyniki nie oznaczają, że roboty mogą już samodzielnie opanować dowolne umiejętności fizyczne w otoczeniu bez przygotowania inżynieryjnego.

Przypomnij, że w czerwcu Nvidia wprowadziła Referencyjnego Humanoidalnego Robota Isaac GR00T — projekt referencyjny do rozwijania i testowania umiejętności robotów humanoidalnych. Konfiguracja obejmowała ciało Unitree H2 Plus oraz dotykowe pięciopalczaste ręce od Sharpa Wave.

Wcześniej Unitree wprowadziło "pierwszego na świecie robota gotowego do masowej produkcji" z pilotem. Android jest w stanie poruszać się na dwóch i czterech kończynach.

Źródło: ForkLog