EgoMimic: Doktorantka Georgia Tech wykorzystuje okulary badawcze Project Aria, aby pomóc w szkoleniu humanoidalnych robotów

Dziś przedstawiamy nowe badania przeprowadzone przez Georgia Tech która pomaga szkolić roboty w wykonywaniu podstawowych codziennych zadań za pomocą egocentrycznych nagrań od użytkowników Meta's Projekt Aria okulary badawcze. Obejrzyj poniższy film, przeczytaj całą historię lub Złóż wniosek o własny zestaw badawczy Project Aria.

Wyobraź sobie pomoc w wykonywaniu codziennych zadań w domu, takich jak pranie, zmywanie naczyń czy naprawy. Używamy już narzędzi pomagających w tych zadaniach, takich jak pralki, zmywarki i wiertarki elektryczne. Ale co by było, gdybyś mógł mieć jeszcze potężniejsze i bardziej elastyczne narzędzie w postaci humanoidalnego robota, który mógłby uczyć się od ciebie i przyspieszyć dowolną liczbę fizycznych projektów z twojej listy rzeczy do zrobienia?

Nawet jeśli masz dostępny system sprzętowy, nauczenie robota wykonywania codziennych zadań można osiągnąć jedynie poprzez powolną i nieporęczną metodę gromadzenia danych zwaną teleoperacją robota. Aż do teraz. Dzięki wykorzystaniu Zestaw badawczy Project AriaProfesor Danfei Xu i zespół Laboratorium uczenia się i rozumowania robotów na Georgia Tech wykorzystują czujniki egocentryczne w okularach Aria do tworzenia czegoś, co nazywają "ludzkimi danymi" dla zadań, które mają być replikowane przez humanoidalnego robota. Wykorzystują oni ludzkie dane, aby radykalnie zmniejszyć ilość danych teleoperacyjnych robota potrzebnych do wytrenowania jego polityki - jest to przełom, który pewnego dnia może sprawić, że humanoidalne roboty będą w stanie nauczyć się dowolnej liczby zadań, które mógłby zademonstrować człowiek.

Kareer teleoperuje robotem w celu przechwycenia danych treningowych dla EgoMimic. Teleoperacja może być trudna do skalowania i wymagać znacznego wysiłku ludzkiego.

"Tradycyjnie gromadzenie danych dla robotyki oznacza tworzenie danych demonstracyjnych" - mówi Simar Kareer, doktorant w Georgia Tech's Szkoła Informatyki Interaktywnej. "Obsługujesz przeguby robota za pomocą kontrolera, aby go poruszyć i osiągnąć pożądane zadanie, i robisz to setki razy, rejestrując dane z czujników, a następnie trenujesz swoje modele. Jest to powolne i trudne. Jedynym sposobem na przerwanie tego cyklu jest odłączenie gromadzenia danych od samego robota".

Obecnie modele polityki robotów są szkolone przy użyciu dużych ilości ukierunkowanych danych demonstracyjnych specyficznych dla każdego wąskiego zadania, co wiąże się z wysokimi kosztami. Kareer stawia hipotezę, że pasywnie gromadzone dane od wielu badaczy, takie jak dane przechwycone przez okulary Aria, mogą zamiast tego zostać wykorzystane do umożliwienia tworzenia danych dla znacznie szerszego zestawu zadań w celu stworzenia bardziej ogólnie użytecznych robotów w przyszłości.

Zainspirowany przez Projekt Aria oraz Ego-Exo4D który zawiera ogromny egocentryczny zbiór danych obejmujący ponad 3 tysiące godzin nagrań wideo z codziennych czynności, Kareer opracował EgoMimicnowe ramy algorytmiczne, które wykorzystują dane o ludziach i robotach do rozwoju robotów humanoidalnych.

"Kiedy spojrzałem na Ego4D, zobaczyłem zbiór danych, który jest taki sam, jak wszystkie duże zbiory danych robotów, które próbujemy zebrać, z wyjątkiem tego, że jest z ludźmi" - wyjaśnia Kareer. "Po prostu nosisz parę okularów i robisz różne rzeczy. Dane nie muszą pochodzić od robota. Powinny pochodzić od czegoś bardziej skalowalnego i generowanego pasywnie, czyli od nas". W badaniach Kareera, okulary Aria zostały wykorzystane do stworzenia ludzkich danych do wspólnego trenowania frameworka EgoMimic.

Kareer tworzy współtrenujące dane ludzkie, nagrywając za pomocą okularów Aria podczas składania koszulki.

Okulary Aria są wykorzystywane nie tylko do zbierania danych o ludziach w badaniach Georgia Tech. Są one również wykorzystywane jako integralny element konfiguracji działania robota w czasie rzeczywistym. Okulary Aria są montowane na platformie robota humanoidalnego tak jak para oczu i służą jako zintegrowany pakiet czujników, który umożliwia robotowi postrzeganie otoczenia w czasie rzeczywistym. Zestaw Aria Client SDK jest wykorzystywany do przesyłania danych z czujników Aria bezpośrednio do polityki robota, działającej na podłączonym komputerze, która z kolei kontroluje uruchamianie robota. Wykorzystanie okularów Aria zarówno do gromadzenia danych, jak i potoku percepcji w czasie rzeczywistym minimalizuje lukę domenową między ludzkim demonstratorem a robotem, torując drogę do skalowania generowania danych ludzkich do przyszłego treningu zadań robotyki.

Okulary Aria zamontowane na górze robota dostarczają systemowi danych z czujników, które umożliwiają robotowi postrzeganie i interakcję z przestrzenią.

Dzięki EgoMimic, Kareer osiągnął wzrost wydajności swojego robota o 400% w różnych zadaniach w porównaniu z poprzednimi metodami przy zaledwie 90 minutach nagrań Aria. Robot był również w stanie z powodzeniem wykonywać te zadania w nieznanych wcześniej środowiskach.

W przyszłości roboty humanoidalne mogłyby być szkolone na dużą skalę przy użyciu danych egocentrycznych w celu wykonywania różnych zadań w taki sam sposób, jak robią to ludzie.

"Postrzegamy Arię jako inwestycję w społeczność badawczą" - mówi James Fort, menedżer produktu ds. badań w Reality Labs w firmie Meta. "Im bardziej egocentryczna społeczność badawcza się ustandaryzuje, tym więcej badaczy będzie w stanie współpracować. To właśnie dzięki takiemu skalowaniu ze społecznością możemy zacząć rozwiązywać większe problemy związane z tym, jak rzeczy będą działać w przyszłości".

Kareer zaprezentuje swój artykuł na temat EgoMimic na konferencji 2025 Międzynarodowa Konferencja Inżynierów IEEE na temat Robotyki i Automatyki (ICRA) w Atlancie.