EgoMimic: Докторант от Техническия университет в Джорджия използва изследователски очила по проекта Aria, за да помогне за обучението на хуманоидни роботи

Днес представяме ново изследване от Georgia Tech която помага на роботите да се обучават да изпълняват основни ежедневни задачи, като използва егоцентрични записи от потребителите на Проект Aria изследователски очила. Вижте видеото по-долу, прочетете цялата история или кандидатствайте за собствен изследователски комплект Project Aria.

Представете си, че имате помощ при изпълнението на ежедневните задачи в дома си, като пране, миене на чинии и извършване на ремонти. Вече използваме инструменти, които ни помагат в тези задачи, като перални машини, съдомиялни машини и електрически бормашини. Но какво би станало, ако можехте да разполагате с още по-мощен и гъвкав инструмент под формата на хуманоиден робот, който може да се учи от вас и да ускорява всеки брой физически проекти от списъка ви със задачи?

Дори и да разполагате с наличната хардуерна система, обучението на робот за изпълнение на ежедневни задачи може да се осъществи само чрез бавен и тромав метод за събиране на данни, наречен телеоперация на роботи. Досега. С помощта на Изследователски комплект за проекта Aria, професор Danfei Xu и Лаборатория за роботизирано обучение и аргументиране в Georgia Tech използват егоцентричните сензори на очилата Aria, за да създават така наречените "човешки данни" за задачи, които искат да бъдат възпроизведени от хуманоиден робот. Те използват човешките данни, за да намалят драстично количеството на данните за телеоперация на робота, необходими за обучение на политиката на робота - пробив, който един ден може да направи хуманоидните роботи способни да научат всеки брой задачи, които човек може да демонстрира.

Kareer управлява телеуправляемия робот, за да заснеме данни за съвместно обучение за EgoMimic. Телеоперацията може да бъде трудна за мащабиране и да изисква значителни човешки усилия.

"Традиционно събирането на данни за роботиката означава създаване на демонстрационни данни", казва Симар Карер, докторант в Техническия университет в Джорджия. Училище за интерактивни компютри. "Управлявате ставите на робота с помощта на контролер, за да го преместите и да постигнете желаната задача, и правите това стотици пъти, като записвате данни от сензори, след което обучавате моделите си. Това е бавно и трудно. Единственият начин да се прекъсне този цикъл е да се отдели събирането на данни от самия робот".

Днес моделите на политиката за роботите се обучават с големи количества целеви демонстрационни данни, специфични за всяка тясна задача, което е свързано с високи разходи. Кареър изказва хипотезата, че вместо това пасивно събраните данни от много изследователи, като данните, уловени от очилата Aria, могат да се използват за създаване на данни за много по-широк набор от задачи, за да се създадат по-общополезни роботи в бъдеще.

Вдъхновен от Проект Aria и Ego-Exo4D която включва огромен набор от егоцентрични данни с над 3 хил. часа видеозаписи на дейности от ежедневието, Kareer разработи EgoMimic, нова алгоритмична рамка, която използва данни за човека и данни за робота за разработване на хуманоидни роботи.

"Когато погледнах Ego4D, видях набор от данни, който е същият като всички големи набори от данни за роботи, които се опитваме да съберем, само че с хора", обяснява Кареър. "Просто носите чифт очила и отивате да правите нещо. Не е необходимо да идва от робота. Тя трябва да идва от нещо по-скалируемо и пасивно генерирано, което сме ние." В изследването на Кареър очилата Aria са използвани за създаване на човешки данни за съвместно обучение на рамката EgoMimic.

Kareer създава данни за съвместно обучение на хора, като записва с очилата Aria, докато сгъва тениска.

Очилата Aria се използват не само за събиране на данни от хора в изследванията на Georgia Tech. Те се използват и като неразделна част от настройките за работа на робота в реално време. Очилата Aria се монтират на платформата на хуманоидния робот точно като чифт очи и служат като интегриран пакет от сензори, който позволява на робота да възприема околната среда в реално време. Aria Client SDK се използва за стрийминг на сензорните данни на Aria директно в политиката на робота, работеща на прикачен компютър, който на свой ред управлява задвижването на робота. Използването на очила Aria както за събиране на данни, така и за конвейера за възприемане в реално време, свежда до минимум разликата в областта между човека демонстратор и робота, като проправя пътя за мащабно генериране на човешки данни за бъдещо обучение на задачи в областта на роботиката.

Очилата Aria, монтирани в горната част на робота, предоставят на системата сензорни данни, които позволяват на робота да възприема и взаимодейства с пространството.

Благодарение на EgoMimic Kareer постигна 400% увеличение на производителността на своя робот при различни задачи в сравнение с предишни методи само с 90 минути записи на Aria. Роботът също така успя да изпълни успешно тези задачи в непознати досега среди.

В бъдеще хуманоидните роботи ще могат да бъдат обучавани в голям мащаб, като използват егоцентрични данни, за да изпълняват различни задачи по същия начин, както хората.

"Гледаме на Aria като на инвестиция в изследователската общност", казва Джеймс Форт, продуктов мениджър на Reality Labs Research в Meta. "Колкото повече се стандартизира егоцентричната изследователска общност, толкова повече изследователи ще могат да си сътрудничат. Наистина чрез подобно мащабиране с общността можем да започнем да решаваме по-големи проблеми, свързани с това как ще работят нещата в бъдеще."

Кареер ще представи доклада си за EgoMimic на конференцията 2025 Международна конференция на инженерите на IEEE по роботика и автоматизация (ICRA) в Атланта.