EgoMimic: Džordžijos technikos universiteto doktorantas naudoja projekto "Aria" tyrimų akinius, kad padėtų mokyti humanoidinius robotus

Šiandien pristatome naujus tyrimus, atliktus Džordžijos technikos universitetas kuri padeda mokyti robotus atlikti pagrindines kasdienes užduotis, naudojant "Meta" dėvėtojų egocentrinius įrašus. Projektas "Aria tyrimų akiniai. Peržiūrėkite toliau pateiktą vaizdo įrašą, perskaitykite visą istoriją arba pateikite paraišką savo "Project Aria" tyrimų rinkiniui..

Įsivaizduokite, kad jums padėtų atlikti kasdienes užduotis namuose, pavyzdžiui, skalbti, plauti indus ar atlikti remonto darbus. Jau dabar naudojame įrankius, padedančius atlikti šias užduotis, pavyzdžiui, skalbimo mašinas, indaploves ir elektrinius gręžtuvus. Bet kas, jei galėtumėte turėti dar galingesnį ir lankstesnį įrankį - humanoidinį robotą, kuris galėtų mokytis iš jūsų ir pagreitinti bet kuriuos fizinius projektus iš jūsų darbų sąrašo?

Net jei turėtumėte turimą aparatinės įrangos sistemą, išmokyti robotą atlikti kasdienes užduotis galima tik taikant lėtą ir nepatogų duomenų rinkimo metodą, vadinamą roboto teleoperavimu. Iki šiol. Naudojant Projekto "Aria" tyrimų rinkinys, profesorius Danfei Xu ir Robotų mokymosi ir argumentavimo laboratorija adresu Džordžijos technikos universitetas naudoja "Aria" akiniuose esančius egocentrinius jutiklius, kad sukurtų vadinamuosius "žmogaus duomenis" užduotims, kurias turi atkartoti humanoidinis robotas. Jie naudoja žmogaus duomenis, kad gerokai sumažintų roboto teleoperacinių duomenų, reikalingų roboto politikai mokyti, kiekį - tai yra proveržis, dėl kurio vieną dieną humanoidiniai robotai galėtų išmokti bet kiek užduočių, kurias galėtų parodyti žmogus.

Kareer nuotoliniu būdu valdo robotą, kad užfiksuotų "EgoMimic" bendro mokymo duomenis. Teleoperavimą gali būti sudėtinga išplėsti ir tam reikia didelių žmogaus pastangų.

"Tradiciškai duomenų rinkimas robotikai reiškia demonstracinių duomenų kūrimą", - sako Simaras Kareeras, Džordžijos technikos universiteto doktorantas. Interaktyvios kompiuterijos mokykla. "Valdikliu valdikliu valdote roboto sąnarius, kad jis judėtų ir atliktų norimą užduotį, ir tai darote šimtus kartų, įrašydami jutiklių duomenis, tada mokote savo modelius. Tai yra lėta ir sudėtinga. Vienintelis būdas nutraukti šį ciklą - atskirti duomenų rinkimą nuo paties roboto".

Šiandien robotų politikos modeliai mokomi naudojant didelius kiekius tikslinių demonstracinių duomenų, kurie yra skirti kiekvienai siaurai užduočiai, o tai brangiai kainuoja. Kareer iškelia hipotezę, kad daugelio tyrėjų pasyviai surinkti duomenys, pavyzdžiui, "Aria" akinių užfiksuoti duomenys, galėtų būti panaudoti siekiant sukurti duomenis daug platesniam užduočių rinkiniui, kad ateityje būtų galima kurti visuotinai naudingesnius robotus.

Įkvėptas Projektas "Aria ir "Ego-Exo4D kuriame yra didžiulis egocentrinių duomenų rinkinys, apimantis daugiau nei 3 tūkst. valandų kasdienės veiklos vaizdo įrašų, Kareer sukūrė EgoMimic, nauja algoritminė sistema, kurioje naudojami žmogaus ir roboto duomenys, skirta humanoidiniams robotams kurti.

"Kai pažvelgiau į "Ego4D", pamačiau duomenų rinkinį, kuris yra toks pat kaip ir visi dideli robotų duomenų rinkiniai, kuriuos bandome surinkti, tik su žmonėmis", - aiškina Kareeras. "Jūs tiesiog užsidedate akinius ir einate atlikti užduočių. Nebūtina, kad duomenis pateiktų robotas. Ji turėtų būti gaunama iš kažko, kas yra labiau masteliška ir pasyviai generuojama, t. y. iš mūsų." Kareerio tyrime "Aria" akiniai buvo naudojami žmogaus duomenims, skirtiems "EgoMimic" sistemai mokyti, kurti.

Kareeras sukuria bendrus žmogaus duomenis, įrašinėdamas su "Aria" akiniais, kai lanksto marškinėlius.

"Aria" akiniai naudojami ne tik žmonių duomenims rinkti Džordžijos technikos universiteto tyrimuose. Jie taip pat naudojami kaip neatsiejama roboto veikimo realiuoju laiku sąrankos dalis. Aria akiniai tvirtinami prie jų humanoidinio roboto platformos kaip akys ir tarnauja kaip integruotas jutiklių paketas, leidžiantis robotui suvokti aplinką realiuoju laiku. "Aria Client SDK" naudojama "Aria" jutiklių duomenims transliuoti tiesiai į roboto politiką, veikiančią prijungtame kompiuteryje, kuris savo ruožtu valdo roboto vykdymą. Naudojant "Aria" akinius tiek duomenų rinkimui, tiek realaus laiko suvokimo vamzdynui, sumažinamas domeno atotrūkis tarp žmogaus demonstruotojo ir roboto, taip atveriant kelią didesnio masto žmogaus duomenų generavimui būsimiems robotikos užduočių mokymams.

Prie roboto viršaus pritvirtinti "Aria" akiniai teikia sistemai jutiklių duomenis, kurie leidžia robotui suvokti erdvę ir sąveikauti su ja.

Naudodamas "EgoMimic", Kareeras pasiekė 400% didesnį roboto našumą atliekant įvairias užduotis, palyginti su ankstesniais metodais, naudodamas tik 90 minučių "Aria" įrašų. Robotas taip pat galėjo sėkmingai atlikti šias užduotis anksčiau nematytose aplinkose.

Ateityje humanoidiniai robotai galėtų būti mokomi naudojant egocentrinius duomenis, kad galėtų atlikti įvairias užduotis taip, kaip tai daro žmonės.

"Į "Aria" žiūrime kaip į investiciją į mokslinių tyrimų bendruomenę, - sako "Meta" "Reality Labs" mokslinių tyrimų produktų vadybininkas Jamesas Fortas. "Kuo labiau egocentrinė mokslinių tyrimų bendruomenė standartizuosis, tuo daugiau tyrėjų galės bendradarbiauti. Tikrai taip plečiant bendruomenę galime pradėti spręsti didesnes problemas, susijusias su tuo, kaip viskas veiks ateityje."

Kareer pristatys savo pranešimą apie "EgoMimic" konferencijoje 2025 m. IEEE inžinierių tarptautinė robotikos ir automatikos konferencija (ICRA) Atlantoje.