Danes predstavljamo novo raziskavo iz Georgia Tech ki pomaga usposabljati robote za izvajanje osnovnih vsakodnevnih opravil z uporabo egocentričnih posnetkov, ki jih posnamejo uporabniki Metinih Projekt Aria raziskovalna očala. Oglejte si spodnji videoposnetek, preberite celotno zgodbo ali se prijavite za svoj raziskovalni komplet Project Aria..
Predstavljajte si, da bi vam pomagali pri vsakodnevnih opravilih na vašem domu, kot so pranje perila, pomivanje posode in popravila. Pri teh opravilih že uporabljamo orodja, kot so pralni in pomivalni stroji ter električni vrtalniki. Kaj pa, če bi lahko imeli še zmogljivejše in prilagodljivejše orodje v obliki humanoidnega robota, ki bi se lahko učil od vas in pospešil katero koli število fizičnih projektov na vašem seznamu opravil?
Tudi če bi imeli na voljo sistem strojne opreme, bi lahko robota naučili opravljati vsakdanja opravila le s počasno in okorno metodo zbiranja podatkov, imenovano robotsko teleoperiranje. Do zdaj. Z uporabo Raziskovalni komplet projekta Aria, profesor Danfei Xu in Laboratorij za robotsko učenje in razmišljanje na spletni strani . Georgia Tech uporabljajo egocentrične senzorje na očalih Aria za ustvarjanje tako imenovanih "človeških podatkov" za naloge, ki naj bi jih posnemal humanoidni robot. S človeškimi podatki močno zmanjšajo količino podatkov o teleoperaciji robota, ki so potrebni za urjenje robotove politike, kar je preboj, zaradi katerega bi se lahko humanoidni roboti nekega dne naučili vseh nalog, ki bi jih lahko prikazal človek.
Kareer s teleoperacijo upravlja robota za zajemanje podatkov o sooblikovanju za EgoMimic. Teleoperacijo je težko razširiti in zahteva veliko človeškega dela.
"Tradicionalno zbiranje podatkov za robotiko pomeni ustvarjanje demonstracijskih podatkov," pravi Simar Kareer, doktorski študent na oddelku Georgia Tech Šola za interaktivno računalništvo. "S krmilnikom upravljate robotove sklepe, da ga premaknete in dosežete želeno nalogo, to storite stokrat in pri tem beležite podatke senzorjev, nato pa usposobite svoje modele. To je počasno in težavno. Edini način za prekinitev tega kroga je, da zbiranje podatkov ločimo od samega robota."
Danes se modeli robotske politike drago usposabljajo z velikimi količinami ciljno usmerjenih demonstracijskih podatkov, specifičnih za vsako ozko nalogo. Kareer domneva, da bi lahko pasivno zbrane podatke številnih raziskovalcev, kot so podatki, zajeti z očali Aria, namesto tega uporabili za ustvarjanje podatkov za veliko širši nabor nalog, da bi v prihodnosti ustvarili bolj splošno uporabne robote.
Po navdihu Projekt Aria in . Ego-Exo4D ki vključuje obsežen nabor egocentričnih podatkov z več kot 3 tisoč urami video posnetkov vsakodnevnih dejavnosti, je Kareer razvil EgoMimic, nov algoritemski okvir, ki za razvoj humanoidnih robotov uporablja podatke o človeku in robotu.
"Ko sem si ogledal Ego4D, sem videl zbirko podatkov, ki je enaka vsem velikim zbirkam podatkov o robotih, ki jih poskušamo zbrati, le da gre za ljudi," pojasnjuje Kareer. "Nosite očala in počnete stvari. Ni treba, da jih posreduje robot. Prihajati mora od nečesa bolj razširljivega in pasivno ustvarjenega, kar smo mi." V Kareerjevi raziskavi so bila očala Aria uporabljena za ustvarjanje podatkov o ljudeh za sooblikovanje okvira EgoMimic.
Kareer ustvari podatke o soustvarjanju človeških podatkov s snemanjem z očali Aria med zlaganjem majice.
Očala Aria se v raziskavah Georgia Tech ne uporabljajo le za zbiranje podatkov o ljudeh. Uporabljajo se tudi kot sestavni del nastavitev delovanja robota v realnem času. Očala Aria so nameščena na njihovo humanoidno robotsko platformo kot par oči in služijo kot integriran paket senzorjev, ki robotu omogočajo zaznavanje okolja v realnem času. Komplet Aria Client SDK se uporablja za pretakanje podatkov senzorjev Aria neposredno v robotovo politiko, ki teče na priključenem osebnem računalniku, ta pa nadzoruje robotovo delovanje. Uporaba očal Aria za zbiranje podatkov in zaznavanje v realnem času zmanjšuje domensko vrzel med človeškim demonstratorjem in robotom ter utira pot za ustvarjanje podatkov o človeku v večjem obsegu za prihodnje usposabljanje robotskih nalog.
Očala Aria, nameščena na vrhu robota, zagotavljajo sistemu podatke o senzorjih, ki robotu omogočajo zaznavanje in interakcijo s prostorom.
Zahvaljujoč EgoMimicu je Kareer s samo 90 minutami posnetkov Aria dosegel 400% večjo zmogljivost svojega robota pri različnih nalogah v primerjavi s prejšnjimi metodami. Robot je lahko te naloge uspešno opravljal tudi v prej neznanih okoljih.
V prihodnosti bi lahko humanoidne robote na podlagi egocentričnih podatkov usposobili za izvajanje različnih nalog na enak način kot ljudje.
"Na Ario gledamo kot na naložbo v raziskovalno skupnost," pravi James Fort, vodja raziskovalnega izdelka Reality Labs pri družbi Meta. "Bolj ko se bo egocentrična raziskovalna skupnost standardizirala, več raziskovalcev bo lahko sodelovalo. S takšnim širjenjem skupnosti lahko začnemo reševati večje probleme v zvezi s tem, kako bodo stvari delovale v prihodnosti."
Kareer bo svoj prispevek o EgoMimicu predstavil na 2025 Mednarodna konferenca inženirjev IEEE o robotiki in avtomatizaciji (ICRA) v Atlanti.
