Danas ističemo nova istraživanja iz Tehnološki fakultet Georgije koji pomaže u obuci robota za obavljanje osnovnih svakodnevnih zadataka koristeći egocentrične snimke korisnika Mete Projekt Arija istraživačke naočale. Pogledajte video ispod, pročitajte cijelu priču ili prijavite se za vlastiti istraživački komplet za Project Aria.
Zamislite da imate pomoć u obavljanju svakodnevnih zadataka u vašem domu poput pranja rublja, pranja posuđa i popravaka. Već koristimo alate za pomoć u tim zadacima, poput perilica rublja, perilica posuđa i električnih bušilica. Ali što ako biste mogli imati još snažniji i fleksibilniji alat u obliku humanoidnog robota koji bi mogao učiti od vas i ubrzati bilo koji broj fizičkih projekata na vašem popisu obaveza?
Čak i da imate dostupan hardverski sustav, podučavanje robota obavljanju svakodnevnih zadataka može se postići samo sporom i nespretnom metodom prikupljanja podataka koja se naziva teleoperacija robota. Do sada. Korištenjem... Istraživački komplet projekta Aria, profesor Danfei Xu i Laboratorij za robotsko učenje i rasuđivanje na Tehnološki fakultet Georgije koriste egocentrične senzore na Aria naočalama kako bi stvorili ono što nazivaju "ljudskim podacima" za zadatke koje žele da humanoidni robot replicira. Koriste ljudske podatke kako bi dramatično smanjili količinu podataka o teleoperaciji robota potrebnih za treniranje robotske politike - proboj koji bi jednog dana mogao učiniti humanoidne robote sposobnima za učenje bilo kojeg broja zadataka koje čovjek može demonstrirati.
Kareer teleoperira robota kako bi prikupljao podatke o zajedničkom treningu za EgoMimic. Teleoperacija može biti teška za skaliranje i zahtijeva značajan ljudski napor.
„Tradicionalno, prikupljanje podataka za robotiku znači stvaranje demonstracijskih podataka“, kaže Simar Kareer, doktorandica na Georgia Techu. Škola interaktivnog računarstva„Zglobovima robota upravljate pomoću kontrolera kako biste ga pomicali i postigli željeni zadatak, i to radite stotine puta dok snimate podatke senzora, a zatim trenirate svoje modele. To je sporo i teško. Jedini način da se prekine taj ciklus je odvajanje prikupljanja podataka od samog robota.“
Danas se modeli robotskih politika treniraju s velikim količinama ciljanih demonstracijskih podataka specifičnih za svaki uski zadatak uz visoku cijenu. Kareer pretpostavlja da bi se pasivno prikupljeni podaci od mnogih istraživača, poput podataka snimljenih Aria naočalama, mogli koristiti za omogućavanje stvaranja podataka za mnogo širi skup zadataka kako bi se u budućnosti stvorili općenito korisniji roboti.
Inspirirano Projekt Arija i Ego-Exo4D koji uključuje masivni egocentrični skup podataka od preko 3000 sati video zapisa svakodnevnih aktivnosti, razvio je Kareer EgoImitator, novi algoritamski okvir koji koristi ljudske podatke i podatke o robotima za razvoj humanoidnih robota.
„Kad sam pogledao Ego4D, vidio sam skup podataka koji je isti kao i svi veliki skupovi podataka o robotima koje pokušavamo prikupiti, osim što su to ljudi“, objašnjava Kareer. „Samo nosite naočale i radite stvari. Ne moraju dolaziti od robota. Trebali bi doći od nečega skalabilnijeg i pasivno generiranog, a to smo mi.“ U Kareerovom istraživanju, Aria naočale su korištene za stvaranje ljudskih podataka za zajedničko treniranje EgoMimic okvira.
Kareer stvara ljudske podatke za zajednički trening snimanjem pomoću Aria naočala dok savija majicu.
Aria naočale se u istraživanju Georgia Techa ne koriste samo za prikupljanje podataka o ljudima. One se također koriste kao sastavni dio robotskog sustava za rad u stvarnom vremenu. Aria naočale su montirane na humanoidnu robotsku platformu baš poput para očiju i služe kao integrirani senzorski paket koji robotu omogućuje percepciju okoline u stvarnom vremenu. Aria Client SDK koristi se za izravno strujanje Arijinih senzorskih podataka u robotsku politiku, koja se izvodi na priključenom računalu, koje pak kontrolira aktiviranje robota. Korištenje Aria naočala za prikupljanje podataka i proces percepcije u stvarnom vremenu minimizira jaz u domeni između ljudskog demonstratora i robota, otvarajući put za generiranje skaliranih podataka o ljudima za buduću obuku robotskih zadataka.
Aria naočale postavljene na vrh robota pružaju sustavu podatke senzora koji robotu omogućuju percepciju i interakciju s prostorom.
Zahvaljujući EgoMimicu, Kareer je postigao povećanje performansi svog robota od 400% u raznim zadacima u odnosu na prethodne metode sa samo 90 minuta Aria snimaka. Robot je također bio u stanju uspješno izvršiti te zadatke u prethodno neviđenim okruženjima.
U budućnosti bi se humanoidni roboti mogli obučavati u velikim razmjerima koristeći egocentrične podatke kako bi obavljali razne zadatke na isti način kao što to rade ljudi.
„Na Ariu gledamo kao na ulaganje u istraživačku zajednicu“, kaže James Fort, voditelj istraživačkih proizvoda u Reality Labsu u Meti. „Što se više egocentrična istraživačka zajednica standardizira, to će više istraživača moći surađivati. Upravo kroz skaliranje s ovakvom zajednicom možemo početi rješavati veće probleme oko toga kako će stvari funkcionirati u budućnosti.“
Kareer će predstaviti svoj rad o EgoMimicu na Međunarodna konferencija IEEE inženjera o robotici i automatizaciji 2025. (ICRA) u Atlanti.
HR 
EN 
BG 
CS 
ET 
EL 
HU 
LT 
LV 
FR 
NL 
PL 
PT 
RO 
SL 
SK