Šodien mēs pievēršam uzmanību jaunam pētījumam, ko veica Georgia Tech kas palīdz apmācīt robotus veikt pamata ikdienas uzdevumus, izmantojot Meta's lietotāja egocentriskos ierakstus. Projekts Aria pētniecības brilles. Noskatieties zemāk redzamo video, izlasiet pilnu stāstu vai pieteikties savam Project Aria pētniecības komplektam.
Iedomājieties, ka jums palīdz veikt ikdienas darbus jūsu mājās, piemēram, mazgāt veļu, mazgāt traukus un veikt remontdarbus. Mēs jau izmantojam rīkus, kas palīdz veikt šos uzdevumus, piemēram, veļas mašīnas, trauku mazgājamās mašīnas un elektriskās urbjmašīnas. Bet ko tad, ja jums būtu vēl jaudīgāks un elastīgāks rīks - humanoīds robots, kas varētu mācīties no jums un paātrināt jebkuru no jūsu darāmo darbu sarakstā iekļautajiem fiziskajiem projektiem?
Pat ja jums būtu pieejama aparatūras sistēma, iemācīt robotam veikt ikdienas uzdevumus var tikai ar lēnu un neveiklu datu vākšanas metodi, ko sauc par robotu teleoperāciju. Līdz šim. Izmantojot Projekta Aria pētniecības komplekts, profesors Danfei Xu un Robotu mācīšanās un spriešanas laboratorija vietnē Georgia Tech izmanto Aria briļļu egocentriskos sensorus, lai radītu tā sauktos "cilvēka datus" uzdevumiem, kurus vēlas, lai humanoīds robots atdarinātu. Viņi izmanto cilvēka datus, lai krasi samazinātu robota teleoperācijas datu apjomu, kas nepieciešams robota politikas apmācībai - tas ir sasniegums, kas kādu dienu varētu padarīt humanoīdus robotus spējīgus apgūt jebkuru uzdevumu skaitu, ko cilvēks varētu demonstrēt.
Kareer teleoperē ar robotu, lai iegūtu kopmācības datus EgoMimic. Teleoperāciju var būt sarežģīti paplašināt, un tai ir nepieciešama ievērojama cilvēka piepūle.
"Tradicionāli datu vākšana robotikai nozīmē demonstrējumu datu veidošanu," saka Džordžijas Tehnoloģiju institūta doktorants Simars Kareers (Simar Kareer). Skola Interaktīvās skaitļošanas. "Jūs darbināt robota locītavas ar kontrolieri, lai to pārvietotu un izpildītu vēlamo uzdevumu, un jūs to darāt simtiem reižu, ierakstot sensoru datus, pēc tam trenējat savus modeļus. Tas ir lēni un sarežģīti. Vienīgais veids, kā pārtraukt šo ciklu, ir atdalīt datu vākšanu no paša robota."
Mūsdienās robotu politikas modeļi tiek apmācīti, izmantojot lielu daudzumu mērķtiecīgu demonstrējumu datu, kas ir specifiski katram šauram uzdevumam, un tas rada lielas izmaksas. Kareers izvirza hipotēzi, ka daudzu pētnieku pasīvi savāktos datus, piemēram, Aria brilles uzkrātos datus, tā vietā varētu izmantot, lai nodrošinātu datu veidošanu daudz plašākam uzdevumu klāstam, lai nākotnē radītu vispārēji noderīgākus robotus.
Iedvesmojoties no Projekts Aria un Ego-Exo4D kas ietver milzīgu egocentrisku datu kopu ar vairāk nekā 3 tūkstošiem stundu videoierakstu ar ikdienas dzīves aktivitātēm, Kareer izstrādāja EgoMimic, jauna algoritmiska sistēma, kas izmanto cilvēku datus un robotu datus, lai izstrādātu humanoīdus robotus.
"Kad es apskatīju Ego4D, es ieraudzīju datu kopu, kas ir tāda pati kā visas lielās robotu datu kopas, ko mēs cenšamies apkopot, tikai ar cilvēkiem," skaidro Kareers. "Jūs vienkārši uzliekat brilles un ejat kaut ko darīt. Tam nav jānāk no robota. Tam jānāk no kaut kā vairāk mērogojama un pasīvi ģenerējama, proti, no mums." Kareera pētījumā Aria brilles tika izmantotas, lai radītu cilvēka datus EgoMimic sistēmas apmācībai.
Kareers izveido kopīgas apmācības cilvēka datus, ierakstot ar Aria brilles, kamēr salokās t-kreklu.
Aria brilles tiek izmantotas ne tikai cilvēku datu vākšanai Džordžijas Tehnoloģiju institūta pētījumos. Tās tiek izmantotas arī kā robota reāllaika darbības iestatījumu neatņemama sastāvdaļa. Aria brilles ir piestiprinātas pie to humanoīdu robotu platformas gluži kā acu pāris un kalpo kā integrēta sensoru pakete, kas ļauj robotam uztvert apkārtējo vidi reālajā laikā. Aria Client SDK tiek izmantots, lai pārraidītu Aria sensoru datus tieši uz robota politiku, kas darbojas pievienotajā datorā, kurš savukārt kontrolē robota darbību. Izmantojot Aria brilles gan datu vākšanai, gan reāllaika uztveres cauruļvadam, tiek samazināta domēna plaisa starp cilvēka demonstrētāju un robotu, paverot ceļu mērogotu cilvēka datu ģenerēšanai turpmākai robotikas uzdevumu apmācībai.
Aria brilles, kas piestiprinātas pie robota augšdaļas, nodrošina sistēmu ar sensoru datiem, kas ļauj robotam uztvert telpu un mijiedarboties ar to.
Pateicoties EgoMimic, Kareer, izmantojot tikai 90 minūtes Aria ierakstu, panāca 400% lielāku robota veiktspēju dažādos uzdevumos salīdzinājumā ar iepriekšējām metodēm. Robots varēja arī veiksmīgi veikt šos uzdevumus iepriekš neredzētā vidē.
Nākotnē humanoīdos robotus varētu apmācīt, izmantojot egocentriskos datus, lai tie varētu veikt dažādus uzdevumus tāpat kā cilvēki.
"Mēs uz Aria raugāmies kā uz ieguldījumu pētnieku kopienā," saka Džeimss Forts, Meta Reality Labs pētniecības produktu vadītājs. "Jo vairāk egocentrisko pētnieku kopiena standartizēsies, jo vairāk pētnieki varēs sadarboties. Šādi paplašinot kopienu, mēs varam sākt risināt lielākas problēmas saistībā ar to, kā lietas darbosies nākotnē."
Kareers prezentēs savu referātu par EgoMimic konferencē 2025 IEEE inženieru starptautiskā konference par robotiku un automatizāciju (ICRA) Atlantā.
LV 
EN 
BG 
CS 
ET 
EL 
HR 
HU 
LT 
FR 
NL 
PL 
PT 
RO 
SL 
SK