Dnes upozorňujeme na nový výskum Georgia Tech ktorý pomáha trénovať roboty na vykonávanie základných každodenných úloh pomocou egocentrických záznamov od používateľov zariadenia Meta Projekt Aria výskumné okuliare. Pozrite si video nižšie, prečítajte si celý príbeh alebo požiadajte o svoju vlastnú výskumnú súpravu Project Aria.
Predstavte si, že by vám v domácnosti pomáhali s každodennými úlohami, ako je pranie bielizne, umývanie riadu a opravy. Na pomoc pri týchto úlohách už používame nástroje, ako sú práčky, umývačky riadu a elektrické vŕtačky. Ale čo keby ste mohli mať ešte výkonnejší a flexibilnejší nástroj v podobe humanoidného robota, ktorý by sa od vás mohol učiť a urýchliť akýkoľvek počet fyzických projektov na vašom zozname úloh?
Aj keby ste mali k dispozícii hardvérový systém, naučiť robota vykonávať každodenné úlohy sa dá len pomalou a neohrabanou metódou zberu údajov, ktorá sa nazýva teleoperácia robota. Až doteraz. Pomocou Výskumná súprava projektu Aria, profesor Danfei Xu a Laboratórium robotického učenia a uvažovania na adrese Georgia Tech používajú egocentrické senzory na okuliaroch Aria na vytváranie tzv. "ľudských údajov" pre úlohy, ktoré má humanoidný robot kopírovať. Pomocou ľudských údajov výrazne znižujú množstvo údajov o teleoperácii robota potrebných na trénovanie politiky robota - prelom, vďaka ktorému by humanoidné roboty mohli byť jedného dňa schopné naučiť sa akýkoľvek počet úloh, ktoré by mohol predviesť človek.
Kareer teleoperuje s robotom, aby získal údaje o tréningu pre EgoMimic. Teleoperácia môže byť náročná na škálovanie a vyžaduje si značné ľudské úsilie.
"Zber údajov pre robotiku tradične znamená vytváranie demonštračných údajov," hovorí Simar Kareer, doktorand na Georgia Tech Škola interaktívnej výpočtovej techniky. "Pomocou ovládača ovládate kĺby robota, aby sa pohyboval a dosiahol požadovanú úlohu, a to stokrát, pričom zaznamenávate údaje zo senzorov, a potom trénujete svoje modely. Je to pomalé a náročné. Jediný spôsob, ako prelomiť tento cyklus, je oddeliť zber údajov od samotného robota."
V súčasnosti sa modely politiky robotov trénujú pomocou veľkého množstva cielených demonštračných údajov špecifických pre každú úzku úlohu s vysokými nákladmi. Kareer predpokladá, že pasívne zozbierané údaje od mnohých výskumníkov, ako sú údaje zachytené okuliarmi Aria, by sa namiesto toho mohli použiť na umožnenie tvorby údajov pre oveľa širší súbor úloh, aby sa v budúcnosti vytvorili všeobecne užitočnejšie roboty.
Inšpirované Projekt Aria a Ego-Exo4D ktorý obsahuje obrovský súbor egocentrických údajov s viac ako 3 000 hodinami videozáznamov každodenných činností, Kareer vyvinul EgoMimic, nový algoritmický rámec, ktorý využíva ľudské údaje a údaje o robotoch na vývoj humanoidných robotov.
"Keď som sa pozrel na Ego4D, videl som súbor údajov, ktorý je rovnaký ako všetky veľké súbory údajov o robotoch, ktoré sa snažíme zhromažďovať, až na to, že ide o údaje o ľuďoch," vysvetľuje Kareer. "Jednoducho si nasadíte okuliare a idete robiť veci. Nemusí to pochádzať od robota. Mala by pochádzať od niečoho škálovateľnejšieho a pasívne generovaného, čo sme my." V Kareerovom výskume sa okuliare Aria použili na vytvorenie ľudských údajov na spolutrénovanie rámca EgoMimic.
Kareer vytvára údaje o spolu-tréningu človeka nahrávaním pomocou okuliarov Aria počas skladania trička.
Okuliare Aria sa vo výskume Georgia Tech nepoužívajú len na zber údajov o ľuďoch. Používajú sa aj ako neoddeliteľná súčasť nastavenia prevádzky robota v reálnom čase. Okuliare Aria sú namontované na ich humanoidnú robotickú platformu rovnako ako pár očí a slúžia ako integrovaný balík senzorov, ktorý umožňuje robotovi vnímať svoje prostredie v reálnom čase. Súprava Aria Client SDK sa využíva na streamovanie údajov zo senzorov Aria priamo do politiky robota, ktorá beží na pripojenom počítači, ktorý následne riadi ovládanie robota. Použitie okuliarov Aria na zber údajov aj na pipeline vnímania v reálnom čase minimalizuje doménovú priepasť medzi ľudským demonštrátorom a robotom, čím sa otvára cesta pre škálované generovanie ľudských údajov pre budúce školenia robotických úloh.
Okuliare Aria pripevnené na hornej časti robota poskytujú systému údaje zo senzorov, ktoré umožňujú robotovi vnímať priestor a komunikovať s ním.
Vďaka systému EgoMimic dosiahol Kareer zvýšenie výkonu svojho robota o 400% v rôznych úlohách v porovnaní s predchádzajúcimi metódami len s 90 minútami nahrávok Aria. Robot dokázal tieto úlohy úspešne vykonávať aj v predtým nevídaných prostrediach.
V budúcnosti by sa humanoidné roboty mohli trénovať vo veľkom meradle pomocou egocentrických údajov, aby mohli vykonávať rôzne úlohy rovnakým spôsobom ako ľudia.
"Na spoločnosť Aria sa pozeráme ako na investíciu do výskumnej komunity," hovorí James Fort, produktový manažér pre výskum v spoločnosti Meta Reality Labs. "Čím viac sa egocentrická výskumná komunita štandardizuje, tým viac výskumníkov bude môcť spolupracovať. Práve vďaka takémuto škálovaniu s komunitou môžeme začať riešiť väčšie problémy týkajúce sa toho, ako budú veci fungovať v budúcnosti."
Kareer prednesie svoj príspevok o EgoMimicu na konferencii 2025 Medzinárodná konferencia inžinierov IEEE o robotike a automatizácii (ICRA) v Atlante.
