EgoMimic: Doktorand z Georgijské techniky používá výzkumné brýle projektu Aria k tréninku humanoidních robotů

Dnes upozorňujeme na nový výzkum z Georgia Tech která pomáhá trénovat roboty k provádění základních každodenních úkolů pomocí egocentrických záznamů od uživatelů zařízení Meta. Projekt Aria výzkumné brýle. Podívejte se na video níže, přečtěte si celý příběh nebo požádejte o vlastní výzkumnou sadu Project Aria.

Představte si, že vám někdo pomůže s každodenními úkony v domácnosti, jako je praní prádla, mytí nádobí nebo opravy. Při těchto úkonech již používáme nástroje, jako jsou pračky, myčky nádobí a elektrické vrtačky. Ale co kdybyste mohli mít ještě výkonnější a flexibilnější nástroj v podobě humanoidního robota, který by se od vás mohl učit a urychlit libovolný počet fyzických projektů na vašem seznamu úkolů?

I kdybyste měli k dispozici hardwarový systém, naučit robota vykonávat každodenní úkoly lze pouze pomalou a neohrabanou metodou sběru dat zvanou robotická teleoperace. Až dosud. Pomocí Výzkumná sada projektu Aria, profesor Danfei Xu a Laboratoř robotického učení a uvažování na adrese Georgia Tech používají egocentrické senzory na brýlích Aria k vytváření tzv. "lidských dat" pro úkoly, které má humanoidní robot napodobit. Pomocí lidských dat dramaticky snižují množství dat o teleoperaci robota potřebných k tréninku jeho politiky - průlom, díky němuž by jednou humanoidní roboti mohli být schopni naučit se libovolný počet úkolů, které by mohl předvést člověk.

Kareer teleoperuje s robotem, aby získal data pro trénink EgoMimic. Teleoperace může být obtížně škálovatelná a vyžaduje značné lidské úsilí.

"Tradičně sběr dat pro robotiku znamená vytváření demonstračních dat," říká Simar Kareer, doktorand na Georgia Tech. Škola interaktivní výpočetní techniky. "Ovládáte klouby robota pomocí ovladače, abyste s ním pohybovali a dosáhli požadovaného úkolu, a to stokrát, přičemž zaznamenáváte data ze senzorů, a pak trénujete své modely. To je pomalé a náročné. Jediný způsob, jak tento cyklus přerušit, je oddělit sběr dat od samotného robota."

V současné době se modely robotických politik trénují pomocí velkého množství cílených demonstračních dat specifických pro každý úzký úkol, a to s vysokými náklady. Kareer předpokládá, že pasivně shromážděná data od mnoha výzkumníků, jako jsou data zachycená brýlemi Aria, by mohla být místo toho využita k umožnění tvorby dat pro mnohem širší soubor úloh, aby bylo možné v budoucnu vytvořit obecněji užitečné roboty.

Inspirováno Projekt Aria a Ego-Exo4D který obsahuje obrovský soubor egocentrických dat s více než 3 tisíci hodinami videozáznamů každodenních činností, Kareer vyvinul EgoMimic, nový algoritmický rámec, který využívá data o lidech a robotech pro vývoj humanoidních robotů.

"Když jsem se podíval na Ego4D, uviděl jsem soubor dat, který je stejný jako všechny velké soubory dat o robotech, které se snažíme shromáždit, až na to, že se jedná o lidi," vysvětluje Kareer. "Prostě si nasadíte brýle a jdete něco dělat. Nemusí to pocházet od robota. Mělo by to pocházet od něčeho škálovatelnějšího a pasivněji generovaného, což jsme my." V Kareerově výzkumu byly brýle Aria použity k vytvoření lidských dat pro společné trénování rámce EgoMimic.

Kareer vytváří data o společném tréninku lidí nahráváním pomocí brýlí Aria při skládání trička.

Brýle Aria se nepoužívají pouze ke sběru dat o lidech ve výzkumu Georgijské techniky. Používají se také jako nedílná součást nastavení provozu robota v reálném čase. Brýle Aria jsou připevněny na jejich humanoidní robotickou platformu stejně jako pár očí a slouží jako integrovaný balíček senzorů, který umožňuje robotovi vnímat své okolí v reálném čase. Sada Aria Client SDK se využívá k přenosu dat ze senzorů Aria přímo do politiky robota, která běží na připojeném počítači a která následně řídí ovládání robota. Použití brýlí Aria jak pro sběr dat, tak pro pipeline vnímání v reálném čase minimalizuje doménovou propast mezi lidským demonstrátorem a robotem, což otevírá cestu pro škálované generování lidských dat pro budoucí trénink robotických úloh.

Brýle Aria připevněné na horní části robota poskytují systému údaje ze senzorů, které robotovi umožňují vnímat prostor a komunikovat s ním.

Díky systému EgoMimic dosáhl Kareer zvýšení výkonu svého robota v různých úlohách o 400% oproti předchozím metodám s pouhými 90 minutami nahrávek Aria. Robot byl také schopen úspěšně provádět tyto úkoly v dříve nevídaných prostředích.

V budoucnu by humanoidní roboti mohli být trénováni ve velkém měřítku pomocí egocentrických dat, aby mohli provádět různé úkoly stejným způsobem jako lidé.

"Na společnost Aria se díváme jako na investici do výzkumné komunity," říká James Fort, produktový manažer pro výzkum v laboratořích Reality Labs ve společnosti Meta. "Čím více se egocentrická výzkumná komunita standardizuje, tím více výzkumníků bude moci spolupracovat. Právě díky takovému škálování s komunitou můžeme začít řešit větší problémy týkající se toho, jak budou věci fungovat v budoucnosti."

Kareer přednese svůj příspěvek o EgoMimic na konferenci 2025 Mezinárodní konference inženýrů IEEE o robotice a automatizaci (ICRA) v Atlantě.