EgoMimic: Georgia Tech doktorant kasutab Project Aria teadusprille, et aidata treenida humanoidseid roboteid

Täna tõstame esile uusi uuringuid, mis pärinevad Georgia Tech mis aitab treenida roboteid täitma põhilisi igapäevaseid ülesandeid, kasutades Meta's kandjatelt saadud egotsentrilisi salvestusi. Projekt Aria uurimisprillid. Vaadake allolevat videot, lugege kogu lugu või taotleda oma Project Aria uurimiskomplekti.

Kujutage ette, et teil on abi igapäevaste koduste ülesannete täitmisel, näiteks pesu pesemisel, nõude pesemisel ja remonditöödel. Me kasutame juba praegu nende ülesannete täitmisel abivahendeid, nagu pesumasinad, nõudepesumasinad ja elektripuurid. Aga mis oleks, kui teil oleks veelgi võimsam ja paindlikum tööriist humanoidroboti näol, kes õpiks teie käest ja kiirendaks kõiki teie ülesannete nimekirjas olevaid füüsilisi projekte?

Isegi kui teil oleks olemas olemasolev riistvarasüsteem, saab roboti õpetamist igapäevaste ülesannete täitmiseks saavutada ainult aeglase ja kohmaka andmekogumismeetodi abil, mida nimetatakse robotite teleoperatsiooniks. Kuni praeguseni. Kasutades Projekti Aria uurimiskomplekt, professor Danfei Xu ja Robootilise õppimise ja arutluse laboratoorium aadressil Georgia Tech kasutavad Aria prillide egotsentrilisi andureid, et luua nn inimese andmeid ülesannete jaoks, mida humanoidne robot peaks jäljendama. Nad kasutavad inimese andmeid selleks, et vähendada oluliselt roboti teleoperatsioonide andmete hulka, mida on vaja roboti poliitika treenimiseks - see on läbimurre, mis võib ühel päeval muuta humanoidsed robotid võimeliseks õppima mis tahes arvu ülesandeid, mida inimene võiks demonstreerida.

Kareer juhib robotit, et koguda EgoMimic'i jaoks kaasõppimisandmeid. Teleoperatsioon võib olla raskesti skaleeritav ja nõuda märkimisväärset inimtööjõudu.

"Traditsiooniliselt tähendab andmete kogumine robootika jaoks demonstratsioonandmete loomist," ütleb Georgia Techi doktorant Simar Kareer. Interaktiivse informaatika kool. "Sa kasutad roboti liigeseid kontrolleri abil, et seda liigutada ja saavutada soovitud ülesanne, ja sa teed seda sadu kordi, salvestades samal ajal andurite andmeid, seejärel treenid oma mudeleid. See on aeglane ja keeruline. Ainus viis selle tsükli katkestamiseks on andmete kogumise lahutamine robotist endast."

Tänapäeval treenitakse roboti poliitikamudeleid suure hulga sihipärase, iga kitsama ülesande jaoks spetsiifiliste näidisandmete abil, mis on väga kulukas. Kareer oletab, et paljude teadlaste passiivselt kogutud andmeid, nagu Aria prillidega kogutud andmed, võiks selle asemel kasutada andmete loomiseks palju laiema ülesannete kogumi jaoks, et luua tulevikus üldisemalt kasulikke roboteid.

Inspireeritud Projekt Aria ja Ego-Exo4D mis sisaldab massiivset egotsentrilist andmestikku, mis koosneb üle 3K tunni videosalvestustest igapäevaelu tegevustest, töötas Kareer välja EgoMimic, uus algoritmiline raamistik, mis kasutab inimese ja roboti andmeid humanoidroboti arendamiseks.

"Kui ma vaatasin Ego4D-d, nägin ma andmestikku, mis on sama, mis kõik suured robotite andmestikud, mida me üritame koguda, ainult et see on inimeste andmestik," selgitab Kareer. "Sa kannad lihtsalt prille ja lähed asju tegema. See ei pea tulema robotilt. See peaks tulema millestki, mis on paremini skaleeritav ja passiivselt genereeritav, milleks oleme meie." Kareeri uuringus kasutati Aria prille, et luua inimese andmeid EgoMimic'i raamistiku kaasõppimiseks.

Kareer loob kaasõppimise inimandmed, salvestades Aria prillidega t-särki voldides.

Aria prille ei kasutata Georgia Techi teadusuuringutes mitte ainult inimeste andmete kogumiseks. Neid kasutatakse ka roboti reaalajas töötava seadistuse lahutamatu osana. Aria prillid paigaldatakse nende humanoidroboti platvormile nagu silmapaar ja need on integreeritud anduripakett, mis võimaldab robotil tajuda oma keskkonda reaalajas. Aria kliendi SDK-d kasutatakse Aria andurite andmete edastamiseks otse roboti poliitikasse, mis töötab ühendatud arvutis, mis omakorda juhib roboti käitamist. Aria prillide kasutamine nii andmete kogumiseks kui ka reaalajas tajumise torujuhtme jaoks minimeerib domeenilõhet inimnäitleja ja roboti vahel, sillutades teed mastaapsele inimese andmete genereerimisele tulevaste robootikaülesannete treenimiseks.

Roboti ülaosale paigaldatud Aria prillid varustavad süsteemi andurite andmetega, mis võimaldavad robotil ruumi tajuda ja sellega suhelda.

Tänu EgoMimicile saavutas Kareer 400% kasvu oma roboti jõudluses erinevates ülesannetes võrreldes varasemate meetoditega, kasutades vaid 90 minutit Aria salvestusi. Robot suutis neid ülesandeid edukalt täita ka varem nähtamatutes keskkondades.

Tulevikus võiks humanoidseid roboteid koolitada mastaabis, kasutades egotsentrilisi andmeid, et nad saaksid täita erinevaid ülesandeid samamoodi nagu inimesed.

"Me vaatame Aria't kui investeeringut teadusringkonda," ütleb James Fort, Meta Reality Labs'i teadusuuringute tootejuht. "Mida rohkem egotsentriline teaduskogukond standardiseerib, seda rohkem teadlased saavad koostööd teha. Just sellise kogukonnaga koos skaleerumise kaudu saame hakata lahendama suuremaid probleeme seoses sellega, kuidas asjad tulevikus toimima hakkavad."

Kareer esitab oma ettekande EgoMimic'i kohta konverentsil 2025 IEEE inseneride rahvusvaheline robootika- ja automaatikakonverents (ICRA) Atlantas.