Danas ističemo nova istraživanja iz Tehnološki fakultet Georgije koji pomaže u obuci robota za obavljanje osnovnih svakodnevnih zadataka koristeći egocentrične snimke korisnika Mete Projekt Arija istraživačke naočale. Pogledajte video ispod, pročitajte cijelu priču ili prijavite se za vlastiti istraživački komplet za Project Aria.

Zamislite da imate pomoć u obavljanju svakodnevnih zadataka u vašem domu poput pranja rublja, pranja posuđa i popravaka. Već koristimo alate za pomoć u tim zadacima, poput perilica rublja, perilica posuđa i električnih bušilica. Ali što ako biste mogli imati još snažniji i fleksibilniji alat u obliku humanoidnog robota koji bi mogao učiti od vas i ubrzati bilo koji broj fizičkih projekata na vašem popisu obaveza?

Čak i da imate dostupan hardverski sustav, podučavanje robota obavljanju svakodnevnih zadataka može se postići samo sporom i nespretnom metodom prikupljanja podataka koja se naziva teleoperacija robota. Do sada. Korištenjem... Istraživački komplet projekta Aria, profesor Danfei Xu i Laboratorij za robotsko učenje i rasuđivanje na Tehnološki fakultet Georgije koriste egocentrične senzore na Aria naočalama kako bi stvorili ono što nazivaju "ljudskim podacima" za zadatke koje žele da humanoidni robot replicira. Koriste ljudske podatke kako bi dramatično smanjili količinu podataka o teleoperaciji robota potrebnih za treniranje robotske politike - proboj koji bi jednog dana mogao učiniti humanoidne robote sposobnima za učenje bilo kojeg broja zadataka koje čovjek može demonstrirati.

Kareer teleoperira robota kako bi prikupljao podatke o zajedničkom treningu za EgoMimic. Teleoperacija može biti teška za skaliranje i zahtijeva značajan ljudski napor.

„Tradicionalno, prikupljanje podataka za robotiku znači stvaranje demonstracijskih podataka“, kaže Simar Kareer, doktorandica na Georgia Techu. Škola interaktivnog računarstva„Zglobovima robota upravljate pomoću kontrolera kako biste ga pomicali i postigli željeni zadatak, i to radite stotine puta dok snimate podatke senzora, a zatim trenirate svoje modele. To je sporo i teško. Jedini način da se prekine taj ciklus je odvajanje prikupljanja podataka od samog robota.“

Danas se modeli robotskih politika treniraju s velikim količinama ciljanih demonstracijskih podataka specifičnih za svaki uski zadatak uz visoku cijenu. Kareer pretpostavlja da bi se pasivno prikupljeni podaci od mnogih istraživača, poput podataka snimljenih Aria naočalama, mogli koristiti za omogućavanje stvaranja podataka za mnogo širi skup zadataka kako bi se u budućnosti stvorili općenito korisniji roboti.

Inspirirano Projekt Arija i Ego-Exo4D koji uključuje masivni egocentrični skup podataka od preko 3000 sati video zapisa svakodnevnih aktivnosti, razvio je Kareer EgoImitator, novi algoritamski okvir koji koristi ljudske podatke i podatke o robotima za razvoj humanoidnih robota.

„Kad sam pogledao Ego4D, vidio sam skup podataka koji je isti kao i svi veliki skupovi podataka o robotima koje pokušavamo prikupiti, osim što su to ljudi“, objašnjava Kareer. „Samo nosite naočale i radite stvari. Ne moraju dolaziti od robota. Trebali bi doći od nečega skalabilnijeg i pasivno generiranog, a to smo mi.“ U Kareerovom istraživanju, Aria naočale su korištene za stvaranje ljudskih podataka za zajedničko treniranje EgoMimic okvira.

Kareer stvara ljudske podatke za zajednički trening snimanjem pomoću Aria naočala dok savija majicu.

Aria naočale se u istraživanju Georgia Techa ne koriste samo za prikupljanje podataka o ljudima. One se također koriste kao sastavni dio robotskog sustava za rad u stvarnom vremenu. Aria naočale su montirane na humanoidnu robotsku platformu baš poput para očiju i služe kao integrirani senzorski paket koji robotu omogućuje percepciju okoline u stvarnom vremenu. Aria Client SDK koristi se za izravno strujanje Arijinih senzorskih podataka u robotsku politiku, koja se izvodi na priključenom računalu, koje pak kontrolira aktiviranje robota. Korištenje Aria naočala za prikupljanje podataka i proces percepcije u stvarnom vremenu minimizira jaz u domeni između ljudskog demonstratora i robota, otvarajući put za generiranje skaliranih podataka o ljudima za buduću obuku robotskih zadataka.

Aria naočale postavljene na vrh robota pružaju sustavu podatke senzora koji robotu omogućuju percepciju i interakciju s prostorom.

Zahvaljujući EgoMimicu, Kareer je postigao povećanje performansi svog robota od 400% u raznim zadacima u odnosu na prethodne metode sa samo 90 minuta Aria snimaka. Robot je također bio u stanju uspješno izvršiti te zadatke u prethodno neviđenim okruženjima.

U budućnosti bi se humanoidni roboti mogli obučavati u velikim razmjerima koristeći egocentrične podatke kako bi obavljali razne zadatke na isti način kao što to rade ljudi.

„Na Ariu gledamo kao na ulaganje u istraživačku zajednicu“, kaže James Fort, voditelj istraživačkih proizvoda u Reality Labsu u Meti. „Što se više egocentrična istraživačka zajednica standardizira, to će više istraživača moći surađivati. Upravo kroz skaliranje s ovakvom zajednicom možemo početi rješavati veće probleme oko toga kako će stvari funkcionirati u budućnosti.“

Kareer će predstaviti svoj rad o EgoMimicu na Međunarodna konferencija IEEE inženjera o robotici i automatizaciji 2025. (ICRA) u Atlanti.

Od svog lansiranja 2020. godine, Projekt Arija omogućio je istraživačima diljem svijeta da unaprijede najsuvremeniju tehnologiju u području strojne percepcije i umjetne inteligencije, putem pristupa najsuvremenijem istraživačkom hardveru i otvorenom kodu. skupovi podataka, modeli i alati. Danas s uzbuđenjem najavljujemo sljedeći korak na ovom putovanju: uvođenje Aria Gen 2 naočala. Ova sljedeća generacija hardvera otključat će nove mogućnosti u širokom rasponu istraživačkih područja, uključujući percepciju strojeva, egocentričnu i kontekstualnu umjetnu inteligenciju te robotiku.

0:00 / 0:00

Za istraživače koji žele istražiti kako sustavi umjetne inteligencije mogu poboljšati razumjeti svijet iz ljudske perspektiveNaočale Aria Gen 2 dodaju novi skup mogućnosti Aria platformi. Uključuju niz napredaka koji se ne nalaze ni na jednom drugom uređaju dostupnom danas, a pristup tim revolucionarnim tehnologijama omogućit će istraživačima da pomiču granice mogućeg.

U usporedbi s Ariom Gen 1, jedinstvena vrijednost Arije Gen 2 uključuje:

• Najsuvremeniji paket senzora: Nadograđeni paket senzora sadrži RGB kameru, 6DOF SLAM kamere, kamere za praćenje pogleda, prostorne mikrofone, IMU jedinice, barometar, magnetometar i GNSS. U usporedbi s prethodnikom, Aria Gen 1, nova generacija uvodi dva inovativna senzora ugrađena u nosnik: PPG senzor za mjerenje otkucaja srca i kontaktni mikrofon za razlikovanje glasa korisnika od glasa promatrača.
• Ultra mala potrošnja energije i percepcija stroja na uređaju: SLAM, praćenje pogleda, praćenje ruke i prepoznavanje govora obrađuju se na uređaju pomoću Metinog prilagođenog silicija.
• Cjelodnevna upotrebljivost: Naočale Aria Gen 2 mogu se koristiti šest do osam sati neprekidno, teže oko 75 grama i imaju sklopive ručke za lakše prenošenje.
• Interakcija putem zvuka: Korisnici dobivaju audio povratne informacije putem najboljih otvorenih zvučnika s poništavanjem sile u klasi, što omogućuje izradu prototipa sustava uz sudjelovanje korisnika.

Naše putovanje dugo desetljeće stvaranje sljedeće računalne platforme dovelo je do razvoja ovih ključnih tehnologija. U Meti, timovi iz Reality Labs Researcha i FAIR AI laboratorija koristit će ih za unapređenje naše dugoročne istraživačke vizije.Činjenica da su dostupni akademskim i komercijalnim istraživačkim laboratorijima putem Projekta Aria dodatno će unaprijediti otvorena istraživanja i javno razumijevanje ključnog skupa tehnologija za koje vjerujemo da će pomoći u oblikovanju budućnosti računarstva i umjetne inteligencije.

Otvorena istraživanja koja omogućuje Projekt Aria od 2020. već su dovela do važnog rada, uključujući stvaranje alata otvorenog koda koji se široko koriste u akademskoj zajednici i industriji. Skup podataka Ego-Exo4D, prikupljeni pomoću prve generacije Aria naočala, postali su temeljni alat u modernom računalnom vidu i rastućem području robotike. Istraživači na Georgia Techu nedavno su pokazali kako Aria Research Kit može pomoći humanoidnim robotima da nauče pomagati ljudima u kućanstvu, dok timovi u BMW-u koristili su ga kako bi istražili kako integrirati sustave proširene i virtualne stvarnosti u pametna vozila.

Aria također omogućuje razvoj novih tehnologija za pristupačnost. Prvu generaciju Aria naočala koristili su Sveučilište Carnegie Mellon u svom projektu NavCog, čiji je cilj bio izgraditi tehnologije za pomoć slijepim i slabovidnim osobama u navigaciji u zatvorenom prostoru. Na temelju toga, naočale Aria Gen 2 sada koriste Predvidjeti, tvrtka posvećena stvaranju rješenja za slijepe ili slabovidne osobe. Envision istražuje integraciju svojih Saveznik AI asistent i prostorni zvuk pomoću najnovijih Aria Gen 2 naočala za poboljšanje iskustva navigacije i pristupačnosti u zatvorenom prostoru.

0:00 / 0:00

Envision je koristio SLAM mogućnosti Aria Gen 2 na uređaju, zajedno sa značajkama prostornog zvuka putem ugrađenih zvučnika, kako bi pomogao slijepim i slabovidnim osobama da se besprijekorno snalaze u zatvorenom prostoru. Ova inovativna upotreba tehnologija, koja je još uvijek u fazi istraživanja, primjer je kako istraživači mogu iskoristiti naočale Aria Gen 2 za izradu prototipova AI iskustava temeljenih na egocentričnim promatranjima. Napredni senzori i mogućnosti strojne percepcije na uređaju, uključujući SLAM, praćenje očiju, praćenje ruku i audio interakcije, također ih čine idealnim za prikupljanje podataka za istraživačke i robotske primjene.

U nadolazećim mjesecima podijelit ćemo više detalja o vremenu dostupnosti uređaja s partnerima. Istraživači zainteresirani za pristup Aria Gen 2 mogu prijavite se za primanje ažuriranjaUzbuđeni smo vidjeti kako će istraživači iskoristiti Aria Gen 2 kako bi utrli put budućim inovacijama koje će oblikovati sljedeću računalnu platformu.

Ranije ove godine, mi najavljeno Naše najnovije istraživačke naočale, Aria Gen 2, označavaju nastavak misije Projekta Aria da omogući istraživačima diljem svijeta da unaprijede najsuvremeniju tehnologiju u percepciji strojeva, kontekstualnoj umjetnoj inteligenciji i robotici putem pristupa vrhunskom istraživačkom hardveru i skupovima podataka otvorenog koda, modelima i alatima. Danas s uzbuđenjem dijelimo više o tehnologiji unutar Aria Gen 2. To uključuje detaljan pregled faktora oblika, audio mogućnosti, trajanja baterije, nadograđenih kamera i senzora, računalstva na uređaju i još mnogo toga.

Što je Aria Gen 2?

Aria Gen 2 je nosivi uređaj koji kombinira najnovija dostignuća u računalnom vidu, strojnom učenju i senzorskoj tehnologiji. Kompaktni oblik i lagani dizajn Aria Gen 2 čine ga idealnim izborom za istraživače koji trebaju prikupljati podatke ili izrađivati prototipove u raznim okruženjima. Naočale sadrže niz poboljšanja u usporedbi s... Aria Gen 1, njegov istraživački prethodnik, najavljen još 2020. godine.

Aria Gen 2: Napredak i značajke

Prijelaz s Aria Gen 1 na Gen 2 označava značajan skok u tehnologiji nosive elektronike, nudeći poboljšane značajke i mogućnosti koje zadovoljavaju širi raspon primjena i potreba korisnika. U nastavku istražujemo ključne razlike i poboljšanja uvedena u Aria Gen 2.

1. Nosivost

Aria Gen 2 može se pohvaliti vrhunskom nosivošću, koju karakterizira poboljšana udobnost i pristajanje, a istovremeno se prilagođavaju širem rasponu morfologija lica i bogatom skupu senzora za istraživanje. Naočale zadržavaju lagani dizajn (težine 74 – 76 g, ovisno o veličini) i sada uključuju sklopive ručke za lakše skladištenje i transport za svakodnevnu upotrebu. Kako bismo osigurali da svaki korisnik ima optimalno fizičko i funkcionalno pristajanje, uveli smo osam varijacija veličina uređaja - uzimajući u obzir niz ljudskih čimbenika, uključujući širinu glave i varijacije nosnog mosta.

Osam varijacija veličina naših Aria Gen 2 uređaja.

2. Poboljšanja kamere za računalni vid (CV)

Visoki dinamički raspon (HDR): Globalni senzor kamere s zatvaračem Aria Gen 2 nudi visoki dinamički raspon od 120 dB, u usporedbi s rasponom od 70 dB u Gen 1. To omogućuje vrhunske zadatke računalnog vida u različitim uvjetima osvjetljenja.

0:00 / 0:00

Video prikazuje da CV kamera može snimati vrlo dinamične scene s LED žarnom niti koja se razlučuje zajedno s ostalim detaljima scene.

Široko vidno polje (FOV): Aria Gen 2 opremljena je s četiri kamere računalnog vida (CV), što udvostručuje broj CV kamera u Gen 1, kako bi se osiguralo šire vidno polje i omogućilo napredno 3D praćenje ruku i objekata.

Stereo preklapanje: Stereo preklapanje u Gen 2 povećano je na 80° s 35° u Gen 1, što olakšava stereo modele temeljnih elemenata koji poboljšavaju percepciju dubine i prostornu svijest.

0:00 / 0:00

Primjer ovdje ilustrira kako povećano stereo preklapanje omogućuje metodama poput NVIDIA-inog FoundationStereo generiranje mapa dubine na temelju ispravljenih stereo slika. Mape dubine mogu se spojiti za generiranje geometrijskih rekonstrukcija scene samo korištenjem podataka stereo para Aria Gen 2.

3. Nove integracije senzora

Senzor ambijentalnog svjetla (ALS): Aria Gen 2 uključuje kalibrirani ALS, što omogućuje bolje algoritme za kontrolu ekspozicije i otključavanje novih mogućnosti pri niskim brzinama kadrova. Ultraljubičasti način rada ALS-a može se koristiti za razlikovanje unutarnje i vanjske rasvjete, kao što je prikazano u videu.

0:00 / 0:00

Kontaktni mikrofon: Aria Gen 2 uključuje kontaktni mikrofon ugrađen u nosni jastučić uređaja, što poboljšava snimanje zvuka u bučnim okruženjima.

0:00 / 0:00

Video prikazuje korisnika u zračnom tunelu kako bi simulirao vjetroviti scenarij u kojem kontaktni mikrofon može uhvatiti šapat korisnika, dok akustični mikrofoni to ne mogu.

Otkucaji srca: Aria Gen 2 uključuje fotopletizmografski (PPG) senzor ugrađen u nosni jastučić uređaja koji omogućuje procjenu otkucaja srca osobe koja nosi uređaj.

4. Usklađivanje vremena uređaja

Aria Gen 2 ima ugrađeno hardversko rješenje koje koristi Sub-GHz radio tehnologiju za emitiranje informacija o vremenu, omogućujući precizno usklađivanje vremena s drugim Aria Gen 2 uređajima ili kompatibilnim uređajima koji podržavaju Sub-GHz radio. Ova tehnologija postiže usklađivanje vremena s točnošću od manje od milisekunde, što predstavlja značajno poboljšanje u odnosu na... softversko usklađivanje Gen 1.

0:00 / 0:00

Video prikazuje kako Aria Gen 2 koristi usklađivanje vremena uređaja za zadatke poput pisanja s distribuiranih snimaka s dva Aria Gen 2 uređaja.

5. Signali percepcije stroja u stvarnom vremenu (MP) na uređaju

Aria Gen 2 ima napredne algoritme za percepciju stroja na uređaju koji rade na Meta-inom energetski učinkovitom prilagođenom koprocesoru. Ove vrhunske mogućnosti omogućuju uređaju generiranje preciznih i točnih podataka, prateći kako komuniciramo s okolinom.

Vizualna inercijalna odometrija (VIO)

Jedna od ključnih značajki Aria Gen 2 je njezina sposobnost praćenja naočala u šest stupnjeva slobode (6DOF) unutar prostornog referentnog okvira pomoću vizualne inercijalne odometrije (VIO). To omogućuje besprijekornu navigaciju i mapiranje okoliša, otvarajući nove mogućnosti za istraživanje u kontekstualnoj umjetnoj inteligenciji i robotici.

Praćenje pogleda

Aria Gen 2 također se može pohvaliti naprednim sustavom za praćenje očiju temeljenim na kameri koji prati pogled korisnika s neusporedivom točnošću. Ovaj sustav pruža obilje informacija, uključujući: pogled po oku, točku konvergencije, detekciju treptaja, procjenu središta zjenice, promjer zjenice, središte rožnice itd.

Ovi napredni signali omogućuju dublje razumijevanje vizualne pažnje i namjera korisnika, otključavajući nove mogućnosti interakcije čovjeka i računala.

Praćenje ruku

Aria Gen 2 također ima rješenje za praćenje ruke koje prati ruku korisnika u 3D prostoru. To stvara artikulirane položaje zglobova šake u referentnom okviru uređaja, olakšavajući točne anotacije ruku za skupove podataka i omogućujući aplikacije poput spretne manipulacije robotskim rukama koje zahtijevaju visoku preciznost.

0:00 / 0:00

Demonstracija senzora i mogućnosti strojne percepcije Aria Gen 2, kao i algoritama izvan uređaja izgrađenih na njima.

Budućnost Arije je ovdje: Ostanite informirani

Naočale Aria Gen 2 otvaraju put budućim inovacijama koje će definirati sljedeću računalnu platformu. Prijave za rad s Aria Gen 2 bit će otvorene kasnije ove godine, a istraživači koji su zainteresirani za informiranje mogu se pridružiti Popis interesa za Aria Gen 2U međuvremenu, prijave za Aria Research Kit s Aria Gen 1 naočalama i dalje se primaju kontinuirano—prijavite se sada da odmah započnete.

Pridružite nam se na CVPR 2025 u Nashvilleu, Tennessee, ovog lipnja, gdje će tim predstaviti Aria Gen 2 naočale kroz interaktivne demonstracije. Posjetite Meta štand kako biste iskusili najnovija dostignuća i saznali više o inovativnim značajkama Aria Gen 2.