Šodien mēs pievēršam uzmanību jaunam pētījumam, ko veica Georgia Tech kas palīdz apmācīt robotus veikt pamata ikdienas uzdevumus, izmantojot Meta's lietotāja egocentriskos ierakstus. Projekts Aria pētniecības brilles. Noskatieties zemāk redzamo video, izlasiet pilnu stāstu vai pieteikties savam Project Aria pētniecības komplektam.

Iedomājieties, ka jums palīdz veikt ikdienas darbus jūsu mājās, piemēram, mazgāt veļu, mazgāt traukus un veikt remontdarbus. Mēs jau izmantojam rīkus, kas palīdz veikt šos uzdevumus, piemēram, veļas mašīnas, trauku mazgājamās mašīnas un elektriskās urbjmašīnas. Bet ko tad, ja jums būtu vēl jaudīgāks un elastīgāks rīks - humanoīds robots, kas varētu mācīties no jums un paātrināt jebkuru no jūsu darāmo darbu sarakstā iekļautajiem fiziskajiem projektiem?

Pat ja jums būtu pieejama aparatūras sistēma, iemācīt robotam veikt ikdienas uzdevumus var tikai ar lēnu un neveiklu datu vākšanas metodi, ko sauc par robotu teleoperāciju. Līdz šim. Izmantojot Projekta Aria pētniecības komplekts, profesors Danfei Xu un Robotu mācīšanās un spriešanas laboratorija vietnē Georgia Tech izmanto Aria briļļu egocentriskos sensorus, lai radītu tā sauktos "cilvēka datus" uzdevumiem, kurus vēlas, lai humanoīds robots atdarinātu. Viņi izmanto cilvēka datus, lai krasi samazinātu robota teleoperācijas datu apjomu, kas nepieciešams robota politikas apmācībai - tas ir sasniegums, kas kādu dienu varētu padarīt humanoīdus robotus spējīgus apgūt jebkuru uzdevumu skaitu, ko cilvēks varētu demonstrēt.

Kareer teleoperē ar robotu, lai iegūtu kopmācības datus EgoMimic. Teleoperāciju var būt sarežģīti paplašināt, un tai ir nepieciešama ievērojama cilvēka piepūle.

"Tradicionāli datu vākšana robotikai nozīmē demonstrējumu datu veidošanu," saka Džordžijas Tehnoloģiju institūta doktorants Simars Kareers (Simar Kareer). Skola Interaktīvās skaitļošanas. "Jūs darbināt robota locītavas ar kontrolieri, lai to pārvietotu un izpildītu vēlamo uzdevumu, un jūs to darāt simtiem reižu, ierakstot sensoru datus, pēc tam trenējat savus modeļus. Tas ir lēni un sarežģīti. Vienīgais veids, kā pārtraukt šo ciklu, ir atdalīt datu vākšanu no paša robota."

Mūsdienās robotu politikas modeļi tiek apmācīti, izmantojot lielu daudzumu mērķtiecīgu demonstrējumu datu, kas ir specifiski katram šauram uzdevumam, un tas rada lielas izmaksas. Kareers izvirza hipotēzi, ka daudzu pētnieku pasīvi savāktos datus, piemēram, Aria brilles uzkrātos datus, tā vietā varētu izmantot, lai nodrošinātu datu veidošanu daudz plašākam uzdevumu klāstam, lai nākotnē radītu vispārēji noderīgākus robotus.

Iedvesmojoties no Projekts Aria un Ego-Exo4D kas ietver milzīgu egocentrisku datu kopu ar vairāk nekā 3 tūkstošiem stundu videoierakstu ar ikdienas dzīves aktivitātēm, Kareer izstrādāja EgoMimic, jauna algoritmiska sistēma, kas izmanto cilvēku datus un robotu datus, lai izstrādātu humanoīdus robotus.

"Kad es apskatīju Ego4D, es ieraudzīju datu kopu, kas ir tāda pati kā visas lielās robotu datu kopas, ko mēs cenšamies apkopot, tikai ar cilvēkiem," skaidro Kareers. "Jūs vienkārši uzliekat brilles un ejat kaut ko darīt. Tam nav jānāk no robota. Tam jānāk no kaut kā vairāk mērogojama un pasīvi ģenerējama, proti, no mums." Kareera pētījumā Aria brilles tika izmantotas, lai radītu cilvēka datus EgoMimic sistēmas apmācībai.

Kareers izveido kopīgas apmācības cilvēka datus, ierakstot ar Aria brilles, kamēr salokās t-kreklu.

Aria brilles tiek izmantotas ne tikai cilvēku datu vākšanai Džordžijas Tehnoloģiju institūta pētījumos. Tās tiek izmantotas arī kā robota reāllaika darbības iestatījumu neatņemama sastāvdaļa. Aria brilles ir piestiprinātas pie to humanoīdu robotu platformas gluži kā acu pāris un kalpo kā integrēta sensoru pakete, kas ļauj robotam uztvert apkārtējo vidi reālajā laikā. Aria Client SDK tiek izmantots, lai pārraidītu Aria sensoru datus tieši uz robota politiku, kas darbojas pievienotajā datorā, kurš savukārt kontrolē robota darbību. Izmantojot Aria brilles gan datu vākšanai, gan reāllaika uztveres cauruļvadam, tiek samazināta domēna plaisa starp cilvēka demonstrētāju un robotu, paverot ceļu mērogotu cilvēka datu ģenerēšanai turpmākai robotikas uzdevumu apmācībai.

Aria brilles, kas piestiprinātas pie robota augšdaļas, nodrošina sistēmu ar sensoru datiem, kas ļauj robotam uztvert telpu un mijiedarboties ar to.

Pateicoties EgoMimic, Kareer, izmantojot tikai 90 minūtes Aria ierakstu, panāca 400% lielāku robota veiktspēju dažādos uzdevumos salīdzinājumā ar iepriekšējām metodēm. Robots varēja arī veiksmīgi veikt šos uzdevumus iepriekš neredzētā vidē.

Nākotnē humanoīdos robotus varētu apmācīt, izmantojot egocentriskos datus, lai tie varētu veikt dažādus uzdevumus tāpat kā cilvēki.

"Mēs uz Aria raugāmies kā uz ieguldījumu pētnieku kopienā," saka Džeimss Forts, Meta Reality Labs pētniecības produktu vadītājs. "Jo vairāk egocentrisko pētnieku kopiena standartizēsies, jo vairāk pētnieki varēs sadarboties. Šādi paplašinot kopienu, mēs varam sākt risināt lielākas problēmas saistībā ar to, kā lietas darbosies nākotnē."

Kareers prezentēs savu referātu par EgoMimic konferencē 2025 IEEE inženieru starptautiskā konference par robotiku un automatizāciju (ICRA) Atlantā.

Kopš tās darbības uzsākšanas 2020. gadā, Projekts Aria ir ļāvusi pētniekiem visā pasaulē attīstīt tehnikas un mākslīgā intelekta uztveres un mašīniskās uztveres jomā, nodrošinot piekļuvi jaunākajai pētniecības aparatūrai un atvērtā koda programmatūrai. datu kopas, modeļiem un instrumentiem. Šodien mēs ar prieku paziņojam par nākamo soli šajā ceļā - Aria 2. paaudzes briļļu ieviešanu. Šī nākamās paaudzes aparatūra pavērs jaunas iespējas dažādās pētniecības jomās, tostarp mašīniskās uztveres, egocentriskā un kontekstuālā mākslīgā intelekta un robotikas jomā.

0:00 / 0:00

Pētniekiem, kas vēlas izpētīt, kā mākslīgā intelekta sistēmas var labāk izprast pasauli no cilvēka perspektīvas., Aria 2. paaudzes brilles papildina Aria platformu ar jaunām iespējām. Tās ietver vairākus uzlabojumus, kas nav atrodami nevienā citā šobrīd pieejamā ierīcē, un piekļuve šīm revolucionārajām tehnoloģijām ļaus pētniekiem paplašināt iespējamā robežas.

Salīdzinot ar Aria Gen 1, Aria Gen 2 unikālais vērtības piedāvājums ietver:

• Modernāko sensoru komplekts: Uzlabotajā sensoru komplektā ir RGB kamera, 6DOF SLAM kameras, acu izsekošanas kameras, telpiskie mikrofoni, IMU, barometrs, magnetometrs un GNSS. Salīdzinot ar priekšgājēju Aria Gen 1, jaunajā paaudzē ir ieviesti divi inovatīvi sensori, kas iestrādāti deguna spilventiņā: PPG sensors sirdsdarbības frekvences mērīšanai un kontaktmikrofons, kas ļauj atšķirt lietotāja balsi no apkārtējo personu balss.
• Īpaši maza enerģijas patēriņa un ierīces mašīniskās uztveres funkcija: SLAM, acu izsekošana, roku izsekošana un runas atpazīšana tiek apstrādāti ierīcē, izmantojot Meta pielāgotu silīciju.
• Lietojamība visas dienas garumā: Aria Gen 2 brilles var nepārtraukti lietot sešas līdz astoņas stundas, tās sver aptuveni 75 gramus un ir ar salokāmiem rokturiem, kas atvieglo pārnēsāšanu.
• Mijiedarbība, izmantojot audio: Lietotāji saņem audioatgriezenisko saiti, izmantojot savā klasē labākos atvērtās austiņas skaļruņus, kas ļauj veidot sistēmas prototipus.

Mūsu desmit gadu ilgs ceļojums lai radītu nākamo skaitļošanas platformu, ir veicinājusi šo svarīgo tehnoloģiju attīstību. Meta, Reality Labs Research un FAIR AI laboratorijas komandas izmantos tos, lai veicinātu mūsu ilgtermiņa pētniecības vīziju.. Projekta Aria ietvaros padarot tos pieejamus akadēmiskajām un komerciālajām pētniecības laboratorijām, tiks veicināta atklāta pētniecība un sabiedrības izpratne par galveno tehnoloģiju kopumu, kas, mūsuprāt, palīdzēs veidot skaitļošanas un mākslīgā intelekta nākotni.

Atvērtā pētniecība, ko projekts Aria veic kopš 2020. gada, jau ir ļāvusi veikt nozīmīgu darbu, tostarp radīt atvērtā koda rīkus, ko plaši izmanto akadēmiskajās aprindās un rūpniecībā. Portāls Ego-Exo4D datu kopa, kas iegūti, izmantojot pirmās paaudzes Aria brilles, ir kļuvuši par pamatinstrumentu mūsdienu datorredzes un augošās robotikas jomā. Džordžijas Tehnoloģiju institūta pētnieki nesen parādīja, kā Aria Research Kit var palīdzēt humanoīdiem robotiem iemācīties palīdzēt cilvēkiem mājās., bet BMW komandas to izmantoja, lai izpētītu, kā paplašinātās un virtuālās realitātes sistēmas integrēt viedajos transportlīdzekļos.

Aria arī ļauj izstrādāt jaunas pieejamības tehnoloģijas. Pirmās paaudzes Aria brilles izmantoja Carnegie Mellon universitātes projektā NavCog., kuras mērķis bija izstrādāt tehnoloģijas, kas palīdzētu neredzīgiem un vājredzīgiem cilvēkiem veikt navigāciju telpās. Balstoties uz šo pamatu, Aria 2. paaudzes brilles tagad izmanto Envision, uzņēmums, kura mērķis ir radīt risinājumus neredzīgiem vai vājredzīgiem cilvēkiem. Envision pēta iespēju integrēt savu Ally mākslīgā intelekta asistents un telpiskais audio, izmantojot jaunākās Aria 2. paaudzes brilles, lai uzlabotu iekštelpu navigācijas un pieejamības pieredzi.

0:00 / 0:00

Envision izmantoja Aria Gen 2 ierīces SLAM iespējas, kā arī telpiskā audio funkcijas, izmantojot iebūvētos skaļruņus, lai palīdzētu neredzīgajiem un vājredzīgajiem cilvēkiem viegli orientēties iekštelpās. Šis inovatīvais tehnoloģiju lietojums, kas vēl ir izpētes un pētniecības posmā, ir piemērs tam, kā pētnieki var izmantot Aria Gen 2 brilles, lai veidotu mākslīgā intelekta pieredzes prototipus, pamatojoties uz egocentriskiem novērojumiem. Uzlabotie sensori un ierīcē iebūvētās mašīniskās uztveres iespējas, tostarp SLAM, acu izsekošana, roku izsekošana un audio mijiedarbība, padara tās arī ideāli piemērotas datu vākšanai pētniecībai un robotikas lietojumiem.

Tuvāko mēnešu laikā mēs sniegsim sīkāku informāciju par to, kad ierīces būs pieejamas partneriem. Pētnieki, kurus interesē piekļuve Aria Gen 2, var pierakstīties, lai saņemtu atjauninājumus. Mēs ar nepacietību gaidām, kā pētnieki izmantos Aria Gen 2, lai bruģētu ceļu nākotnes inovācijām, kas veidos nākamo skaitļošanas platformu.

Šī gada sākumā mēs paziņoja mūsu jaunākās pētniecības brilles Aria Gen 2, kas ir turpinājums projekta Aria misijai - dot iespēju pētniekiem visā pasaulē attīstīt jaunākos sasniegumus mašīniskās uztveres, kontekstuālā mākslīgā intelekta un robotikas jomā, izmantojot piekļuvi jaunākajai pētniecības aparatūrai un atvērtā koda datu kopām, modeļiem un rīkiem. Šodien mēs ar prieku dalāmies plašākā informācijā par Aria 2. paaudzes tehnoloģijām. Tas ietver padziļinātu pārskatu par formas faktoru, audio iespējām, akumulatora darbības laiku, uzlabotajām kamerām un sensoriem, ierīcē esošajiem skaitļošanas procesiem un daudz ko citu.

Kas ir Aria Gen 2?

Aria Gen 2 ir valkājama ierīce, kas apvieno jaunākos sasniegumus datorredzes, mašīnmācīšanās un sensoru tehnoloģiju jomā. Aria Gen 2 kompaktā forma un vieglā konstrukcija padara to par ideālu izvēli pētniekiem, kuriem nepieciešams vākt datus vai veidot prototipus dažādos apstākļos. Šīs brilles ietver vairākus uzlabojumus, salīdzinot ar Aria 1. paaudzes, tās priekšgājēja, par kuru tika paziņots jau 2020. gadā.

Aria Gen 2: uzlabojumi un funkcijas

Pāreja no Aria 1. paaudzes uz 2. paaudzi iezīmē ievērojamu lēcienu valkājamo tehnoloģiju jomā, piedāvājot uzlabotas funkcijas un iespējas, kas atbilst plašākam lietojumu un lietotāju vajadzību klāstam. Tālāk mēs aplūkojam galvenās atšķirības un uzlabojumus, kas ieviesti Aria 2. paaudzē.

1. Valkājamība

Aria 2. paaudzes ierīces ir labāk valkājamas, jo tās ir ērtākas un labāk piegulošas, vienlaikus tās ir piemērotas plašākam sejas morfoloģiju diapazonam un piedāvā bagātīgu sensoru komplektu pētījumiem. Briļļu dizains ir viegls (atkarībā no izmēra sver 74-76 g), un tagad tām ir salokāmi rokturi, kas atvieglo uzglabāšanu un transportēšanu ikdienas lietošanai. Lai nodrošinātu katram lietotājam optimālu fizisko un funkcionālo piemērotību, esam ieviesuši astoņus ierīces izmēru variantus, ņemot vērā vairākus cilvēka faktorus, tostarp galvas platumu un deguna tilta variācijas.

Astoņas mūsu Aria 2. paaudzes ierīču izmēru variācijas.

2. Datorredzes (CV) kameras uzlabojumi

Augsts dinamiskais diapazons (HDR): Aria 2. paaudzes globālā slēdža kameras sensors nodrošina augstu dinamisko diapazonu 120 dB, salīdzinot ar 70 dB diapazonu 1. paaudzes kamerā. Tas ļauj veikt labākus datorredzes uzdevumus dažādos apgaismojuma apstākļos.

0:00 / 0:00

Videoklipā redzams, ka CV kamera spēj uzņemt ļoti dinamiskas ainas, kurās LED spuldzes kvēldiegu var atainot kopā ar pārējām ainas detaļām.

Plašs redzamības lauks (FOV): Aria 2. paaudzē ir aprīkota ar četrām datorredzes (CV) kamerām, kas dubulto 1. paaudzes CV kameru skaitu, lai nodrošinātu plašāku redzes lauku un uzlabotu 3D roku un objektu izsekošanu.

Stereo pārklāšanās: Stereo pārklāšanās 2. paaudzē ir palielināta līdz 80°, salīdzinot ar 35° 1. paaudzē, tādējādi veicinot uz stereo balstītus pamatnes modeļus, kas uzlabo dziļuma uztveri un telpisko izpratni.

0:00 / 0:00

Šajā piemērā ir parādīts, kā palielināta stereo pārklāšanās ļauj tādām metodēm kā NVIDIA FoundationStereo ģenerēt dziļuma kartes, pamatojoties uz rektificētiem stereoattēliem. Dziļuma kartes var apvienot, lai ģenerētu ainas ģeometriskās rekonstrukcijas, izmantojot tikai Aria Gen 2 stereo pāru datus.

3. Jaunu sensoru integrācija

Apkārtējās gaismas sensors (ALS): Aria Gen 2 ietver kalibrētu ALS, kas nodrošina labākus ekspozīcijas kontroles algoritmus un paver jaunas iespējas pie zema kadru skaita. ALS ultravioleto režīmu var izmantot, lai nošķirtu iekštelpu un āra apgaismojumu, kā tas parādīts video.

0:00 / 0:00

Kontakta mikrofons: Aria Gen 2 ir kontaktmikrofons, kas iestrādāts ierīces deguna spilventiņā, tādējādi uzlabojot skaņas uztveršanu trokšņainā vidē.

0:00 / 0:00

Videoklipā ir parādīts lietotājs vēja tunelī, lai simulētu vējainu scenāriju, kurā kontakta mikrofons spēj uztvert lietotāja čukstus, lai gan akustiskie mikrofoni to nespēj.

Sirdsdarbība: Aria Gen 2 ietver fotopletizmogrāfijas (PPG) sensoru, kas iestrādāts ierīces deguna spilventiņā un ļauj noteikt ierīces lietotāja sirdsdarbības frekvenci.

4. Ierīces laika saskaņošana

Aria Gen 2 ir iebūvēts aparatūras risinājums, kas izmanto Sub-GHz radio tehnoloģiju, lai pārraidītu informāciju par laiku, tādējādi nodrošinot precīzu laika saskaņošanu ar citām Aria Gen 2 ierīcēm vai saderīgām ierīcēm, kas atbalsta Sub-GHz radio. Šī tehnoloģija nodrošina laika izlīdzināšanu ar precizitāti, kas ir mazāka par miljisekundi, tādējādi ievērojami uzlabojot to, salīdzinot ar radioviļņu tehnoloģiju. uz programmatūru balstīta 1. paaudzes izlīdzināšana.

0:00 / 0:00

Videoklipā ir parādīts, kā Aria Gen 2 izmanto ierīces laika izlīdzināšanu tādiem uzdevumiem kā rakstīšana no izkliedētiem ierakstiem no divām Aria Gen 2 ierīcēm.

5. Ierīces reāllaika mašīniskās uztveres (MP) signāli

Aria 2. paaudzes ierīcē ir uzlaboti mašīniskās uztveres algoritmi, kas darbojas ar Meta energoefektīvu pielāgotu koprocesoru. Šīs modernās iespējas ļauj ierīcei ģenerēt precīzus un precīzus datus, izsekojot, kā mēs mijiedarbojamies ar apkārtējo vidi.

Vizuālā inerciālā odometrija (VIO)

Viena no galvenajām Aria 2. paaudzes funkcijām ir spēja izsekot brilles sešās brīvības pakāpēs (6DOF) telpiskajā atskaites sistēmā, izmantojot vizuālo inerciālo odometriju (VIO). Tas ļauj nodrošināt netraucētu navigāciju un vides kartēšanu, paverot jaunas iespējas pētniecībai kontekstuālā mākslīgā intelekta un robotikas jomā.

Acu izsekošana

Aria Gen 2 var lepoties arī ar uzlabotu uz kameras balstītu acu izsekošanas sistēmu, kas ar nepārspējamu precizitāti seko valkātāja skatienam. Šī sistēma nodrošina daudz informācijas, tostarp: skatienu uz katru aci, vergences punktu, mirkšķināšanas noteikšanu, zīlītes centra novērtēšanu, zīlītes diametru, radzenes centru utt.

Šie uzlabotie signāli ļauj labāk izprast lietotāja vizuālo uzmanību un nodomus, paverot jaunas iespējas cilvēka un datora mijiedarbībai.

Roku izsekošana

Aria Gen 2 ir arī rokas izsekošanas risinājums, kas izseko lietotāja roku 3D telpā. Tas nodrošina artikulētu rokas locītavas pozu ierīces atskaites sistēmā, atvieglojot precīzu roku anotāciju datu kopām un ļaujot izmantot tādus lietojumus kā, piemēram, robotu roku manipulācijas, kam nepieciešama augsta precizitāte.

0:00 / 0:00

Aria 2. paaudzes sensoru un mašīniskās uztveres iespēju, kā arī uz tiem balstītu ārpusierīces algoritmu demonstrēšana.

Aria nākotne ir šeit: Esiet informēti

Aria Gen 2 brilles bruģē ceļu nākotnes inovācijām, kas noteiks nākamo skaitļošanas platformu. Pieteikšanās darbam ar Aria Gen 2 tiks atvērta vēl šogad, un pētnieki, kuri vēlas būt informēti, var pievienoties tīmekļa vietnei. Aria Gen 2 interešu saraksts. Tikmēr joprojām tiek pieņemti pieteikumi Aria Research Kit ar Aria Gen 1 brilles.pieteikties tagad lai nekavējoties sāktu darbu.

Pievienojieties mums CVPR 2025 Nešvilā, Tenesī štatā, šogad jūnijā, kur komanda demonstrēs Aria 2. paaudzes brilles, izmantojot interaktīvas demonstrācijas. Apmeklējiet Meta stendu, lai iepazītos ar jaunākajiem sasniegumiem un uzzinātu vairāk par Aria Gen 2 novatoriskajām funkcijām.