Astăzi, evidențiem o nouă cercetare din Georgia Tech care ajută la antrenarea roboților pentru a efectua sarcini zilnice de bază folosind înregistrări egocentrice de la purtătorii de Meta's Proiectul Aria ochelari de cercetare. Urmăriți videoclipul de mai jos, citiți articolul complet sau aplicați pentru propriul kit de cercetare Project Aria.

Imaginați-vă că aveți nevoie de ajutor pentru îndeplinirea sarcinilor de zi cu zi în casă, cum ar fi spălatul rufelor, spălatul vaselor și efectuarea de reparații. Folosim deja instrumente care ne ajută la îndeplinirea acestor sarcini, cum ar fi mașinile de spălat rufe, mașinile de spălat vase și burghiile electrice. Dar cum ar fi dacă ați putea avea un instrument și mai puternic și mai flexibil sub forma unui robot umanoid care ar putea învăța de la dvs. și ar putea accelera orice număr de proiecte fizice de pe lista dvs. de sarcini?

Chiar dacă ai avea la dispoziție un sistem hardware, învățarea unui robot să îndeplinească sarcini zilnice se poate realiza doar printr-o metodă lentă și greoaie de colectare a datelor, numită teleoperare robotică. Până acum. Prin utilizarea Kit de cercetare Project Aria, profesorul Danfei Xu și Laboratorul de învățare și raționament robotic la Georgia Tech folosesc senzorii egocentrici de pe ochelarii Aria pentru a crea ceea ce ei numesc "date umane" pentru sarcinile pe care doresc să le reproducă un robot umanoid. Aceștia folosesc datele umane pentru a reduce dramatic cantitatea de date de teleoperare a robotului necesare pentru a antrena politica unui robot - o descoperire care ar putea într-o zi să facă roboții umanoizi capabili să învețe orice număr de sarcini pe care un om le-ar putea demonstra.

Kareer teleopera robotul pentru a capta date de co-antrenament pentru EgoMimic. Teleoperarea poate fi dificil de extins și necesită un efort uman semnificativ.

"În mod tradițional, colectarea de date pentru robotică înseamnă crearea de date demonstrative", spune Simar Kareer, doctorand la Georgia Tech. Școala de informatică interactivă. "Acționați articulațiile robotului cu ajutorul unui controler pentru a-l mișca și a realiza sarcina dorită și faceți acest lucru de sute de ori, înregistrând în același timp datele senzorilor, apoi vă antrenați modelele. Acest lucru este lent și dificil. Singura modalitate de a rupe acest ciclu este de a detașa colectarea de date de robotul în sine."

În prezent, modelele de politici ale roboților sunt antrenate cu cantități mari de date demonstrative specifice fiecărei sarcini înguste, la un cost ridicat. Kareer emite ipoteza că datele colectate pasiv de la mulți cercetători, precum datele capturate de ochelarii Aria, ar putea fi utilizate în schimb pentru a permite crearea de date pentru un set mult mai larg de sarcini, pentru a crea roboți mai utili în general în viitor.

Inspirat de Proiectul Aria și Ego-Exo4D care include un set masiv de date egocentrice de peste 3.000 de ore de înregistrări video ale activităților din viața de zi cu zi, Kareer a dezvoltat EgoMimic, un nou cadru algoritmic care utilizează datele umane și datele robotului pentru dezvoltarea roboților umanoizi.

"Când m-am uitat la Ego4D, am văzut un set de date care este la fel ca toate seturile de date cu roboți mari pe care încercăm să le colectăm, doar că este cu oameni", explică Kareer. "Purtați doar o pereche de ochelari și vă duceți să faceți lucruri. Nu trebuie să vină de la robot. Ar trebui să vină de la ceva mai scalabil și generat pasiv, adică de la noi." În cadrul cercetării lui Kareer, ochelarii Aria au fost folosiți pentru a crea date umane pentru co-antrenarea cadrului EgoMimic.

Kareer creează date umane de co-formare prin înregistrarea cu ochelarii Aria în timp ce împăturește un tricou.

Ochelarii Aria nu sunt folosiți doar pentru colectarea datelor umane în cadrul cercetărilor de la Georgia Tech. Aceștia sunt, de asemenea, utilizați ca parte integrantă a configurației de funcționare în timp real a robotului. Ochelarii Aria sunt montați pe platforma robotului umanoid la fel ca o pereche de ochi și servesc ca un pachet integrat de senzori care permite robotului să perceapă mediul înconjurător în timp real. Aria Client SDK este utilizat pentru a transmite datele senzorilor Aria direct în politica robotului, care rulează pe un PC atașat, care la rândul său controlează acționarea robotului. Utilizarea ochelarilor Aria atât pentru colectarea datelor, cât și pentru conducta de percepție în timp real minimizează decalajul de domeniu dintre demonstratorul uman și robot, deschizând calea pentru generarea de date la scară umană pentru formarea viitoarelor sarcini robotice.

Ochelarii Aria montați pe partea superioară a robotului furnizează sistemului date senzoriale care permit robotului să perceapă și să interacționeze cu spațiul.

Datorită EgoMimic, Kareer a obținut o creștere de 400% a performanței robotului său în diverse sarcini față de metodele anterioare, cu doar 90 de minute de înregistrări Aria. De asemenea, robotul a reușit să îndeplinească cu succes aceste sarcini în medii nevăzute anterior.

În viitor, roboții umanoizi ar putea fi antrenați la scară largă folosind date egocentrice pentru a îndeplini o varietate de sarcini în același mod în care o fac oamenii.

"Privim Aria ca pe o investiție în comunitatea de cercetare", spune James Fort, un manager de produs Reality Labs Research la Meta. "Cu cât comunitatea de cercetare egocentrică se standardizează mai mult, cu atât mai mulți cercetători vor putea colabora. Este într-adevăr prin scalarea cu comunitatea ca aceasta că putem începe să rezolvăm probleme mai mari în jurul modului în care lucrurile vor funcționa în viitor."

Kareer își va prezenta lucrarea privind EgoMimic la 2025 Conferința internațională IEEE a inginerilor privind robotica și automatizarea (ICRA) în Atlanta.

De la lansarea sa în 2020, Proiectul Aria a permis cercetătorilor din întreaga lume să avanseze în domeniul percepției artificiale și al inteligenței artificiale, prin accesul la hardware de cercetare de ultimă generație și la surse deschise seturi de date, modele și unelte. Astăzi, suntem încântați să anunțăm următorul pas în această călătorie: introducerea ochelarilor Aria Gen 2. Această nouă generație de hardware va debloca noi posibilități într-o gamă largă de domenii de cercetare, inclusiv percepția mașinilor, inteligența artificială egocentrică și contextuală și robotica.

0:00 / 0:00

Pentru cercetătorii care doresc să exploreze modul în care sistemele AI pot îmbunătăți să înțeleagă lumea dintr-o perspectivă umanăOchelarii Aria Gen 2 adaugă un nou set de capabilități platformei Aria. Ei includ o serie de progrese care nu se regăsesc pe niciun alt dispozitiv disponibil în prezent, iar accesul la aceste tehnologii revoluționare va permite cercetătorilor să depășească limitele posibilului.

Comparativ cu Aria Gen 1, propunerea unică de valoare a Aria Gen 2 include:

• Suita de senzori de ultimă generație: Setul de senzori modernizat include o cameră RGB, camere SLAM 6DOF, camere de urmărire a ochilor, microfoane spațiale, IMU, barometru, magnetometru și GNSS. Comparativ cu predecesorul său, Aria Gen 1, noua generație introduce doi senzori inovatori încorporați în tăblia nasului: un senzor PPG pentru măsurarea ritmului cardiac și un microfon de contact pentru a distinge vocea purtătorului de cea a trecătorilor.
• Percepția mașinilor cu consum ultra redus de energie și pe dispozitiv: SLAM, urmărirea ochilor, urmărirea mâinilor și recunoașterea vorbirii sunt toate procesate pe dispozitiv folosind siliciul personalizat Meta.
• Utilizare pe tot parcursul zilei: Ochelarii Aria Gen 2 sunt capabili de șase până la opt ore de utilizare continuă, cântăresc aproximativ 75 de grame și au brațe pliabile pentru portabilitate ușoară.
• Interacțiune prin audio: Utilizatorii primesc feedback audio prin intermediul celor mai bune difuzoare cu anulare a forței pentru urechi deschise din clasa lor, permițând prototiparea sistemului în buclă de către utilizator.

noastre călătorie de zece ani pentru a crea următoarea platformă de calcul a condus la dezvoltarea acestor tehnologii esențiale. La Meta, echipele de la Reality Labs Research și laboratorul FAIR AI le vor folosi pentru a avansa în viziunea noastră de cercetare pe termen lung. Punerea lor la dispoziția laboratoarelor de cercetare academice și comerciale prin intermediul Proiectului Aria va avansa și mai mult cercetarea deschisă și înțelegerea publică a unui set cheie de tehnologii care, credem noi, vor contribui la modelarea viitorului informaticii și al inteligenței artificiale.

Cercetarea deschisă permisă de proiectul Aria începând din 2020 a condus deja la lucrări importante, inclusiv la crearea de instrumente open-source utilizate pe scară largă în mediul academic și în industrie. Proiectul Setul de date Ego-Exo4Dcolectată cu ajutorul primei generații de ochelari Aria, a devenit un instrument fundamental în viziunea computerizată modernă și în domeniul în creștere al roboticii. Cercetătorii de la Georgia Tech au arătat recent cum kitul de cercetare Aria poate ajută roboții umanoizi să învețe să asiste oamenii în casă, în timp ce echipe la BMW a folosit-o pentru a explora modul de integrare a sistemelor de realitate augmentată și virtuală în vehiculele inteligente.

Aria permite, de asemenea, dezvoltarea de noi tehnologii pentru accesibilitate. Prima generație de ochelari Aria a fost utilizată de Universitatea Carnegie Mellon în proiectul său NavCogcare a avut ca scop crearea de tehnologii care să ajute persoanele nevăzătoare și cu deficiențe de vedere la navigarea în interior. Pornind de la această bază, ochelarii Aria Gen 2 sunt acum folosiți de Închipuire, o companie dedicată creării de soluții pentru persoanele nevăzătoare sau cu deficiențe de vedere. Envision analizează posibilitatea integrării Ally asistent AI și audio spațial folosind cei mai noi ochelari Aria Gen 2 pentru a îmbunătăți navigarea în interior și experiențele de accesibilitate.

0:00 / 0:00

Envision a utilizat capacitățile SLAM de pe dispozitiv ale ochelarilor Aria Gen 2, împreună cu caracteristicile audio spațiale prin intermediul difuzoarelor încorporate, pentru a ajuta persoanele nevăzătoare și cu vedere redusă să navigheze fără probleme în medii interioare. Această utilizare inovatoare a tehnologiilor, care se află încă în faza exploratorie și de cercetare, exemplifică modul în care cercetătorii pot utiliza ochelarii Aria Gen 2 pentru prototiparea experiențelor AI bazate pe observații egocentrice. Senzorii avansați și capacitățile de percepție automată pe dispozitiv, inclusiv SLAM, urmărirea ochilor, urmărirea mâinilor și interacțiunile audio, le fac, de asemenea, ideale pentru colectarea de date pentru aplicații de cercetare și robotică.

În lunile următoare, vom împărtăși mai multe detalii despre calendarul disponibilității dispozitivelor pentru parteneri. Cercetătorii interesați să acceseze Aria Gen 2 pot înscrieți-vă pentru a primi actualizări. Suntem încântați să vedem cum cercetătorii vor utiliza Aria Gen 2 pentru a deschide calea inovațiilor viitoare care vor modela următoarea platformă de calcul.

La începutul acestui an, am anunțat ultimele noastre ochelari de cercetare, Aria Gen 2, care marchează continuarea misiunii Proiectului Aria de a permite cercetătorilor din întreaga lume să avanseze în domeniul percepției automate, al inteligenței artificiale contextuale și al roboticii prin accesul la hardware de cercetare de ultimă generație și la seturi de date, modele și instrumente cu sursă deschisă. Astăzi, suntem încântați să împărtășim mai multe despre tehnologia din Aria Gen 2. Aceasta include o prezentare detaliată a factorului de formă, a capacităților audio, a duratei de viață a bateriei, a camerelor și senzorilor actualizați, a calculului pe dispozitiv și multe altele.

Ce este Aria Gen 2?

Aria Gen 2 este un dispozitiv portabil care combină cele mai recente progrese în viziunea computerizată, învățarea automată și tehnologia senzorilor. Factorul de formă compact și designul ușor al Aria Gen 2 îl fac o alegere ideală pentru cercetătorii care trebuie să colecteze date sau să construiască prototipuri într-o varietate de contexte. Ochelarii conțin o serie de îmbunătățiri în comparație cu Aria Gen 1, predecesorul său în cercetare, anunțat în 2020.

Aria Gen 2: Avansuri și caracteristici

Trecerea de la Aria Gen 1 la Gen 2 marchează un salt semnificativ în tehnologia purtabilă, oferind caracteristici și capacități îmbunătățite care răspund unei game mai largi de aplicații și nevoi ale utilizatorilor. Mai jos, explorăm principalele diferențe și îmbunătățiri introduse în Aria Gen 2.

1. Uzura

Aria Gen 2 se mândrește cu o purtabilitate superioară, caracterizată prin confort și potrivire îmbunătățite, acomodând în același timp o gamă mai largă de morfologii ale feței și o suită bogată de senzori pentru cercetare. Ochelarii păstrează un design ușor (cântărind între 74 și 76 g, în funcție de mărime) și includ acum brațe pliabile pentru o depozitare și un transport mai ușoare pentru utilizarea zilnică. Pentru a ne asigura că fiecare purtător are o potrivire fizică și funcțională optimă, am introdus opt variații de mărime ale dispozitivului - ținând cont de o serie de factori umani, inclusiv lățimea capului și variația podului nasului.

Opt variante de mărime ale dispozitivelor noastre Aria Gen 2.

2. Îmbunătățiri ale camerelor Computer Vision (CV)

High Dynamic Range (HDR): Senzorul camerei cu obturator global Aria Gen 2 oferă o gamă dinamică ridicată de 120 dB, comparativ cu gama de 70 dB din Gen 1. Acest lucru permite realizarea unor sarcini superioare de viziune computerizată în diverse condiții de iluminare.

0:00 / 0:00

Videoclipul ilustrează faptul că camera CV este capabilă să capteze scene extrem de dinamice, filamentul unei lumini LED fiind rezolvat împreună cu restul detaliilor din scenă.

Câmp larg de vizualizare (FOV): Aria Gen 2 este echipată cu patru camere CV (computer vision), dublând numărul de camere CV din Gen 1, pentru a oferi un câmp vizual mai larg și a permite urmărirea 3D avansată a mâinilor și a obiectelor.

Suprapunere stereo: Suprapunerea stereo în Gen 2 este mărită la 80° de la 35° în Gen 1, facilitând modelele de fundație bazate pe stereo care îmbunătățesc percepția adâncimii și conștientizarea spațială.

0:00 / 0:00

Exemplul de aici ilustrează modul în care suprapunerea stereo crescută permite unor metode precum FoundationStereo de la NVIDIA să genereze hărți de adâncime bazate pe imagini stereo rectificate. Hărțile de adâncime pot fi fuzionate pentru a genera reconstrucții geometrice ale scenei folosind doar datele perechilor stereo Aria Gen 2.

3. Noi integrări de senzori

Senzor de lumină ambientală (ALS): Aria Gen 2 include un ALS calibrat, care permite algoritmi mai buni de control al expunerii și deblochează noi capabilități la frecvențe reduse de cadre. Modul ultraviolet al ALS poate fi utilizat pentru a face distincția între iluminatul interior și cel exterior, așa cum este ilustrat în materialul video.

0:00 / 0:00

Microfon de contact: Aria Gen 2 include un microfon de contact încorporat în nasul dispozitivului, îmbunătățind captura audio în medii zgomotoase.

0:00 / 0:00

Videoclipul prezintă un purtător într-un tunel de vânt pentru a simula un scenariu cu vânt în care microfonul de contact este capabil să capteze șoapta purtătorului atunci când microfoanele acustice nu pot.

Ritmul cardiac: Aria Gen 2 include un senzor de fotopletismografie (PPG) încorporat în fața nasului dispozitivului, care permite estimarea ritmului cardiac al persoanei care poartă dispozitivul.

4. Alinierea timpului dispozitivului

Aria Gen 2 are o soluție hardware încorporată care utilizează tehnologia radio Sub-GHz pentru a transmite informații de sincronizare, permițând alinierea precisă la timp cu alte dispozitive Aria Gen 2 sau dispozitive compatibile care acceptă radio Sub-GHz. Această tehnologie realizează alinierea temporală cu o precizie de sub milisecundă, marcând o îmbunătățire semnificativă față de aliniere bazată pe software a Gen 1.

0:00 / 0:00

Videoclipul prezintă modul în care Aria Gen 2 utilizează alinierea temporală a dispozitivelor pentru sarcini precum scrierea din capturi distribuite de la două dispozitive Aria Gen 2.

5. Semnale de percepție automată (MP) în timp real pe dispozitiv

Aria Gen 2 dispune de algoritmi avansați de percepție automată pe dispozitiv, care rulează pe coprocesorul personalizat Meta, eficient din punct de vedere energetic. Aceste capacități de ultimă oră permit dispozitivului să genereze date precise și exacte, urmărind modul în care interacționăm cu mediul înconjurător.

Odometrie inerțială vizuală (VIO)

Una dintre caracteristicile cheie ale Aria Gen 2 este capacitatea sa de a urmări ochelarii în șase grade de libertate (6DOF) într-un cadru spațial de referință utilizând odometria inerțială vizuală (VIO). Acest lucru permite navigarea și cartografierea fără întreruperi a mediului, deschizând noi posibilități de cercetare în IA contextuală și robotică.

Urmărirea ochilor

Aria Gen 2 se mândrește, de asemenea, cu un sistem avansat de urmărire a ochilor bazat pe cameră care urmărește privirea purtătorului cu o precizie de neegalat. Acest sistem oferă o multitudine de informații, inclusiv: privirea pe ochi, punctul de vergență, detectarea clipirii, estimarea centrului pupilei, diametrul pupilei, centrul corneei etc.

Aceste semnale avansate permit o înțelegere mai profundă a atenției vizuale și a intențiilor purtătorului, deschizând noi posibilități de interacțiune om-computer.

Urmărirea mâinii

Aria Gen 2 dispune, de asemenea, de o soluție de urmărire a mâinii care urmărește mâna purtătorului în spațiul 3D. Acest lucru produce poziții articulate ale articulațiilor mâinii în cadrul de referință al dispozitivului, facilitând adnotările precise ale mâinii pentru seturile de date și permițând aplicații precum manipularea dexteră a mâinilor roboților care necesită o precizie ridicată.

0:00 / 0:00

Demonstrarea senzorilor Aria Gen 2 și a capacităților de percepție ale mașinii, precum și a algoritmilor de pe alte dispozitive construiți pe baza acestora.

Viitorul Aria este aici: Rămâneți informați

Ochelarii Aria Gen 2 deschid calea pentru inovațiile viitoare care vor defini următoarea platformă de calcul. Aplicațiile pentru a lucra cu Aria Gen 2 se vor deschide la sfârșitul acestui an, iar cercetătorii interesați să rămână informați se pot alătura Aria Gen 2 lista de interese. Între timp, cererile pentru Aria Research Kit cu ochelari Aria Gen 1 sunt încă acceptate pe o bază continuă.aplicați acum pentru a începe imediat.

Alăturați-vă nouă la CVPR 2025 în Nashville, Tennessee, în luna iunie a acestui an, unde echipa va prezenta ochelarii Aria Gen 2 prin demonstrații interactive. Vizitați standul Meta pentru a experimenta cele mai recente progrese și pentru a afla mai multe despre caracteristicile inovatoare ale Aria Gen 2.