Kategorija: Aria Gen 2

Danes predstavljamo novo raziskavo iz Georgia Tech ki pomaga usposabljati robote za izvajanje osnovnih vsakodnevnih opravil z uporabo egocentričnih posnetkov, ki jih posnamejo uporabniki Metinih Projekt Aria raziskovalna očala. Oglejte si spodnji videoposnetek, preberite celotno zgodbo ali se prijavite za svoj raziskovalni komplet Project Aria..

Predstavljajte si, da bi vam pomagali pri vsakodnevnih opravilih na vašem domu, kot so pranje perila, pomivanje posode in popravila. Pri teh opravilih že uporabljamo orodja, kot so pralni in pomivalni stroji ter električni vrtalniki. Kaj pa, če bi lahko imeli še zmogljivejše in prilagodljivejše orodje v obliki humanoidnega robota, ki bi se lahko učil od vas in pospešil katero koli število fizičnih projektov na vašem seznamu opravil?

Tudi če bi imeli na voljo sistem strojne opreme, bi lahko robota naučili opravljati vsakdanja opravila le s počasno in okorno metodo zbiranja podatkov, imenovano robotsko teleoperiranje. Do zdaj. Z uporabo Raziskovalni komplet projekta Aria, profesor Danfei Xu in Laboratorij za robotsko učenje in razmišljanje na spletni strani . Georgia Tech uporabljajo egocentrične senzorje na očalih Aria za ustvarjanje tako imenovanih "človeških podatkov" za naloge, ki naj bi jih posnemal humanoidni robot. S človeškimi podatki močno zmanjšajo količino podatkov o teleoperaciji robota, ki so potrebni za urjenje robotove politike, kar je preboj, zaradi katerega bi se lahko humanoidni roboti nekega dne naučili vseh nalog, ki bi jih lahko prikazal človek.

Kareer s teleoperacijo upravlja robota za zajemanje podatkov o sooblikovanju za EgoMimic. Teleoperacijo je težko razširiti in zahteva veliko človeškega dela.

"Tradicionalno zbiranje podatkov za robotiko pomeni ustvarjanje demonstracijskih podatkov," pravi Simar Kareer, doktorski študent na oddelku Georgia Tech Šola za interaktivno računalništvo. "S krmilnikom upravljate robotove sklepe, da ga premaknete in dosežete želeno nalogo, to storite stokrat in pri tem beležite podatke senzorjev, nato pa usposobite svoje modele. To je počasno in težavno. Edini način za prekinitev tega kroga je, da zbiranje podatkov ločimo od samega robota."

Danes se modeli robotske politike drago usposabljajo z velikimi količinami ciljno usmerjenih demonstracijskih podatkov, specifičnih za vsako ozko nalogo. Kareer domneva, da bi lahko pasivno zbrane podatke številnih raziskovalcev, kot so podatki, zajeti z očali Aria, namesto tega uporabili za ustvarjanje podatkov za veliko širši nabor nalog, da bi v prihodnosti ustvarili bolj splošno uporabne robote.

Po navdihu Projekt Aria in . Ego-Exo4D ki vključuje obsežen nabor egocentričnih podatkov z več kot 3 tisoč urami video posnetkov vsakodnevnih dejavnosti, je Kareer razvil EgoMimic, nov algoritemski okvir, ki za razvoj humanoidnih robotov uporablja podatke o človeku in robotu.

"Ko sem si ogledal Ego4D, sem videl zbirko podatkov, ki je enaka vsem velikim zbirkam podatkov o robotih, ki jih poskušamo zbrati, le da gre za ljudi," pojasnjuje Kareer. "Nosite očala in počnete stvari. Ni treba, da jih posreduje robot. Prihajati mora od nečesa bolj razširljivega in pasivno ustvarjenega, kar smo mi." V Kareerjevi raziskavi so bila očala Aria uporabljena za ustvarjanje podatkov o ljudeh za sooblikovanje okvira EgoMimic.

Kareer ustvari podatke o soustvarjanju človeških podatkov s snemanjem z očali Aria med zlaganjem majice.

Očala Aria se v raziskavah Georgia Tech ne uporabljajo le za zbiranje podatkov o ljudeh. Uporabljajo se tudi kot sestavni del nastavitev delovanja robota v realnem času. Očala Aria so nameščena na njihovo humanoidno robotsko platformo kot par oči in služijo kot integriran paket senzorjev, ki robotu omogočajo zaznavanje okolja v realnem času. Komplet Aria Client SDK se uporablja za pretakanje podatkov senzorjev Aria neposredno v robotovo politiko, ki teče na priključenem osebnem računalniku, ta pa nadzoruje robotovo delovanje. Uporaba očal Aria za zbiranje podatkov in zaznavanje v realnem času zmanjšuje domensko vrzel med človeškim demonstratorjem in robotom ter utira pot za ustvarjanje podatkov o človeku v večjem obsegu za prihodnje usposabljanje robotskih nalog.

Očala Aria, nameščena na vrhu robota, zagotavljajo sistemu podatke o senzorjih, ki robotu omogočajo zaznavanje in interakcijo s prostorom.

Zahvaljujoč EgoMimicu je Kareer s samo 90 minutami posnetkov Aria dosegel 400% večjo zmogljivost svojega robota pri različnih nalogah v primerjavi s prejšnjimi metodami. Robot je lahko te naloge uspešno opravljal tudi v prej neznanih okoljih.

V prihodnosti bi lahko humanoidne robote na podlagi egocentričnih podatkov usposobili za izvajanje različnih nalog na enak način kot ljudje.

"Na Ario gledamo kot na naložbo v raziskovalno skupnost," pravi James Fort, vodja raziskovalnega izdelka Reality Labs pri družbi Meta. "Bolj ko se bo egocentrična raziskovalna skupnost standardizirala, več raziskovalcev bo lahko sodelovalo. S takšnim širjenjem skupnosti lahko začnemo reševati večje probleme v zvezi s tem, kako bodo stvari delovale v prihodnosti."

Kareer bo svoj prispevek o EgoMimicu predstavil na 2025 Mednarodna konferenca inženirjev IEEE o robotiki in avtomatizaciji (ICRA) v Atlanti.

Od uvedbe leta 2020, Projekt Aria je raziskovalcem po vsem svetu omogočil napredek na področju strojnega zaznavanja in umetne inteligence z dostopom do vrhunske raziskovalne strojne opreme in odprtokodne programske opreme. podatkovne zbirke, modeli in orodja. Danes z veseljem napovedujemo naslednji korak na tej poti: predstavitev očal Aria Gen 2. Ta naslednja generacija strojne opreme bo odprla nove možnosti na številnih raziskovalnih področjih, vključno s strojnim zaznavanjem, egocentrično in kontekstualno umetno inteligenco ter robotiko.

0:00 / 0:00

Za raziskovalce, ki želijo raziskati, kako lahko sistemi umetne inteligence bolje razumevanje sveta s človeške perspektive., očala Aria Gen 2 platformi Aria dodajajo nov nabor zmogljivosti. Vključujejo številne izboljšave, ki jih ni mogoče najti v nobeni drugi napravi, ki je danes na voljo, dostop do teh prelomnih tehnologij pa bo raziskovalcem omogočil, da premaknejo meje mogočega.

V primerjavi z Aria Gen 1 je edinstvena vrednostna ponudba Aria Gen 2 naslednja:

• Najsodobnejši nabor senzorjev: Nadgrajeni nabor senzorjev vključuje kamero RGB, kamere SLAM 6DOF, kamere za sledenje očem, prostorske mikrofone, enote IMU, barometer, magnetometer in GNSS. V primerjavi s predhodnikom Aria Gen 1 nova generacija uvaja dva inovativna senzorja, vgrajena v nosno blazinico: senzor PPG za merjenje srčnega utripa in kontaktni mikrofon za razlikovanje uporabnikovega glasu od glasu mimoidočih.
• Strojno zaznavanje z izjemno nizko porabo energije in na napravi: SLAM, sledenje očem, sledenje rokam in prepoznavanje govora se obdelujejo v napravi z uporabo lastnega silicija podjetja Meta.
• Celodnevna uporabnost: Očala Aria Gen 2 zdržijo od šest do osem ur neprekinjene uporabe, tehtajo približno 75 gramov in imajo zložljive ročice za lažje prenašanje.
• Interakcija prek zvoka: Uporabniki dobijo povratne zvočne informacije prek najboljših zvočnikov za odprta ušesa z odpravljanjem sile v svojem razredu, kar omogoča prototipiranje sistema v krogu uporabnika.

Naš desetletje trajajoče potovanje za oblikovanje naslednje računalniške platforme je privedel do razvoja teh ključnih tehnologij. V podjetju Meta jih bodo ekipe v Reality Labs Research in laboratoriju FAIR AI uporabljale za razvoj naše dolgoročne raziskovalne vizije.. Če jih damo na voljo akademskim in komercialnim raziskovalnim laboratorijem v okviru projekta Aria, bomo še naprej spodbujali odprte raziskave in javno razumevanje ključnega sklopa tehnologij, za katere menimo, da bodo pomagale oblikovati prihodnost računalništva in umetne inteligence.

Odprte raziskave, ki jih od leta 2020 omogoča projekt Aria, so že pripeljale do pomembnih rezultatov, vključno z ustvarjanjem odprtokodnih orodij, ki se široko uporabljajo v akademskem svetu in industriji. Spletna stran . Zbirka podatkov Ego-Exo4Dzbrana s prvo generacijo očal Aria, je postala temeljno orodje sodobnega računalniškega vida in rastočega področja robotike. Raziskovalci na Tehniški fakulteti v Georgii so nedavno pokazali, kako lahko raziskovalni komplet Aria pomoč humanoidnim robotom pri učenju pomoči ljudem na domu., medtem ko ekipe BMW ga je uporabil za raziskovanje, kako v pametna vozila vključiti sisteme razširjene in navidezne resničnosti.

Aria omogoča tudi razvoj novih tehnologij za dostopnost. Prvo generacijo očal Aria so uporabljali Univerza Carnegie Mellon v projektu NavCog, katerega cilj je bil razviti tehnologije za pomoč slepim in slabovidnim osebam pri navigaciji v zaprtih prostorih. Na tej osnovi očala Aria Gen 2 zdaj uporabljajo Envision, ki se ukvarja z ustvarjanjem rešitev za slepe ali slabovidne osebe. Družba Envision preučuje možnost vključitve svojih Ally Pomočnik z umetno inteligenco in prostorski zvok z uporabo najnovejših očal Aria Gen 2 za izboljšanje izkušenj pri navigaciji in dostopnosti v zaprtih prostorih.

0:00 / 0:00

Družba Envision je uporabila zmožnosti SLAM naprave Aria Gen 2, skupaj s funkcijami prostorskega zvoka prek vgrajenih zvočnikov, da bi slepim in slabovidnim osebam pomagala pri nemoteni navigaciji v notranjih okoljih. Ta inovativna uporaba tehnologij, ki je še vedno v fazi raziskovanja in proučevanja, je primer, kako lahko raziskovalci uporabijo očala Aria Gen 2 za izdelavo prototipov izkušenj umetne inteligence na podlagi egocentričnih opazovanj. Zaradi naprednih senzorjev in zmogljivosti strojnega zaznavanja na napravi, vključno s SLAM, sledenjem očem, sledenjem rokam in zvočnimi interakcijami, so očala idealna tudi za zbiranje podatkov za raziskave in uporabo v robotiki.

V prihodnjih mesecih bomo partnerjem posredovali več podrobnosti o tem, kdaj bo naprava na voljo. Raziskovalci, ki jih zanima dostop do naprave Aria Gen 2, lahko Prijavite se za prejemanje posodobitev. Z veseljem pričakujemo, kako bodo raziskovalci uporabili Aria Gen 2 za utiranje poti prihodnjim inovacijam, ki bodo oblikovale naslednjo računalniško platformo.

Earlier this year, we announced our latest research glasses, Aria Gen 2, marking the continuation of Project Aria’s mission to enable researchers across the world to advance the state of the art in machine perception, contextual AI, and robotics through access to cutting-edge research hardware and open source datasets, models, and tooling. Today, we’re excited to share more about the technology inside Aria Gen 2. This includes an in-depth overview of the form factor, audio capabilities, battery life, upgraded cameras and sensors, on-device compute, and more.

What Is Aria Gen 2?

Aria Gen 2 is a wearable device that combines the latest advancements in computer vision, machine learning, and sensor technology. Aria Gen 2’s compact form factor and lightweight design make it an ideal choice for researchers who need to collect data or build prototypes in a variety of settings. The glasses contain a number of improvements when compared to Aria Gen 1, its research predecessor, announced back in 2020.

Aria Gen 2: Advancements and Features

The transition from Aria Gen 1 to Gen 2 marks a significant leap in wearable technology, offering enhanced features and capabilities that cater to a broader range of applications and user needs. Below, we explore the key differences and improvements introduced in Aria Gen 2.

1. Wearability

Aria Gen 2 boasts superior wearability, characterized by enhanced comfort and fit, while accommodating a wider range of face morphologies and a rich sensor suite for research. The glasses maintain a lightweight design (weighing in at 74 – 76g, depending on size) and now include folding arms for easier storage and transport for everyday use. To ensure each wearer has an optimal physical and functional fit, we’ve introduced eight size variations of the device—accounting for a number of human factors including head breadth and nose bridge variation.

Eight size variations of our Aria Gen 2 devices.

2. Computer Vision (CV) Camera Enhancements

High Dynamic Range (HDR): Aria Gen 2’s global shutter camera sensor offers a high dynamic range of 120 dB, compared to the 70 dB range in Gen 1. This allows for superior computer vision tasks across diverse lighting conditions.

0:00 / 0:00

The video illustrates that the CV camera is able to capture highly dynamic scenes with an LED light’s filament being resolved along with the rest of the details from the scene.

Wide Field of View (FOV): Aria Gen 2 is equipped with four computer vision (CV) cameras, doubling the number of CV cameras in Gen 1, to provide a wider field of view and enable advanced 3D hand and object tracking.

Stereo Overlap: The stereo overlap in Gen 2 is increased to 80° from Gen 1’s 35°, facilitating stereo-based foundation models that enhance depth perception and spatial awareness.

0:00 / 0:00

The example here illustrates how the increased stereo overlap enables methods such as NVIDIA’s FoundationStereo to generate depth maps based on rectified stereo images. The depth maps can be fused to generate geometric reconstructions of the scene only using Aria Gen 2’s stereo pair data.

3. New Sensor Integrations

Ambient Light Sensor (ALS): Aria Gen 2 includes a calibrated ALS, enabling better exposure control algorithms and unlocking new capabilities at low frame rates. The ALS’s ultraviolet mode can be used to distinguish between indoor and outdoor lighting as illustrated by the video.

0:00 / 0:00

Contact Microphone: Aria Gen 2 includes a contact microphone embedded in the nosepad of the device, enhancing audio capture in noisy environments.

0:00 / 0:00

The video showcases a wearer in a wind tunnel to simulate a windy scenario where the contact microphone is able to pick up the wearer’s whisper when the acoustic microphones cannot.

Heart Rate: Aria Gen 2 includes a photoplethysmography (PPG) sensor embedded in the nosepad of the device, that enables estimation of heart rate of the person wearing the device.

4. Device Time Alignment

Aria Gen 2 has an onboard hardware solution that utilizes Sub-GHz radio technology to broadcast timing information, enabling precise time alignment with other Aria Gen 2 devices or compatible devices that support Sub-GHz radio. This technology achieves time alignment with an accuracy of sub-millisecond, marking a significant improvement over the software-based alignment of Gen 1.

0:00 / 0:00

The video shows how Aria Gen 2 uses device time alignment for tasks like writing from distributed captures from two Aria Gen 2 devices.

5. On-device Realtime Machine Perception (MP) Signals

Aria Gen 2 features advanced on-device machine perception algorithms that run on Meta’s energy-efficient custom coprocessor. These cutting-edge capabilities enable the device to generate precise and accurate data, tracking how we interact with our surroundings.

Visual Inertial Odometry (VIO)

One of the key features of Aria Gen 2 is its ability to track the glasses in six degrees of freedom (6DOF) within a spatial frame of reference using Visual Inertial Odometry (VIO). This allows for seamless navigation and mapping of the environment, opening up new possibilities for research in contextual AI and robotics.

Eye Tracking

Aria Gen 2 also boasts an advanced camera-based eye tracking system that tracks the wearer’s gaze with unparalleled accuracy. This system provides a wealth of information, including: gaze per eye, vergence point, blink detection, pupil center estimation, pupil diameter, corneal center, etc.

These advanced signals enable a deeper understanding of the wearer’s visual attention and intentions, unlocking new possibilities for human-computer interaction.

Hand Tracking

Aria Gen 2 also features a hand tracking solution that tracks the wearer’s hand in 3D space. This produces articulated hand-joint poses in the device frame of reference, facilitating accurate hand annotations for datasets and enabling applications such as dexterous robot hand manipulation that require high precision.

0:00 / 0:00

Demonstration of Aria Gen 2’s sensors and machine perception capabilities, as well as off-device algorithms built on them.

The Future of Aria Is Here: Stay Informed

Aria Gen 2 glasses pave the way for future innovations that will define the next computing platform. Applications to work with Aria Gen 2 will open later this year, and researchers who are interested in staying informed can join the Aria Gen 2 interest list. Meanwhile, applications for Aria Research Kit with Aria Gen 1 glasses are still being accepted on a rolling basis—apply now to get started immediately.

Join us at CVPR 2025 in Nashville, Tennessee, this June, where the team will showcase Aria Gen 2 glasses through interactive demos. Visit the Meta booth to experience the latest advancements and learn more about the innovative features of Aria Gen 2.