Vandaag belichten we nieuw onderzoek van Georgia Tech dat robots helpt om alledaagse basistaken uit te voeren met behulp van egocentrische opnames van dragers van Meta's Project Aria onderzoeksbril. Bekijk de video hieronder, lees het volledige verhaal of uw eigen Project Aria-onderzoekspakket aanvragen.

Stel je voor dat je hulp zou hebben bij alledaagse taken in huis, zoals de was doen, afwassen en reparaties uitvoeren. We gebruiken al hulpmiddelen om te helpen bij deze taken, zoals wasmachines, vaatwassers en elektrische boormachines. Maar wat als je een nog krachtiger en flexibeler hulpmiddel zou hebben in de vorm van een humanoïde robot die van jou zou kunnen leren en een aantal fysieke projecten op je takenlijst zou kunnen versnellen?

Zelfs als je het beschikbare hardwaresysteem zou hebben, kan het aanleren van alledaagse taken aan een robot alleen worden bereikt via een langzame en onhandige gegevensverzamelingsmethode die robot teleoperatie wordt genoemd. Tot nu. Door gebruik te maken van de Project Aria-onderzoekspakketProfessor Danfei Xu en de Laboratorium voor robotisch leren en redeneren op Georgia Tech gebruiken de egocentrische sensoren op de Aria-bril om wat zij noemen "menselijke gegevens" te creëren voor taken die ze een humanoïde robot willen laten nabootsen. Ze gebruiken menselijke gegevens om de hoeveelheid gegevens over robot-teleoperatie die nodig zijn om het beleid van een robot te trainen drastisch te verminderen - een doorbraak die er ooit voor zou kunnen zorgen dat humanoïde robots in staat zijn om elk aantal taken te leren die een mens zou kunnen uitvoeren.

Kareer bedient de robot op afstand om co-traininggegevens vast te leggen voor EgoMimic. Telebesturing kan moeilijk op te schalen zijn en vereist aanzienlijke menselijke inspanning.

"Traditioneel betekent het verzamelen van gegevens voor robotica het creëren van demonstratiegegevens", zegt Simar Kareer, een promovendus in Georgia Tech's School voor interactieve informatica. "Je bedient de gewrichten van de robot met een controller om hem te bewegen en de taak uit te voeren die je wilt, en je doet dit honderden keren terwijl je sensorgegevens registreert, waarna je je modellen traint. Dit is langzaam en moeilijk. De enige manier om die cyclus te doorbreken is om het verzamelen van gegevens los te koppelen van de robot zelf."

Vandaag de dag worden robotbeleidsmodellen getraind met grote hoeveelheden gerichte demonstratiegegevens die specifiek zijn voor elke smalle taak, tegen hoge kosten. Kareer veronderstelt dat passief verzamelde gegevens van veel onderzoekers, zoals de gegevens die worden vastgelegd door de Aria-bril, in plaats daarvan kunnen worden gebruikt om gegevens te creëren voor een veel bredere reeks taken om in de toekomst meer algemeen bruikbare robots te maken.

Geïnspireerd door Project Aria en Ego-Exo4D die een enorme egocentrische dataset van meer dan 3K uur aan video-opnamen van dagelijkse activiteiten bevat, ontwikkelde Kareer EgoMimicEen nieuw algoritmisch raamwerk dat gebruik maakt van menselijke gegevens en robotgegevens voor de ontwikkeling van humanoïde robots.

"Toen ik naar Ego4D keek, zag ik een dataset die hetzelfde is als alle grote robotdatasets die we proberen te verzamelen, maar dan met mensen", legt Kareer uit. "Je draagt gewoon een bril en je gaat dingen doen. Het hoeft niet van de robot te komen. Het moet komen van iets dat meer schaalbaar en passief gegenereerd is, en dat zijn wij." In Kareer's onderzoek werd de Aria-bril gebruikt om menselijke gegevens te creëren voor co-training van het EgoMimic framework.

Kareer creëert co-training menselijke gegevens door op te nemen met de Aria-bril terwijl ze een t-shirt vouwt.

De Aria-bril wordt niet alleen gebruikt voor het verzamelen van menselijke gegevens in het onderzoek van Georgia Tech. Ze worden ook gebruikt als integraal onderdeel van de realtime besturingsopstelling van de robot. De Aria-bril wordt op het humanoïde robotplatform gemonteerd als een paar ogen en dient als een geïntegreerd sensorpakket waarmee de robot zijn omgeving in realtime kan waarnemen. De Aria Client SDK wordt gebruikt om de sensorgegevens van Aria rechtstreeks te streamen naar het beleid van de robot, dat draait op een aangesloten pc, die op zijn beurt de robotbesturing regelt. Het gebruik van een Aria-bril voor zowel de gegevensverzameling als de realtime waarnemingspijplijn minimaliseert de domeinkloof tussen de menselijke demonstrant en de robot, waardoor de weg wordt vrijgemaakt voor het genereren van menselijke gegevens op schaal voor toekomstige robotica-taaktraining.

Een Aria-bril bovenop de robot voorziet het systeem van sensorgegevens waarmee de robot de ruimte kan waarnemen en ermee kan interageren.

Dankzij EgoMimic bereikte Kareer een toename van 400% in de prestaties van zijn robot bij verschillende taken in vergelijking met eerdere methoden met slechts 90 minuten aan Aria-opnames. De robot was ook in staat om deze taken met succes uit te voeren in voorheen ongeziene omgevingen.

In de toekomst zouden humanoïde robots op schaal kunnen worden getraind met egocentrische gegevens om verschillende taken op dezelfde manier uit te voeren als mensen.

"We zien Aria als een investering in de onderzoeksgemeenschap," zegt James Fort, een Reality Labs Research Product Manager bij Meta. "Hoe meer de egocentrische onderzoeksgemeenschap standaardiseert, hoe meer onderzoekers kunnen samenwerken. Het is echt door op deze manier met de gemeenschap samen te werken dat we kunnen beginnen met het oplossen van grotere problemen rond hoe dingen in de toekomst zullen werken."

Kareer zal zijn paper over EgoMimic presenteren op de 2025 Internationale Conferentie van IEEE-ingenieurs over Robotica en Automatisering (ICRA) in Atlanta.

Sinds de lancering in 2020, Project Aria heeft onderzoekers over de hele wereld in staat gesteld om de laatste stand van de techniek op het gebied van machinewaarneming en AI te verbeteren door toegang tot geavanceerde onderzoekshardware en open-source datasetsmodellen en gereedschappen. Vandaag kondigen we met trots de volgende stap in deze reis aan: de introductie van de Aria Gen 2-bril. Deze volgende generatie hardware zal nieuwe mogelijkheden ontsluiten voor een breed scala aan onderzoeksgebieden, waaronder machinewaarneming, egocentrische en contextuele AI en robotica.

0:00 / 0:00

Voor onderzoekers die willen onderzoeken hoe AI-systemen beter kunnen de wereld begrijpen vanuit een menselijk perspectiefDe Aria Gen 2-bril voegt een nieuwe reeks mogelijkheden toe aan het Aria-platform. De bril bevat een aantal verbeteringen die op geen enkel ander apparaat te vinden zijn en toegang tot deze baanbrekende technologieën stelt onderzoekers in staat om de grenzen van het mogelijke te verleggen.

Vergeleken met Aria Gen 1 biedt Aria Gen 2 onder andere de volgende unieke voordelen:

• Geavanceerde sensorsuite: De verbeterde sensorsuite bevat een RGB-camera, 6DOF SLAM-camera's, eyetracking-camera's, ruimtelijke microfoons, IMU's, barometer, magnetometer en GNSS. Vergeleken met zijn voorganger, Aria Gen 1, introduceert de nieuwe generatie twee innovatieve sensoren in de neuskussentjes: een PPG-sensor voor het meten van de hartslag en een contactmicrofoon om de stem van de drager te onderscheiden van die van omstanders.
• Ultra laag stroomverbruik en on-device machine perceptie: SLAM, eye tracking, hand tracking en spraakherkenning worden allemaal on-device verwerkt met behulp van Meta's aangepaste silicium.
• De hele dag bruikbaar: De Aria Gen 2 bril kan zes tot acht uur ononderbroken gebruikt worden, weegt ongeveer 75 gram en heeft opvouwbare armen voor eenvoudige draagbaarheid.
• Interactie via audio: Gebruikers krijgen audiofeedback via de beste open-ear force-canceling speakers, waardoor user-in-the-loop systeemprototypes mogelijk zijn.

Onze decennialange reis om het volgende computerplatform te creëren, heeft geleid tot de ontwikkeling van deze cruciale technologieën. Bij Meta zullen de teams van Reality Labs Research en het FAIR AI-lab ze gebruiken om onze langetermijnvisie op onderzoek vooruit te helpen.. Door ze via Project Aria beschikbaar te stellen aan academische en commerciële onderzoekslaboratoria, bevorderen we open onderzoek en algemeen begrip van een belangrijke set technologieën waarvan we denken dat ze de toekomst van computer- en AI-technologie zullen helpen vormgeven.

Het open onderzoek dat sinds 2020 mogelijk is gemaakt door Project Aria heeft al geleid tot belangrijk werk, waaronder de creatie van open-source tools die op grote schaal worden gebruikt in de academische wereld en het bedrijfsleven. De Ego-Exo4D datasetverzameld met de eerste generatie Aria-brillen, is een fundamenteel hulpmiddel geworden voor moderne computervisie en het groeiende gebied van de robotica. Onderzoekers van Georgia Tech hebben onlangs laten zien hoe de Aria Research Kit humanoïde robots leren mensen thuis te helpenterwijl teams bij BMW gebruikt om te onderzoeken hoe augmented en virtual reality systemen kunnen worden geïntegreerd in slimme voertuigen.

En Aria maakt ook de ontwikkeling van nieuwe technologieën voor toegankelijkheid mogelijk. De eerste generatie Aria-brillen werd gebruikt door Carnegie Mellon Universiteit in hun NavCog-projectdie tot doel had technologieën te ontwikkelen om blinden en slechtzienden te helpen bij navigatie binnenshuis. Voortbouwend op deze basis wordt de Aria Gen 2-bril nu gebruikt door Envision, een bedrijf dat zich toelegt op het creëren van oplossingen voor blinden en slechtzienden. Envision onderzoekt de integratie van zijn Bondgenoot AI-assistent en ruimtelijke audio met behulp van de nieuwste Aria Gen 2-bril om indoornavigatie en toegankelijkheidservaringen te verbeteren.

0:00 / 0:00

Envision gebruikte de on-device SLAM-mogelijkheden van Aria Gen 2, samen met ruimtelijke audiofuncties via ingebouwde luidsprekers, om blinden en slechtzienden te helpen naadloos door binnenomgevingen te navigeren. Dit innovatieve gebruik van de technologieën, dat zich nog in de verkennings- en onderzoeksfase bevindt, laat zien hoe onderzoekers Aria Gen 2-brillen kunnen gebruiken voor prototypes van AI-ervaringen op basis van egocentrische waarnemingen. De geavanceerde sensoren en on-device machineperceptiemogelijkheden, waaronder SLAM, eye tracking, hand tracking en audio-interacties, maken de bril ook ideaal voor gegevensverzameling voor onderzoeks- en robottoepassingen.

In de komende maanden zullen we meer details geven over het tijdstip waarop het apparaat beschikbaar komt voor partners. Onderzoekers die toegang willen krijgen tot Aria Gen 2 kunnen aanmelden om updates te ontvangen. We zijn benieuwd hoe onderzoekers Aria Gen 2 zullen gebruiken om de weg te bereiden voor toekomstige innovaties die het volgende computerplatform vorm zullen geven.

Eerder dit jaar hebben we aangekondigd Onze nieuwste onderzoeksbril, Aria Gen 2, markeert de voortzetting van Project Aria's missie om onderzoekers over de hele wereld in staat te stellen om de state of the art in machine perceptie, contextuele AI en robotica te verbeteren door middel van toegang tot geavanceerde onderzoekshardware en open source datasets, modellen en tooling. Vandaag zijn we verheugd om meer te delen over de technologie in Aria Gen 2. Dit omvat een diepgaand overzicht van de vormfactor, audiomogelijkheden, levensduur van de batterij, verbeterde camera's en sensoren, on-device compute en meer.

Wat is Aria Gen 2?

Aria Gen 2 is een draagbaar apparaat dat de nieuwste ontwikkelingen op het gebied van computer vision, machine learning en sensortechnologie combineert. De compacte vormfactor en het lichtgewicht ontwerp van Aria Gen 2 maken het een ideale keuze voor onderzoekers die gegevens moeten verzamelen of prototypes moeten bouwen in verschillende omgevingen. De bril bevat een aantal verbeteringen ten opzichte van Aria Gen 1zijn voorganger, aangekondigd in 2020.

Aria Gen 2: verbeteringen en functies

De overgang van Aria Gen 1 naar Gen 2 betekent een grote sprong voorwaarts in draagbare technologie en biedt verbeterde functies en mogelijkheden voor een breder scala aan toepassingen en gebruikersbehoeften. Hieronder verkennen we de belangrijkste verschillen en verbeteringen die in Aria Gen 2 zijn geïntroduceerd.

1. Draagbaarheid

Aria Gen 2 biedt superieure draagbaarheid, gekenmerkt door verbeterd comfort en pasvorm, terwijl het geschikt is voor een breder scala aan gezichtsmorfologieën en een uitgebreide sensor suite voor onderzoek. De bril heeft een lichtgewicht ontwerp (met een gewicht van 74 - 76 gram, afhankelijk van de maat) en heeft nu inklapbare pootjes voor eenvoudiger opbergen en vervoeren voor dagelijks gebruik. Om ervoor te zorgen dat elke drager een optimale fysieke en functionele pasvorm heeft, hebben we acht maatvariaties van het apparaat geïntroduceerd, rekening houdend met een aantal menselijke factoren, waaronder de breedte van het hoofd en variatie in de neusbrug.

Acht maatvariaties van onze Aria Gen 2-apparaten.

2. Computer Vision (CV) Camera-uitbreidingen

Hoog dynamisch bereik (HDR): De global shutter camerasensor van Aria Gen 2 biedt een hoog dynamisch bereik van 120 dB, vergeleken met het bereik van 70 dB in Gen 1. Dit maakt superieure computervisietaken mogelijk in diverse lichtomstandigheden.

0:00 / 0:00

De video illustreert dat de CV-camera in staat is om zeer dynamische scènes vast te leggen, waarbij de gloeidraad van een LED-lamp samen met de rest van de details van de scène wordt opgelost.

Breed gezichtsveld (FOV): Aria Gen 2 is uitgerust met vier computer vision (CV) camera's, een verdubbeling van het aantal CV-camera's in Gen 1, om een breder gezichtsveld te bieden en geavanceerde 3D hand- en objecttracking mogelijk te maken.

Stereo overlap: De stereo-overlap in Gen 2 is vergroot van 35° in Gen 1 naar 80°, waardoor op stereo gebaseerde basismodellen mogelijk zijn die diepteperceptie en ruimtelijk bewustzijn verbeteren.

0:00 / 0:00

Het voorbeeld hier laat zien hoe de grotere stereo-overlap methoden zoals NVIDIA's FoundationStereo in staat stelt om dieptekaarten te genereren op basis van gecorrigeerde stereobeelden. De dieptekaarten kunnen worden samengevoegd om geometrische reconstructies van de scène te genereren met alleen de stereopaargegevens van Aria Gen 2.

3. Nieuwe sensorintegraties

Omgevingslichtsensor (ALS): Aria Gen 2 bevat een gekalibreerde ALS, die betere algoritmes voor belichtingsregeling mogelijk maakt en nieuwe mogelijkheden ontsluit bij lage beeldsnelheden. De ultraviolette modus van de ALS kan worden gebruikt om onderscheid te maken tussen binnen- en buitenverlichting, zoals de video laat zien.

0:00 / 0:00

Contactmicrofoon: Aria Gen 2 heeft een contactmicrofoon die in de neuskussentjes van het apparaat is ingebouwd, voor een betere geluidsopname in lawaaiige omgevingen.

0:00 / 0:00

De video toont een drager in een windtunnel om een winderig scenario te simuleren waarbij de contactmicrofoon het gefluister van de drager kan oppikken wanneer de akoestische microfoons dat niet kunnen.

Hartslag: Aria Gen 2 bevat een fotoplethysmografiesensor (PPG) in de neuskussentje van het apparaat, waarmee de hartslag van de persoon die het apparaat draagt kan worden geschat.

4. Apparaat tijd uitlijnen

Aria Gen 2 heeft een ingebouwde hardwareoplossing die gebruikmaakt van Sub-GHz radiotechnologie om tijdinformatie uit te zenden, waardoor een nauwkeurige tijdaliniëring mogelijk is met andere Aria Gen 2-apparaten of compatibele apparaten die Sub-GHz radio ondersteunen. Deze technologie bereikt tijdaliniëring met een nauwkeurigheid van submilliseconden, wat een aanzienlijke verbetering is ten opzichte van de softwarematige uitlijning van Gen 1.

0:00 / 0:00

De video laat zien hoe Aria Gen 2 gebruik maakt van apparaattijdaliniëring voor taken zoals het schrijven van gedistribueerde captures van twee Aria Gen 2-apparaten.

5. Realtime machineperceptiesignalen (MP) op het apparaat

Aria Gen 2 beschikt over geavanceerde on-device machine perceptie algoritmes die draaien op Meta's energiezuinige custom coprocessor. Dankzij deze geavanceerde mogelijkheden kan het apparaat nauwkeurige gegevens genereren en bijhouden hoe we omgaan met onze omgeving.

Visuele traagheidsnavigatie (VIO)

Een van de belangrijkste kenmerken van Aria Gen 2 is de mogelijkheid om de bril in zes vrijheidsgraden (6DOF) te volgen binnen een ruimtelijk referentiekader met behulp van Visual Inertial Odometry (VIO). Dit maakt naadloze navigatie en het in kaart brengen van de omgeving mogelijk, wat nieuwe mogelijkheden biedt voor onderzoek naar contextuele AI en robotica.

Oogbesturing

Aria Gen 2 beschikt ook over een geavanceerd cameragebaseerd oogvolgsysteem dat de blik van de drager met ongeëvenaarde nauwkeurigheid volgt. Dit systeem levert een schat aan informatie, waaronder: blik per oog, vergence point, knipperdetectie, schatting van het centrum van de pupil, diameter van de pupil, midden van het hoornvlies, etc.

Deze geavanceerde signalen maken een dieper begrip van de visuele aandacht en intenties van de drager mogelijk, waardoor nieuwe mogelijkheden voor interactie tussen mens en computer worden ontsloten.

Handopsporing

Aria Gen 2 beschikt ook over een handtracking-oplossing die de hand van de drager in 3D-ruimte volgt. Dit produceert gearticuleerde handgewrichtsposities in het referentiekader van het apparaat, waardoor nauwkeurige handannotaties voor datasets mogelijk worden en toepassingen zoals manipulatie van behendige robothand mogelijk worden die een hoge precisie vereisen.

0:00 / 0:00

Demonstratie van de sensoren en machinewaarnemingscapaciteiten van Aria Gen 2 en de daarop gebaseerde algoritmen buiten het apparaat.

De toekomst van Aria is hier: Blijf op de hoogte

De Aria Gen 2-bril maakt de weg vrij voor toekomstige innovaties die het volgende computerplatform zullen definiëren. Aanvragen om met Aria Gen 2 te werken worden later dit jaar geopend en onderzoekers die op de hoogte willen blijven kunnen zich aansluiten bij de Interesselijst Aria Gen 2. Ondertussen worden aanvragen voor de Aria Research Kit met Aria Gen 1-bril nog steeds op doorlopende basis geaccepteerd.nu solliciteren om meteen aan de slag te gaan.

Kom naar CVPR 2025 in Nashville, Tennessee, in juni, waar het team de Aria Gen 2-brillen zal laten zien door middel van interactieve demo's. Bezoek de Meta stand om de nieuwste ontwikkelingen te ervaren en meer te weten te komen over de innovatieve functies van Aria Gen 2.