Ma egy új kutatásra hívjuk fel a figyelmet. Georgia Tech amely segít robotokat betanítani az alapvető mindennapi feladatok elvégzésére a Meta's Aria projekt kutatási szemüveg. Nézze meg az alábbi videót, olvassa el a teljes cikket, vagy igényeljen saját Project Aria kutatási készletet.

Képzelje el, hogy a mindennapi feladatok elvégzéséhez, például a mosáshoz, mosogatáshoz és javításokhoz segítségre van szüksége. Már most is használunk eszközöket, amelyek segítenek ezekben a feladatokban, például mosógépeket, mosogatógépeket és elektromos fúrógépeket. De mi lenne, ha egy még erősebb és rugalmasabb eszköz állna rendelkezésedre egy humanoid robot formájában, amely képes tanulni tőled, és felgyorsítani a teendőid listáján szereplő fizikai projektek bármelyikét?

Még ha rendelkeznénk is a rendelkezésre álló hardverrendszerrel, egy robot megtanítása a mindennapi feladatok elvégzésére csak egy lassú és nehézkes adatgyűjtési módszerrel, az úgynevezett robot-teleoperációval érhető el. Egészen mostanáig. A Project Aria kutatási készletDanfei Xu professzor és a Robotikai tanulás és érvelés laboratórium a címen. Georgia Tech az Aria szemüveg egocentrikus érzékelőit arra használják, hogy az általuk "emberi adatoknak" nevezett adatokat hozzanak létre olyan feladatokhoz, amelyeket egy humanoid robotnak kell lemásolnia. Az emberi adatokat arra használják, hogy drámaian csökkentsék a robot teleoperációs adatainak mennyiségét, amelyek a robotok politikájának betanításához szükségesek - ez az áttörés egy nap képessé teheti a humanoid robotokat arra, hogy bármilyen számú feladatot megtanuljanak, amelyet egy ember be tud mutatni.

Kareer teleoperálja a robotot, hogy az EgoMimic számára társ-tréningadatokat rögzítsen. A távműködtetés nehezen méretezhető és jelentős emberi erőfeszítést igényel.

"Hagyományosan az adatgyűjtés a robotika számára demonstrációs adatok létrehozását jelenti" - mondja Simar Kareer, a Georgia Tech doktori hallgatója. Iskola Interaktív Számítástechnika. "A robot ízületeit egy vezérlővel működteted, hogy mozgasd a robotot, és elérd a kívánt feladatot, és ezt több százszor csinálod, miközben rögzíted az érzékelőadatokat, majd betanítod a modelleket. Ez lassú és nehézkes. Ezt a ciklust csak úgy lehet megtörni, ha az adatgyűjtést leválasztjuk magáról a robotról."

Ma a robotpolitikai modelleket nagy mennyiségű, az egyes szűk feladatokra specifikus, célzott demonstrációs adatokkal képzik ki, ami nagy költséggel jár. Kareer feltételezi, hogy a sok kutatótól passzívan gyűjtött adatok, mint például az Aria szemüveg által rögzített adatok, ehelyett arra használhatók, hogy lehetővé tegyék a feladatok sokkal szélesebb körére vonatkozó adatok létrehozását, hogy a jövőben általánosan hasznosabb robotokat hozzanak létre.

Inspirálta Aria projekt és Ego-Exo4D amely egy hatalmas, több mint 3K órányi, a mindennapi életben végzett tevékenységekről készült videofelvételekből álló egocentrikus adathalmazt tartalmaz, Kareer kifejlesztette a EgoMimic, egy új algoritmikus keretrendszer, amely emberi és robotadatokat használ fel a humanoid robotok fejlesztéséhez.

"Amikor ránéztem az Ego4D-re, egy olyan adathalmazt láttam, amely ugyanolyan, mint az összes nagy robotadathalmaz, amelyet megpróbálunk összegyűjteni, csak éppen emberekkel" - magyarázza Kareer. "Csak felveszel egy szemüveget, és mész, és csinálsz dolgokat. Nem kell, hogy a robotból származzon. Valami skálázhatóbb és passzívabban generált dologtól kell származnia, ami mi vagyunk." Kareer kutatásában az Aria szemüveget arra használták, hogy emberi adatokat hozzanak létre az EgoMimic keretrendszer társ-tréningjéhez.

Kareer az Aria szemüveggel történő felvételek készítésével, pólóhajtogatás közben, együttképző emberi adatokat hoz létre.

Az Aria szemüveget nem csak emberi adatgyűjtésre használják a Georgia Tech kutatásaiban. A robot valós idejű működési beállításának szerves részeként is használják. Az Aria-szemüveget a humanoid robotplatformjukra szerelik, akár egy szempárt, és integrált érzékelőcsomagként szolgál, amely lehetővé teszi a robot számára, hogy valós időben érzékelje a környezetét. Az Aria Client SDK-t arra használják, hogy az Aria szenzoradatait közvetlenül a robot szabályzatába áramoltassák, amely egy csatlakoztatott PC-n fut, és amely viszont a robot működtetését vezérli. Az Aria szemüveg használata mind az adatgyűjtéshez, mind a valós idejű érzékelési csővezetékhez minimalizálja az emberi demonstrátor és a robot közötti tartománybeli szakadékot, megnyitva az utat a jövőbeli robotikai feladatok képzéséhez szükséges méretezett emberi adatok előállításához.

A robot tetejére szerelt Aria szemüvegek érzékelő adatokat szolgáltatnak a rendszer számára, amelyek lehetővé teszik a robot számára a tér érzékelését és a térrel való interakciót.

Az EgoMimicnek köszönhetően Kareer 400% növekedést ért el robotja teljesítményében a különböző feladatokban a korábbi módszerekhez képest, mindössze 90 percnyi Aria-felvétellel. A robot ezeket a feladatokat korábban nem látott környezetben is képes volt sikeresen végrehajtani.

A jövőben a humanoid robotokat egocentrikus adatok felhasználásával méretarányosan lehetne betanítani arra, hogy az emberekhez hasonlóan különböző feladatokat hajtsanak végre.

"Úgy tekintünk az Ariára, mint a kutatóközösségbe való befektetésre" - mondja James Fort, a Meta Reality Labs kutatási termékmenedzsere. "Minél inkább szabványosítja az egocentrikus kutatóközösséget, annál több kutató lesz képes együttműködni. Valójában a közösséggel való ilyen jellegű skálázás révén kezdhetünk el nagyobb problémákat megoldani azzal kapcsolatban, hogy hogyan fognak működni a dolgok a jövőben."

Kareer az EgoMimic-ről szóló előadását a 2025 IEEE mérnökök nemzetközi konferenciája a robotikáról és automatizálásról (ICRA) Atlantában.

A 2020-as indulás óta, Aria projekt lehetővé tette a kutatók számára, hogy a világ minden táján továbbfejlesszék a gépi érzékelés és a mesterséges intelligencia tudományának állását a legmodernebb kutatási hardverekhez és nyílt forráskódú eszközökhöz való hozzáférés révén. adatkészletek, modellek és szerszámok. Ma örömmel jelentjük be ennek az útnak a következő lépését: az Aria Gen 2 szemüvegek bevezetését. Ez a következő generációs hardver új lehetőségeket nyit meg a kutatási területek széles skáláján, beleértve a gépi érzékelést, az egocentrikus és kontextuális mesterséges intelligenciát és a robotikát.

0:00 / 0:00

A kutatók számára, akik azt szeretnék feltárni, hogy a mesterséges intelligencia rendszerek hogyan tudnak jobban megérteni a világot az ember szemszögébőlAz Aria Gen 2 szemüveg új képességekkel bővíti az Aria platformot. Számos olyan fejlesztést tartalmaznak, amelyek egyetlen más, ma kapható eszközön sem találhatók, és az ezekhez az áttörést jelentő technológiákhoz való hozzáférés lehetővé teszi a kutatók számára, hogy a lehetőségek határait feszegessék.

Az Aria Gen 1-hez képest az Aria Gen 2 egyedülálló értéket kínál:

• Korszerű érzékelőkészlet: A továbbfejlesztett érzékelőkészlet RGB-kamerát, 6DOF SLAM-kamerákat, szemkövető kamerákat, térbeli mikrofonokat, IMU-kat, barométert, magnetométert és GNSS-t tartalmaz. Elődjéhez, az Aria Gen 1-höz képest az új generáció két innovatív, az orrpárnába ágyazott érzékelőt vezet be: egy PPG-érzékelőt a pulzusszám mérésére és egy kontaktmikrofont, amely megkülönbözteti a viselő hangját a járókelők hangjától.
• Ultraalacsony energiafelhasználás és gépi érzékelés az eszközön: A SLAM, a szemkövetés, a kézkövetés és a beszédfelismerés mindegyike a Meta egyedi szilíciumának segítségével kerül feldolgozásra az eszközön.
• Egész napos használhatóság: Az Aria Gen 2 szemüveg hat-nyolc órás folyamatos használatra képes, súlya körülbelül 75 gramm, és összecsukható karokkal rendelkezik a könnyű hordozhatóság érdekében.
• Interakció hangon keresztül: A felhasználók hangvisszajelzést kapnak a kategóriájában legjobb, nyitott fülű, erővisszaszorítós hangszórókon keresztül, lehetővé téve a felhasználó által a rendszer prototípusának kialakítását.

A évtizedes utazás a következő számítástechnikai platform megteremtése e kritikus technológiák kifejlesztéséhez vezetett. A Meta, a Reality Labs Research és a FAIR AI labor csapatai ezeket a hosszú távú kutatási elképzeléseink megvalósítására használják majd.. Az Aria-projekt révén a tudományos és kereskedelmi kutatólaboratóriumok számára elérhetővé tesszük őket, ami tovább fogja előmozdítani a nyílt kutatást és a közvélemény megértését egy olyan kulcsfontosságú technológiacsoporttal kapcsolatban, amelyről úgy véljük, hogy segíteni fog a számítástechnika és a mesterséges intelligencia jövőjének alakításában.

Az Aria projekt által 2020 óta lehetővé tett nyílt kutatás már most is fontos munkához vezetett, többek között olyan nyílt forráskódú eszközök létrehozásához, amelyeket széles körben használnak a tudományos és ipari életben. A Ego-Exo4D adatkészlet, amelyet az Aria szemüveg első generációjával gyűjtöttek, a modern számítógépes látás és a robotika egyre növekvő területén alapvető eszközzé vált. A Georgia Tech kutatói nemrégiben bemutatták, hogy az Aria Research Kit hogyan képes segít a humanoid robotoknak megtanulni, hogyan segítsenek az embereknek az otthonukban, míg a BMW csapatai arra használták, hogy feltárják, hogyan lehet a kiterjesztett és virtuális valóság rendszereket integrálni az intelligens járművekbe.

Az Aria az új technológiák fejlesztését is lehetővé teszi a hozzáférhetőség érdekében. Az első generációs Aria-szemüveget a következő cégek használták Carnegie Mellon Egyetem NavCog projektje keretében, amelynek célja olyan technológiák kifejlesztése volt, amelyek segítik a vak és gyengén látó személyeket a beltéri navigációban. Erre az alapra építve az Aria Gen 2 szemüveget most a következők használják fel Envision, egy olyan vállalat, amely a vakok és gyengénlátók számára kínál megoldásokat. Az Envision vizsgálja az Envision Ally AI asszisztens és térbeli hang a legújabb Aria Gen 2 szemüveggel a beltéri navigáció és az akadálymentesítés élményének javítása érdekében.

0:00 / 0:00

Az Envision az Aria Gen 2 készülék SLAM képességeit, valamint a fedélzeti hangszórókon keresztüli térbeli hangfunkciókat használta, hogy segítse a vak és gyengén látó személyek zökkenőmentes navigációját beltéri környezetben. A technológiáknak ez az innovatív alkalmazása, amely még a feltáró és kutatási szakaszban van, jól példázza, hogy a kutatók hogyan használhatják az Aria Gen 2 szemüvegeket az egocentrikus megfigyeléseken alapuló AI-élmények prototípusainak kialakítására. A fejlett érzékelők és az eszközön belüli gépi észlelési képességek, beleértve a SLAM, a szemkövetés, a kézkövetés és az audiointerakciókat, szintén ideálisak a kutatási és robotikai alkalmazásokhoz szükséges adatgyűjtéshez.

Az elkövetkező hónapokban további részleteket fogunk megosztani a partnerek számára elérhetővé váló készülékek elérhetőségének időzítéséről. Az Aria Gen 2 hozzáférése iránt érdeklődő kutatók a következőket tehetik meg iratkozzon fel a frissítésekre. Izgatottan várjuk, hogy a kutatók hogyan fogják kihasználni az Aria Gen 2-t, hogy előkészítsék az utat a jövőbeli innovációk számára, amelyek a következő számítástechnikai platformot fogják alakítani.

Az év elején, mi bejelentette legújabb kutatási szemüvegünk, az Aria Gen 2, amely a Project Aria küldetésének folytatását jelzi, hogy a kutatók számára világszerte lehetővé tegye a gépi észlelés, a kontextuális mesterséges intelligencia és a robotika tudományának fejlődését a legmodernebb kutatási hardverhez és nyílt forráskódú adathalmazokhoz, modellekhez és eszközökhöz való hozzáférésen keresztül. Ma örömmel osztunk meg többet az Aria Gen 2 belsejében található technológiáról, többek között részletes áttekintést nyújtunk a formátumokról, az audiofunkciókról, az akkumulátor élettartamáról, a továbbfejlesztett kamerákról és érzékelőkről, az eszközön belüli számítási lehetőségekről és még sok másról.

Mi az Aria Gen 2?

Az Aria Gen 2 egy viselhető eszköz, amely a számítógépes látás, a gépi tanulás és az érzékelőtechnológia legújabb fejlesztéseit ötvözi. Az Aria Gen 2 kompakt alakja és könnyű kialakítása miatt ideális választás olyan kutatók számára, akiknek különböző környezetben kell adatokat gyűjteniük vagy prototípusokat készíteniük. A szemüveg számos fejlesztést tartalmaz az alábbiakhoz képest Aria Gen 1, a 2020-ban bejelentett kutatási elődje.

Aria Gen 2: Fejlesztések és funkciók

Az Aria Gen 1-ről a Gen 2-re való átállás jelentős ugrást jelent a viselhető technológia terén, amely továbbfejlesztett funkciókat és képességeket kínál, amelyek az alkalmazások és felhasználói igények szélesebb körét szolgálják ki. Az alábbiakban megvizsgáljuk az Aria Gen 2-ben bevezetett legfontosabb különbségeket és fejlesztéseket.

1. Viselhetőség

Az Aria Gen 2 kiváló viselhetőséggel büszkélkedhet, amelyet fokozott kényelem és illeszkedés jellemez, miközben az arcmorfológiák szélesebb körét és gazdag szenzorcsomagot kínál a kutatáshoz. A szemüveg megőrizte könnyű kialakítását (mérettől függően 74-76 g súlyú), és mostantól összecsukható karokkal rendelkezik a mindennapi használat során a könnyebb tárolás és szállítás érdekében. Annak érdekében, hogy minden viselő számára optimális fizikai és funkcionális illeszkedést biztosítsunk, a készülék nyolc méretváltozatát vezettük be - figyelembe véve számos emberi tényezőt, beleértve a fej szélességét és az orrnyereg eltéréseit.

Nyolc méretváltozat az Aria Gen 2 készülékekből.

2. Számítógépes látás (CV) kamerafejlesztések

Nagy dinamikatartomány (HDR): Az Aria Gen 2 globális záras kameraérzékelője nagy, 120 dB-es dinamikatartományt kínál, szemben a Gen 1 70 dB-es tartományával. Ez lehetővé teszi a kiváló számítógépes látásfeladatok elvégzését különböző fényviszonyok között.

0:00 / 0:00

A videó bemutatja, hogy a CV kamera képes rendkívül dinamikus jelenetek rögzítésére, ahol a LED-lámpa izzószála a jelenet többi részletével együtt felbontásra kerül.

Széles látómező (FOV): Az Aria Gen 2 négy számítógépes látás (CV) kamerával van felszerelve, ami megduplázza a CV kamerák számát a Gen 1-ben, hogy szélesebb látómezőt biztosítson, és lehetővé tegye a fejlett 3D kéz- és tárgykövetést.

Sztereó átfedés: A sztereó átfedés a Gen 2-ben 80°-ra nőtt a Gen 1 35°-ról, megkönnyítve a sztereó alapú alapmodelleket, amelyek javítják a mélységérzékelést és a térérzékelést.

0:00 / 0:00

Az itt bemutatott példa azt szemlélteti, hogy a megnövekedett sztereó átfedés hogyan teszi lehetővé az olyan módszerek, mint az NVIDIA FoundationStereo, hogy mélységtérképeket hozzanak létre a kiegyenesített sztereó képek alapján. A mélységtérképek egyesíthetők a jelenet geometriai rekonstrukcióinak létrehozásához, kizárólag az Aria Gen 2 sztereó pár adatainak felhasználásával.

3. Új érzékelő integrációk

Környezeti fényérzékelő (ALS): Az Aria Gen 2 kalibrált ALS-t tartalmaz, amely jobb expozícióvezérlő algoritmusokat tesz lehetővé, és új képességeket nyit meg alacsony képkockasebességnél. Az ALS ultraibolya üzemmódja használható a beltéri és kültéri megvilágítás megkülönböztetésére, amint azt a videó is szemlélteti.

0:00 / 0:00

Érintkezési mikrofon: Az Aria Gen 2 a készülék orrpárnájába ágyazott kontaktmikrofont tartalmaz, amely zajos környezetben is javítja a hangrögzítést.

0:00 / 0:00

A videó egy viselőt mutat be egy szélcsatornában, hogy szimuláljon egy szeles forgatókönyvet, ahol a kontaktmikrofon képes felvenni a viselő suttogását, amikor az akusztikus mikrofonok nem képesek.

Szívritmus: Az Aria Gen 2 tartalmaz egy fotopletizmográfiás (PPG) érzékelőt, amely a készülék orrpárnájába van beágyazva, és lehetővé teszi a készüléket viselő személy pulzusszámának becslését.

4. Eszköz időbeli összehangolása

Az Aria Gen 2 beépített hardveres megoldással rendelkezik, amely a Sub-GHz-es rádiótechnológiát használja az időzítési információk sugárzására, lehetővé téve a pontos időegyeztetést más Aria Gen 2 eszközökkel vagy a Sub-GHz-es rádiót támogató kompatibilis eszközökkel. Ez a technológia millimásodperc alatti pontosságú időegyeztetést tesz lehetővé, ami jelentős előrelépést jelent az eddig használt Gen 1 szoftveralapú összehangolása.

0:00 / 0:00

A videó bemutatja, hogy az Aria Gen 2 hogyan használja az eszköz időbeli összehangolását olyan feladatokhoz, mint például a két Aria Gen 2 eszközről származó elosztott felvételek írása.

5. A készülék valós idejű gépi észlelési (MP) jelzések

Az Aria Gen 2 fejlett gépi érzékelési algoritmusokkal rendelkezik, amelyek a Meta energiahatékony egyedi koprocesszorán futnak. Ezek az élvonalbeli képességek lehetővé teszik, hogy az eszköz pontos és precíz adatokat generáljon, és nyomon kövesse, hogyan lépünk kapcsolatba a környezetünkkel.

Vizuális inerciális iránymérés (VIO)

Az Aria Gen 2 egyik legfontosabb jellemzője, hogy képes a szemüveget hat szabadsági fokon (6DOF) követni egy térbeli referenciakeretben a vizuális inerciális odometria (VIO) segítségével. Ez lehetővé teszi a zökkenőmentes navigációt és a környezet feltérképezését, ami új lehetőségeket nyit a kontextuális mesterséges intelligencia és a robotika kutatásában.

Szemkövetés

Az Aria Gen 2 egy fejlett kamera alapú szemkövető rendszerrel is büszkélkedhet, amely páratlan pontossággal követi a viselő tekintetét. Ez a rendszer rengeteg információt szolgáltat, többek között: tekintet szemenként, vergenciapont, pislogásérzékelés, pupilla középpontjának becslése, pupillaátmérő, szaruhártya középpontja stb.

Ezek a fejlett jelek lehetővé teszik a viselő vizuális figyelmének és szándékainak mélyebb megértését, új lehetőségeket nyitva meg az ember-számítógép interakcióban.

Kézi nyomkövetés

Az Aria Gen 2 kézkövető megoldással is rendelkezik, amely 3D térben követi viselője kezét. Ez a készülék referenciakeretében csuklós kézízületi pózokat eredményez, megkönnyítve a pontos kézjegyzetelést az adathalmazokhoz, és lehetővé téve az olyan alkalmazásokat, mint például a nagy pontosságot igénylő ügyes robotkéz-manipuláció.

0:00 / 0:00

Az Aria Gen 2 érzékelőinek és gépi érzékelési képességeinek, valamint az ezekre épülő, készüléken kívüli algoritmusok bemutatása.

Az Aria jövője itt van: Maradjon tájékozott

Az Aria Gen 2 szemüvegek megnyitják az utat a jövőbeli innovációk előtt, amelyek meghatározzák a következő számítástechnikai platformot. Az Aria Gen 2-vel való együttműködésre még ebben az évben lehet jelentkezni, és azok a kutatók, akik szeretnének tájékozottak maradni, csatlakozhatnak a Aria Gen 2 érdekeltségi lista. Addig is, az Aria Research Kit Aria Gen 1 szemüveggel való jelentkezéseket továbbra is gördülő alapon fogadják...jelentkezz most hogy azonnal elkezdhesse.

Csatlakozzon hozzánk a CVPR 2025 júniusban a Tennessee állambeli Nashville-ben, ahol a csapat interaktív bemutatókon keresztül mutatja be az Aria Gen 2 szemüveget. Látogasson el a Meta standjára, hogy megtapasztalja a legújabb fejlesztéseket, és többet tudjon meg az Aria Gen 2 innovatív funkcióiról.