Rubriik: Aria Gen 2

Täna tõstame esile uusi uuringuid, mis pärinevad Georgia Tech mis aitab treenida roboteid täitma põhilisi igapäevaseid ülesandeid, kasutades Meta's kandjatelt saadud egotsentrilisi salvestusi. Projekt Aria uurimisprillid. Vaadake allolevat videot, lugege kogu lugu või taotleda oma Project Aria uurimiskomplekti.

Kujutage ette, et teil on abi igapäevaste koduste ülesannete täitmisel, näiteks pesu pesemisel, nõude pesemisel ja remonditöödel. Me kasutame juba praegu nende ülesannete täitmisel abivahendeid, nagu pesumasinad, nõudepesumasinad ja elektripuurid. Aga mis oleks, kui teil oleks veelgi võimsam ja paindlikum tööriist humanoidroboti näol, kes õpiks teie käest ja kiirendaks kõiki teie ülesannete nimekirjas olevaid füüsilisi projekte?

Isegi kui teil oleks olemas olemasolev riistvarasüsteem, saab roboti õpetamist igapäevaste ülesannete täitmiseks saavutada ainult aeglase ja kohmaka andmekogumismeetodi abil, mida nimetatakse robotite teleoperatsiooniks. Kuni praeguseni. Kasutades Projekti Aria uurimiskomplekt, professor Danfei Xu ja Robootilise õppimise ja arutluse laboratoorium aadressil Georgia Tech kasutavad Aria prillide egotsentrilisi andureid, et luua nn inimese andmeid ülesannete jaoks, mida humanoidne robot peaks jäljendama. Nad kasutavad inimese andmeid selleks, et vähendada oluliselt roboti teleoperatsioonide andmete hulka, mida on vaja roboti poliitika treenimiseks - see on läbimurre, mis võib ühel päeval muuta humanoidsed robotid võimeliseks õppima mis tahes arvu ülesandeid, mida inimene võiks demonstreerida.

Kareer juhib robotit, et koguda EgoMimic'i jaoks kaasõppimisandmeid. Teleoperatsioon võib olla raskesti skaleeritav ja nõuda märkimisväärset inimtööjõudu.

"Traditsiooniliselt tähendab andmete kogumine robootika jaoks demonstratsioonandmete loomist," ütleb Georgia Techi doktorant Simar Kareer. Interaktiivse informaatika kool. "Sa kasutad roboti liigeseid kontrolleri abil, et seda liigutada ja saavutada soovitud ülesanne, ja sa teed seda sadu kordi, salvestades samal ajal andurite andmeid, seejärel treenid oma mudeleid. See on aeglane ja keeruline. Ainus viis selle tsükli katkestamiseks on andmete kogumise lahutamine robotist endast."

Tänapäeval treenitakse roboti poliitikamudeleid suure hulga sihipärase, iga kitsama ülesande jaoks spetsiifiliste näidisandmete abil, mis on väga kulukas. Kareer oletab, et paljude teadlaste passiivselt kogutud andmeid, nagu Aria prillidega kogutud andmed, võiks selle asemel kasutada andmete loomiseks palju laiema ülesannete kogumi jaoks, et luua tulevikus üldisemalt kasulikke roboteid.

Inspireeritud Projekt Aria ja Ego-Exo4D mis sisaldab massiivset egotsentrilist andmestikku, mis koosneb üle 3K tunni videosalvestustest igapäevaelu tegevustest, töötas Kareer välja EgoMimic, uus algoritmiline raamistik, mis kasutab inimese ja roboti andmeid humanoidroboti arendamiseks.

"Kui ma vaatasin Ego4D-d, nägin ma andmestikku, mis on sama, mis kõik suured robotite andmestikud, mida me üritame koguda, ainult et see on inimeste andmestik," selgitab Kareer. "Sa kannad lihtsalt prille ja lähed asju tegema. See ei pea tulema robotilt. See peaks tulema millestki, mis on paremini skaleeritav ja passiivselt genereeritav, milleks oleme meie." Kareeri uuringus kasutati Aria prille, et luua inimese andmeid EgoMimic'i raamistiku kaasõppimiseks.

Kareer loob kaasõppimise inimandmed, salvestades Aria prillidega t-särki voldides.

Aria prille ei kasutata Georgia Techi teadusuuringutes mitte ainult inimeste andmete kogumiseks. Neid kasutatakse ka roboti reaalajas töötava seadistuse lahutamatu osana. Aria prillid paigaldatakse nende humanoidroboti platvormile nagu silmapaar ja need on integreeritud anduripakett, mis võimaldab robotil tajuda oma keskkonda reaalajas. Aria kliendi SDK-d kasutatakse Aria andurite andmete edastamiseks otse roboti poliitikasse, mis töötab ühendatud arvutis, mis omakorda juhib roboti käitamist. Aria prillide kasutamine nii andmete kogumiseks kui ka reaalajas tajumise torujuhtme jaoks minimeerib domeenilõhet inimnäitleja ja roboti vahel, sillutades teed mastaapsele inimese andmete genereerimisele tulevaste robootikaülesannete treenimiseks.

Roboti ülaosale paigaldatud Aria prillid varustavad süsteemi andurite andmetega, mis võimaldavad robotil ruumi tajuda ja sellega suhelda.

Tänu EgoMimicile saavutas Kareer 400% kasvu oma roboti jõudluses erinevates ülesannetes võrreldes varasemate meetoditega, kasutades vaid 90 minutit Aria salvestusi. Robot suutis neid ülesandeid edukalt täita ka varem nähtamatutes keskkondades.

Tulevikus võiks humanoidseid roboteid koolitada mastaabis, kasutades egotsentrilisi andmeid, et nad saaksid täita erinevaid ülesandeid samamoodi nagu inimesed.

"Me vaatame Aria't kui investeeringut teadusringkonda," ütleb James Fort, Meta Reality Labs'i teadusuuringute tootejuht. "Mida rohkem egotsentriline teaduskogukond standardiseerib, seda rohkem teadlased saavad koostööd teha. Just sellise kogukonnaga koos skaleerumise kaudu saame hakata lahendama suuremaid probleeme seoses sellega, kuidas asjad tulevikus toimima hakkavad."

Kareer esitab oma ettekande EgoMimic'i kohta konverentsil 2025 IEEE inseneride rahvusvaheline robootika- ja automaatikakonverents (ICRA) Atlantas.

Alates selle käivitamisest 2020, Projekt Aria on võimaldanud teadlastel kogu maailmas arendada masinataju ja tehisintellekti tipptasemel teadusriistvara ja avatud lähtekoodiga tarkvara kasutamise kaudu. andmekogumid, mudelid ja tööriistad. Täna on meil hea meel teatada selle teekonna järgmisest sammust: Aria Gen 2 prillide tutvustamine. See järgmise põlvkonna riistvara avab uued võimalused paljudes uurimisvaldkondades, sealhulgas masintaju, egotsentriline ja kontekstuaalne tehisintellekt ja robootika.

0:00 / 0:00

Teadlastele, kes soovivad uurida, kuidas tehisintellekti süsteemid saavad paremini mõista maailma inimese vaatenurgast, Aria Gen 2 prillid lisavad Aria platvormile uusi võimalusi. Need sisaldavad mitmeid uuendusi, mida ei leidu ühelgi teisel praegu saadaval oleval seadmel, ning juurdepääs nendele läbimurdelistele tehnoloogiatele võimaldab teadlastel avardada võimaluste piire.

Võrreldes Aria Gen 1-ga sisaldab Aria Gen 2 ainulaadne väärtuspakkumine järgmist:

• Moodne andurikomplekt: Uuendatud sensorikomplektis on RGB-kaamera, 6DOF SLAM-kaamerad, silmade jälgimise kaamerad, ruumilised mikrofonid, IMU-d, baromeeter, magnetomeeter ja GNSS. Võrreldes oma eelkäijaga, Aria Gen 1, on uues põlvkonnas kasutusele võetud kaks uuenduslikku ninaosa sisseehitatud andurit: PPG-sensor südame löögisageduse mõõtmiseks ja kontaktmikrofon, mis eristab kandja häält kõrvalseisjate häälest.
• Ülimalt madala energiatarbega ja seadmesisene masinataju: SLAM, silmade jälgimine, käe jälgimine ja kõnetuvastus töödeldakse seadmes, kasutades Meta kohandatud räni.
• Kogu päeva kasutatavus: Aria Gen 2 prillid on võimelised kuus kuni kaheksa tundi pidevat kasutamist, kaaluvad umbes 75 grammi ja neil on kokkupandavad käed, et neid oleks lihtne transportida.
• Interaktsioon heli kaudu: Kasutajad saavad helitagasisidet oma klassi parimate avatud kõrvakõlarite kaudu, mis võimaldab kasutaja-ühenduses süsteemi prototüüpimist.

Meie kümnendi pikkune teekond järgmise arvutiplatvormi loomiseks on viinud nende kriitiliste tehnoloogiate väljatöötamiseni. Meta, Reality Labs Researchi ja FAIR AI labori meeskonnad kasutavad neid, et edendada meie pikaajalist teadusvisiooni.. Nende kättesaadavaks tegemine akadeemilistele ja kommertslaboratooriumidele projekti Aria kaudu edendab veelgi avatud teadusuuringuid ja üldsuse arusaamist võtmetehnoloogiatest, mis meie arvates aitavad kujundada arvutite ja tehisintellekti tulevikku.

Projekti Aria poolt alates 2020. aastast võimaldatud avatud teadusuuringud on juba viinud olulise töö tegemiseni, sealhulgas avatud lähtekoodiga vahendite loomiseni, mida kasutatakse laialdaselt nii akadeemilistes ringkondades kui ka tööstuses. . Ego-Exo4D andmekogum, mis on kogutud esimese põlvkonna Aria prillidega, on muutunud põhiliseks töövahendiks kaasaegses arvutinägemises ja kasvavas robootika valdkonnas. Georgia Techi teadlased näitasid hiljuti, kuidas Aria uurimiskomplektiga saab aidata humanoidrobotitel õppida inimesi kodus abistama, samas kui BMW meeskonnad kasutas seda selleks, et uurida, kuidas integreerida liitreaalsuse ja virtuaalse reaalsuse süsteeme arukatesse sõidukitesse.

Aria võimaldab ka uute tehnoloogiate arendamist ligipääsetavuse tagamiseks. Esimese põlvkonna Aria prille kasutas Carnegie Melloni Ülikooli NavCogi projektis, mille eesmärk oli luua tehnoloogiaid, mis aitaksid pimedatel ja vaegnägijatel siseruumides navigeerida. Sellele alusele tuginedes kasutavad Aria Gen 2 prille nüüd järgmised ettevõtted. Envisionettevõte, mis on pühendunud pimedatele või vaegnägijatele mõeldud lahenduste loomisele. Envision uurib oma toodete integreerimist Ally Tehisintellekti assistent ja ruumiline heli, mis kasutab uusimaid Aria Gen 2 prille, et parandada siseruumides navigeerimist ja ligipääsetavust.

0:00 / 0:00

Envision kasutas Aria Gen 2 seadme SLAM-funktsioone koos ruumilise audiofunktsiooniga, mis on sisseehitatud kõlarite kaudu, et aidata pimedatel ja vaegnägijatel sujuvalt liikuda siseruumides. See innovatiivne tehnoloogiate kasutamine, mis on veel uurimis- ja uurimisfaasis, näitab, kuidas teadlased saavad kasutada Aria Gen 2 prille egotsentrilistel vaatlustel põhinevate tehisintellekti kogemuste prototüüpimiseks. Täiustatud sensorid ja seadme masinataju võimalused, sealhulgas SLAM, silmade jälgimine, käe jälgimine ja audiointeraktsioonid, muudavad need ideaalseks ka andmete kogumiseks teadusuuringute ja robootikarakenduste jaoks.

Järgnevate kuude jooksul jagame partneritele rohkem üksikasju seadme kättesaadavuse ajastuse kohta. Aria Gen 2 kasutamisest huvitatud teadlased saavad kasutada järgmist registreeru, et saada uuendusi. Oleme põnevil, et näha, kuidas teadlased kasutavad Aria Gen 2, et sillutada teed tulevastele uuendustele, mis kujundavad järgmise arvutiplatvormi.

Selle aasta alguses me teatas meie uusimad teadusprillid, Aria Gen 2, mis on jätkuks projekti Aria missioonile võimaldada teadlastel kogu maailmas arendada masinataju, kontekstuaalse tehisintellekti ja robootika tipptasemel teadusriistvara ja avatud lähtekoodiga andmekogumite, mudelite ja tööriistade kättesaadavuse kaudu. Täna on meil hea meel jagada rohkem teavet Aria Gen 2 sisemise tehnoloogia kohta. See hõlmab põhjalikku ülevaadet vormifaktorist, helivõimekusest, aku kestvusest, täiustatud kaameratest ja anduritest, seadmesisestest arvutitest ja muust.

Mis on Aria Gen 2?

Aria Gen 2 on kantav seade, mis ühendab endas uusimaid edusamme arvutinägemise, masinõppe ja sensoritehnoloogia vallas. Aria Gen 2 kompaktse vormifaktori ja kerge konstruktsiooni tõttu on see ideaalne valik teadlastele, kes peavad koguma andmeid või looma prototüüpe erinevates keskkondades. Prillid sisaldavad mitmeid täiustusi võrreldes järgmisega Aria Gen 1, selle teadusalane eelkäija, mis kuulutati välja juba 2020. aastal.

Aria Gen 2: Edasiminekud ja funktsioonid

Üleminek Aria Gen 1-lt Gen 2-le tähistab märkimisväärset hüpet kantavas tehnoloogias, pakkudes täiustatud funktsioone ja võimalusi, mis vastavad laiemale rakenduste ja kasutajate vajadustele. Järgnevalt tutvustame Aria Gen 2 peamisi erinevusi ja täiustusi.

1. Kandevõime

Aria Gen 2 pakub parimat kandmisvõimalust, mida iseloomustab suurem mugavus ja sobivus, samas sobib laiemale näomorfoloogiale ja rikkalikule sensorikomplektile teadusuuringuteks. Prillid on endiselt kerged (kaalub 74-76 g, sõltuvalt suurusest) ja nüüd on neil kokkuklapitavad käepidemed, mis hõlbustavad igapäevast hoiustamist ja transportimist. Et tagada igale kandjale optimaalne füüsiline ja funktsionaalne sobivus, oleme kasutusele võtnud kaheksa seadme suurusvarianti, mis arvestavad mitmeid inimtegureid, sealhulgas pea laiust ja ninasilla varieeruvust.

Meie Aria Gen 2 seadmete kaheksa suurusvarianti.

2. Arvutinägemise (CV) kaamera täiustused

Kõrge dünaamiline ulatus (HDR): Aria Gen 2 globaalse katiku kaamera sensor pakub suurt dünaamilist ulatust 120 dB, võrreldes Gen 1 70 dB ulatusega. See võimaldab suurepäraseid arvutinägemise ülesandeid erinevates valgustustingimustes.

0:00 / 0:00

Video illustreerib, et CV-kaamera suudab jäädvustada väga dünaamilisi stseene, kus LED-valgusti hõõgniit on lahendatud koos stseeni ülejäänud detailidega.

Lai vaateväli (FOV): Aria Gen 2 on varustatud nelja arvutinägemiskaameraga (CV), mis kahekordistab Gen 1 CV-kaamerate arvu, et pakkuda laiemat vaatevälja ja võimaldada täiustatud 3D käe ja objekti jälgimist.

Stereo kattumine: Gen 2 stereokate on Gen 1 35° asemel suurenenud 80°-ni, hõlbustades stereopõhiseid alusmudeleid, mis parandavad sügavustaju ja ruumilist teadvustust.

0:00 / 0:00

Siinne näide illustreerib, kuidas suurem stereokate võimaldab sellistel meetoditel nagu NVIDIA FoundationStereo luua korrigeeritud stereopiltidel põhinevaid sügavuskaarte. Sügavuskaarte saab ühendada, et luua stseeni geomeetrilised rekonstruktsioonid, kasutades ainult Aria Gen 2 stereopaari andmeid.

3. Uued andurite integratsioonid

Keskkonnavalgusandur (ALS): Aria Gen 2 sisaldab kalibreeritud ALS-i, mis võimaldab paremaid ekspositsioonikontrolli algoritme ja avab uued võimalused madalate kaadrisageduste puhul. ALS-i ultraviolettrežiimi saab kasutada sise- ja välisvalgustuse eristamiseks, nagu on näidatud videos.

0:00 / 0:00

Kontaktmikrofon: Aria Gen 2 sisaldab seadme ninaplaadile paigaldatud kontaktmikrofoni, mis parandab heli salvestamist mürarikkas keskkonnas.

0:00 / 0:00

Video näitab kandjat tuuletunnelis, et simuleerida tuulist stsenaariumit, kus kontaktmikrofon on võimeline võtma kandja sosinat, kui akustilised mikrofonid ei suuda seda teha.

Südame löögisagedus: Aria Gen 2 sisaldab seadme ninaplaadile paigaldatud fotopletüsmograafia (PPG) andurit, mis võimaldab hinnata seadet kandva isiku südame löögisagedust.

4. Seadme ajamääramine

Aria Gen 2-l on sisseehitatud riistvaralahendus, mis kasutab Sub-GHz raadiotehnoloogiat ajastusteabe edastamiseks, võimaldades täpset ajalist kooskõlastamist teiste Aria Gen 2 seadmete või Sub-GHz raadiot toetavate ühilduvate seadmetega. Selle tehnoloogia abil saavutatakse ajamääramise täpsus, mis jääb alla millisekundi, mis on märkimisväärne edasiminek võrreldes varasemaga. Gen 1 tarkvarapõhine vastavusse viimine.

0:00 / 0:00

Video näitab, kuidas Aria Gen 2 kasutab seadmete ajalist joondamist selliste ülesannete puhul nagu kirjutamine kahest Aria Gen 2 seadmest tehtud hajutatud salvestustest.

5. Seadmesisesed reaalajas masinataju (MP) signaalid

Aria Gen 2 sisaldab täiustatud seadme sisemisi masintuvastuse algoritme, mis töötavad Meta energiatõhusal kohandatud kaasprotsessoril. Need tipptasemel võimalused võimaldavad seadmel genereerida täpseid ja täpseid andmeid, jälgides, kuidas me ümbritsevaga suhtleme.

Visuaalne inertsiaalne odomeetria (VIO)

Üks Aria Gen 2 peamisi omadusi on selle võime jälgida prille kuue vabadusastme (6DOF) ulatuses ruumilises raamis, kasutades visuaalset inertsiaalset odomeetriat (VIO). See võimaldab sujuvat navigeerimist ja keskkonna kaardistamist, avades uusi võimalusi kontekstuaalse tehisintellekti ja robootika uurimisel.

Silma jälgimine

Aria Gen 2 on varustatud ka täiustatud kaamerapõhise silmade jälgimissüsteemiga, mis jälgib kandja pilku võrratu täpsusega. See süsteem annab hulgaliselt teavet, sealhulgas: pilk silma kohta, silmapunkt, silmapilgu tuvastamine, pupilli keskme hindamine, pupilli läbimõõt, sarvkesta keskpunkt jne.

Need täiustatud signaalid võimaldavad sügavamat arusaamist kasutaja visuaalsest tähelepanust ja kavatsustest, avades uusi võimalusi inimese ja arvuti vaheliseks suhtlemiseks.

Käe jälgimine

Aria Gen 2 sisaldab ka käe jälgimise lahendust, mis jälgib kandja kätt 3D-ruumis. See annab seadme tugiraamistikus liigendatud käeliigese poosid, hõlbustades andmekogumite täpset märkimist ja võimaldades selliseid rakendusi nagu osav robotkäte manipuleerimine, mis nõuavad suurt täpsust.

0:00 / 0:00

Aria Gen 2 andurite ja masintunnetuse võimekuse, samuti neile tuginevate seadmeväliste algoritmide tutvustamine.

Aria tulevik on siin: Jääge kursis

Aria Gen 2 prillid sillutavad teed tulevastele uuendustele, mis määratlevad järgmise arvutiplatvormi. Taotlused Aria Gen 2-ga töötamiseks avatakse käesoleva aasta lõpus ning teadlased, kes on huvitatud sellest, et nad oleksid kursis, saavad liituda Aria Gen 2 huvide nimekiri. Vahepeal võetakse endiselt jooksvalt vastu taotlusi Aria Research Kit'ile koos Aria Gen 1 prillidega...kandideeri kohe et kohe alustada.

Liitu meiega aadressil CVPR 2025 juunis Nashville'is, Tennessee's, kus meeskond tutvustab interaktiivsete demonstratsioonide abil Aria Gen 2 prille. Külastage Meta stendi, et kogeda viimaseid uuendusi ja saada rohkem teavet Aria Gen 2 uuenduslikest funktsioonidest.