Kategorija: "Aria Gen 2

Šiandien pristatome naujus tyrimus, atliktus Džordžijos technikos universitetas kuri padeda mokyti robotus atlikti pagrindines kasdienes užduotis, naudojant "Meta" dėvėtojų egocentrinius įrašus. Projektas "Aria tyrimų akiniai. Peržiūrėkite toliau pateiktą vaizdo įrašą, perskaitykite visą istoriją arba pateikite paraišką savo "Project Aria" tyrimų rinkiniui..

Įsivaizduokite, kad jums padėtų atlikti kasdienes užduotis namuose, pavyzdžiui, skalbti, plauti indus ar atlikti remonto darbus. Jau dabar naudojame įrankius, padedančius atlikti šias užduotis, pavyzdžiui, skalbimo mašinas, indaploves ir elektrinius gręžtuvus. Bet kas, jei galėtumėte turėti dar galingesnį ir lankstesnį įrankį - humanoidinį robotą, kuris galėtų mokytis iš jūsų ir pagreitinti bet kuriuos fizinius projektus iš jūsų darbų sąrašo?

Net jei turėtumėte turimą aparatinės įrangos sistemą, išmokyti robotą atlikti kasdienes užduotis galima tik taikant lėtą ir nepatogų duomenų rinkimo metodą, vadinamą roboto teleoperavimu. Iki šiol. Naudojant Projekto "Aria" tyrimų rinkinys, profesorius Danfei Xu ir Robotų mokymosi ir argumentavimo laboratorija adresu Džordžijos technikos universitetas naudoja "Aria" akiniuose esančius egocentrinius jutiklius, kad sukurtų vadinamuosius "žmogaus duomenis" užduotims, kurias turi atkartoti humanoidinis robotas. Jie naudoja žmogaus duomenis, kad gerokai sumažintų roboto teleoperacinių duomenų, reikalingų roboto politikai mokyti, kiekį - tai yra proveržis, dėl kurio vieną dieną humanoidiniai robotai galėtų išmokti bet kiek užduočių, kurias galėtų parodyti žmogus.

Kareer nuotoliniu būdu valdo robotą, kad užfiksuotų "EgoMimic" bendro mokymo duomenis. Teleoperavimą gali būti sudėtinga išplėsti ir tam reikia didelių žmogaus pastangų.

"Tradiciškai duomenų rinkimas robotikai reiškia demonstracinių duomenų kūrimą", - sako Simaras Kareeras, Džordžijos technikos universiteto doktorantas. Interaktyvios kompiuterijos mokykla. "Valdikliu valdikliu valdote roboto sąnarius, kad jis judėtų ir atliktų norimą užduotį, ir tai darote šimtus kartų, įrašydami jutiklių duomenis, tada mokote savo modelius. Tai yra lėta ir sudėtinga. Vienintelis būdas nutraukti šį ciklą - atskirti duomenų rinkimą nuo paties roboto".

Šiandien robotų politikos modeliai mokomi naudojant didelius kiekius tikslinių demonstracinių duomenų, kurie yra skirti kiekvienai siaurai užduočiai, o tai brangiai kainuoja. Kareer iškelia hipotezę, kad daugelio tyrėjų pasyviai surinkti duomenys, pavyzdžiui, "Aria" akinių užfiksuoti duomenys, galėtų būti panaudoti siekiant sukurti duomenis daug platesniam užduočių rinkiniui, kad ateityje būtų galima kurti visuotinai naudingesnius robotus.

Įkvėptas Projektas "Aria ir "Ego-Exo4D kuriame yra didžiulis egocentrinių duomenų rinkinys, apimantis daugiau nei 3 tūkst. valandų kasdienės veiklos vaizdo įrašų, Kareer sukūrė EgoMimic, nauja algoritminė sistema, kurioje naudojami žmogaus ir roboto duomenys, skirta humanoidiniams robotams kurti.

"Kai pažvelgiau į "Ego4D", pamačiau duomenų rinkinį, kuris yra toks pat kaip ir visi dideli robotų duomenų rinkiniai, kuriuos bandome surinkti, tik su žmonėmis", - aiškina Kareeras. "Jūs tiesiog užsidedate akinius ir einate atlikti užduočių. Nebūtina, kad duomenis pateiktų robotas. Ji turėtų būti gaunama iš kažko, kas yra labiau masteliška ir pasyviai generuojama, t. y. iš mūsų." Kareerio tyrime "Aria" akiniai buvo naudojami žmogaus duomenims, skirtiems "EgoMimic" sistemai mokyti, kurti.

Kareeras sukuria bendrus žmogaus duomenis, įrašinėdamas su "Aria" akiniais, kai lanksto marškinėlius.

"Aria" akiniai naudojami ne tik žmonių duomenims rinkti Džordžijos technikos universiteto tyrimuose. Jie taip pat naudojami kaip neatsiejama roboto veikimo realiuoju laiku sąrankos dalis. Aria akiniai tvirtinami prie jų humanoidinio roboto platformos kaip akys ir tarnauja kaip integruotas jutiklių paketas, leidžiantis robotui suvokti aplinką realiuoju laiku. "Aria Client SDK" naudojama "Aria" jutiklių duomenims transliuoti tiesiai į roboto politiką, veikiančią prijungtame kompiuteryje, kuris savo ruožtu valdo roboto vykdymą. Naudojant "Aria" akinius tiek duomenų rinkimui, tiek realaus laiko suvokimo vamzdynui, sumažinamas domeno atotrūkis tarp žmogaus demonstruotojo ir roboto, taip atveriant kelią didesnio masto žmogaus duomenų generavimui būsimiems robotikos užduočių mokymams.

Prie roboto viršaus pritvirtinti "Aria" akiniai teikia sistemai jutiklių duomenis, kurie leidžia robotui suvokti erdvę ir sąveikauti su ja.

Naudodamas "EgoMimic", Kareeras pasiekė 400% didesnį roboto našumą atliekant įvairias užduotis, palyginti su ankstesniais metodais, naudodamas tik 90 minučių "Aria" įrašų. Robotas taip pat galėjo sėkmingai atlikti šias užduotis anksčiau nematytose aplinkose.

Ateityje humanoidiniai robotai galėtų būti mokomi naudojant egocentrinius duomenis, kad galėtų atlikti įvairias užduotis taip, kaip tai daro žmonės.

"Į "Aria" žiūrime kaip į investiciją į mokslinių tyrimų bendruomenę, - sako "Meta" "Reality Labs" mokslinių tyrimų produktų vadybininkas Jamesas Fortas. "Kuo labiau egocentrinė mokslinių tyrimų bendruomenė standartizuosis, tuo daugiau tyrėjų galės bendradarbiauti. Tikrai taip plečiant bendruomenę galime pradėti spręsti didesnes problemas, susijusias su tuo, kaip viskas veiks ateityje."

Kareer pristatys savo pranešimą apie "EgoMimic" konferencijoje 2025 m. IEEE inžinierių tarptautinė robotikos ir automatikos konferencija (ICRA) Atlantoje.

Nuo pat jos paleidimo 2020 m, Projektas "Aria suteikė viso pasaulio mokslininkams galimybę tobulinti mašininio suvokimo ir dirbtinio intelekto technologijas, nes suteikiama prieiga prie moderniausios mokslinių tyrimų techninės įrangos ir atvirojo kodo. duomenų rinkiniai, modeliai ir įrankiai. Šiandien džiaugiamės galėdami pranešti apie kitą žingsnį šioje kelionėje: pristatome "Aria Gen 2" akinius. Ši naujos kartos aparatinė įranga atvers naujas galimybes įvairiose mokslinių tyrimų srityse, įskaitant mašininį suvokimą, egocentrinį ir kontekstinį dirbtinį intelektą bei robotiką.

0:00 / 0:00

Mokslininkams, norintiems ištirti, kaip dirbtinio intelekto sistemos gali geriau suprasti pasaulį iš žmogaus perspektyvos., "Aria Gen 2" akiniai suteikia "Aria" platformai naujų galimybių. Juose yra daugybė pažangių dalykų, kurių nėra jokiuose kituose šiuo metu prieinamuose prietaisuose, o galimybė naudotis šiomis proveržio technologijomis leis tyrėjams praplėsti galimybių ribas.

Lyginant su "Aria Gen 1", "Aria Gen 2" unikalus vertės pasiūlymas apima:

• Naujausių jutiklių rinkinys: Atnaujintame jutiklių rinkinyje yra RGB kamera, 6DOF SLAM kameros, akių stebėjimo kameros, erdviniai mikrofonai, IMU, barometras, magnetometras ir GNSS. Palyginti su pirmtaku "Aria Gen 1", naujojoje kartoje įdiegti du naujoviški jutikliai, įtaisyti nosies pagalvėlėje: PPG jutiklis širdies ritmui matuoti ir kontaktinis mikrofonas, skirtas naudotojo balsui atskirti nuo pašalinių asmenų balso.
• Itin mažos galios ir įrenginyje esantis mašinos suvokimas: SLAM, akių stebėjimas, rankų stebėjimas ir kalbos atpažinimas apdorojami įrenginyje naudojant "Meta" pritaikytą silicį.
• Patogumas naudoti visą dieną: "Aria Gen 2" akiniai gali būti nepertraukiamai naudojami nuo šešių iki aštuonių valandų, sveria apie 75 gramus ir turi sulankstomas rankenėles, kad būtų lengva juos perkelti.
• Sąveika per garsą: Vartotojai gauna grįžtamąjį ryšį per geriausius savo klasėje atvirų ausų garsiakalbius, kurie panaikina jėgą, todėl galima kurti sistemos prototipus.

Mūsų dešimtmetį trukusi kelionė siekiant sukurti kitą kompiuterių platformą, buvo sukurtos šios svarbiausios technologijos. "Meta", "Reality Labs Research" ir FAIR dirbtinio intelekto laboratorijos komandos juos naudos mūsų ilgalaikei mokslinių tyrimų vizijai įgyvendinti.. Projekto "Aria" dėka suteikus prieigą prie jų akademinėms ir komercinėms mokslinių tyrimų laboratorijoms, bus toliau skatinami atviri moksliniai tyrimai ir visuomenės supratimas apie pagrindinį technologijų rinkinį, kuris, mūsų nuomone, padės formuoti kompiuterijos ir dirbtinio intelekto ateitį.

Nuo 2020 m. vykdant atviruosius mokslinius tyrimus pagal projektą "Aria" jau atlikta svarbių darbų, įskaitant atvirojo kodo priemonių, plačiai naudojamų akademinėje ir pramonės srityse, sukūrimą. . "Ego-Exo4D" duomenų rinkinyssurinkta naudojant pirmosios kartos "Aria" akinius, tapo pagrindine šiuolaikinės kompiuterinės regos ir augančios robotikos srities priemone. Džordžijos technikos universiteto mokslininkai neseniai parodė, kaip "Aria" tyrimų rinkinys gali padėti humanoidiniams robotams išmokti padėti žmonėms namuose., o BMW komandos naudojo jį ieškodama, kaip į išmaniąsias transporto priemones integruoti papildytosios ir virtualiosios realybės sistemas.

Be to, "Aria" taip pat leidžia kurti naujas prieinamumo technologijas. Pirmosios kartos "Aria" akinius naudojo Carnegie Mellon universiteto projektas "NavCog"., kurios tikslas - sukurti technologijas, padedančias akliesiems ir silpnaregiams orientuotis patalpose. Remiantis šiuo pagrindu, "Aria Gen 2" akinius dabar naudoja Įsivaizduokite, įmonė, kurios tikslas - kurti sprendimus akliesiems ar silpnaregiams. "Envision" nagrinėja galimybę integruoti savo Ally dirbtinio intelekto asistentas ir erdvinis garsas naudojant naujausius "Aria Gen 2" akinius, kad pagerėtų navigacija patalpose ir prieinamumas.

0:00 / 0:00

"Envision" naudojo "Aria Gen 2" įrenginyje esančias SLAM galimybes ir erdvinio garso funkcijas per įmontuotus garsiakalbius, kad padėtų akliesiems ir silpnaregiams sklandžiai orientuotis patalpų aplinkoje. Šis novatoriškas technologijų naudojimas, kuris vis dar yra žvalgymo ir tyrimų etape, rodo, kaip tyrėjai gali panaudoti "Aria Gen 2" akinius kuriant dirbtinio intelekto patirties prototipus, pagrįstus egocentriniais stebėjimais. Pažangūs jutikliai ir įrenginyje esančios mašininio suvokimo galimybės, įskaitant SLAM, akių stebėjimą, rankų stebėjimą ir garso sąveiką, taip pat idealiai tinka duomenims rinkti mokslinių tyrimų ir robotikos reikmėms.

Artimiausiais mėnesiais pateiksime daugiau informacijos apie tai, kada partneriai galės naudotis įrenginiu. Tyrėjai, norintys gauti prieigą prie "Aria Gen 2", gali užsiregistruokite, kad gautumėte naujienas. Su nekantrumu laukiame, kaip tyrėjai panaudos "Aria Gen 2", kad parengtų dirvą būsimoms naujovėms, kurios lems kitą kompiuterių platformą.

Šių metų pradžioje paskelbė . mūsų naujausi mokslinių tyrimų akiniai "Aria Gen 2", kuriais tęsiama projekto "Aria" misija - sudaryti sąlygas viso pasaulio mokslininkams tobulinti mašininio suvokimo, kontekstinio dirbtinio intelekto ir robotikos technologijas, suteikiant prieigą prie pažangiausios mokslinių tyrimų techninės įrangos ir atvirojo kodo duomenų rinkinių, modelių ir įrankių. Šiandien džiaugiamės galėdami daugiau papasakoti apie "Aria Gen 2" technologiją. Tai apima išsamią formos faktoriaus, garso galimybių, akumuliatoriaus veikimo trukmės, patobulintų kamerų ir jutiklių, įrenginyje esančių skaičiavimų ir kt. apžvalgą.

Kas yra "Aria Gen 2"?

"Aria Gen 2" yra dėvimas prietaisas, kuriame sujungti naujausi kompiuterinio matymo, mašininio mokymosi ir jutiklių technologijų pasiekimai. Kompaktiškos formos ir lengvos konstrukcijos "Aria Gen 2" yra idealus pasirinkimas tyrėjams, kuriems reikia rinkti duomenis arba kurti prototipus įvairiomis sąlygomis. Akiniuose yra daug patobulinimų, palyginti su "Aria Gen 1, jo pirmtakas mokslinių tyrimų srityje, paskelbtas dar 2020 m.

"Aria Gen 2": patobulinimai ir funkcijos

Perėjimas nuo "Aria Gen 1" prie "Gen 2" žymi reikšmingą šuolį dėvimųjų technologijų srityje, nes siūlo patobulintas funkcijas ir galimybes, atitinkančias įvairesnes programas ir naudotojų poreikius. Toliau nagrinėjame pagrindinius "Aria Gen 2" skirtumus ir patobulinimus.

1. Dėvėjimas

"Aria Gen 2" pasižymi geresnėmis dėvėjimo savybėmis, pasižymi didesniu patogumu ir prigludimu, pritaikyta įvairesnėms veido morfologijoms ir turi gausų jutiklių rinkinį tyrimams. Akiniai išlieka lengvi (priklausomai nuo dydžio sveria 74-76 g) ir dabar turi sulankstomas rankenėles, kad juos būtų lengviau laikyti ir transportuoti kasdieniam naudojimui. Siekdami užtikrinti, kad kiekvienam naudotojui akiniai optimaliai fiziškai ir funkciškai tiktų, pristatėme aštuonias prietaiso dydžio variacijas, atsižvelgdami į daugelį žmogiškųjų veiksnių, įskaitant galvos plotį ir nosies tiltelio skirtumus.

Aštuonios mūsų "Aria Gen 2" įrenginių dydžio variacijos.

2. Kompiuterinės regos (CV) kameros patobulinimai

Didelis dinaminis diapazonas (HDR): "Aria Gen 2" pasaulinio užrakto kameros jutiklis pasižymi dideliu 120 dB dinaminiu diapazonu, palyginti su 70 dB diapazonu "Gen 1". Tai leidžia atlikti geresnes kompiuterinės regos užduotis įvairiomis apšvietimo sąlygomis.

0:00 / 0:00

Vaizdo įraše parodyta, kad CV kamera gali užfiksuoti labai dinamiškas scenas, kuriose LED lemputės siūlas išryškėja kartu su kitomis scenos detalėmis.

Platus matymo laukas (FOV): "Aria Gen 2" turi keturias kompiuterinės regos (CV) kameras, t. y. dvigubai daugiau nei "Gen 1" kartos CV kamerų, kad būtų užtikrintas platesnis matymo laukas ir būtų galima atlikti pažangų 3D rankų ir objektų stebėjimą.

Stereofoninis persidengimas: "Gen 2" modelyje stereofoninis persidengimas padidintas iki 80°, palyginti su "Gen 1" modelyje buvusiu 35° persidengimu, todėl lengviau sukurti stereofoninius pagrindo modelius, kurie pagerina gylio suvokimą ir erdvės suvokimą.

0:00 / 0:00

Pateiktame pavyzdyje parodyta, kaip dėl didesnio stereovaizdų sutapimo tokiais metodais, kaip NVIDIA FoundationStereo, galima kurti gylio žemėlapius pagal rektifikuotus stereovaizdus. Gylio žemėlapiai gali būti sujungti, kad būtų sukurtos geometrinės scenos rekonstrukcijos, naudojant tik "Aria Gen 2" stereo vaizdų poros duomenis.

3. Naujų jutiklių integravimas

Aplinkos apšvietimo jutiklis (ALS): "Aria Gen 2" apima kalibruotą ALS, leidžiančią naudoti geresnius ekspozicijos valdymo algoritmus ir atveriančią naujas galimybes esant mažam kadrų dažniui. ALS ultravioletinį režimą galima naudoti patalpų ir lauko apšvietimui atskirti, kaip parodyta vaizdo įraše.

0:00 / 0:00

Kontaktinis mikrofonas: "Aria Gen 2" turi kontaktinį mikrofoną, įtaisytą prietaiso nosies pagalvėlėje, kuris pagerina garso įrašymą triukšmingoje aplinkoje.

0:00 / 0:00

Vaizdo įraše demonstruojamas dėvėtojas vėjo tunelyje, imituojant vėjuotą situaciją, kai kontaktinis mikrofonas gali užfiksuoti dėvėtojo šnabždesį, nors akustiniai mikrofonai to padaryti negali.

Širdies ritmas: "Aria Gen 2" turi fotopletizmografijos (PPG) jutiklį, įmontuotą prietaiso nosies pagalvėlėje, kuris leidžia nustatyti prietaisą dėvinčio asmens širdies ritmą.

4. Įrenginio laiko suderinimas

"Aria Gen 2" turi įmontuotą aparatinės įrangos sprendimą, kuris naudoja Sub-GHz radijo technologiją laiko informacijai transliuoti ir leidžia tiksliai suderinti laiką su kitais "Aria Gen 2" įrenginiais arba suderinamais įrenginiais, palaikančiais Sub-GHz radijo ryšį. Ši technologija leidžia suderinti laiką mažesniu nei milisekundės tikslumu, o tai yra reikšmingas patobulinimas, palyginti su ankstesniais laikais. programine įranga pagrįstas 1 kartos derinimas.

0:00 / 0:00

Vaizdo įraše parodyta, kaip "Aria Gen 2" naudoja įrenginio laiko suderinimą tokioms užduotims kaip rašymas iš paskirstytų dviejų "Aria Gen 2" įrenginių.

5. Įrenginio realaus laiko mašininio suvokimo (MP) signalai

"Aria Gen 2" turi pažangius įrenginyje įdiegtus mašininio suvokimo algoritmus, kurie veikia "Meta" energijos požiūriu efektyviame pasirinktiniame koprocesoriuje. Šios pažangiausios galimybės leidžia įrenginiui generuoti tikslius ir tikslius duomenis, stebint, kaip sąveikaujame su aplinka.

Vizualinė inercinė odometrija (VIO)

Viena iš svarbiausių "Aria Gen 2" savybių - galimybė stebėti akinius šešių laisvės laipsnių (6DOF) erdvinėje atskaitos sistemoje naudojant vizualinę inercinę odometriją (VIO). Tai leidžia sklandžiai naršyti ir kartografuoti aplinką, atveriant naujas galimybes kontekstinio dirbtinio intelekto ir robotikos tyrimams.

Akių stebėjimas

"Aria Gen 2" taip pat pasižymi pažangia kamera paremta akių sekimo sistema, kuri neprilygstamai tiksliai seka dėvinčiojo žvilgsnį. Ši sistema suteikia daugybę informacijos, įskaitant: žvilgsnį į akį, vergencijos tašką, mirksėjimo aptikimą, mokinio centro įvertinimą, mokinio skersmenį, ragenos centrą ir t. t.

Šie pažangūs signalai leidžia geriau suprasti dėvėtojo regimąjį dėmesį ir ketinimus, atverdami naujas žmogaus ir kompiuterio sąveikos galimybes.

Rankų sekimas

"Aria Gen 2" taip pat turi rankos sekimo sprendimą, kuris seka dėvėtojo ranką 3D erdvėje. Taip sukuriamos artikuliuotos rankos sąnarių pozos prietaiso atskaitos taške, todėl lengviau tiksliai anotuoti rankos duomenų rinkinius ir naudoti tokias programas, kaip, pavyzdžiui, didelio tikslumo reikalaujančios robotų rankų manipuliacijos.

0:00 / 0:00

Demonstruojami "Aria Gen 2" jutikliai ir mašininio suvokimo galimybės, taip pat jų pagrindu sukurti už įrenginio ribų veikiantys algoritmai.

"Aria" ateitis jau čia: Būkite informuoti

"Aria Gen 2" akiniai atveria kelią būsimoms naujovėms, kurios apibrėš kitą kompiuterių platformą. Paraiškos darbui su "Aria Gen 2" bus pradėtos teikti vėliau šiais metais, o norintys būti informuoti tyrėjai gali prisijungti prie "Aria Gen 2" interesų sąrašas. Tuo tarpu paraiškos dėl "Aria Research Kit" su "Aria Gen 1" akiniais vis dar priimamos nuolat.taikyti dabar kad galėtumėte iš karto pradėti dirbti.

Prisijunkite prie mūsų CVPR 2025 Nešvilyje, Tenesio valstijoje, kur komanda pristatys "Aria Gen 2" akinius per interaktyvias demonstracijas. Apsilankykite "Meta" stende ir išbandykite naujausius pasiekimus bei sužinokite daugiau apie naujoviškas "Aria Gen 2" funkcijas.