Kategorija: Aria Gen 2

Danes predstavljamo novo raziskavo iz Georgia Tech ki pomaga usposabljati robote za izvajanje osnovnih vsakodnevnih opravil z uporabo egocentričnih posnetkov, ki jih posnamejo uporabniki Metinih Projekt Aria raziskovalna očala. Oglejte si spodnji videoposnetek, preberite celotno zgodbo ali se prijavite za svoj raziskovalni komplet Project Aria..

Predstavljajte si, da bi vam pomagali pri vsakodnevnih opravilih na vašem domu, kot so pranje perila, pomivanje posode in popravila. Pri teh opravilih že uporabljamo orodja, kot so pralni in pomivalni stroji ter električni vrtalniki. Kaj pa, če bi lahko imeli še zmogljivejše in prilagodljivejše orodje v obliki humanoidnega robota, ki bi se lahko učil od vas in pospešil katero koli število fizičnih projektov na vašem seznamu opravil?

Tudi če bi imeli na voljo sistem strojne opreme, bi lahko robota naučili opravljati vsakdanja opravila le s počasno in okorno metodo zbiranja podatkov, imenovano robotsko teleoperiranje. Do zdaj. Z uporabo Raziskovalni komplet projekta Aria, profesor Danfei Xu in Laboratorij za robotsko učenje in razmišljanje na spletni strani . Georgia Tech uporabljajo egocentrične senzorje na očalih Aria za ustvarjanje tako imenovanih "človeških podatkov" za naloge, ki naj bi jih posnemal humanoidni robot. S človeškimi podatki močno zmanjšajo količino podatkov o teleoperaciji robota, ki so potrebni za urjenje robotove politike, kar je preboj, zaradi katerega bi se lahko humanoidni roboti nekega dne naučili vseh nalog, ki bi jih lahko prikazal človek.

Kareer s teleoperacijo upravlja robota za zajemanje podatkov o sooblikovanju za EgoMimic. Teleoperacijo je težko razširiti in zahteva veliko človeškega dela.

"Tradicionalno zbiranje podatkov za robotiko pomeni ustvarjanje demonstracijskih podatkov," pravi Simar Kareer, doktorski študent na oddelku Georgia Tech Šola za interaktivno računalništvo. "S krmilnikom upravljate robotove sklepe, da ga premaknete in dosežete želeno nalogo, to storite stokrat in pri tem beležite podatke senzorjev, nato pa usposobite svoje modele. To je počasno in težavno. Edini način za prekinitev tega kroga je, da zbiranje podatkov ločimo od samega robota."

Danes se modeli robotske politike drago usposabljajo z velikimi količinami ciljno usmerjenih demonstracijskih podatkov, specifičnih za vsako ozko nalogo. Kareer domneva, da bi lahko pasivno zbrane podatke številnih raziskovalcev, kot so podatki, zajeti z očali Aria, namesto tega uporabili za ustvarjanje podatkov za veliko širši nabor nalog, da bi v prihodnosti ustvarili bolj splošno uporabne robote.

Po navdihu Projekt Aria in . Ego-Exo4D ki vključuje obsežen nabor egocentričnih podatkov z več kot 3 tisoč urami video posnetkov vsakodnevnih dejavnosti, je Kareer razvil EgoMimic, nov algoritemski okvir, ki za razvoj humanoidnih robotov uporablja podatke o človeku in robotu.

"Ko sem si ogledal Ego4D, sem videl zbirko podatkov, ki je enaka vsem velikim zbirkam podatkov o robotih, ki jih poskušamo zbrati, le da gre za ljudi," pojasnjuje Kareer. "Nosite očala in počnete stvari. Ni treba, da jih posreduje robot. Prihajati mora od nečesa bolj razširljivega in pasivno ustvarjenega, kar smo mi." V Kareerjevi raziskavi so bila očala Aria uporabljena za ustvarjanje podatkov o ljudeh za sooblikovanje okvira EgoMimic.

Kareer ustvari podatke o soustvarjanju človeških podatkov s snemanjem z očali Aria med zlaganjem majice.

Očala Aria se v raziskavah Georgia Tech ne uporabljajo le za zbiranje podatkov o ljudeh. Uporabljajo se tudi kot sestavni del nastavitev delovanja robota v realnem času. Očala Aria so nameščena na njihovo humanoidno robotsko platformo kot par oči in služijo kot integriran paket senzorjev, ki robotu omogočajo zaznavanje okolja v realnem času. Komplet Aria Client SDK se uporablja za pretakanje podatkov senzorjev Aria neposredno v robotovo politiko, ki teče na priključenem osebnem računalniku, ta pa nadzoruje robotovo delovanje. Uporaba očal Aria za zbiranje podatkov in zaznavanje v realnem času zmanjšuje domensko vrzel med človeškim demonstratorjem in robotom ter utira pot za ustvarjanje podatkov o človeku v večjem obsegu za prihodnje usposabljanje robotskih nalog.

Očala Aria, nameščena na vrhu robota, zagotavljajo sistemu podatke o senzorjih, ki robotu omogočajo zaznavanje in interakcijo s prostorom.

Zahvaljujoč EgoMimicu je Kareer s samo 90 minutami posnetkov Aria dosegel 400% večjo zmogljivost svojega robota pri različnih nalogah v primerjavi s prejšnjimi metodami. Robot je lahko te naloge uspešno opravljal tudi v prej neznanih okoljih.

V prihodnosti bi lahko humanoidne robote na podlagi egocentričnih podatkov usposobili za izvajanje različnih nalog na enak način kot ljudje.

"Na Ario gledamo kot na naložbo v raziskovalno skupnost," pravi James Fort, vodja raziskovalnega izdelka Reality Labs pri družbi Meta. "Bolj ko se bo egocentrična raziskovalna skupnost standardizirala, več raziskovalcev bo lahko sodelovalo. S takšnim širjenjem skupnosti lahko začnemo reševati večje probleme v zvezi s tem, kako bodo stvari delovale v prihodnosti."

Kareer bo svoj prispevek o EgoMimicu predstavil na 2025 Mednarodna konferenca inženirjev IEEE o robotiki in avtomatizaciji (ICRA) v Atlanti.

Od uvedbe leta 2020, Projekt Aria je raziskovalcem po vsem svetu omogočil napredek na področju strojnega zaznavanja in umetne inteligence z dostopom do vrhunske raziskovalne strojne opreme in odprtokodne programske opreme. podatkovne zbirke, modeli in orodja. Danes z veseljem napovedujemo naslednji korak na tej poti: predstavitev očal Aria Gen 2. Ta naslednja generacija strojne opreme bo odprla nove možnosti na številnih raziskovalnih področjih, vključno s strojnim zaznavanjem, egocentrično in kontekstualno umetno inteligenco ter robotiko.

0:00 / 0:00

Za raziskovalce, ki želijo raziskati, kako lahko sistemi umetne inteligence bolje razumevanje sveta s človeške perspektive., očala Aria Gen 2 platformi Aria dodajajo nov nabor zmogljivosti. Vključujejo številne izboljšave, ki jih ni mogoče najti v nobeni drugi napravi, ki je danes na voljo, dostop do teh prelomnih tehnologij pa bo raziskovalcem omogočil, da premaknejo meje mogočega.

V primerjavi z Aria Gen 1 je edinstvena vrednostna ponudba Aria Gen 2 naslednja:

• Najsodobnejši nabor senzorjev: Nadgrajeni nabor senzorjev vključuje kamero RGB, kamere SLAM 6DOF, kamere za sledenje očem, prostorske mikrofone, enote IMU, barometer, magnetometer in GNSS. V primerjavi s predhodnikom Aria Gen 1 nova generacija uvaja dva inovativna senzorja, vgrajena v nosno blazinico: senzor PPG za merjenje srčnega utripa in kontaktni mikrofon za razlikovanje uporabnikovega glasu od glasu mimoidočih.
• Strojno zaznavanje z izjemno nizko porabo energije in na napravi: SLAM, sledenje očem, sledenje rokam in prepoznavanje govora se obdelujejo v napravi z uporabo lastnega silicija podjetja Meta.
• Celodnevna uporabnost: Očala Aria Gen 2 zdržijo od šest do osem ur neprekinjene uporabe, tehtajo približno 75 gramov in imajo zložljive ročice za lažje prenašanje.
• Interakcija prek zvoka: Uporabniki dobijo povratne zvočne informacije prek najboljših zvočnikov za odprta ušesa z odpravljanjem sile v svojem razredu, kar omogoča prototipiranje sistema v krogu uporabnika.

Naš desetletje trajajoče potovanje za oblikovanje naslednje računalniške platforme je privedel do razvoja teh ključnih tehnologij. V podjetju Meta jih bodo ekipe v Reality Labs Research in laboratoriju FAIR AI uporabljale za razvoj naše dolgoročne raziskovalne vizije.. Če jih damo na voljo akademskim in komercialnim raziskovalnim laboratorijem v okviru projekta Aria, bomo še naprej spodbujali odprte raziskave in javno razumevanje ključnega sklopa tehnologij, za katere menimo, da bodo pomagale oblikovati prihodnost računalništva in umetne inteligence.

Odprte raziskave, ki jih od leta 2020 omogoča projekt Aria, so že pripeljale do pomembnih rezultatov, vključno z ustvarjanjem odprtokodnih orodij, ki se široko uporabljajo v akademskem svetu in industriji. Spletna stran . Zbirka podatkov Ego-Exo4Dzbrana s prvo generacijo očal Aria, je postala temeljno orodje sodobnega računalniškega vida in rastočega področja robotike. Raziskovalci na Tehniški fakulteti v Georgii so nedavno pokazali, kako lahko raziskovalni komplet Aria pomoč humanoidnim robotom pri učenju pomoči ljudem na domu., medtem ko ekipe BMW ga je uporabil za raziskovanje, kako v pametna vozila vključiti sisteme razširjene in navidezne resničnosti.

Aria omogoča tudi razvoj novih tehnologij za dostopnost. Prvo generacijo očal Aria so uporabljali Univerza Carnegie Mellon v projektu NavCog, katerega cilj je bil razviti tehnologije za pomoč slepim in slabovidnim osebam pri navigaciji v zaprtih prostorih. Na tej osnovi očala Aria Gen 2 zdaj uporabljajo Envision, ki se ukvarja z ustvarjanjem rešitev za slepe ali slabovidne osebe. Družba Envision preučuje možnost vključitve svojih Ally Pomočnik z umetno inteligenco in prostorski zvok z uporabo najnovejših očal Aria Gen 2 za izboljšanje izkušenj pri navigaciji in dostopnosti v zaprtih prostorih.

0:00 / 0:00

Družba Envision je uporabila zmožnosti SLAM naprave Aria Gen 2, skupaj s funkcijami prostorskega zvoka prek vgrajenih zvočnikov, da bi slepim in slabovidnim osebam pomagala pri nemoteni navigaciji v notranjih okoljih. Ta inovativna uporaba tehnologij, ki je še vedno v fazi raziskovanja in proučevanja, je primer, kako lahko raziskovalci uporabijo očala Aria Gen 2 za izdelavo prototipov izkušenj umetne inteligence na podlagi egocentričnih opazovanj. Zaradi naprednih senzorjev in zmogljivosti strojnega zaznavanja na napravi, vključno s SLAM, sledenjem očem, sledenjem rokam in zvočnimi interakcijami, so očala idealna tudi za zbiranje podatkov za raziskave in uporabo v robotiki.

V prihodnjih mesecih bomo partnerjem posredovali več podrobnosti o tem, kdaj bo naprava na voljo. Raziskovalci, ki jih zanima dostop do naprave Aria Gen 2, lahko Prijavite se za prejemanje posodobitev. Z veseljem pričakujemo, kako bodo raziskovalci uporabili Aria Gen 2 za utiranje poti prihodnjim inovacijam, ki bodo oblikovale naslednjo računalniško platformo.

V začetku leta smo objavljeno na spletni strani . naša najnovejša raziskovalna očala, Aria Gen 2, ki pomenijo nadaljevanje poslanstva projekta Aria, da se raziskovalcem po vsem svetu omogoči napredek na področju strojnega zaznavanja, kontekstualne umetne inteligence in robotike z dostopom do vrhunske raziskovalne strojne opreme ter odprtokodnih zbirk podatkov, modelov in orodij. Danes z veseljem delimo več informacij o tehnologiji v napravi Aria Gen 2. To vključuje poglobljen pregled oblike, zvočnih zmogljivosti, življenjske dobe baterije, nadgrajenih kamer in senzorjev, računanja na napravi in še več.

Kaj je Aria Gen 2?

Aria Gen 2 je nosljiva naprava, ki združuje najnovejše dosežke na področju računalniškega vida, strojnega učenja in tehnologije senzorjev. Zaradi svoje kompaktne oblike in lahke zasnove je Aria Gen 2 idealna izbira za raziskovalce, ki morajo zbirati podatke ali izdelovati prototipe v različnih okoljih. Očala vsebujejo številne izboljšave v primerjavi z Aria Gen 1, njenega predhodnika na področju raziskav, ki je bil napovedan že leta 2020.

Aria Gen 2: napredki in funkcije

Prehod z Aria Gen 1 na Gen 2 pomeni velik preskok v nosljivi tehnologiji, saj ponuja izboljšane funkcije in zmogljivosti, ki ustrezajo širšemu naboru aplikacij in potrebam uporabnikov. V nadaljevanju raziskujemo ključne razlike in izboljšave, uvedene v uri Aria Gen 2.

1. Nosljivost

Aria Gen 2 se ponaša z boljšo nosljivostjo, ki jo odlikujeta večje udobje in prileganje, hkrati pa omogoča širši razpon morfologij obraza in bogat nabor senzorjev za raziskave. Očala so še vedno lahka (tehtajo od 74 do 76 g, odvisno od velikosti) in zdaj vključujejo zložljive ročice za lažje shranjevanje in prenašanje pri vsakodnevni uporabi. Da bi vsakemu uporabniku zagotovili optimalno fizično in funkcionalno prileganje, smo uvedli osem različic velikosti naprave, ki upoštevajo številne človeške dejavnike, vključno s širino glave in spremembo nosnega mostička.

Osem različic velikosti naprav Aria Gen 2.

2. Izboljšave kamere za računalniški vid (CV)

Visok dinamični razpon (HDR): Senzor kamere Aria Gen 2 z globalnim zaklopom ponuja visok dinamični razpon 120 dB v primerjavi z razponom 70 dB v kameri Gen 1. To omogoča vrhunske naloge računalniškega vida v različnih svetlobnih pogojih.

0:00 / 0:00

Videoposnetek prikazuje, da lahko kamera CV zajame zelo dinamične prizore, pri čemer je nitka luči LED razločena skupaj s preostalimi podrobnostmi prizora.

Široko vidno polje (FOV): Aria Gen 2 je opremljena s štirimi kamerami za računalniški vid (CV), kar podvaja število kamer CV iz generacije 1, saj zagotavlja širše vidno polje in omogoča napredno 3D sledenje rokam in predmetom.

Stereofonsko prekrivanje: Stereo prekrivanje v generaciji 2 je povečano s 35° v generaciji 1 na 80°, kar omogoča oblikovanje stereo modelov, ki izboljšujejo globinsko zaznavanje in prostorsko zavedanje.

0:00 / 0:00

Primer prikazuje, kako povečano prekrivanje stereoposnetkov omogoča metodam, kot je FoundationStereo družbe NVIDIA, da ustvarijo globinske zemljevide na podlagi rektificiranih stereoposnetkov. Zemljevidi globine se lahko združijo za ustvarjanje geometrijskih rekonstrukcij prizora samo z uporabo podatkov o stereoparih Aria Gen 2.

3. Integracija novih senzorjev

Senzor okoliške svetlobe (ALS): Aria Gen 2 vključuje kalibrirano ALS, ki omogoča boljše algoritme za nadzor osvetlitve in odpira nove možnosti pri nizkih frekvencah sličic. Ultravijolični način ALS se lahko uporablja za razlikovanje med notranjo in zunanjo osvetlitvijo, kot je prikazano v videoposnetku.

0:00 / 0:00

Kontaktni mikrofon: Aria Gen 2 vključuje kontaktni mikrofon, vgrajen v nosno blazinico naprave, kar izboljša zajemanje zvoka v hrupnih okoljih.

0:00 / 0:00

Videoposnetek prikazuje uporabnika v vetrovniku, ki simulira vetrovni scenarij, pri čemer kontaktni mikrofon lahko ujame uporabnikov šepet, medtem ko akustični mikrofoni tega ne zmorejo.

Srčni utrip: Naprava Aria Gen 2 vključuje fotopletizmografski (PPG) senzor, vgrajen v nosno blazinico naprave, ki omogoča oceno srčnega utripa osebe, ki nosi napravo.

4. Časovna poravnava naprave

Aria Gen 2 ima vgrajeno strojno rešitev, ki uporablja radijsko tehnologijo Sub-GHz za oddajanje informacij o času, kar omogoča natančno časovno poravnavo z drugimi napravami Aria Gen 2 ali združljivimi napravami, ki podpirajo radijsko tehnologijo Sub-GHz. Ta tehnologija omogoča časovno poravnavo z natančnostjo pod milisekundo, kar pomeni znatno izboljšanje v primerjavi z radijsko tehnologijo, ki jo uporablja programska poravnava Gen 1.

0:00 / 0:00

Videoposnetek prikazuje, kako Aria Gen 2 uporablja časovno poravnavo naprav za opravila, kot je pisanje iz porazdeljenih posnetkov iz dveh naprav Aria Gen 2.

5. Signali strojnega zaznavanja (MP) v realnem času na napravi

Aria Gen 2 ima napredne algoritme strojnega zaznavanja v napravi, ki delujejo na energijsko učinkovitem koprocesorju po meri podjetja Meta. Te vrhunske zmogljivosti omogočajo napravi, da ustvarja natančne in točne podatke, s katerimi spremlja našo interakcijo z okolico.

Vizualna inercialna odometrija (VIO)

Ena od ključnih značilnosti naprave Aria Gen 2 je zmožnost sledenja očalom v šestih stopnjah prostosti (6DOF) v prostorskem referenčnem okviru z uporabo vizualne inercialne odometrije (VIO). To omogoča nemoteno navigacijo in kartiranje okolja ter odpira nove možnosti za raziskave na področju kontekstualne umetne inteligence in robotike.

Sledenje očem

Aria Gen 2 se ponaša tudi z naprednim sistemom sledenja očem, ki temelji na kameri in z neprimerljivo natančnostjo spremlja uporabnikov pogled. Ta sistem zagotavlja številne informacije, vključno s pogledom na oko, točko vergence, zaznavanjem mežikanja, oceno središča zenice, premerom zenice, središčem roženice itd.

Ti napredni signali omogočajo boljše razumevanje uporabnikove vizualne pozornosti in namenov ter odpirajo nove možnosti za interakcijo med človekom in računalnikom.

Sledenje z roko

Aria Gen 2 ima tudi rešitev za sledenje roki, ki spremlja uporabnikovo roko v 3D-prostoru. Tako se v referenčnem okviru naprave oblikujejo položaji členkastega sklepa roke, kar olajša natančne anotacije roke za podatkovne zbirke in omogoča aplikacije, kot je spretno robotsko upravljanje rok, ki zahteva visoko natančnost.

0:00 / 0:00

Predstavitev senzorjev in zmogljivosti strojnega zaznavanja naprave Aria Gen 2 ter na njih temelječih algoritmov zunaj naprave.

Prihodnost Arie je tu: Bodite obveščeni

Očala Aria Gen 2 utirajo pot prihodnjim inovacijam, ki bodo opredelile naslednjo računalniško platformo. Prijave za delo z Aria Gen 2 bodo odprte še letos, raziskovalci, ki želijo biti obveščeni, pa se lahko pridružijo Seznam interesov za Aria Gen 2. Prijave za raziskovalni komplet Aria z očali Aria Gen 1 še vedno sprejemamo sproti.Prijavite se zdaj in takoj začnite z delom.

Pridružite se nam na CVPR 2025 v Nashvillu v Tennesseeju junija letos, kjer bo ekipa z interaktivnimi predstavitvami predstavila očala Aria Gen 2. Obiščite stojnico podjetja Meta in se seznanite z najnovejšimi dosežki ter inovativnimi funkcijami očal Aria Gen 2.