Rubrika: Aria Gen 2

Dnes upozorňujeme na nový výzkum z Georgia Tech která pomáhá trénovat roboty k provádění základních každodenních úkolů pomocí egocentrických záznamů od uživatelů zařízení Meta. Projekt Aria výzkumné brýle. Podívejte se na video níže, přečtěte si celý příběh nebo požádejte o vlastní výzkumnou sadu Project Aria.

Představte si, že vám někdo pomůže s každodenními úkony v domácnosti, jako je praní prádla, mytí nádobí nebo opravy. Při těchto úkonech již používáme nástroje, jako jsou pračky, myčky nádobí a elektrické vrtačky. Ale co kdybyste mohli mít ještě výkonnější a flexibilnější nástroj v podobě humanoidního robota, který by se od vás mohl učit a urychlit libovolný počet fyzických projektů na vašem seznamu úkolů?

I kdybyste měli k dispozici hardwarový systém, naučit robota vykonávat každodenní úkoly lze pouze pomalou a neohrabanou metodou sběru dat zvanou robotická teleoperace. Až dosud. Pomocí Výzkumná sada projektu Aria, profesor Danfei Xu a Laboratoř robotického učení a uvažování na adrese Georgia Tech používají egocentrické senzory na brýlích Aria k vytváření tzv. "lidských dat" pro úkoly, které má humanoidní robot napodobit. Pomocí lidských dat dramaticky snižují množství dat o teleoperaci robota potřebných k tréninku jeho politiky - průlom, díky němuž by jednou humanoidní roboti mohli být schopni naučit se libovolný počet úkolů, které by mohl předvést člověk.

Kareer teleoperuje s robotem, aby získal data pro trénink EgoMimic. Teleoperace může být obtížně škálovatelná a vyžaduje značné lidské úsilí.

"Tradičně sběr dat pro robotiku znamená vytváření demonstračních dat," říká Simar Kareer, doktorand na Georgia Tech. Škola interaktivní výpočetní techniky. "Ovládáte klouby robota pomocí ovladače, abyste s ním pohybovali a dosáhli požadovaného úkolu, a to stokrát, přičemž zaznamenáváte data ze senzorů, a pak trénujete své modely. To je pomalé a náročné. Jediný způsob, jak tento cyklus přerušit, je oddělit sběr dat od samotného robota."

V současné době se modely robotických politik trénují pomocí velkého množství cílených demonstračních dat specifických pro každý úzký úkol, a to s vysokými náklady. Kareer předpokládá, že pasivně shromážděná data od mnoha výzkumníků, jako jsou data zachycená brýlemi Aria, by mohla být místo toho využita k umožnění tvorby dat pro mnohem širší soubor úloh, aby bylo možné v budoucnu vytvořit obecněji užitečné roboty.

Inspirováno Projekt Aria a Ego-Exo4D který obsahuje obrovský soubor egocentrických dat s více než 3 tisíci hodinami videozáznamů každodenních činností, Kareer vyvinul EgoMimic, nový algoritmický rámec, který využívá data o lidech a robotech pro vývoj humanoidních robotů.

"Když jsem se podíval na Ego4D, uviděl jsem soubor dat, který je stejný jako všechny velké soubory dat o robotech, které se snažíme shromáždit, až na to, že se jedná o lidi," vysvětluje Kareer. "Prostě si nasadíte brýle a jdete něco dělat. Nemusí to pocházet od robota. Mělo by to pocházet od něčeho škálovatelnějšího a pasivněji generovaného, což jsme my." V Kareerově výzkumu byly brýle Aria použity k vytvoření lidských dat pro společné trénování rámce EgoMimic.

Kareer vytváří data o společném tréninku lidí nahráváním pomocí brýlí Aria při skládání trička.

Brýle Aria se nepoužívají pouze ke sběru dat o lidech ve výzkumu Georgijské techniky. Používají se také jako nedílná součást nastavení provozu robota v reálném čase. Brýle Aria jsou připevněny na jejich humanoidní robotickou platformu stejně jako pár očí a slouží jako integrovaný balíček senzorů, který umožňuje robotovi vnímat své okolí v reálném čase. Sada Aria Client SDK se využívá k přenosu dat ze senzorů Aria přímo do politiky robota, která běží na připojeném počítači a která následně řídí ovládání robota. Použití brýlí Aria jak pro sběr dat, tak pro pipeline vnímání v reálném čase minimalizuje doménovou propast mezi lidským demonstrátorem a robotem, což otevírá cestu pro škálované generování lidských dat pro budoucí trénink robotických úloh.

Brýle Aria připevněné na horní části robota poskytují systému údaje ze senzorů, které robotovi umožňují vnímat prostor a komunikovat s ním.

Díky systému EgoMimic dosáhl Kareer zvýšení výkonu svého robota v různých úlohách o 400% oproti předchozím metodám s pouhými 90 minutami nahrávek Aria. Robot byl také schopen úspěšně provádět tyto úkoly v dříve nevídaných prostředích.

V budoucnu by humanoidní roboti mohli být trénováni ve velkém měřítku pomocí egocentrických dat, aby mohli provádět různé úkoly stejným způsobem jako lidé.

"Na společnost Aria se díváme jako na investici do výzkumné komunity," říká James Fort, produktový manažer pro výzkum v laboratořích Reality Labs ve společnosti Meta. "Čím více se egocentrická výzkumná komunita standardizuje, tím více výzkumníků bude moci spolupracovat. Právě díky takovému škálování s komunitou můžeme začít řešit větší problémy týkající se toho, jak budou věci fungovat v budoucnosti."

Kareer přednese svůj příspěvek o EgoMimic na konferenci 2025 Mezinárodní konference inženýrů IEEE o robotice a automatizaci (ICRA) v Atlantě.

Od svého uvedení na trh v roce 2020, Projekt Aria umožnila výzkumným pracovníkům z celého světa pokročit v oblasti strojového vnímání a umělé inteligence díky přístupu ke špičkovému výzkumnému hardwaru a otevřeným zdrojovým kódům. datové sady, modely a nástroje. Dnes s potěšením oznamujeme další krok na této cestě: představení brýlí Aria Gen 2. Tato nová generace hardwaru otevře nové možnosti v celé řadě oblastí výzkumu, včetně strojového vnímání, egocentrické a kontextové umělé inteligence a robotiky.

0:00 / 0:00

Pro výzkumné pracovníky, kteří chtějí prozkoumat, jak mohou systémy umělé inteligence lépe pochopit svět z lidské perspektivy, brýle Aria Gen 2 rozšiřují platformu Aria o nové funkce. Zahrnují řadu vymožeností, které nenajdete v žádném jiném dnes dostupném zařízení, a přístup k těmto průlomovým technologiím umožní výzkumníkům posunout hranice možností.

Oproti modelu Aria Gen 1 nabízí Aria Gen 2 jedinečnou hodnotu:

• Nejmodernější sada senzorů: Vylepšená sada senzorů obsahuje kameru RGB, kamery SLAM 6DOF, kamery pro sledování očí, prostorové mikrofony, IMU, barometr, magnetometr a GNSS. Oproti svému předchůdci Aria Gen 1 zavádí nová generace dva inovativní snímače zabudované v nosní podložce: PPG snímač pro měření srdečního tepu a kontaktní mikrofon pro rozlišení hlasu uživatele od hlasu okolostojících osob.
• Velmi nízká spotřeba energie a vnímání stroje v zařízení: SLAM, sledování očí, rukou a rozpoznávání řeči se zpracovávají přímo v zařízení pomocí vlastního křemíku společnosti Meta.
• Celodenní použitelnost: Brýle Aria Gen 2 vydrží šest až osm hodin nepřetržitého používání, váží přibližně 75 gramů a mají skládací nosníky pro snadné přenášení.
• Interakce prostřednictvím zvuku: Uživatelé získávají zvukovou zpětnou vazbu prostřednictvím nejlepších otevřených reproduktorů s potlačením síly ve své třídě, což umožňuje vytvářet prototypy systému přímo u uživatele.

Naše desetiletá cesta k vytvoření další počítačové platformy vedl k vývoji těchto kritických technologií. V Metě je budou týmy Reality Labs Research a laboratoře FAIR AI využívat k rozvoji naší dlouhodobé výzkumné vize.. Jejich zpřístupnění akademickým a komerčním výzkumným laboratořím prostřednictvím projektu Aria dále podpoří otevřený výzkum a veřejné porozumění klíčovému souboru technologií, které podle našeho názoru pomohou utvářet budoucnost výpočetní techniky a umělé inteligence.

Otevřený výzkum, který projekt Aria od roku 2020 umožňuje, již vedl k důležitým výsledkům, včetně vytvoření nástrojů s otevřeným zdrojovým kódem, které se široce používají v akademickém i průmyslovém prostředí. Na stránkách . Datová sada Ego-Exo4D, shromážděné pomocí první generace brýlí Aria, se staly základním nástrojem moderního počítačového vidění a rostoucího oboru robotiky. Výzkumníci z Georgijské technické univerzity nedávno ukázali, jak může výzkumná sada Aria pomáhat humanoidním robotům naučit se pomáhat lidem v domácnosti., zatímco týmy BMW použil ke zkoumání možností integrace systémů rozšířené a virtuální reality do chytrých vozidel.

Aria také umožňuje vývoj nových technologií pro přístupnost. První generaci brýlí Aria využili Carnegie Mellon University ve svém projektu NavCog., jehož cílem bylo vytvořit technologie, které by nevidomým a slabozrakým osobám pomáhaly s navigací uvnitř budov. Na tomto základě nyní brýle Aria Gen 2 využívají. Představa, společnost, která se zabývá vytvářením řešení pro nevidomé nebo slabozraké osoby. Společnost Envision zkoumá možnosti integrace svých Ally Asistent s umělou inteligencí a prostorovým zvukem pomocí nejnovějších brýlí Aria Gen 2, které zlepšují navigaci v interiéru a přístupnost.

0:00 / 0:00

Společnost Envision využila funkce SLAM v zařízení Aria Gen 2 spolu s funkcemi prostorového zvuku prostřednictvím vestavěných reproduktorů, aby pomohla nevidomým a osobám se slabým zrakem bezproblémově se orientovat ve vnitřním prostředí. Toto inovativní využití technologií, které je zatím ve fázi zkoumání a výzkumu, je příkladem toho, jak mohou výzkumníci využít brýle Aria Gen 2 pro prototypování zážitků s umělou inteligencí na základě egocentrického pozorování. Díky pokročilým senzorům a možnostem strojového vnímání na zařízení, včetně SLAM, sledování očí, rukou a zvukových interakcí, jsou také ideální pro sběr dat pro výzkumné a robotické aplikace.

V nadcházejících měsících se s partnery podělíme o další podrobnosti ohledně načasování dostupnosti zařízení. Výzkumní pracovníci, kteří mají zájem o přístup k zařízení Aria Gen 2, mohou přihlaste se k odběru aktualizací. Jsme zvědaví, jak výzkumníci využijí Aria Gen 2 k tomu, aby připravili půdu pro budoucí inovace, které budou formovat příští počítačovou platformu.

Na začátku tohoto roku jsme oznámil naše nejnovější výzkumné brýle Aria Gen 2, které jsou pokračováním poslání projektu Aria umožnit výzkumným pracovníkům z celého světa pokročit v oblasti strojového vnímání, kontextové umělé inteligence a robotiky prostřednictvím přístupu ke špičkovému výzkumnému hardwaru a souborům dat, modelů a nástrojů s otevřeným zdrojovým kódem. Dnes se s vámi rádi podělíme o další informace o technologiích uvnitř zařízení Aria Gen 2. Patří sem podrobný přehled o tvarovém faktoru, zvukových schopnostech, výdrži baterie, vylepšených kamerách a senzorech, výpočetní technice v zařízení a další informace.

Co je Aria Gen 2?

Aria Gen 2 je nositelné zařízení, které kombinuje nejnovější pokroky v oblasti počítačového vidění, strojového učení a technologie senzorů. Díky kompaktním rozměrům a lehké konstrukci je Aria Gen 2 ideální volbou pro výzkumné pracovníky, kteří potřebují shromažďovat data nebo vytvářet prototypy v různých prostředích. Brýle obsahují řadu vylepšení v porovnání se staršími modely. Aria Gen 1, jeho předchůdce pro výzkum, oznámený již v roce 2020.

Aria Gen 2: Pokroky a funkce

Přechod z Aria Gen 1 na Gen 2 představuje významný skok v oblasti nositelných technologií a nabízí rozšířené funkce a možnosti, které vyhovují širšímu spektru aplikací a potřebám uživatelů. Níže se zabýváme hlavními rozdíly a vylepšeními zavedenými v zařízení Aria Gen 2.

1. Nositelnost

Aria Gen 2 se může pochlubit vynikajícími možnostmi nošení, které se vyznačují vyšším komfortem a přizpůsobením, a zároveň širší škálou morfologií obličeje a bohatou sadou senzorů pro výzkum. Brýle si zachovávají lehkou konstrukci (váží 74-76 g v závislosti na velikosti) a nyní obsahují skládací nosníky pro snadnější skladování a přepravu při každodenním používání. Abychom každému uživateli zajistili optimální fyzické a funkční přizpůsobení, zavedli jsme osm velikostních variant zařízení - s ohledem na řadu lidských faktorů včetně šířky hlavy a variability nosního můstku.

Osm velikostních variant našich zařízení Aria Gen 2.

2. Vylepšení kamery pro počítačové vidění (CV)

Vysoký dynamický rozsah (HDR): Snímač kamery Aria Gen 2 s globální závěrkou nabízí vysoký dynamický rozsah 120 dB ve srovnání s rozsahem 70 dB u kamery Gen 1. To umožňuje vynikající úlohy počítačového vidění v různých světelných podmínkách.

0:00 / 0:00

Video ilustruje, že kamera CV je schopna zachytit vysoce dynamické scény s vláknem LED světla, které je rozlišeno spolu s ostatními detaily scény.

Široké zorné pole (FOV): Kamera Aria Gen 2 je vybavena čtyřmi kamerami počítačového vidění (CV), čímž se zdvojnásobil počet kamer CV v kameře Gen 1, a poskytuje tak širší zorné pole a umožňuje pokročilé 3D sledování rukou a objektů.

Stereofonní překrytí: Stereofonní překrytí se v generaci 2 zvýšilo z 35° u generace 1 na 80°, což usnadňuje tvorbu modelů založených na stereu, které zlepšují vnímání hloubky a prostorové povědomí.

0:00 / 0:00

Uvedený příklad ilustruje, jak zvýšený stereofonní překryv umožňuje metodám, jako je FoundationStereo společnosti NVIDIA, generovat hloubkové mapy na základě rektifikovaných stereofonních obrazů. Mapy hloubky lze sloučit za účelem generování geometrických rekonstrukcí scény pouze pomocí dat stereofonního páru Aria Gen 2.

3. Integrace nových senzorů

Senzor okolního světla (ALS): Aria Gen 2 obsahuje kalibrovaný systém ALS, který umožňuje lepší algoritmy řízení expozice a odemyká nové možnosti při nízkých snímkových frekvencích. Ultrafialový režim ALS lze použít k rozlišení vnitřního a venkovního osvětlení, jak ilustruje video.

0:00 / 0:00

Kontaktní mikrofon: Zařízení Aria Gen 2 obsahuje kontaktní mikrofon zabudovaný v nosní podložce zařízení, který zlepšuje snímání zvuku v hlučném prostředí.

0:00 / 0:00

Video ukazuje uživatele ve větrném tunelu, který simuluje větrný scénář, kdy kontaktní mikrofon dokáže zachytit šepot uživatele, zatímco akustické mikrofony to nedokážou.

Tepová frekvence: Aria Gen 2 obsahuje fotopletysmografický (PPG) senzor zabudovaný v nosní podložce přístroje, který umožňuje odhadnout srdeční frekvenci osoby, která má přístroj na sobě.

4. Časové vyrovnání zařízení

Zařízení Aria Gen 2 má vestavěné hardwarové řešení, které využívá subgHz rádiovou technologii pro vysílání časových informací, což umožňuje přesné časové sladění s jinými zařízeními Aria Gen 2 nebo kompatibilními zařízeními, která podporují subgHz rádio. Tato technologie dosahuje časového sladění s přesností pod milisekundu, což znamená výrazné zlepšení ve srovnání se současnými technologiemi. softwarové zarovnání Gen 1.

0:00 / 0:00

Video ukazuje, jak Aria Gen 2 používá časové vyrovnání zařízení pro úlohy, jako je zápis z distribuovaných snímků ze dvou zařízení Aria Gen 2.

5. Signály strojového vnímání (MP) v reálném čase na zařízení

Aria Gen 2 je vybavena pokročilými algoritmy strojového vnímání přímo v zařízení, které běží na energeticky úsporném vlastním koprocesoru Meta. Tyto špičkové funkce umožňují zařízení generovat přesné a precizní údaje a sledovat, jak komunikujeme s okolím.

Vizuální inerciální odometrie (VIO)

Jednou z klíčových vlastností Aria Gen 2 je schopnost sledovat brýle v šesti stupních volnosti (6DOF) v rámci prostorového referenčního rámce pomocí vizuální inerciální odometrie (VIO). To umožňuje bezproblémovou navigaci a mapování prostředí, což otevírá nové možnosti výzkumu v oblasti kontextové umělé inteligence a robotiky.

Sledování očí

Aria Gen 2 se může pochlubit také pokročilým systémem sledování očí pomocí kamery, který sleduje pohled uživatele s bezkonkurenční přesností. Tento systém poskytuje množství informací, včetně: pohledu na oko, bodu vergence, detekce mrknutí, odhadu středu zornice, průměru zornice, středu rohovky atd.

Tyto pokročilé signály umožňují hlubší porozumění vizuální pozornosti a záměrům uživatele, což otevírá nové možnosti interakce mezi člověkem a počítačem.

Sledování rukou

Aria Gen 2 je také vybavena řešením pro sledování ruky, které sleduje ruku uživatele ve 3D prostoru. To vytváří kloubové pozice kloubů ruky v referenčním rámci zařízení, což usnadňuje přesné anotace ruky pro datové sady a umožňuje aplikace, jako je obratná manipulace s rukou robotů, které vyžadují vysokou přesnost.

0:00 / 0:00

Ukázka senzorů a schopností strojového vnímání zařízení Aria Gen 2 a na nich postavených algoritmů mimo zařízení.

Budoucnost společnosti Aria je tady: Zůstaňte informováni

Brýle Aria Gen 2 připravují půdu pro budoucí inovace, které budou definovat další počítačovou platformu. Přihlášky ke spolupráci s Aria Gen 2 budou otevřeny později v tomto roce a výzkumní pracovníci, kteří mají zájem být informováni, se mohou připojit k projektu Aria Gen 2. Seznam zájmů o Aria Gen 2. Mezitím se stále průběžně přijímají žádosti o výzkumnou sadu Aria s brýlemi Aria Gen 1.přihlásit se nyní abyste mohli okamžitě začít pracovat.

Připojte se k nám na CVPR 2025 v Nashvillu ve státě Tennessee, kde tým představí brýle Aria Gen 2 prostřednictvím interaktivních ukázek. Navštivte stánek společnosti Meta, kde si můžete vyzkoušet nejnovější pokroky a dozvědět se více o inovativních funkcích brýlí Aria Gen 2.