Dziś przedstawiamy nowe badania przeprowadzone przez Georgia Tech która pomaga szkolić roboty w wykonywaniu podstawowych codziennych zadań za pomocą egocentrycznych nagrań od użytkowników Meta's Projekt Aria okulary badawcze. Obejrzyj poniższy film, przeczytaj całą historię lub Złóż wniosek o własny zestaw badawczy Project Aria.

Wyobraź sobie pomoc w wykonywaniu codziennych zadań w domu, takich jak pranie, zmywanie naczyń czy naprawy. Używamy już narzędzi pomagających w tych zadaniach, takich jak pralki, zmywarki i wiertarki elektryczne. Ale co by było, gdybyś mógł mieć jeszcze potężniejsze i bardziej elastyczne narzędzie w postaci humanoidalnego robota, który mógłby uczyć się od ciebie i przyspieszyć dowolną liczbę fizycznych projektów z twojej listy rzeczy do zrobienia?

Nawet jeśli masz dostępny system sprzętowy, nauczenie robota wykonywania codziennych zadań można osiągnąć jedynie poprzez powolną i nieporęczną metodę gromadzenia danych zwaną teleoperacją robota. Aż do teraz. Dzięki wykorzystaniu Zestaw badawczy Project AriaProfesor Danfei Xu i zespół Laboratorium uczenia się i rozumowania robotów na Georgia Tech wykorzystują czujniki egocentryczne w okularach Aria do tworzenia czegoś, co nazywają "ludzkimi danymi" dla zadań, które mają być replikowane przez humanoidalnego robota. Wykorzystują oni ludzkie dane, aby radykalnie zmniejszyć ilość danych teleoperacyjnych robota potrzebnych do wytrenowania jego polityki - jest to przełom, który pewnego dnia może sprawić, że humanoidalne roboty będą w stanie nauczyć się dowolnej liczby zadań, które mógłby zademonstrować człowiek.

Kareer teleoperuje robotem w celu przechwycenia danych treningowych dla EgoMimic. Teleoperacja może być trudna do skalowania i wymagać znacznego wysiłku ludzkiego.

"Tradycyjnie gromadzenie danych dla robotyki oznacza tworzenie danych demonstracyjnych" - mówi Simar Kareer, doktorant w Georgia Tech's Szkoła Informatyki Interaktywnej. "Obsługujesz przeguby robota za pomocą kontrolera, aby go poruszyć i osiągnąć pożądane zadanie, i robisz to setki razy, rejestrując dane z czujników, a następnie trenujesz swoje modele. Jest to powolne i trudne. Jedynym sposobem na przerwanie tego cyklu jest odłączenie gromadzenia danych od samego robota".

Obecnie modele polityki robotów są szkolone przy użyciu dużych ilości ukierunkowanych danych demonstracyjnych specyficznych dla każdego wąskiego zadania, co wiąże się z wysokimi kosztami. Kareer stawia hipotezę, że pasywnie gromadzone dane od wielu badaczy, takie jak dane przechwycone przez okulary Aria, mogą zamiast tego zostać wykorzystane do umożliwienia tworzenia danych dla znacznie szerszego zestawu zadań w celu stworzenia bardziej ogólnie użytecznych robotów w przyszłości.

Zainspirowany przez Projekt Aria oraz Ego-Exo4D który zawiera ogromny egocentryczny zbiór danych obejmujący ponad 3 tysiące godzin nagrań wideo z codziennych czynności, Kareer opracował EgoMimicnowe ramy algorytmiczne, które wykorzystują dane o ludziach i robotach do rozwoju robotów humanoidalnych.

"Kiedy spojrzałem na Ego4D, zobaczyłem zbiór danych, który jest taki sam, jak wszystkie duże zbiory danych robotów, które próbujemy zebrać, z wyjątkiem tego, że jest z ludźmi" - wyjaśnia Kareer. "Po prostu nosisz parę okularów i robisz różne rzeczy. Dane nie muszą pochodzić od robota. Powinny pochodzić od czegoś bardziej skalowalnego i generowanego pasywnie, czyli od nas". W badaniach Kareera, okulary Aria zostały wykorzystane do stworzenia ludzkich danych do wspólnego trenowania frameworka EgoMimic.

Kareer tworzy współtrenujące dane ludzkie, nagrywając za pomocą okularów Aria podczas składania koszulki.

Okulary Aria są wykorzystywane nie tylko do zbierania danych o ludziach w badaniach Georgia Tech. Są one również wykorzystywane jako integralny element konfiguracji działania robota w czasie rzeczywistym. Okulary Aria są montowane na platformie robota humanoidalnego tak jak para oczu i służą jako zintegrowany pakiet czujników, który umożliwia robotowi postrzeganie otoczenia w czasie rzeczywistym. Zestaw Aria Client SDK jest wykorzystywany do przesyłania danych z czujników Aria bezpośrednio do polityki robota, działającej na podłączonym komputerze, która z kolei kontroluje uruchamianie robota. Wykorzystanie okularów Aria zarówno do gromadzenia danych, jak i potoku percepcji w czasie rzeczywistym minimalizuje lukę domenową między ludzkim demonstratorem a robotem, torując drogę do skalowania generowania danych ludzkich do przyszłego treningu zadań robotyki.

Okulary Aria zamontowane na górze robota dostarczają systemowi danych z czujników, które umożliwiają robotowi postrzeganie i interakcję z przestrzenią.

Dzięki EgoMimic, Kareer osiągnął wzrost wydajności swojego robota o 400% w różnych zadaniach w porównaniu z poprzednimi metodami przy zaledwie 90 minutach nagrań Aria. Robot był również w stanie z powodzeniem wykonywać te zadania w nieznanych wcześniej środowiskach.

W przyszłości roboty humanoidalne mogłyby być szkolone na dużą skalę przy użyciu danych egocentrycznych w celu wykonywania różnych zadań w taki sam sposób, jak robią to ludzie.

"Postrzegamy Arię jako inwestycję w społeczność badawczą" - mówi James Fort, menedżer produktu ds. badań w Reality Labs w firmie Meta. "Im bardziej egocentryczna społeczność badawcza się ustandaryzuje, tym więcej badaczy będzie w stanie współpracować. To właśnie dzięki takiemu skalowaniu ze społecznością możemy zacząć rozwiązywać większe problemy związane z tym, jak rzeczy będą działać w przyszłości".

Kareer zaprezentuje swój artykuł na temat EgoMimic na konferencji 2025 Międzynarodowa Konferencja Inżynierów IEEE na temat Robotyki i Automatyki (ICRA) w Atlancie.

Od momentu uruchomienia w 2020 r, Projekt Aria umożliwiła badaczom z całego świata osiągnięcie postępu w dziedzinie percepcji maszynowej i sztucznej inteligencji dzięki dostępowi do najnowocześniejszego sprzętu badawczego i oprogramowania typu open source. zbiory danychmodele i narzędzia. Dziś z radością ogłaszamy kolejny krok w tej podróży: wprowadzenie okularów Aria Gen 2. Ta kolejna generacja sprzętu otworzy nowe możliwości w szerokim zakresie obszarów badawczych, w tym percepcji maszynowej, egocentrycznej i kontekstowej sztucznej inteligencji oraz robotyki.

0:00 / 0:00

Dla naukowców chcących zbadać, w jaki sposób systemy sztucznej inteligencji mogą lepiej zrozumieć świat z ludzkiej perspektywyOkulary Aria Gen 2 dodają nowy zestaw możliwości do platformy Aria. Obejmują one szereg postępów, których nie można znaleźć w żadnym innym dostępnym obecnie urządzeniu, a dostęp do tych przełomowych technologii umożliwi badaczom przesuwanie granic tego, co jest możliwe.

W porównaniu do Aria Gen 1, unikalna oferta Aria Gen 2 obejmuje:

• Najnowocześniejszy zestaw czujników: Ulepszony zestaw czujników obejmuje kamerę RGB, kamery 6DOF SLAM, kamery do śledzenia oczu, mikrofony przestrzenne, IMU, barometr, magnetometr i GNSS. W porównaniu do swojego poprzednika, Aria Gen 1, nowa generacja wprowadza dwa innowacyjne czujniki wbudowane w nakładkę na nos: czujnik PPG do pomiaru tętna i mikrofon kontaktowy do odróżniania głosu użytkownika od głosu osób postronnych.
• Ultra niskie zużycie energii i percepcja maszynowa na urządzeniu: SLAM, śledzenie oczu, śledzenie dłoni i rozpoznawanie mowy są przetwarzane na urządzeniu przy użyciu niestandardowego krzemu Meta.
• Całodzienna użyteczność: Okulary Aria Gen 2 są w stanie wytrzymać od sześciu do ośmiu godzin ciągłej pracy, ważą około 75 gramów i mają składane ramiona ułatwiające przenoszenie.
• Interakcja poprzez dźwięk: Użytkownicy otrzymują informacje zwrotne audio za pośrednictwem najlepszych w swojej klasie otwartych głośników z redukcją siły nacisku, umożliwiając prototypowanie systemu w pętli.

Nasz dziesięcioletnia podróż Stworzenie kolejnej platformy obliczeniowej doprowadziło do rozwoju tych krytycznych technologii. W Meta zespoły w Reality Labs Research i laboratorium FAIR AI wykorzystają je do realizacji naszej długoterminowej wizji badawczej. Udostępnienie ich akademickim i komercyjnym laboratoriom badawczym w ramach projektu Aria przyczyni się do dalszego rozwoju otwartych badań i publicznego zrozumienia kluczowego zestawu technologii, które naszym zdaniem pomogą kształtować przyszłość informatyki i sztucznej inteligencji.

Otwarte badania prowadzone w ramach projektu Aria od 2020 r. doprowadziły już do ważnych prac, w tym do stworzenia narzędzi typu open source, które są szeroko stosowane w środowisku akademickim i przemyśle. The Zbiór danych Ego-Exo4Dzebrane przy użyciu pierwszej generacji okularów Aria, stały się podstawowym narzędziem w nowoczesnej wizji komputerowej i rozwijającej się dziedzinie robotyki. Naukowcy z Georgia Tech pokazali niedawno, w jaki sposób zestaw Aria Research Kit może pomóc humanoidalnym robotom nauczyć się pomagać ludziom w domupodczas gdy zespoły w BMW wykorzystała go do zbadania, jak zintegrować systemy rzeczywistości rozszerzonej i wirtualnej z inteligentnymi pojazdami.

Aria umożliwia również rozwój nowych technologii w zakresie dostępności. Okulary Aria pierwszej generacji były wykorzystywane przez Uniwersytet Carnegie Mellon w ramach projektu NavCogktórego celem było stworzenie technologii wspomagającej osoby niewidome i niedowidzące w nawigacji wewnątrz budynków. Opierając się na tym fundamencie, okulary Aria Gen 2 są obecnie wykorzystywane przez Envisionfirma zajmująca się tworzeniem rozwiązań dla osób niewidomych lub słabowidzących. Envision bada możliwość integracji swoich Ally Asystent AI i dźwięk przestrzenny przy użyciu najnowszych okularów Aria Gen 2 w celu poprawy nawigacji w pomieszczeniach i dostępności.

0:00 / 0:00

Envision wykorzystała możliwości SLAM na urządzeniu Aria Gen 2, wraz z funkcjami dźwięku przestrzennego za pośrednictwem wbudowanych głośników, aby pomóc osobom niewidomym i słabo widzącym w płynnej nawigacji w środowiskach wewnętrznych. To innowacyjne wykorzystanie technologii, które wciąż znajduje się w fazie eksploracyjnej i badawczej, stanowi przykład tego, jak naukowcy mogą wykorzystać okulary Aria Gen 2 do prototypowania doświadczeń AI w oparciu o obserwacje egocentryczne. Zaawansowane czujniki i możliwości percepcji maszynowej na urządzeniu, w tym SLAM, śledzenie wzroku, śledzenie dłoni i interakcje audio, sprawiają, że są one również idealne do gromadzenia danych do zastosowań badawczych i robotyki.

W nadchodzących miesiącach udostępnimy partnerom więcej szczegółów na temat czasu dostępności urządzeń. Naukowcy zainteresowani dostępem do Aria Gen 2 mogą Zarejestruj się, aby otrzymywać aktualizacje. Z niecierpliwością czekamy na to, jak naukowcy wykorzystają Aria Gen 2, aby utorować drogę przyszłym innowacjom, które ukształtują kolejną platformę obliczeniową.

Na początku tego roku ogłoszony Nasze najnowsze okulary badawcze, Aria Gen 2, stanowią kontynuację misji Projektu Aria, polegającej na umożliwieniu naukowcom z całego świata rozwoju stanu wiedzy w zakresie percepcji maszynowej, kontekstowej sztucznej inteligencji i robotyki poprzez dostęp do najnowocześniejszego sprzętu badawczego oraz zbiorów danych, modeli i narzędzi typu open source. Dziś z przyjemnością udostępniamy więcej informacji na temat technologii wewnątrz Aria Gen 2. Obejmuje to dogłębny przegląd współczynnika kształtu, możliwości audio, żywotności baterii, ulepszonych kamer i czujników, obliczeń na urządzeniu i nie tylko.

Czym jest Aria Gen 2?

Aria Gen 2 to urządzenie do noszenia, które łączy w sobie najnowsze osiągnięcia w dziedzinie wizji komputerowej, uczenia maszynowego i technologii czujników. Kompaktowa obudowa i lekka konstrukcja Aria Gen 2 sprawiają, że jest to idealny wybór dla naukowców, którzy muszą zbierać dane lub budować prototypy w różnych warunkach. Okulary zawierają szereg ulepszeń w porównaniu do Aria Gen 1jego poprzednik badawczy, ogłoszony w 2020 roku.

Aria Gen 2: ulepszenia i funkcje

Przejście z Aria Gen 1 do Gen 2 oznacza znaczący skok w technologii urządzeń do noszenia, oferując ulepszone funkcje i możliwości, które zaspokajają szerszy zakres zastosowań i potrzeb użytkowników. Poniżej przedstawiamy kluczowe różnice i ulepszenia wprowadzone w Aria Gen 2.

1. Możliwość noszenia

Aria Gen 2 oferuje doskonałą wygodę noszenia, charakteryzującą się zwiększonym komfortem i dopasowaniem, przy jednoczesnym dostosowaniu do szerszego zakresu morfologii twarzy i bogatego zestawu czujników do badań. Okulary zachowują lekką konstrukcję (ważą od 74 do 76 g, w zależności od rozmiaru) i są teraz wyposażone w składane ramiona ułatwiające przechowywanie i transport w codziennym użytkowaniu. Aby zapewnić każdemu użytkownikowi optymalne dopasowanie fizyczne i funkcjonalne, wprowadziliśmy osiem wariantów rozmiaru urządzenia - uwzględniając szereg czynników ludzkich, w tym szerokość głowy i zmienność grzbietu nosa.

Osiem wariantów rozmiarów naszych urządzeń Aria Gen 2.

2. Ulepszenia kamer wizyjnych (CV)

Wysoki zakres dynamiki (HDR): Czujnik globalnej migawki kamery Aria Gen 2 oferuje wysoki zakres dynamiki wynoszący 120 dB, w porównaniu do zakresu 70 dB w Gen 1. Pozwala to na wykonywanie doskonałych zadań widzenia komputerowego w różnych warunkach oświetleniowych.

0:00 / 0:00

Film pokazuje, że kamera CV jest w stanie uchwycić bardzo dynamiczne sceny, w których żarnik światła LED jest rejestrowany wraz z pozostałymi szczegółami sceny.

Szerokie pole widzenia (FOV): Aria Gen 2 jest wyposażona w cztery kamery widzenia komputerowego (CV), podwajając liczbę kamer CV w Gen 1, aby zapewnić szersze pole widzenia i umożliwić zaawansowane śledzenie dłoni i obiektów 3D.

Nakładanie się stereo: Nakładanie się stereofonii w Gen 2 zostało zwiększone do 80° z 35° w Gen 1, ułatwiając modele fundamentalne oparte na stereofonii, które poprawiają percepcję głębi i świadomość przestrzenną.

0:00 / 0:00

Przedstawiony przykład ilustruje, w jaki sposób zwiększone nakładanie się stereoskopów umożliwia metodom takim jak NVIDIA FoundationStereo generowanie map głębi w oparciu o wyprostowane obrazy stereo. Mapy głębi można połączyć w celu wygenerowania geometrycznych rekonstrukcji sceny wyłącznie przy użyciu danych pary stereo Aria Gen 2.

3. Nowe integracje czujników

Czujnik światła otoczenia (ALS): Aria Gen 2 zawiera skalibrowany ALS, umożliwiający lepsze algorytmy kontroli ekspozycji i odblokowujący nowe możliwości przy niskiej liczbie klatek na sekundę. Tryb ultrafioletowy ALS może być używany do rozróżniania oświetlenia wewnętrznego i zewnętrznego, jak pokazano na filmie.

0:00 / 0:00

Mikrofon kontaktowy: Aria Gen 2 zawiera mikrofon kontaktowy wbudowany w nosek urządzenia, co poprawia przechwytywanie dźwięku w hałaśliwym otoczeniu.

0:00 / 0:00

Film pokazuje użytkownika w tunelu aerodynamicznym, aby zasymulować wietrzny scenariusz, w którym mikrofon kontaktowy jest w stanie wychwycić szept użytkownika, gdy mikrofony akustyczne nie są w stanie.

Tętno: Aria Gen 2 zawiera czujnik fotopletyzmograficzny (PPG) wbudowany w nakładkę na nos urządzenia, który umożliwia oszacowanie tętna osoby noszącej urządzenie.

4. Wyrównanie czasu urządzenia

Aria Gen 2 ma wbudowane rozwiązanie sprzętowe, które wykorzystuje technologię radiową Sub-GHz do nadawania informacji o czasie, umożliwiając precyzyjne wyrównanie czasu z innymi urządzeniami Aria Gen 2 lub kompatybilnymi urządzeniami obsługującymi radio Sub-GHz. Technologia ta zapewnia wyrównanie czasu z dokładnością poniżej milisekundy, co oznacza znaczną poprawę w stosunku do technologii radiowej Sub-GHz. programowe wyrównanie Gen 1.

0:00 / 0:00

Film pokazuje, jak Aria Gen 2 wykorzystuje wyrównanie czasu urządzenia do zadań takich jak zapisywanie z rozproszonych przechwyceń z dwóch urządzeń Aria Gen 2.

5. Sygnały percepcji maszynowej (MP) w czasie rzeczywistym na urządzeniu

Aria Gen 2 posiada zaawansowane algorytmy percepcji maszynowej, które działają na energooszczędnym koprocesorze Meta. Te najnowocześniejsze funkcje umożliwiają urządzeniu generowanie precyzyjnych i dokładnych danych, śledząc sposób interakcji z otoczeniem.

Wizualna odometria inercyjna (VIO)

Jedną z kluczowych cech Aria Gen 2 jest możliwość śledzenia okularów w sześciu stopniach swobody (6DOF) w przestrzennym układzie odniesienia przy użyciu wizualnej odometrii inercyjnej (VIO). Pozwala to na płynną nawigację i mapowanie środowiska, otwierając nowe możliwości dla badań nad kontekstową sztuczną inteligencją i robotyką.

Eye Tracking

Aria Gen 2 posiada również zaawansowany system śledzenia oczu oparty na kamerze, który śledzi spojrzenie użytkownika z niezrównaną dokładnością. System ten zapewnia wiele informacji, w tym: spojrzenie na oko, punkt wergencji, wykrywanie mrugnięć, szacowanie środka źrenicy, średnicę źrenicy, środek rogówki itp.

Te zaawansowane sygnały umożliwiają głębsze zrozumienie uwagi i intencji użytkownika, otwierając nowe możliwości interakcji człowiek-komputer.

Śledzenie dłoni

Aria Gen 2 posiada również rozwiązanie do śledzenia dłoni, które śledzi dłoń użytkownika w przestrzeni 3D. Tworzy to przegubowe pozy stawów dłoni w układzie odniesienia urządzenia, ułatwiając dokładne adnotacje dłoni dla zestawów danych i umożliwiając aplikacje, takie jak zręczna manipulacja rękami robota, które wymagają wysokiej precyzji.

0:00 / 0:00

Demonstracja czujników i możliwości percepcji maszynowej Aria Gen 2, a także opartych na nich algorytmów poza urządzeniem.

Przyszłość Arii jest tutaj: Bądź na bieżąco

Okulary Aria Gen 2 utorują drogę przyszłym innowacjom, które zdefiniują kolejną platformę obliczeniową. Aplikacje do pracy z Aria Gen 2 zostaną otwarte jeszcze w tym roku, a naukowcy, którzy chcą być na bieżąco, mogą dołączyć do platformy Lista zainteresowań Aria Gen 2. W międzyczasie wnioski o zestaw Aria Research Kit z okularami Aria Gen 1 są nadal przyjmowane na bieżąco.aplikuj teraz aby rozpocząć natychmiast.

Dołącz do nas na CVPR 2025 w Nashville, Tennessee, gdzie zespół zaprezentuje okulary Aria Gen 2 poprzez interaktywne pokazy. Odwiedź stoisko Meta, aby poznać najnowsze osiągnięcia i dowiedzieć się więcej o innowacyjnych funkcjach Aria Gen 2.