Днес представяме ново изследване от Georgia Tech която помага на роботите да се обучават да изпълняват основни ежедневни задачи, като използва егоцентрични записи от потребителите на Проект Aria изследователски очила. Вижте видеото по-долу, прочетете цялата история или кандидатствайте за собствен изследователски комплект Project Aria.

Представете си, че имате помощ при изпълнението на ежедневните задачи в дома си, като пране, миене на чинии и извършване на ремонти. Вече използваме инструменти, които ни помагат в тези задачи, като перални машини, съдомиялни машини и електрически бормашини. Но какво би станало, ако можехте да разполагате с още по-мощен и гъвкав инструмент под формата на хуманоиден робот, който може да се учи от вас и да ускорява всеки брой физически проекти от списъка ви със задачи?

Дори и да разполагате с наличната хардуерна система, обучението на робот за изпълнение на ежедневни задачи може да се осъществи само чрез бавен и тромав метод за събиране на данни, наречен телеоперация на роботи. Досега. С помощта на Изследователски комплект за проекта Aria, професор Danfei Xu и Лаборатория за роботизирано обучение и аргументиране в Georgia Tech използват егоцентричните сензори на очилата Aria, за да създават така наречените "човешки данни" за задачи, които искат да бъдат възпроизведени от хуманоиден робот. Те използват човешките данни, за да намалят драстично количеството на данните за телеоперация на робота, необходими за обучение на политиката на робота - пробив, който един ден може да направи хуманоидните роботи способни да научат всеки брой задачи, които човек може да демонстрира.

Kareer управлява телеуправляемия робот, за да заснеме данни за съвместно обучение за EgoMimic. Телеоперацията може да бъде трудна за мащабиране и да изисква значителни човешки усилия.

"Традиционно събирането на данни за роботиката означава създаване на демонстрационни данни", казва Симар Карер, докторант в Техническия университет в Джорджия. Училище за интерактивни компютри. "Управлявате ставите на робота с помощта на контролер, за да го преместите и да постигнете желаната задача, и правите това стотици пъти, като записвате данни от сензори, след което обучавате моделите си. Това е бавно и трудно. Единственият начин да се прекъсне този цикъл е да се отдели събирането на данни от самия робот".

Днес моделите на политиката за роботите се обучават с големи количества целеви демонстрационни данни, специфични за всяка тясна задача, което е свързано с високи разходи. Кареър изказва хипотезата, че вместо това пасивно събраните данни от много изследователи, като данните, уловени от очилата Aria, могат да се използват за създаване на данни за много по-широк набор от задачи, за да се създадат по-общополезни роботи в бъдеще.

Вдъхновен от Проект Aria и Ego-Exo4D която включва огромен набор от егоцентрични данни с над 3 хил. часа видеозаписи на дейности от ежедневието, Kareer разработи EgoMimic, нова алгоритмична рамка, която използва данни за човека и данни за робота за разработване на хуманоидни роботи.

"Когато погледнах Ego4D, видях набор от данни, който е същият като всички големи набори от данни за роботи, които се опитваме да съберем, само че с хора", обяснява Кареър. "Просто носите чифт очила и отивате да правите нещо. Не е необходимо да идва от робота. Тя трябва да идва от нещо по-скалируемо и пасивно генерирано, което сме ние." В изследването на Кареър очилата Aria са използвани за създаване на човешки данни за съвместно обучение на рамката EgoMimic.

Kareer създава данни за съвместно обучение на хора, като записва с очилата Aria, докато сгъва тениска.

Очилата Aria се използват не само за събиране на данни от хора в изследванията на Georgia Tech. Те се използват и като неразделна част от настройките за работа на робота в реално време. Очилата Aria се монтират на платформата на хуманоидния робот точно като чифт очи и служат като интегриран пакет от сензори, който позволява на робота да възприема околната среда в реално време. Aria Client SDK се използва за стрийминг на сензорните данни на Aria директно в политиката на робота, работеща на прикачен компютър, който на свой ред управлява задвижването на робота. Използването на очила Aria както за събиране на данни, така и за конвейера за възприемане в реално време, свежда до минимум разликата в областта между човека демонстратор и робота, като проправя пътя за мащабно генериране на човешки данни за бъдещо обучение на задачи в областта на роботиката.

Очилата Aria, монтирани в горната част на робота, предоставят на системата сензорни данни, които позволяват на робота да възприема и взаимодейства с пространството.

Благодарение на EgoMimic Kareer постигна 400% увеличение на производителността на своя робот при различни задачи в сравнение с предишни методи само с 90 минути записи на Aria. Роботът също така успя да изпълни успешно тези задачи в непознати досега среди.

В бъдеще хуманоидните роботи ще могат да бъдат обучавани в голям мащаб, като използват егоцентрични данни, за да изпълняват различни задачи по същия начин, както хората.

"Гледаме на Aria като на инвестиция в изследователската общност", казва Джеймс Форт, продуктов мениджър на Reality Labs Research в Meta. "Колкото повече се стандартизира егоцентричната изследователска общност, толкова повече изследователи ще могат да си сътрудничат. Наистина чрез подобно мащабиране с общността можем да започнем да решаваме по-големи проблеми, свързани с това как ще работят нещата в бъдеще."

Кареер ще представи доклада си за EgoMimic на конференцията 2025 Международна конференция на инженерите на IEEE по роботика и автоматизация (ICRA) в Атланта.

От стартирането му през 2020 г, Проект Aria даде възможност на изследователи от цял свят да напреднат в областта на машинното възприятие и изкуствения интелект чрез достъп до най-съвременния изследователски хардуер и отворен код. набори от данни, модели и инструменти. Днес сме развълнувани да обявим следващата стъпка в това пътуване: представянето на очилата Aria Gen 2. Това следващо поколение хардуер ще отключи нови възможности в широк спектър от изследователски области, включително машинно възприятие, егоцентричен и контекстуален ИИ и роботика.

0:00 / 0:00

За изследователи, които искат да проучат как системите с изкуствен интелект могат да подобрят да разбирате света от човешка гледна точка., очилата Aria Gen 2 добавят нов набор от възможности към платформата Aria. Те включват редица постижения, които не се срещат в никое друго устройство, налично днес, и достъпът до тези революционни технологии ще позволи на изследователите да разширят границите на възможното.

В сравнение с Aria Gen 1, уникалното предложение за стойност на Aria Gen 2 включва:

• Най-съвременният набор от сензори: Подобреният набор от сензори включва RGB камера, 6DOF SLAM камери, камери за проследяване на очите, пространствени микрофони, IMU, барометър, магнитометър и GNSS. В сравнение с предшественика си Aria Gen 1, новото поколение въвежда два иновативни сензора, вградени в подложката за нос: PPG сензор за измерване на сърдечния ритъм и контактен микрофон за разграничаване на гласа на ползвателя от този на странични лица.
• Възприемане на машината с изключително ниска консумация на енергия и в устройството: SLAM, проследяването на очите, проследяването на ръцете и разпознаването на речта се обработват в устройството с помощта на персонализирания силиций на Meta.
• Целодневна използваемост: Очилата Aria Gen 2 издържат от шест до осем часа непрекъсната работа, тежат около 75 грама и имат сгъваеми рамена за лесно пренасяне.
• Взаимодействие чрез аудио: Потребителите получават аудио обратна връзка чрез най-добрите в класа си високоговорители с отворени уши, което позволява създаване на прототипи на системи в контура на потребителя.

Нашият десетилетно пътуване за създаване на следващата компютърна платформа доведе до разработването на тези важни технологии. В Meta екипите на Reality Labs Research и лабораторията FAIR AI ще ги използват, за да развият дългосрочната ни изследователска визия.. Предоставянето им на академичните и търговските изследователски лаборатории чрез проекта Aria ще допринесе за по-нататъшното развитие на отворените изследвания и общественото разбиране на ключов набор от технологии, които според нас ще помогнат да се оформи бъдещето на компютрите и изкуствения интелект.

Отворените изследвания, които проектът Aria позволява от 2020 г. насам, вече доведоха до важна работа, включително до създаването на инструменти с отворен код, които се използват широко в академичните среди и индустрията. На сайта Набор от данни Ego-Exo4D, събрани с помощта на първото поколение очила Aria, се превърнаха в основополагащ инструмент в съвременното компютърно зрение и разрастващата се област на роботиката. Изследователи от Техническия университет в Джорджия наскоро показаха как изследователският комплект Aria може да да помогнете на хуманоидните роботи да се научат да помагат на хората в дома., докато екипи на BMW го използва, за да проучи как да интегрира системите за добавена и виртуална реалност в интелигентните превозни средства.

Aria също така дава възможност за разработване на нови технологии за достъпност. Първото поколение очила Aria се използва от Университет Карнеги Мелън в проекта NavCog, която имаше за цел да създаде технологии за подпомагане на слепи и слабовиждащи лица при навигация в закрити помещения. Въз основа на тази основа очилата Aria Gen 2 сега се използват от Envision, компания, посветена на създаването на решения за незрящи хора или хора със слабо зрение. Envision проучва възможностите за интегриране на своите Ally Асистент с изкуствен интелект и пространствен звук с помощта на най-новите очила Aria Gen 2 за подобряване на навигацията на закрито и достъпността.

0:00 / 0:00

Envision използва SLAM възможностите на Aria Gen 2 в устройството, заедно с функциите за пространствен звук чрез вградените високоговорители, за да помогне на слепи и слабовиждащи хора да се ориентират безпроблемно в закрити пространства. Това иновативно използване на технологиите, което все още е в проучвателна и изследователска фаза, е пример за това как изследователите могат да използват очилата Aria Gen 2 за създаване на прототипи на преживявания с изкуствен интелект въз основа на егоцентрични наблюдения. Усъвършенстваните сензори и възможностите за машинно възприемане на устройството, включително SLAM, проследяване на очите, проследяване на ръцете и аудио взаимодействия, ги правят идеални и за събиране на данни за приложения в областта на научните изследвания и роботиката.

През следващите месеци ще споделим повече подробности за времето, в което устройствата ще бъдат достъпни за партньорите. Изследователите, които се интересуват от достъп до Aria Gen 2, могат регистрирайте се, за да получавате актуализации. С нетърпение очакваме да видим как изследователите ще използват Aria Gen 2, за да проправят пътя към бъдещи иновации, които ще оформят следващата компютърна платформа.

В началото на тази година обяви най-новите ни изследователски очила, Aria Gen 2, които са продължение на мисията на проекта Aria да даде възможност на изследователите от цял свят да развиват състоянието на техниката в областта на машинното възприятие, контекстуалния изкуствен интелект и роботиката чрез достъп до най-съвременния изследователски хардуер и набори от данни, модели и инструменти с отворен код. Днес сме развълнувани да споделим повече за технологиите в Aria Gen 2. Това включва задълбочен преглед на форм-фактора, аудио възможностите, живота на батерията, подобрените камери и сензори, изчисленията на устройството и др.

Какво е Aria Gen 2?

Aria Gen 2 е носимо устройство, което съчетава най-новите постижения в областта на компютърното зрение, машинното обучение и сензорните технологии. Компактният форм-фактор и лекият дизайн на Aria Gen 2 го правят идеален избор за изследователи, които трябва да събират данни или да създават прототипи в различни условия. Очилата съдържат редица подобрения в сравнение с Aria Gen 1, неговият предшественик в областта на научните изследвания, обявен още през 2020 г.

Aria Gen 2: постижения и функции

Преминаването от Aria Gen 1 към Gen 2 бележи значителен скок в областта на носимите технологии, като предлага подобрени функции и възможности, които отговарят на по-широк кръг от приложения и нужди на потребителите. По-долу разглеждаме основните разлики и подобрения, въведени в Aria Gen 2.

1. Износеност

Aria Gen 2 се отличава с превъзходно удобство при носене, характеризиращо се с повишен комфорт и прилягане, като същевременно се адаптира към по-широк спектър от морфологии на лицето и богат набор от сензори за изследвания. Очилата запазват лекия си дизайн (с тегло 74 - 76 г в зависимост от размера) и вече включват сгъваеми рамена за по-лесно съхранение и транспортиране при ежедневна употреба. За да осигурим на всеки потребител оптимално физическо и функционално прилягане, въведохме осем варианта на размера на устройството, като взехме предвид редица човешки фактори, включително широчината на главата и вариациите на носа.

Осем варианта на размери на нашите устройства Aria Gen 2.

2. Усъвършенстване на камерата за компютърно зрение (CV)

Висок динамичен обхват (HDR): Сензорът на камерата с глобален затвор на Aria Gen 2 предлага висок динамичен диапазон от 120 dB в сравнение с диапазона от 70 dB в Gen 1. Това дава възможност за изпълнение на задачи за компютърно зрение при различни условия на осветеност.

0:00 / 0:00

Видеоклипът показва, че камерата CV може да заснема изключително динамични сцени, като нажежаемата жичка на LED лампата се изобразява заедно с останалите детайли от сцената.

Широко зрително поле (FOV): Aria Gen 2 е оборудван с четири камери за компютърно зрение (CV), което удвоява броя на CV камерите в Gen 1, за да се осигури по-широко зрително поле и да се даде възможност за усъвършенствано 3D проследяване на ръце и обекти.

Стерео припокриване: Стереозастъпването в Gen 2 е увеличено до 80° в сравнение с 35° в Gen 1, което улеснява създаването на стереомодели, които подобряват възприемането на дълбочината и пространственото осъзнаване.

0:00 / 0:00

Примерът тук илюстрира как увеличеното стерео припокриване позволява на методи като FoundationStereo на NVIDIA да генерират карти на дълбочината въз основа на ректифицирани стерео изображения. Картите на дълбочината могат да бъдат слети, за да се генерират геометрични реконструкции на сцената, като се използват само данните от стерео двойките на Aria Gen 2.

3. Интеграция на нови сензори

Сензор за околна светлина (ALS): Aria Gen 2 включва калибрирана ALS, която позволява по-добри алгоритми за контрол на експозицията и разкрива нови възможности при ниски честоти на кадрите. Ултравиолетовият режим на ALS може да се използва за разграничаване на вътрешно и външно осветление, както е показано във видеото.

0:00 / 0:00

Микрофон за контакт: Aria Gen 2 включва контактен микрофон, вграден в подложката за нос на устройството, който подобрява улавянето на звук в шумна среда.

0:00 / 0:00

Във видеото се показва потребител във въздушен тунел, за да се симулира ветровит сценарий, при който контактният микрофон може да улови шепота на потребителя, когато акустичните микрофони не могат.

Сърдечен ритъм: Aria Gen 2 включва фотоплетизмографски (PPG) сензор, вграден в подложката за нос на устройството, който позволява оценка на сърдечната честота на човека, носещ устройството.

4. Изравняване на времето на устройството

Aria Gen 2 разполага с вградено хардуерно решение, което използва радиотехнология Sub-GHz за излъчване на информация за времето, което позволява прецизно съгласуване на времето с други устройства Aria Gen 2 или съвместими устройства, които поддържат радио Sub-GHz. Тази технология постига изравняване на времето с точност под милисекунда, което е значително подобрение в сравнение с софтуерно подравняване на Gen 1.

0:00 / 0:00

Видеоклипът показва как Aria Gen 2 използва изравняване на времето на устройствата за задачи като запис от разпределени заснемания от две устройства Aria Gen 2.

5. Сигнали за машинно възприятие (MP) в реално време на устройството

Aria Gen 2 разполага с усъвършенствани алгоритми за машинно възприемане на устройството, които работят с енергийно ефективния персонализиран копроцесор на Meta. Тези авангардни възможности позволяват на устройството да генерира прецизни и точни данни, проследяващи начина, по който взаимодействаме със заобикалящата ни среда.

Визуална инерционна одометрия (VIO)

Една от ключовите характеристики на Aria Gen 2 е способността му да проследява очилата в шест степени на свобода (6DOF) в рамките на пространствена референтна рамка, като използва визуална инерционна одометрия (VIO). Това позволява безпроблемна навигация и картографиране на околната среда, като открива нови възможности за изследвания в областта на контекстния изкуствен интелект и роботиката.

Проследяване на очите

Aria Gen 2 разполага и с усъвършенствана система за проследяване на погледа, базирана на камера, която проследява погледа на потребителя с несравнима точност. Тази система предоставя богата информация, включително: поглед на око, точка на вергенция, откриване на мигане, оценка на центъра на зеницата, диаметър на зеницата, център на роговицата и др.

Тези усъвършенствани сигнали дават възможност за по-дълбоко разбиране на визуалното внимание и намеренията на потребителя, като разкриват нови възможности за взаимодействие между човека и компютъра.

Проследяване на ръката

Aria Gen 2 разполага и с решение за проследяване на ръката, което проследява ръката на потребителя в 3D пространството. По този начин се създават артикулирани позиции на ставите на ръцете в референтната рамка на устройството, което улеснява точните анотации на ръцете за набори от данни и дава възможност за приложения като манипулиране на сръчни ръце на роботи, които изискват висока прецизност.

0:00 / 0:00

Демонстрация на сензорите и възможностите за машинно възприятие на Aria Gen 2, както и на изградените на тяхна основа алгоритми извън устройството.

Бъдещето на Aria е тук: Бъдете информирани

Очилата Aria Gen 2 проправят пътя за бъдещи иновации, които ще определят следващата компютърна платформа. Заявленията за работа с Aria Gen 2 ще бъдат отворени по-късно тази година, а изследователите, които се интересуват от това да бъдат информирани, могат да се присъединят към Списък с интереси за Aria Gen 2. Междувременно все още се приемат заявления за изследователски комплект Aria с очила Aria Gen 1 на ротационен принцип.кандидатствайте сега за да започнете веднага.

Присъединете се към нас в CVPR 2025 в Нешвил, Тенеси, през юни тази година, където екипът ще представи очилата Aria Gen 2 чрез интерактивни демонстрации. Посетете щанда на Meta, за да се запознаете с най-новите постижения и да научите повече за иновативните функции на Aria Gen 2.