Вътре в Aria Gen 2: опознайте най-модерните технологии зад устройството

В началото на тази година обяви най-новите ни изследователски очила, Aria Gen 2, които са продължение на мисията на проекта Aria да даде възможност на изследователите от цял свят да развиват състоянието на техниката в областта на машинното възприятие, контекстуалния изкуствен интелект и роботиката чрез достъп до най-съвременния изследователски хардуер и набори от данни, модели и инструменти с отворен код. Днес сме развълнувани да споделим повече за технологиите в Aria Gen 2. Това включва задълбочен преглед на форм-фактора, аудио възможностите, живота на батерията, подобрените камери и сензори, изчисленията на устройството и др.

Какво е Aria Gen 2?

Aria Gen 2 е носимо устройство, което съчетава най-новите постижения в областта на компютърното зрение, машинното обучение и сензорните технологии. Компактният форм-фактор и лекият дизайн на Aria Gen 2 го правят идеален избор за изследователи, които трябва да събират данни или да създават прототипи в различни условия. Очилата съдържат редица подобрения в сравнение с Aria Gen 1, неговият предшественик в областта на научните изследвания, обявен още през 2020 г.

Aria Gen 2: постижения и функции

Преминаването от Aria Gen 1 към Gen 2 бележи значителен скок в областта на носимите технологии, като предлага подобрени функции и възможности, които отговарят на по-широк кръг от приложения и нужди на потребителите. По-долу разглеждаме основните разлики и подобрения, въведени в Aria Gen 2.

1. Износеност

Aria Gen 2 се отличава с превъзходно удобство при носене, характеризиращо се с повишен комфорт и прилягане, като същевременно се адаптира към по-широк спектър от морфологии на лицето и богат набор от сензори за изследвания. Очилата запазват лекия си дизайн (с тегло 74 - 76 г в зависимост от размера) и вече включват сгъваеми рамена за по-лесно съхранение и транспортиране при ежедневна употреба. За да осигурим на всеки потребител оптимално физическо и функционално прилягане, въведохме осем варианта на размера на устройството, като взехме предвид редица човешки фактори, включително широчината на главата и вариациите на носа.

Осем варианта на размери на нашите устройства Aria Gen 2.

2. Усъвършенстване на камерата за компютърно зрение (CV)

Висок динамичен обхват (HDR): Сензорът на камерата с глобален затвор на Aria Gen 2 предлага висок динамичен диапазон от 120 dB в сравнение с диапазона от 70 dB в Gen 1. Това дава възможност за изпълнение на задачи за компютърно зрение при различни условия на осветеност.

0:00 / 0:00

Видеоклипът показва, че камерата CV може да заснема изключително динамични сцени, като нажежаемата жичка на LED лампата се изобразява заедно с останалите детайли от сцената.

Широко зрително поле (FOV): Aria Gen 2 е оборудван с четири камери за компютърно зрение (CV), което удвоява броя на CV камерите в Gen 1, за да се осигури по-широко зрително поле и да се даде възможност за усъвършенствано 3D проследяване на ръце и обекти.

Стерео припокриване: Стереозастъпването в Gen 2 е увеличено до 80° в сравнение с 35° в Gen 1, което улеснява създаването на стереомодели, които подобряват възприемането на дълбочината и пространственото осъзнаване.

0:00 / 0:00

Примерът тук илюстрира как увеличеното стерео припокриване позволява на методи като FoundationStereo на NVIDIA да генерират карти на дълбочината въз основа на ректифицирани стерео изображения. Картите на дълбочината могат да бъдат слети, за да се генерират геометрични реконструкции на сцената, като се използват само данните от стерео двойките на Aria Gen 2.

3. Интеграция на нови сензори

Сензор за околна светлина (ALS): Aria Gen 2 включва калибрирана ALS, която позволява по-добри алгоритми за контрол на експозицията и разкрива нови възможности при ниски честоти на кадрите. Ултравиолетовият режим на ALS може да се използва за разграничаване на вътрешно и външно осветление, както е показано във видеото.

0:00 / 0:00

Микрофон за контакт: Aria Gen 2 включва контактен микрофон, вграден в подложката за нос на устройството, който подобрява улавянето на звук в шумна среда.

0:00 / 0:00

Във видеото се показва потребител във въздушен тунел, за да се симулира ветровит сценарий, при който контактният микрофон може да улови шепота на потребителя, когато акустичните микрофони не могат.

Сърдечен ритъм: Aria Gen 2 включва фотоплетизмографски (PPG) сензор, вграден в подложката за нос на устройството, който позволява оценка на сърдечната честота на човека, носещ устройството.

4. Изравняване на времето на устройството

Aria Gen 2 разполага с вградено хардуерно решение, което използва радиотехнология Sub-GHz за излъчване на информация за времето, което позволява прецизно съгласуване на времето с други устройства Aria Gen 2 или съвместими устройства, които поддържат радио Sub-GHz. Тази технология постига изравняване на времето с точност под милисекунда, което е значително подобрение в сравнение с софтуерно подравняване на Gen 1.

0:00 / 0:00

Видеоклипът показва как Aria Gen 2 използва изравняване на времето на устройствата за задачи като запис от разпределени заснемания от две устройства Aria Gen 2.

5. Сигнали за машинно възприятие (MP) в реално време на устройството

Aria Gen 2 разполага с усъвършенствани алгоритми за машинно възприемане на устройството, които работят с енергийно ефективния персонализиран копроцесор на Meta. Тези авангардни възможности позволяват на устройството да генерира прецизни и точни данни, проследяващи начина, по който взаимодействаме със заобикалящата ни среда.

Визуална инерционна одометрия (VIO)

Една от ключовите характеристики на Aria Gen 2 е способността му да проследява очилата в шест степени на свобода (6DOF) в рамките на пространствена референтна рамка, като използва визуална инерционна одометрия (VIO). Това позволява безпроблемна навигация и картографиране на околната среда, като открива нови възможности за изследвания в областта на контекстния изкуствен интелект и роботиката.

Проследяване на очите

Aria Gen 2 разполага и с усъвършенствана система за проследяване на погледа, базирана на камера, която проследява погледа на потребителя с несравнима точност. Тази система предоставя богата информация, включително: поглед на око, точка на вергенция, откриване на мигане, оценка на центъра на зеницата, диаметър на зеницата, център на роговицата и др.

Тези усъвършенствани сигнали дават възможност за по-дълбоко разбиране на визуалното внимание и намеренията на потребителя, като разкриват нови възможности за взаимодействие между човека и компютъра.

Проследяване на ръката

Aria Gen 2 разполага и с решение за проследяване на ръката, което проследява ръката на потребителя в 3D пространството. По този начин се създават артикулирани позиции на ставите на ръцете в референтната рамка на устройството, което улеснява точните анотации на ръцете за набори от данни и дава възможност за приложения като манипулиране на сръчни ръце на роботи, които изискват висока прецизност.

0:00 / 0:00

Демонстрация на сензорите и възможностите за машинно възприятие на Aria Gen 2, както и на изградените на тяхна основа алгоритми извън устройството.

Бъдещето на Aria е тук: Бъдете информирани

Очилата Aria Gen 2 проправят пътя за бъдещи иновации, които ще определят следващата компютърна платформа. Заявленията за работа с Aria Gen 2 ще бъдат отворени по-късно тази година, а изследователите, които се интересуват от това да бъдат информирани, могат да се присъединят към Списък с интереси за Aria Gen 2. Междувременно все още се приемат заявления за изследователски комплект Aria с очила Aria Gen 1 на ротационен принцип.кандидатствайте сега за да започнете веднага.

Присъединете се към нас в CVPR 2025 в Нешвил, Тенеси, през юни тази година, където екипът ще представи очилата Aria Gen 2 чрез интерактивни демонстрации. Посетете щанда на Meta, за да се запознаете с най-новите постижения и да научите повече за иновативните функции на Aria Gen 2.