Categoria: Aria Gen 2

Since its launch in 2020, Project Aria has enabled researchers across the world to advance the state of the art in machine perception and AI, through access to cutting-edge research hardware and open-source datasets, models, and tooling. Today, we’re excited to announce the next step in this journey: the introduction of Aria Gen 2 glasses. This next generation of hardware will unlock new possibilities across a wide range of research areas including machine perception, egocentric and contextual AI, and robotics.

For researchers looking to explore how AI systems can better understand the world from a human perspective, Aria Gen 2 glasses add a new set of capabilities to the Aria platform. They include a number of advances not found on any other device available today, and access to these breakthrough technologies will enable researchers to push the boundaries of what’s possible.

Em comparação com o Aria Gen 1, a proposta de valor única do Aria Gen 2 inclui

• Conjunto de sensores de última geração: O conjunto de sensores atualizado inclui uma câmara RGB, câmaras SLAM 6DOF, câmaras de rastreio ocular, microfones espaciais, IMUs, barómetro, magnetómetro e GNSS. Em comparação com o seu antecessor, o Aria Gen 1, a nova geração introduz dois sensores inovadores incorporados na almofada do nariz: um sensor PPG para medir o ritmo cardíaco e um microfone de contacto para distinguir a voz do utilizador da voz dos transeuntes.
• Perceção de máquina de ultra baixo consumo e no dispositivo: O SLAM, o seguimento dos olhos, o seguimento das mãos e o reconhecimento de voz são todos processados no dispositivo utilizando o silício personalizado da Meta.
• Utilização durante todo o dia: Os óculos Aria Gen 2 têm capacidade para seis a oito horas de utilização contínua, pesam cerca de 75 gramas e têm braços dobráveis para facilitar o transporte.
• Interação através do áudio: Os utilizadores obtêm feedback de áudio através dos melhores altifalantes de cancelamento de força de ouvido aberto da sua classe, permitindo a prototipagem de sistemas "user-in-the-loop".

Our decade-long journey to create the next computing platform has led to the development of these critical technologies. Na Meta, as equipas do Reality Labs Research e do laboratório FAIR AI irão utilizá-los para fazer avançar a nossa visão de investigação a longo prazo. A sua disponibilização a laboratórios de investigação académicos e comerciais através do Projeto Aria fará avançar ainda mais a investigação aberta e a compreensão pública de um conjunto fundamental de tecnologias que acreditamos que ajudarão a moldar o futuro da computação e da IA.

The open research enabled by Project Aria since 2020 has already led to important work, including the creation of open-source tools in wide use across academia and industry. The Ego-Exo4D dataset, collected using the first generation of Aria glasses, has become a foundational tool across modern computer vision and the growing field of robotics. Researchers at Georgia Tech recently showed how the Aria Research Kit can help humanoid robots learn to assist people in the home, while teams at BMW used it to explore how to integrate augmented and virtual reality systems into smart vehicles.

And Aria is also enabling the development of new technologies for accessibility. The first-generation Aria glasses were utilized by Carnegie Mellon University in their NavCog project, which aimed to build technologies to assist blind and low-vision individuals with indoor navigation. Building on this foundation, the Aria Gen 2 glasses are now being leveraged by Envision, a company dedicated to creating solutions for people who are blind or have low vision. Envision is exploring the integration of its Ally AI assistant and spatial audio using the latest Aria Gen 2 glasses to enhance indoor navigation and accessibility experiences.

A Envision utilizou as capacidades SLAM no dispositivo do Aria Gen 2, juntamente com as funcionalidades de áudio espacial através de altifalantes integrados, para ajudar indivíduos cegos e com baixa visão a navegar sem problemas em ambientes interiores. Esta utilização inovadora das tecnologias, que ainda se encontra em fase exploratória e de investigação, exemplifica como os investigadores podem aproveitar os óculos Aria Gen 2 para criar protótipos de experiências de IA com base em observações egocêntricas. Os sensores avançados e as capacidades de perceção da máquina no dispositivo, incluindo SLAM, seguimento dos olhos, seguimento das mãos e interações áudio, também os tornam ideais para a recolha de dados para aplicações de investigação e robótica.

Over the coming months, we’ll share more details about the timing of device availability to partners. Researchers interested in accessing Aria Gen 2 can sign up to receive updates. We’re excited to see how researchers will leverage Aria Gen 2 to pave the way for future innovations that will shape the next computing platform.

Earlier this year, we announced our latest research glasses, Aria Gen 2, marking the continuation of Project Aria’s mission to enable researchers across the world to advance the state of the art in machine perception, contextual AI, and robotics through access to cutting-edge research hardware and open source datasets, models, and tooling. Today, we’re excited to share more about the technology inside Aria Gen 2. This includes an in-depth overview of the form factor, audio capabilities, battery life, upgraded cameras and sensors, on-device compute, and more.

O que é o Aria Gen 2?

Aria Gen 2 is a wearable device that combines the latest advancements in computer vision, machine learning, and sensor technology. Aria Gen 2’s compact form factor and lightweight design make it an ideal choice for researchers who need to collect data or build prototypes in a variety of settings. The glasses contain a number of improvements when compared to Aria Gen 1, its research predecessor, announced back in 2020.

Aria Gen 2: Avanços e caraterísticas

A transição do Aria Gen 1 para o Gen 2 marca um salto significativo na tecnologia wearable, oferecendo funcionalidades e capacidades melhoradas que respondem a uma gama mais vasta de aplicações e necessidades dos utilizadores. De seguida, exploramos as principais diferenças e melhorias introduzidas no Aria Gen 2.

1. Usabilidade

O Aria Gen 2 apresenta uma capacidade de utilização superior, caracterizada por um conforto e ajuste melhorados, ao mesmo tempo que acomoda uma gama mais vasta de morfologias faciais e um conjunto de sensores rico para investigação. Os óculos mantêm um design leve (pesando entre 74 e 76 g, dependendo do tamanho) e incluem agora braços dobráveis para facilitar a arrumação e o transporte para uso quotidiano. Para garantir que cada utilizador tem um ajuste físico e funcional ideal, introduzimos oito variações de tamanho do dispositivo - tendo em conta uma série de factores humanos, incluindo a largura da cabeça e a variação da ponte do nariz.

Oito variações de tamanho dos nossos dispositivos Aria Gen 2.

2. Melhorias nas câmaras de visão por computador (CV)

Gama dinâmica elevada (HDR): O sensor de câmara com obturador global do Aria Gen 2 oferece uma gama dinâmica elevada de 120 dB, em comparação com a gama de 70 dB da Gen 1. Isto permite tarefas de visão por computador superiores em diversas condições de iluminação.

O vídeo ilustra que a câmara CV é capaz de captar cenas altamente dinâmicas com o filamento de uma luz LED a ser resolvido juntamente com o resto dos detalhes da cena.

Amplo campo de visão (FOV): A Aria Gen 2 está equipada com quatro câmaras de visão por computador (CV), duplicando o número de câmaras CV da Gen 1, para proporcionar um campo de visão mais amplo e permitir o seguimento avançado de mãos e objectos em 3D.

Sobreposição de estéreo: A sobreposição estéreo na Geração 2 é aumentada para 80° em relação aos 35° da Geração 1, facilitando modelos de base estéreo que melhoram a perceção de profundidade e a consciência espacial.

O exemplo aqui ilustra como a maior sobreposição estéreo permite que métodos como o FoundationStereo da NVIDIA gerem mapas de profundidade com base em imagens estéreo rectificadas. Os mapas de profundidade podem ser fundidos para gerar reconstruções geométricas da cena usando apenas os dados do par estéreo do Aria Gen 2.

3. Novas integrações de sensores

Sensor de luz ambiente (ALS): O Aria Gen 2 inclui um ALS calibrado, permitindo melhores algoritmos de controlo de exposição e desbloqueando novas capacidades a baixas taxas de fotogramas. O modo ultravioleta do ALS pode ser utilizado para distinguir entre iluminação interior e exterior, tal como ilustrado no vídeo.

Microfone de contacto: O Aria Gen 2 inclui um microfone de contacto incorporado na base do nariz do dispositivo, melhorando a captação de áudio em ambientes ruidosos.

O vídeo mostra um utilizador num túnel de vento para simular um cenário ventoso em que o microfone de contacto consegue captar o sussurro do utilizador quando os microfones acústicos não conseguem.

Frequência cardíaca: O Aria Gen 2 inclui um sensor de fotopletismografia (PPG) incorporado na almofada nasal do dispositivo, que permite estimar o ritmo cardíaco da pessoa que está a usar o dispositivo.

4. Alinhamento do tempo do dispositivo

Aria Gen 2 has an onboard hardware solution that utilizes Sub-GHz radio technology to broadcast timing information, enabling precise time alignment with other Aria Gen 2 devices or compatible devices that support Sub-GHz radio. This technology achieves time alignment with an accuracy of sub-millisecond, marking a significant improvement over the software-based alignment of Gen 1.

O vídeo mostra como o Aria Gen 2 utiliza o alinhamento de tempo do dispositivo para tarefas como escrever a partir de capturas distribuídas de dois dispositivos Aria Gen 2.

5. Sinais de perceção mecânica (MP) em tempo real no dispositivo

O Aria Gen 2 inclui algoritmos avançados de perceção de máquina no dispositivo, executados no coprocessador personalizado e energeticamente eficiente da Meta. Estas capacidades de ponta permitem que o dispositivo gere dados precisos e exactos, acompanhando a forma como interagimos com o que nos rodeia.

Odometria Inercial Visual (VIO)

Uma das principais caraterísticas do Aria Gen 2 é a sua capacidade de seguir os óculos em seis graus de liberdade (6DOF) dentro de um quadro de referência espacial utilizando a Odometria Inercial Visual (VIO). Isto permite uma navegação e mapeamento perfeitos do ambiente, abrindo novas possibilidades de investigação em IA contextual e robótica.

Rastreio ocular

O Aria Gen 2 também possui um sistema avançado de seguimento ocular baseado numa câmara que segue o olhar do utilizador com uma precisão inigualável. Este sistema fornece uma grande quantidade de informações, incluindo: olhar por olho, ponto de vergência, deteção de pestanejo, estimativa do centro da pupila, diâmetro da pupila, centro da córnea, etc.

Estes sinais avançados permitem uma compreensão mais profunda da atenção visual e das intenções do utilizador, abrindo novas possibilidades de interação homem-computador.

Seguimento das mãos

O Aria Gen 2 também inclui uma solução de seguimento da mão que segue a mão do utilizador no espaço 3D. Isto produz poses articuladas das articulações da mão no quadro de referência do dispositivo, facilitando anotações exactas da mão para conjuntos de dados e permitindo aplicações como a manipulação da mão de robôs hábeis que requerem elevada precisão.

Demonstração dos sensores e das capacidades de perceção automática do Aria Gen 2, bem como dos algoritmos fora do dispositivo neles baseados.

O futuro do Aria está aqui: Mantenha-se informado

Aria Gen 2 glasses pave the way for future innovations that will define the next computing platform. Applications to work with Aria Gen 2 will open later this year, and researchers who are interested in staying informed can join the Aria Gen 2 interest list. Meanwhile, applications for Aria Research Kit with Aria Gen 1 glasses are still being accepted on a rolling basis—apply now to get started immediately.

Join us at CVPR 2025 in Nashville, Tennessee, this June, where the team will showcase Aria Gen 2 glasses through interactive demos. Visit the Meta booth to experience the latest advancements and learn more about the innovative features of Aria Gen 2.