Apresentamos o Aria Gen 2: desbloqueando novas pesquisas em perceção de máquina, IA contextual, robótica e muito mais

Since its launch in 2020, Project Aria has enabled researchers across the world to advance the state of the art in machine perception and AI, through access to cutting-edge research hardware and open-source datasets, models, and tooling. Today, we’re excited to announce the next step in this journey: the introduction of Aria Gen 2 glasses. This next generation of hardware will unlock new possibilities across a wide range of research areas including machine perception, egocentric and contextual AI, and robotics.

For researchers looking to explore how AI systems can better understand the world from a human perspective, Aria Gen 2 glasses add a new set of capabilities to the Aria platform. They include a number of advances not found on any other device available today, and access to these breakthrough technologies will enable researchers to push the boundaries of what’s possible.

Em comparação com o Aria Gen 1, a proposta de valor única do Aria Gen 2 inclui

• Conjunto de sensores de última geração: O conjunto de sensores atualizado inclui uma câmara RGB, câmaras SLAM 6DOF, câmaras de rastreio ocular, microfones espaciais, IMUs, barómetro, magnetómetro e GNSS. Em comparação com o seu antecessor, o Aria Gen 1, a nova geração introduz dois sensores inovadores incorporados na almofada do nariz: um sensor PPG para medir o ritmo cardíaco e um microfone de contacto para distinguir a voz do utilizador da voz dos transeuntes.
• Perceção de máquina de ultra baixo consumo e no dispositivo: O SLAM, o seguimento dos olhos, o seguimento das mãos e o reconhecimento de voz são todos processados no dispositivo utilizando o silício personalizado da Meta.
• Utilização durante todo o dia: Os óculos Aria Gen 2 têm capacidade para seis a oito horas de utilização contínua, pesam cerca de 75 gramas e têm braços dobráveis para facilitar o transporte.
• Interação através do áudio: Os utilizadores obtêm feedback de áudio através dos melhores altifalantes de cancelamento de força de ouvido aberto da sua classe, permitindo a prototipagem de sistemas "user-in-the-loop".

Our decade-long journey to create the next computing platform has led to the development of these critical technologies. Na Meta, as equipas do Reality Labs Research e do laboratório FAIR AI irão utilizá-los para fazer avançar a nossa visão de investigação a longo prazo. A sua disponibilização a laboratórios de investigação académicos e comerciais através do Projeto Aria fará avançar ainda mais a investigação aberta e a compreensão pública de um conjunto fundamental de tecnologias que acreditamos que ajudarão a moldar o futuro da computação e da IA.

The open research enabled by Project Aria since 2020 has already led to important work, including the creation of open-source tools in wide use across academia and industry. The Ego-Exo4D dataset, collected using the first generation of Aria glasses, has become a foundational tool across modern computer vision and the growing field of robotics. Researchers at Georgia Tech recently showed how the Aria Research Kit can help humanoid robots learn to assist people in the home, while teams at BMW used it to explore how to integrate augmented and virtual reality systems into smart vehicles.

And Aria is also enabling the development of new technologies for accessibility. The first-generation Aria glasses were utilized by Carnegie Mellon University in their NavCog project, which aimed to build technologies to assist blind and low-vision individuals with indoor navigation. Building on this foundation, the Aria Gen 2 glasses are now being leveraged by Envision, a company dedicated to creating solutions for people who are blind or have low vision. Envision is exploring the integration of its Ally AI assistant and spatial audio using the latest Aria Gen 2 glasses to enhance indoor navigation and accessibility experiences.

A Envision utilizou as capacidades SLAM no dispositivo do Aria Gen 2, juntamente com as funcionalidades de áudio espacial através de altifalantes integrados, para ajudar indivíduos cegos e com baixa visão a navegar sem problemas em ambientes interiores. Esta utilização inovadora das tecnologias, que ainda se encontra em fase exploratória e de investigação, exemplifica como os investigadores podem aproveitar os óculos Aria Gen 2 para criar protótipos de experiências de IA com base em observações egocêntricas. Os sensores avançados e as capacidades de perceção da máquina no dispositivo, incluindo SLAM, seguimento dos olhos, seguimento das mãos e interações áudio, também os tornam ideais para a recolha de dados para aplicações de investigação e robótica.

Over the coming months, we’ll share more details about the timing of device availability to partners. Researchers interested in accessing Aria Gen 2 can sign up to receive updates. We’re excited to see how researchers will leverage Aria Gen 2 to pave the way for future innovations that will shape the next computing platform.