Hoje, damos destaque a uma nova investigação da Georgia Tech que ajuda a treinar robôs para realizarem tarefas básicas do quotidiano, utilizando gravações egocêntricas de utilizadores de dispositivos Meta Projeto Aria óculos de investigação. Veja o vídeo abaixo, leia a história completa, ou candidate-se ao seu próprio kit de investigação Project Aria.

Imagine ter ajuda para realizar tarefas quotidianas em sua casa, como lavar a roupa, lavar a loiça e fazer reparações. Já usamos ferramentas para ajudar nestas tarefas, como máquinas de lavar roupa, máquinas de lavar louça e berbequins eléctricos. Mas e se pudesse ter uma ferramenta ainda mais poderosa e flexível sob a forma de um robô humanoide que pudesse aprender consigo e acelerar qualquer número de projectos físicos na sua lista de tarefas?

Mesmo que se tenha o sistema de hardware disponível, ensinar um robô a fazer tarefas quotidianas só pode ser conseguido através de um método de recolha de dados lento e desajeitado chamado teleoperação de robôs. Até agora. Ao utilizar o Kit de investigação do Projeto Aria, o Professor Danfei Xu e o Laboratório de Aprendizagem e Raciocínio Robótico em Georgia Tech utilizam os sensores egocêntricos dos óculos Aria para criar aquilo a que chamam "dados humanos" para tarefas que pretendem que um robô humanoide reproduza. Utilizam os dados humanos para reduzir drasticamente a quantidade de dados de teleoperação do robô necessários para treinar a política de um robô - um avanço que poderá um dia tornar os robôs humanóides capazes de aprender qualquer número de tarefas que um humano possa demonstrar.

Kareer teleopera o robot para captar dados de co-treino para o EgoMimic. A teleoperação pode ser difícil de escalar e exigir um esforço humano significativo.

"Tradicionalmente, a recolha de dados para a robótica significa criar dados de demonstração", afirma Simar Kareer, estudante de doutoramento no Escola de Computação Interactiva. "Opera-se as articulações do robô com um controlador para o mover e realizar a tarefa pretendida, e faz-se isto centenas de vezes enquanto se registam os dados dos sensores, para depois treinar os modelos. Isto é lento e difícil. A única forma de quebrar este ciclo é separar a recolha de dados do próprio robô."

Atualmente, os modelos de política dos robôs são treinados com grandes quantidades de dados de demonstração específicos para cada tarefa específica, a um custo elevado. Kareer coloca a hipótese de os dados recolhidos passivamente por muitos investigadores, como os dados captados pelos óculos Aria, poderem ser utilizados para permitir a criação de dados para um conjunto muito mais vasto de tarefas, a fim de criar robôs mais úteis no futuro.

Inspirado por Projeto Aria e Ego-Exo4D que inclui um enorme conjunto de dados egocêntricos com mais de 3 mil horas de gravações de vídeo de actividades da vida quotidiana, Kareer desenvolveu EgoMimicA nova estrutura algorítmica que utiliza dados humanos e dados de robôs para o desenvolvimento de robôs humanóides.

"Quando olhei para o Ego4D, vi um conjunto de dados que é igual a todos os grandes conjuntos de dados de robôs que estamos a tentar recolher, só que é com humanos", explica Kareer. "Basta usar um par de óculos e ir fazer coisas. Não precisa de vir do robô. Deve vir de algo mais escalável e gerado de forma passiva, que somos nós." Na investigação de Kareer, os óculos Aria foram utilizados para criar dados humanos para o treino conjunto da estrutura EgoMimic.

Kareer cria dados humanos de co-treino gravando com os óculos Aria enquanto dobra uma t-shirt.

Os óculos Aria não são apenas utilizados para a recolha de dados humanos na investigação do Georgia Tech. São também utilizados como um componente integral da configuração de funcionamento em tempo real do robô. Os óculos Aria são montados na plataforma do robô humanoide como se fossem um par de olhos e funcionam como um pacote de sensores integrados que permite ao robô percecionar o seu ambiente em tempo real. O Aria Client SDK é utilizado para transmitir os dados dos sensores do Aria diretamente para a política do robô, executada num PC ligado, que por sua vez controla a atuação do robô. A utilização dos óculos Aria, tanto para a recolha de dados como para a conduta de perceção em tempo real, minimiza a diferença de domínio entre o demonstrador humano e o robô, abrindo caminho para a geração de dados humanos à escala para o futuro treino de tarefas robóticas.

Os óculos Aria montados na parte superior do robô fornecem ao sistema dados de sensores que permitem ao robô perceber e interagir com o espaço.

Graças ao EgoMimic, Kareer conseguiu um aumento de 400% no desempenho do seu robô em várias tarefas, em comparação com os métodos anteriores, com apenas 90 minutos de gravações do Aria. O robô também foi capaz de executar com êxito estas tarefas em ambientes nunca antes vistos.

No futuro, os robôs humanóides poderão ser treinados em grande escala utilizando dados egocêntricos para realizar uma variedade de tarefas da mesma forma que os humanos.

"Encaramos o Aria como um investimento na comunidade de investigação", afirma James Fort, gestor de produtos de investigação do Reality Labs na Meta. "Quanto mais a comunidade de pesquisa egocêntrica se padronizar, mais os pesquisadores poderão colaborar. É realmente através de uma escala com a comunidade como esta que podemos começar a resolver problemas maiores sobre como as coisas vão funcionar no futuro."

Kareer apresentará o seu trabalho sobre o EgoMimic na 2025 Conferência Internacional de Engenheiros do IEEE sobre Robótica e Automação (ICRA) em Atlanta.

Desde o seu lançamento em 2020, Projeto Aria tem permitido a investigadores de todo o mundo fazer avançar o estado da arte da perceção automática e da IA, através do acesso a hardware de investigação de ponta e a software livre conjuntos de dadosmodelos e ferramentas. Hoje, temos o prazer de anunciar o próximo passo nesta jornada: a introdução dos óculos Aria Gen 2. Esta nova geração de hardware irá abrir novas possibilidades numa vasta gama de áreas de investigação, incluindo a perceção automática, a IA egocêntrica e contextual e a robótica.

0:00 / 0:00

Para os investigadores que procuram explorar a forma como os sistemas de IA podem melhorar compreender o mundo de uma perspetiva humanaOs óculos Aria Gen 2 acrescentam um novo conjunto de capacidades à plataforma Aria. Incluem uma série de avanços que não se encontram em nenhum outro dispositivo atualmente disponível e o acesso a estas tecnologias revolucionárias permitirá aos investigadores ultrapassar os limites do que é possível.

Em comparação com o Aria Gen 1, a proposta de valor única do Aria Gen 2 inclui

• Conjunto de sensores de última geração: O conjunto de sensores atualizado inclui uma câmara RGB, câmaras SLAM 6DOF, câmaras de rastreio ocular, microfones espaciais, IMUs, barómetro, magnetómetro e GNSS. Em comparação com o seu antecessor, o Aria Gen 1, a nova geração introduz dois sensores inovadores incorporados na almofada do nariz: um sensor PPG para medir o ritmo cardíaco e um microfone de contacto para distinguir a voz do utilizador da voz dos transeuntes.
• Perceção de máquina de ultra baixo consumo e no dispositivo: O SLAM, o seguimento dos olhos, o seguimento das mãos e o reconhecimento de voz são todos processados no dispositivo utilizando o silício personalizado da Meta.
• Utilização durante todo o dia: Os óculos Aria Gen 2 têm capacidade para seis a oito horas de utilização contínua, pesam cerca de 75 gramas e têm braços dobráveis para facilitar o transporte.
• Interação através do áudio: Os utilizadores obtêm feedback de áudio através dos melhores altifalantes de cancelamento de força de ouvido aberto da sua classe, permitindo a prototipagem de sistemas "user-in-the-loop".

O nosso viagem de uma década para criar a próxima plataforma de computação conduziu ao desenvolvimento destas tecnologias críticas. Na Meta, as equipas do Reality Labs Research e do laboratório FAIR AI irão utilizá-los para fazer avançar a nossa visão de investigação a longo prazo. A sua disponibilização a laboratórios de investigação académicos e comerciais através do Projeto Aria fará avançar ainda mais a investigação aberta e a compreensão pública de um conjunto fundamental de tecnologias que acreditamos que ajudarão a moldar o futuro da computação e da IA.

A investigação aberta possibilitada pelo Projeto Aria desde 2020 já deu origem a trabalhos importantes, incluindo a criação de ferramentas de código aberto amplamente utilizadas no meio académico e na indústria. O projeto Conjunto de dados Ego-Exo4Drecolhida com a primeira geração de óculos Aria, tornou-se uma ferramenta fundamental na visão por computador moderna e no domínio crescente da robótica. Os investigadores do Georgia Tech mostraram recentemente como o Aria Research Kit pode ajudar os robots humanóides a aprender a ajudar as pessoas em casa, enquanto equipas da BMW utilizou-a para explorar a forma de integrar sistemas de realidade aumentada e virtual em veículos inteligentes.

E o Aria está também a permitir o desenvolvimento de novas tecnologias de acessibilidade. Os óculos Aria de primeira geração foram utilizados por Universidade Carnegie Mellon no seu projeto NavCogque tinha como objetivo desenvolver tecnologias para ajudar pessoas cegas e com baixa visão na navegação em interiores. Com base nesta fundação, os óculos Aria Gen 2 estão agora a ser utilizados por PreverA Envision, uma empresa dedicada à criação de soluções para pessoas cegas ou com baixa visão. A Envision está a explorar a integração dos seus Aliado Assistente de IA e áudio espacial utilizando os mais recentes óculos Aria Gen 2 para melhorar a navegação interior e as experiências de acessibilidade.

0:00 / 0:00

A Envision utilizou as capacidades SLAM no dispositivo do Aria Gen 2, juntamente com as funcionalidades de áudio espacial através de altifalantes integrados, para ajudar indivíduos cegos e com baixa visão a navegar sem problemas em ambientes interiores. Esta utilização inovadora das tecnologias, que ainda se encontra em fase exploratória e de investigação, exemplifica como os investigadores podem aproveitar os óculos Aria Gen 2 para criar protótipos de experiências de IA com base em observações egocêntricas. Os sensores avançados e as capacidades de perceção da máquina no dispositivo, incluindo SLAM, seguimento dos olhos, seguimento das mãos e interações áudio, também os tornam ideais para a recolha de dados para aplicações de investigação e robótica.

Nos próximos meses, partilharemos mais pormenores sobre o calendário de disponibilidade dos dispositivos para os parceiros. Os investigadores interessados em aceder ao Aria Gen 2 podem inscrever-se para receber actualizações. Estamos entusiasmados por ver como os investigadores irão utilizar o Aria Gen 2 para abrir caminho a futuras inovações que irão moldar a próxima plataforma de computação.

No início deste ano, nós anunciado Os nossos mais recentes óculos de investigação, Aria Gen 2, marcam a continuação da missão do Projeto Aria de permitir que os investigadores de todo o mundo avancem o estado da arte na perceção de máquinas, IA contextual e robótica através do acesso a hardware de investigação de ponta e conjuntos de dados, modelos e ferramentas de código aberto. Hoje, estamos entusiasmados por partilhar mais sobre a tecnologia do Aria Gen 2. Isto inclui uma visão geral aprofundada do formato, capacidades de áudio, duração da bateria, câmaras e sensores actualizados, computação no dispositivo e muito mais.

O que é o Aria Gen 2?

O Aria Gen 2 é um dispositivo de vestir que combina os mais recentes avanços em visão computacional, aprendizagem automática e tecnologia de sensores. O formato compacto e o design leve do Aria Gen 2 fazem dele a escolha ideal para investigadores que precisam de recolher dados ou construir protótipos numa variedade de cenários. Os óculos contêm uma série de melhorias em comparação com Aria Gen 1, o seu antecessor de investigação, anunciado em 2020.

Aria Gen 2: Avanços e caraterísticas

A transição do Aria Gen 1 para o Gen 2 marca um salto significativo na tecnologia wearable, oferecendo funcionalidades e capacidades melhoradas que respondem a uma gama mais vasta de aplicações e necessidades dos utilizadores. De seguida, exploramos as principais diferenças e melhorias introduzidas no Aria Gen 2.

1. Usabilidade

O Aria Gen 2 apresenta uma capacidade de utilização superior, caracterizada por um conforto e ajuste melhorados, ao mesmo tempo que acomoda uma gama mais vasta de morfologias faciais e um conjunto de sensores rico para investigação. Os óculos mantêm um design leve (pesando entre 74 e 76 g, dependendo do tamanho) e incluem agora braços dobráveis para facilitar a arrumação e o transporte para uso quotidiano. Para garantir que cada utilizador tem um ajuste físico e funcional ideal, introduzimos oito variações de tamanho do dispositivo - tendo em conta uma série de factores humanos, incluindo a largura da cabeça e a variação da ponte do nariz.

Oito variações de tamanho dos nossos dispositivos Aria Gen 2.

2. Melhorias nas câmaras de visão por computador (CV)

Gama dinâmica elevada (HDR): O sensor de câmara com obturador global do Aria Gen 2 oferece uma gama dinâmica elevada de 120 dB, em comparação com a gama de 70 dB da Gen 1. Isto permite tarefas de visão por computador superiores em diversas condições de iluminação.

0:00 / 0:00

O vídeo ilustra que a câmara CV é capaz de captar cenas altamente dinâmicas com o filamento de uma luz LED a ser resolvido juntamente com o resto dos detalhes da cena.

Amplo campo de visão (FOV): A Aria Gen 2 está equipada com quatro câmaras de visão por computador (CV), duplicando o número de câmaras CV da Gen 1, para proporcionar um campo de visão mais amplo e permitir o seguimento avançado de mãos e objectos em 3D.

Sobreposição de estéreo: A sobreposição estéreo na Geração 2 é aumentada para 80° em relação aos 35° da Geração 1, facilitando modelos de base estéreo que melhoram a perceção de profundidade e a consciência espacial.

0:00 / 0:00

O exemplo aqui ilustra como a maior sobreposição estéreo permite que métodos como o FoundationStereo da NVIDIA gerem mapas de profundidade com base em imagens estéreo rectificadas. Os mapas de profundidade podem ser fundidos para gerar reconstruções geométricas da cena usando apenas os dados do par estéreo do Aria Gen 2.

3. Novas integrações de sensores

Sensor de luz ambiente (ALS): O Aria Gen 2 inclui um ALS calibrado, permitindo melhores algoritmos de controlo de exposição e desbloqueando novas capacidades a baixas taxas de fotogramas. O modo ultravioleta do ALS pode ser utilizado para distinguir entre iluminação interior e exterior, tal como ilustrado no vídeo.

0:00 / 0:00

Microfone de contacto: O Aria Gen 2 inclui um microfone de contacto incorporado na base do nariz do dispositivo, melhorando a captação de áudio em ambientes ruidosos.

0:00 / 0:00

O vídeo mostra um utilizador num túnel de vento para simular um cenário ventoso em que o microfone de contacto consegue captar o sussurro do utilizador quando os microfones acústicos não conseguem.

Frequência cardíaca: O Aria Gen 2 inclui um sensor de fotopletismografia (PPG) incorporado na almofada nasal do dispositivo, que permite estimar o ritmo cardíaco da pessoa que está a usar o dispositivo.

4. Alinhamento do tempo do dispositivo

O Aria Gen 2 tem uma solução de hardware integrada que utiliza a tecnologia de rádio Sub-GHz para transmitir informações de temporização, permitindo um alinhamento de tempo preciso com outros dispositivos Aria Gen 2 ou dispositivos compatíveis que suportem rádio Sub-GHz. Esta tecnologia alcança o alinhamento do tempo com uma precisão de sub-milissegundo, marcando uma melhoria significativa em relação ao alinhamento baseado em software da Geração 1.

0:00 / 0:00

O vídeo mostra como o Aria Gen 2 utiliza o alinhamento de tempo do dispositivo para tarefas como escrever a partir de capturas distribuídas de dois dispositivos Aria Gen 2.

5. Sinais de perceção mecânica (MP) em tempo real no dispositivo

O Aria Gen 2 inclui algoritmos avançados de perceção de máquina no dispositivo, executados no coprocessador personalizado e energeticamente eficiente da Meta. Estas capacidades de ponta permitem que o dispositivo gere dados precisos e exactos, acompanhando a forma como interagimos com o que nos rodeia.

Odometria Inercial Visual (VIO)

Uma das principais caraterísticas do Aria Gen 2 é a sua capacidade de seguir os óculos em seis graus de liberdade (6DOF) dentro de um quadro de referência espacial utilizando a Odometria Inercial Visual (VIO). Isto permite uma navegação e mapeamento perfeitos do ambiente, abrindo novas possibilidades de investigação em IA contextual e robótica.

Rastreio ocular

O Aria Gen 2 também possui um sistema avançado de seguimento ocular baseado numa câmara que segue o olhar do utilizador com uma precisão inigualável. Este sistema fornece uma grande quantidade de informações, incluindo: olhar por olho, ponto de vergência, deteção de pestanejo, estimativa do centro da pupila, diâmetro da pupila, centro da córnea, etc.

Estes sinais avançados permitem uma compreensão mais profunda da atenção visual e das intenções do utilizador, abrindo novas possibilidades de interação homem-computador.

Seguimento das mãos

O Aria Gen 2 também inclui uma solução de seguimento da mão que segue a mão do utilizador no espaço 3D. Isto produz poses articuladas das articulações da mão no quadro de referência do dispositivo, facilitando anotações exactas da mão para conjuntos de dados e permitindo aplicações como a manipulação da mão de robôs hábeis que requerem elevada precisão.

0:00 / 0:00

Demonstração dos sensores e das capacidades de perceção automática do Aria Gen 2, bem como dos algoritmos fora do dispositivo neles baseados.

O futuro do Aria está aqui: Mantenha-se informado

Os óculos Aria Gen 2 preparam o caminho para futuras inovações que definirão a próxima plataforma de computação. As candidaturas para trabalhar com o Aria Gen 2 serão abertas no final deste ano e os investigadores interessados em manter-se informados podem juntar-se à Lista de interesses do Aria Gen 2. Entretanto, as candidaturas para o Aria Research Kit com os óculos Aria Gen 1 continuam a ser aceites numa base contínua.candidatar-se agora para começar imediatamente.

Junte-se a nós em CVPR 2025 em Nashville, Tennessee, em junho, onde a equipa apresentará os óculos Aria Gen 2 através de demonstrações interactivas. Visite o stand da Meta para experimentar os últimos avanços e saber mais sobre as caraterísticas inovadoras do Aria Gen 2.