Orion: Chegaram os verdadeiros óculos de realidade aumentada

TL;DR:

• Hoje em LigarMark Zuckerberg revelou o Orion - o nosso primeiro par de óculos de realidade aumentada, anteriormente com o nome de código Projeto Nazare.
• Com um campo de visão líder na indústria, lentes de carboneto de silícioO Orion é o nosso protótipo de produto mais avançado e mais polido até à data.
• Atualmente, continuamos a otimizar os produtos e a reduzir os custos à medida que avançamos para um dispositivo de consumo escalável que irá revolucionar a forma como as pessoas interagem com o mundo.

---

"Estamos a construir óculos de realidade aumentada".

Cinco palavras simples, falado há cinco anos. Com eles, colocámos uma bandeira na nossa visão de um futuro em que já não temos de fazer a falsa escolha entre um mundo de informação na ponta dos dedos e o mundo físico que nos rodeia.

E agora, cinco anos mais tarde, mais cinco palavras que podem voltar a mudar o jogo:

Construímos óculos de realidade aumentada.

https://youtube.com/watch?v=2CJsnyS8u3c%3Fsi%3DTr77gOKEq3PnA7-k%26controls%3D0%3Fautoplay%3D0%26color%3Dwhite%26cc_lang_pref%3Den%26cc_load_policy%3D0%26enablejsapi%3D1%26frameborder%3D0%26hl%3Den%26rel%3D0%26origin%3Dhttps%253A%252F%252Fwww.meta.com

Na Meta, a nossa missão é simples: dar às pessoas o poder de criar comunidades e aproximar o mundo. E nos Reality Labs, criamos ferramentas que ajudam as pessoas a sentirem-se ligadas em qualquer altura e em qualquer lugar. É por isso que estamos a trabalhar para criar a próxima plataforma de computação que coloca as pessoas no centro, para que possam estar mais presentes, ligadas e capacitadas no mundo.

Óculos Ray-Ban Meta demonstraram o poder de dar às pessoas um acesso mãos-livres a partes essenciais das suas vidas digitais a partir das suas vidas físicas. Podemos falar com um assistente de IA inteligente, ligarmo-nos a amigos e captar os momentos mais importantes - tudo isto sem ter de pegar no telemóvel. Estes óculos elegantes integram-se perfeitamente na nossa vida quotidiana e as pessoas adoram-nos.

No entanto, embora o Ray-Ban Meta tenha aberto uma categoria totalmente nova de óculos sem ecrã, sobrecarregados por IA, a indústria de XR há muito que sonha com verdadeiros óculos de RA - um produto que combina as vantagens de um grande ecrã holográfico e assistência personalizada de IA num formato confortável, elegante e utilizável durante todo o dia.

E hoje, tornámos esse sonho mais próximo da realidade com a revelação de Órionque acreditamos ser o par de óculos de realidade aumentada mais avançado alguma vez criado. Na verdade, poderá ser o dispositivo eletrónico de consumo mais desafiante produzido desde o smartphone. O Orion é o resultado de invenções revolucionárias em praticamente todos os domínios da computação moderna - com base no trabalho que temos vindo a fazer nos Reality Labs na última década. Está repleto de tecnologias totalmente novas, incluindo o ecrã AR mais avançado alguma vez montado e silicone personalizado que permite a execução de poderosas experiências de RA num par de óculos, utilizando uma fração da potência e do peso de um auricular de RM.

O sistema de introdução de dados do Orion combina na perfeição a voz, o olhar e o rastreio da mão com um Pulseira EMG que lhe permite deslizar, clicar e percorrer enquanto mantém o braço confortavelmente ao seu lado, permitindo-lhe manter-se presente no mundo e com as pessoas à sua volta enquanto interage com conteúdo digital rico.

A partir de hoje, na Connect, e durante todo o ano, vamos abrir o acesso ao protótipo do nosso produto Orion aos funcionários da Meta e a audiências externas selecionadas, para que a nossa equipa de desenvolvimento possa aprender, iterar e desenvolver a nossa linha de produtos de óculos de realidade aumentada para o consumidor, que planeamos começar a enviar num futuro próximo.

Porquê óculos de realidade aumentada?

Há três razões principais pelas quais os óculos de realidade aumentada são fundamentais para desbloquear o próximo grande salto na computação orientada para o ser humano.

1. Permitem experiências digitais que não estão limitadas pelos limites de um ecrã de smartphone. Com ecrãs holográficos de grandes dimensões, pode utilizar o mundo físico como tela, colocando conteúdos e experiências 2D e 3D onde quiser.
2. Integram perfeitamente a IA contextual que pode sentir e compreender o mundo à sua volta para antecipar e responder proactivamente às suas necessidades.
3. São leves e óptimos para utilização no interior e no exterior - e permitem que as pessoas vejam o rosto, os olhos e as expressões reais umas das outras.

Esta é a estrela polar que a nossa indústria tem vindo a construir: um produto que combina a conveniência e o imediatismo dos wearables com um ecrã de grandes dimensões, uma entrada de dados de elevada largura de banda e IA contextualizada num formato que as pessoas se sentem confortáveis a usar no seu dia a dia.

Fator de forma compacto, desafios complexos

Durante anos, enfrentámos uma falsa escolha: ou os auscultadores de realidade virtual e mista, que permitem experiências profundas e imersivas num formato volumoso, ou os óculos, que são ideais para uma utilização durante todo o dia, mas que não oferecem aplicações e experiências visuais ricas devido à falta de um ecrã de grandes dimensões e da correspondente capacidade de computação.

Mas queremos tudo, sem compromissos. Durante anos, trabalhámos arduamente para aproveitar as incríveis experiências espaciais proporcionadas pelos auscultadores de RV e RM e miniaturizar a tecnologia necessária para proporcionar essas experiências num par de óculos leves e elegantes. Conseguir o fator de forma, fornecer ecrãs holográficos, desenvolver experiências de RA apelativas e criar novos paradigmas de interação homem-computador (HCI) - e fazer tudo isto num produto coeso - é um dos desafios mais difíceis que a nossa indústria alguma vez enfrentou. Era tão difícil que pensámos que tínhamos menos de 10% de hipóteses de o conseguir.

Até agora.

Um ecrã inovador num formato sem paralelo

Com aproximadamente 70 graus, o Orion tem o maior campo de visão no menor formato de óculos de realidade aumentada até hoje. Esse campo de visão revela casos de uso verdadeiramente imersivos para o Orion, desde janelas multitarefa e entretenimento em tela grande até hologramas de pessoas em tamanho real - todo conteúdo digital que pode se misturar perfeitamente com sua visão do mundo físico.

Para a Orion, o campo de visão era o nosso Santo Graal. Estávamos a chocar com as leis da física e tínhamos de dobrar os feixes de luz de formas que não são naturalmente dobradas - e tínhamos de o fazer num envelope de potência medido em miliwatts.

Em vez de vidro, fabricámos as lentes a partir de carboneto de silício-uma nova aplicação para os óculos de realidade aumentada. Carboneto de silício é incrivelmente leve, não resulta em artefactos ópticos ou luz difusa e tem um índice de refração elevado - todas as propriedades ópticas que são fundamentais para um grande campo de visão. Os próprios guias de ondas têm estruturas 3D à escala nanométrica realmente intrincadas e complexas para difratar ou espalhar a luz da forma necessária para obter este campo de visão. E os projectores são uLEDs - um novo tipo de tecnologia de visualização que é super pequena e extremamente eficiente em termos energéticos.

O Orion é inconfundivelmente um par de óculos, tanto no aspeto como no toque - completo com lentes transparentes. Ao contrário dos auscultadores de RM ou de outros óculos de RA actuais, continua a ser possível ver os olhos e as expressões reais dos outros, para que possa estar presente e partilhar a experiência com as pessoas que o rodeiam. Foram necessárias dezenas de inovações para que o design industrial chegasse a um formato de óculos contemporâneo que fosse confortável usar todos os dias. O Orion é um feito de miniaturização - os componentes são embalados até uma fração de milímetro. E conseguimos incorporar sete câmaras e sensores minúsculos nos aros da armação.

Tivemos de manter a precisão ótica a um décimo da espessura de um fio de cabelo humano. E o sistema pode detetar pequenas quantidades de movimento - como a expansão ou contração das molduras em diferentes temperaturas ambiente - e depois corrigir digitalmente o alinhamento ótico necessário, tudo em milissegundos. Fabricámos as armações em magnésio - o mesmo material utilizado nos carros de corrida de F1 e nas naves espaciais - porque é leve mas rígido, pelo que mantém os elementos ópticos alinhados e conduz eficazmente o calor.

Aquecimento e refrigeração

Assim que decifrámos o ecrã (sem trocadilhos) e ultrapassámos os problemas de física, tivemos de enfrentar o desafio de uma computação realmente potente, a par de um consumo de energia realmente baixo e da necessidade de dissipação de calor. Ao contrário dos actuais auscultadores MR, não se pode enfiar uma ventoinha num par de óculos. Por isso, tivemos de ser criativos. Muitos dos materiais utilizados para arrefecer o Orion são semelhantes aos utilizados pela NASA para arrefecer satélites no espaço exterior.

Construímos silício personalizado altamente especializado que é extremamente eficiente em termos energéticos e optimizado para os nossos algoritmos de IA, perceção automática e gráficos. Construímos vários chips personalizados e dezenas de blocos de IP de silício altamente personalizados dentro desses chips. Isto permite-nos utilizar os algoritmos necessários para o seguimento da mão e dos olhos, bem como a tecnologia de localização e mapeamento simultâneos (SLAM), que normalmente consome centenas de miliwatts de energia - e, por conseguinte, gera uma quantidade correspondente de calor - e reduzi-la a apenas algumas dezenas de miliwatts.

E sim, o silício personalizado continua a desempenhar um papel fundamental no desenvolvimento de produtos na Reality Labs, apesar do que possa ter lido noutros sítios. 😎

EMG sem esforço

Cada nova plataforma de computação traz consigo uma mudança de paradigma na forma como interagimos com os nossos dispositivos. A invenção do rato ajudou a abrir caminho para as interfaces gráficas do utilizador (GUI) que dominam o nosso mundo atual, e os smartphones só começaram a ganhar força com o advento do ecrã tátil. E a mesma regra é válida para os dispositivos portáteis.

Já falámos sobre o nosso trabalho com eletromiografia, ou EMGdurante anos, impulsionados pela nossa convicção de que a introdução de dados para óculos de realidade aumentada tem de ser rápida, conveniente, fiável, subtil e socialmente aceitável. E agora, esse trabalho está pronto para o horário nobre.

O sistema de entrada e interação do Orion combina na perfeição a voz, o olhar e o seguimento da mão com uma pulseira EMG que lhe permite deslizar, clicar e deslocar-se com facilidade.

Funciona - e parece - como magia. Imagine tirar uma fotografia na sua corrida matinal com um simples toque da ponta dos dedos ou navegar em menus com movimentos quase imperceptíveis das suas mãos. A nossa pulseira combina um tecido de alto desempenho com sensores EMG incorporados para detetar os sinais eléctricos gerados até pelos mais pequenos movimentos musculares. Um processador ML integrado no dispositivo interpreta então esses sinais EMG para produzir eventos de entrada que são transmitidos sem fios para os óculos. O sistema adapta-se a si, pelo que, com o tempo, se torna cada vez mais capaz de reconhecer os gestos mais subtis. E hoje, estamos a partilhar mais sobre o nosso apoio à investigação externa centrada em expandir o potencial de equidade e acessibilidade das pulseiras EMG.

Conheça o Puck de computação sem fios

Os verdadeiros óculos de RA têm de ser sem fios e também têm de ser pequenos.Por isso, construímos um disco de computação sem fios para o Orion. Retira alguma da carga dos óculos, permitindo uma maior duração da bateria e um melhor fator de forma com baixa latência.

Os óculos executam todos os algoritmos de rastreio da mão, rastreio ocular, SLAM e gráficos especializados de bloqueio do mundo AR, enquanto a lógica da aplicação é executada no disco para manter os óculos tão leves e compactos quanto possível.

O disco tem dois processadores, incluindo um personalizado aqui mesmo na Meta, e fornece a potência de computação necessária para renderização de gráficos de baixa latência, IA e alguma perceção adicional da máquina.

E uma vez que é pequeno e elegante, pode colocar confortavelmente o disco numa mala ou no bolso e fazer o que tem a fazer - sem compromissos.

Experiências de RA

É claro que, como qualquer peça de hardware, só é tão bom quanto as coisas que pode fazer com ela. E, embora ainda seja cedo, as experiências proporcionadas pelo Orion são um vislumbre emocionante do que está para vir.

https://youtube.com/watch?v=HkdSv3QPhNw%3F%26controls%3D0%3Fautoplay%3D0%26color%3Dwhite%26cc_lang_pref%3Den%26cc_load_policy%3D0%26enablejsapi%3D1%26frameborder%3D0%26hl%3Den%26rel%3D0%26origin%3Dhttps%253A%252F%252Fwww.meta.com

Temos o nosso assistente inteligente, Meta IA, a correr no Orion. Compreende o que está a ver no mundo físico e pode ajudá-lo com visualizações úteis. O Orion utiliza o mesmo modelo Llama que alimenta as experiências de IA atualmente em execução nos óculos inteligentes Ray-Ban Meta, além de modelos de investigação personalizados para demonstrar potenciais casos de utilização para o desenvolvimento futuro de wearables.

Pode fazer uma videochamada em modo mãos-livres em movimento para pôr a conversa em dia com amigos e familiares em tempo real, e pode manter-se ligado no WhatsApp e no Messenger para ver e enviar mensagens. Não é necessário puxar do telemóvel, desbloqueá-lo, encontrar a aplicação certa e avisar o seu amigo que está atrasado para o jantar - pode fazer tudo isto através dos seus óculos.

https://youtube.com/watch?v=el7lUVvu8Bo%3F%26controls%3D0%3Fautoplay%3D0%26color%3Dwhite%26cc_lang_pref%3Den%26cc_load_policy%3D0%26enablejsapi%3D1%26frameborder%3D0%26hl%3Den%26rel%3D0%26origin%3Dhttps%253A%252F%252Fwww.meta.com

Pode jogar jogos de RA partilhados com a família do outro lado do país ou com o seu amigo do outro lado do sofá. E o ecrã de grandes dimensões do Orion permite-lhe fazer várias tarefas com várias janelas para realizar tarefas sem ter de andar com o portátil às costas.

As experiências disponíveis no Orion hoje ajudarão a traçar o roteiro da nossa linha de óculos de realidade aumentada para o consumidor no futuro. As nossas equipas continuarão a iterar e a criar novas experiências sociais imersivas, juntamente com os nossos parceiros de desenvolvimento, e mal podemos esperar para partilhar o que vem a seguir.

Um protótipo de produto com objetivo

Embora o Orion não vá chegar às mãos dos consumidores, não se enganem: Este é o não um protótipo de investigação. É o protótipo de produto mais polido que já desenvolvemos - e é verdadeiramente representativo de algo que poderia enviar aos consumidores. Em vez de nos apressarmos a colocá-lo nas prateleiras, decidimos concentrar-nos primeiro no desenvolvimento interno, o que significa que podemos continuar a construir rapidamente e a ultrapassar os limites da tecnologia e das experiências.

E isso significa que chegaremos mais rapidamente a um produto de consumo ainda melhor.

O que vem a seguir

Há muito que dois grandes obstáculos se interpõem no caminho dos óculos de realidade aumentada para o consumidor comum: os avanços tecnológicos necessários para proporcionar um ecrã de grandes dimensões num formato de óculos compacto e a necessidade de experiências de realidade aumentada úteis e apelativas que possam ser executadas nesses óculos. O Orion é um grande marco, pois proporciona, pela primeira vez, verdadeiras experiências de RA num hardware com um estilo razoável.

Agora que partilhámos o Orion com o mundo, estamos concentrados em algumas coisas:

• Ajustar a qualidade do ecrã de RA para tornar as imagens ainda mais nítidas
• Otimizar sempre que possível para tornar o formato ainda mais pequeno
• Construir à escala para os tornar mais acessíveis

Nos próximos anos, podem esperar ver novos dispositivos que se baseiam nos nossos esforços de I&D. E algumas das inovações do Orion foram alargadas aos nossos actuais produtos de consumo, bem como ao nosso futuro roteiro de produtos. Optimizámos alguns dos nossos algoritmos de perceção espacial, que estão a ser executados em ambos os Meta Quest 3S e Orion. Embora o olhar fixo e o sistema de entrada gestual subtil tenham sido originalmente concebidos para o Orion, planeamos utilizá-los em produtos futuros. E estamos a explorar a utilização de pulseiras EMG também em futuros produtos de consumo.

O Orion não é apenas uma janela para o futuro - é um olhar sobre as possibilidades reais que estão ao nosso alcance hoje. Construímo-lo na busca do que fazemos melhor: ajudar as pessoas a ligarem-se. Desde os óculos Ray-Ban Meta até ao Orion, vimos o bem que pode advir de permitir que as pessoas se mantenham mais presentes e capacitadas no mundo físico, ao mesmo tempo que aproveitam toda a riqueza adicional que o mundo digital tem para oferecer.

Acreditamos que não deve ter de escolher entre os dois. E com a próxima plataforma de computação, não terá de o fazer.

---

Para mais informações sobre o Orion, consulte estas publicações no blogue:

• O disco de computação da Orion: A história por detrás do dispositivo que ajudou a tornar possíveis os nossos óculos AR
• Zero to One: como o nosso silício e chips personalizados estão a revolucionar a RA
• Cristalino: Os nossos guias de onda de carboneto de silício e o caminho para o grande FoV de Orion