Orion: Chegaram os verdadeiros óculos de realidade aumentada

TL;DR:

• Today at Connect, Mark Zuckerberg unveiled Orion—our first pair of true AR glasses, previously codenamed Project Nazare.
• With an industry-leading field of view, silicon carbide lenses, intricate waveguides, uLED projectors, and more, Orion is our most advanced and most polished product prototype to date.
• Atualmente, continuamos a otimizar os produtos e a reduzir os custos à medida que avançamos para um dispositivo de consumo escalável que irá revolucionar a forma como as pessoas interagem com o mundo.

---

"Estamos a construir óculos de realidade aumentada".

Five simple words, spoken five years ago. With them, we planted a flag on our vision of a future where we no longer have to make the false choice between a world of information at our fingertips and the physical world all around us.

E agora, cinco anos mais tarde, mais cinco palavras que podem voltar a mudar o jogo:

Construímos óculos de realidade aumentada.

Na Meta, a nossa missão é simples: dar às pessoas o poder de criar comunidades e aproximar o mundo. E nos Reality Labs, criamos ferramentas que ajudam as pessoas a sentirem-se ligadas em qualquer altura e em qualquer lugar. É por isso que estamos a trabalhar para criar a próxima plataforma de computação que coloca as pessoas no centro, para que possam estar mais presentes, ligadas e capacitadas no mundo.

Óculos Ray-Ban Meta demonstraram o poder de dar às pessoas um acesso mãos-livres a partes essenciais das suas vidas digitais a partir das suas vidas físicas. Podemos falar com um assistente de IA inteligente, ligarmo-nos a amigos e captar os momentos mais importantes - tudo isto sem ter de pegar no telemóvel. Estes óculos elegantes integram-se perfeitamente na nossa vida quotidiana e as pessoas adoram-nos.

No entanto, embora o Ray-Ban Meta tenha aberto uma categoria totalmente nova de óculos sem ecrã, sobrecarregados por IA, a indústria de XR há muito que sonha com verdadeiros óculos de RA - um produto que combina as vantagens de um grande ecrã holográfico e assistência personalizada de IA num formato confortável, elegante e utilizável durante todo o dia.

And today, we’ve pushed that dream closer to reality with the unveiling of Orion, which we believe is the most advanced pair of AR glasses ever made. In fact, it might be the most challenging consumer electronics device produced since the smartphone. Orion is the result of breakthrough inventions in virtually every field of modern computing—building on the work we’ve been doing at Reality Labs for the last decade. It’s packed with entirely new technologies, including the most advanced AR display ever assembled and custom silicon that enables powerful AR experiences to run on a pair of glasses using a fraction of the power and weight of an MR headset.

Orion’s input system seamlessly combines voice, eye gaze, and hand tracking with an EMG wristband that lets you swipe, click, and scroll while keeping your arm resting comfortably by your side, letting you stay present in the world and with the people around you as you interact with rich digital content.

A partir de hoje, na Connect, e durante todo o ano, vamos abrir o acesso ao protótipo do nosso produto Orion aos funcionários da Meta e a audiências externas selecionadas, para que a nossa equipa de desenvolvimento possa aprender, iterar e desenvolver a nossa linha de produtos de óculos de realidade aumentada para o consumidor, que planeamos começar a enviar num futuro próximo.

Porquê óculos de realidade aumentada?

Há três razões principais pelas quais os óculos de realidade aumentada são fundamentais para desbloquear o próximo grande salto na computação orientada para o ser humano.

1. Permitem experiências digitais que não estão limitadas pelos limites de um ecrã de smartphone. Com ecrãs holográficos de grandes dimensões, pode utilizar o mundo físico como tela, colocando conteúdos e experiências 2D e 3D onde quiser.
2. Integram perfeitamente a IA contextual que pode sentir e compreender o mundo à sua volta para antecipar e responder proactivamente às suas necessidades.
3. São leves e óptimos para utilização no interior e no exterior - e permitem que as pessoas vejam o rosto, os olhos e as expressões reais umas das outras.

Esta é a estrela polar que a nossa indústria tem vindo a construir: um produto que combina a conveniência e o imediatismo dos wearables com um ecrã de grandes dimensões, uma entrada de dados de elevada largura de banda e IA contextualizada num formato que as pessoas se sentem confortáveis a usar no seu dia a dia.

Fator de forma compacto, desafios complexos

Durante anos, enfrentámos uma falsa escolha: ou os auscultadores de realidade virtual e mista, que permitem experiências profundas e imersivas num formato volumoso, ou os óculos, que são ideais para uma utilização durante todo o dia, mas que não oferecem aplicações e experiências visuais ricas devido à falta de um ecrã de grandes dimensões e da correspondente capacidade de computação.

Mas queremos tudo, sem compromissos. Durante anos, trabalhámos arduamente para aproveitar as incríveis experiências espaciais proporcionadas pelos auscultadores de RV e RM e miniaturizar a tecnologia necessária para proporcionar essas experiências num par de óculos leves e elegantes. Conseguir o fator de forma, fornecer ecrãs holográficos, desenvolver experiências de RA apelativas e criar novos paradigmas de interação homem-computador (HCI) - e fazer tudo isto num produto coeso - é um dos desafios mais difíceis que a nossa indústria alguma vez enfrentou. Era tão difícil que pensámos que tínhamos menos de 10% de hipóteses de o conseguir.

Até agora.

Um ecrã inovador num formato sem paralelo

Com aproximadamente 70 graus, o Orion tem o maior campo de visão no menor formato de óculos de realidade aumentada até hoje. Esse campo de visão revela casos de uso verdadeiramente imersivos para o Orion, desde janelas multitarefa e entretenimento em tela grande até hologramas de pessoas em tamanho real - todo conteúdo digital que pode se misturar perfeitamente com sua visão do mundo físico.

Para a Orion, o campo de visão era o nosso Santo Graal. Estávamos a chocar com as leis da física e tínhamos de dobrar os feixes de luz de formas que não são naturalmente dobradas - e tínhamos de o fazer num envelope de potência medido em miliwatts.

Instead of glass, we made the lenses from silicon carbide—a novel application for AR glasses. Silicon carbide is incredibly lightweight, it doesn’t result in optical artifacts or stray light, and it has a high refractive index—all optical properties that are key to a large field of view. The waveguides themselves have really intricate and complex nano-scale 3D structures to diffract or spread light in the ways necessary to achieve this field of view. And the projectors are uLEDs—a new type of display technology that’s super small and extremely power efficient.

O Orion é inconfundivelmente um par de óculos, tanto no aspeto como no toque - completo com lentes transparentes. Ao contrário dos auscultadores de RM ou de outros óculos de RA actuais, continua a ser possível ver os olhos e as expressões reais dos outros, para que possa estar presente e partilhar a experiência com as pessoas que o rodeiam. Foram necessárias dezenas de inovações para que o design industrial chegasse a um formato de óculos contemporâneo que fosse confortável usar todos os dias. O Orion é um feito de miniaturização - os componentes são embalados até uma fração de milímetro. E conseguimos incorporar sete câmaras e sensores minúsculos nos aros da armação.

Tivemos de manter a precisão ótica a um décimo da espessura de um fio de cabelo humano. E o sistema pode detetar pequenas quantidades de movimento - como a expansão ou contração das molduras em diferentes temperaturas ambiente - e depois corrigir digitalmente o alinhamento ótico necessário, tudo em milissegundos. Fabricámos as armações em magnésio - o mesmo material utilizado nos carros de corrida de F1 e nas naves espaciais - porque é leve mas rígido, pelo que mantém os elementos ópticos alinhados e conduz eficazmente o calor.

Aquecimento e refrigeração

Assim que decifrámos o ecrã (sem trocadilhos) e ultrapassámos os problemas de física, tivemos de enfrentar o desafio de uma computação realmente potente, a par de um consumo de energia realmente baixo e da necessidade de dissipação de calor. Ao contrário dos actuais auscultadores MR, não se pode enfiar uma ventoinha num par de óculos. Por isso, tivemos de ser criativos. Muitos dos materiais utilizados para arrefecer o Orion são semelhantes aos utilizados pela NASA para arrefecer satélites no espaço exterior.

We built highly specialized custom silicon that’s extremely power efficient and optimized for our AI, machine perception, and graphics algorithms. We built multiple custom chips and dozens of highly custom silicon IP blocks inside those chips. That lets us take the algorithms necessary for hand and eye tracking as well as simultaneous localization and mapping (SLAM) technology that normally takes hundreds of milliwatts of power—and thus generates a corresponding amount of heat—and shrink it down to just a few dozen milliwatts.

E sim, o silício personalizado continua a desempenhar um papel fundamental no desenvolvimento de produtos na Reality Labs, apesar do que possa ter lido noutros sítios. 😎

EMG sem esforço

Every new computing platform brings with it a paradigm shift in the way we interact with our devices. The invention of the mouse helped pave the way for the graphical user interfaces (GUIs) that dominate our world today, and smartphones didn’t start to really gain traction until the advent of the touch screen. And the same rule holds true for wearables.

We’ve spoken about our work with electromyography, or EMG, for years, driven by our belief that input for AR glasses needs to be fast, convenient, reliable, subtle, and socially acceptable. And now, that work is ready for prime time.

O sistema de entrada e interação do Orion combina na perfeição a voz, o olhar e o seguimento da mão com uma pulseira EMG que lhe permite deslizar, clicar e deslocar-se com facilidade.

It works—and feels—like magic. Imagine taking a photo on your morning jog with a simple tap of your fingertips or navigating menus with barely perceptible movements of your hands. Our wristband combines a high-performance textile with embedded EMG sensors to detect the electrical signals generated by even the tiniest muscle movements. An on-device ML processor then interprets those EMG signals to produce input events that are transmitted wirelessly to the glasses. The system adapts to you, so it gets better and more capable at recognizing the most subtle gestures over time. And today, we’re sharing more about our support for external research focused on expanding the equity and accessibility potential of EMG wristbands.

Conheça o Puck de computação sem fios

True AR glasses must be wireless, and they must also be small.So we built a wireless compute puck for Orion. It takes some of the load off of the glasses, enabling longer battery life and a better form factor complete with low latency.

Os óculos executam todos os algoritmos de rastreio da mão, rastreio ocular, SLAM e gráficos especializados de bloqueio do mundo AR, enquanto a lógica da aplicação é executada no disco para manter os óculos tão leves e compactos quanto possível.

O disco tem dois processadores, incluindo um personalizado aqui mesmo na Meta, e fornece a potência de computação necessária para renderização de gráficos de baixa latência, IA e alguma perceção adicional da máquina.

E uma vez que é pequeno e elegante, pode colocar confortavelmente o disco numa mala ou no bolso e fazer o que tem a fazer - sem compromissos.

Experiências de RA

É claro que, como qualquer peça de hardware, só é tão bom quanto as coisas que pode fazer com ela. E, embora ainda seja cedo, as experiências proporcionadas pelo Orion são um vislumbre emocionante do que está para vir.

We’ve got our smart assistant, Meta AI, running on Orion. It understands what you’re looking at in the physical world and can help you with useful visualizations. Orion uses the same Llama model that powers AI experiences running on Ray-Ban Meta smart glasses today, plus custom research models to demonstrate potential use cases for future wearables development.

Pode fazer uma videochamada em modo mãos-livres em movimento para pôr a conversa em dia com amigos e familiares em tempo real, e pode manter-se ligado no WhatsApp e no Messenger para ver e enviar mensagens. Não é necessário puxar do telemóvel, desbloqueá-lo, encontrar a aplicação certa e avisar o seu amigo que está atrasado para o jantar - pode fazer tudo isto através dos seus óculos.

Pode jogar jogos de RA partilhados com a família do outro lado do país ou com o seu amigo do outro lado do sofá. E o ecrã de grandes dimensões do Orion permite-lhe fazer várias tarefas com várias janelas para realizar tarefas sem ter de andar com o portátil às costas.

As experiências disponíveis no Orion hoje ajudarão a traçar o roteiro da nossa linha de óculos de realidade aumentada para o consumidor no futuro. As nossas equipas continuarão a iterar e a criar novas experiências sociais imersivas, juntamente com os nossos parceiros de desenvolvimento, e mal podemos esperar para partilhar o que vem a seguir.

Um protótipo de produto com objetivo

Embora o Orion não vá chegar às mãos dos consumidores, não se enganem: Este é o não um protótipo de investigação. É o protótipo de produto mais polido que já desenvolvemos - e é verdadeiramente representativo de algo que poderia enviar aos consumidores. Em vez de nos apressarmos a colocá-lo nas prateleiras, decidimos concentrar-nos primeiro no desenvolvimento interno, o que significa que podemos continuar a construir rapidamente e a ultrapassar os limites da tecnologia e das experiências.

E isso significa que chegaremos mais rapidamente a um produto de consumo ainda melhor.

O que vem a seguir

Há muito que dois grandes obstáculos se interpõem no caminho dos óculos de realidade aumentada para o consumidor comum: os avanços tecnológicos necessários para proporcionar um ecrã de grandes dimensões num formato de óculos compacto e a necessidade de experiências de realidade aumentada úteis e apelativas que possam ser executadas nesses óculos. O Orion é um grande marco, pois proporciona, pela primeira vez, verdadeiras experiências de RA num hardware com um estilo razoável.

Agora que partilhámos o Orion com o mundo, estamos concentrados em algumas coisas:

• Ajustar a qualidade do ecrã de RA para tornar as imagens ainda mais nítidas
• Otimizar sempre que possível para tornar o formato ainda mais pequeno
• Construir à escala para os tornar mais acessíveis

In the next few years, you can expect to see new devices from us that build on our R&D efforts. And a number of Orion’s innovations have been extended to our current consumer products today as well as our future product roadmap. We’ve optimized some of our spatial perception algorithms, which are running on both Meta Quest 3S and Orion. While the eye gaze and subtle gestural input system was originally designed for Orion, we plan to use it in future products. And we’re exploring the use of EMG wristbands across future consumer products as well.

O Orion não é apenas uma janela para o futuro - é um olhar sobre as possibilidades reais que estão ao nosso alcance hoje. Construímo-lo na busca do que fazemos melhor: ajudar as pessoas a ligarem-se. Desde os óculos Ray-Ban Meta até ao Orion, vimos o bem que pode advir de permitir que as pessoas se mantenham mais presentes e capacitadas no mundo físico, ao mesmo tempo que aproveitam toda a riqueza adicional que o mundo digital tem para oferecer.

Acreditamos que não deve ter de escolher entre os dois. E com a próxima plataforma de computação, não terá de o fazer.