Autor: Kristián Ivančo

0:00 / 0:00

Em 2019, o Órion preparou uma importante demonstração para o fundador e diretor executivo da Meta, Mark Zuckerberg, apresentando potenciais guias de ondas para óculos de realidade aumentada-um momento crucial em que os cálculos teóricos no papel foram trazidos à vida. E foi uma demonstração que mudou tudo.

"Ao usar os óculos com guias de onda em vidro e placas múltiplas, parecia que estávamos numa discoteca", recorda o cientista ótico Pasqual Rivera. "Havia arco-íris por todo o lado e era tão perturbador que nem sequer estávamos a olhar para o conteúdo de RA. Depois, colocámos os óculos com carboneto de silício guias de ondas, e era como se estivéssemos na sinfonia a ouvir uma peça clássica e calma. Podíamos realmente prestar atenção à experiência completa do que estávamos a construir. Foi uma mudança total".

No entanto, por muito clara (trocadilho intencional) que a escolha do carboneto de silício como substrato pareça hoje em dia, quando começámos a seguir o caminho do caminho para os óculos AR há uma década, foi tudo menos isso.

"O carboneto de silício é normalmente muito dopado com azoto", diz Rivera. "É verde e, se ficar suficientemente espesso, parece preto. Não há forma de fazer uma lente ótica com ele. É um material eletrónico. Há uma razão para ter aquela cor, e é por causa das propriedades electrónicas."

"O carboneto de silício já existe como material há muito tempo", concorda Giuseppe Calafiore, líder técnico da AR Waveguides. "A sua principal aplicação é a eletrónica de alta potência. Vejamos o caso dos veículos eléctricos: Todos os VEs requerem um chip - mas esse chip também tem de ser capaz de uma potência muito elevada, de mover as rodas e de conduzir esta coisa. Acontece que não é possível fazê-lo com o substrato de silício normal, que é o que produz os chips que utilizamos nos nossos computadores e eletrónica. Precisamos de uma plataforma que nos permita passar por correntes elevadas, alta potência, e esse material é o carboneto de silício".

Até ao início dos debates relativamente recentes sobre as fontes de energia renováveis, o mercado para estes chipsets de alta potência não tinha nem de perto a dimensão do mercado de chips para eletrónica de consumo. O carboneto de silício sempre foi caro e não havia grande incentivo para baixar os custos porque, para o tamanho do chip que se faz para um carro, o preço do substrato era tolerável.

"Mas acontece que o carboneto de silício também tem algumas das propriedades de que precisamos para guias de ondas e ótica", diz Calafiore. "O índice de refração é a principal propriedade que nos interessa. E o carboneto de silício tem um índice de refração elevado, o que significa que é capaz de canalizar e emitir uma grande quantidade de dados ópticos. Podemos pensar nisto como uma largura de banda ótica - tal como temos uma largura de banda para a Internet, e queremos que seja suficientemente grande para podermos enviar grandes quantidades de dados através desse canal. O mesmo se aplica aos dispositivos ópticos".

Quanto maior for o índice de refração de um material, maior será o seu étenduepara poder enviar mais dados ópticos através desse canal.

"O canal, no nosso caso, é o nosso guia de ondas, e um étendue maior traduz-se num campo de visão maior", explica Calafiore. "Quanto maior for o índice de refração de um material, maior será o campo de visão que o ecrã pode suportar."

O caminho para o índice de refração correto

Quando Calafiore se juntou à então Oculus Research em 2016, o vidro com o índice de refração mais elevado de que a equipa dispunha era 1,8, o que exigia o empilhamento de várias placas para obter o campo de visão desejado. Para além dos artefactos ópticos indesejáveis, a linha de montagem tornou-se cada vez mais complicada, uma vez que os dois primeiros guias de ondas tinham de estar perfeitamente alinhados e, em seguida, essa pilha tinha de estar perfeitamente alinhada com um terceiro guia de ondas.

"Não só era caro, como era imediatamente óbvio que não se podia ter três peças de vidro por lente num par de óculos", recorda Calafiore. "Eram demasiado pesadas e a espessura era proibitivamente grande e feia - ninguém as compraria. Por isso, voltámos à estaca zero: tentar aumentar o índice de refração do substrato para reduzir o número de placas necessárias."

O primeiro material que a equipa analisou foi niobato de lítioque tem um índice de refração de cerca de 2,3 - um pouco mais elevado do que o do vidro, que é de 1,8.

"Apercebemo-nos de que só tínhamos de empilhar duas placas e que podíamos talvez até conseguir com uma placa cobrir o campo de visão", diz Calafiore. "Quase em paralelo, começámos a analisar outros materiais, e foi assim que descobrimos, juntamente com os nossos fornecedores em 2019, que o carboneto de silício, na sua forma mais pura, é realmente muito transparente. Ele também tem o maior índice de refração conhecido para uma aplicação ótica, que é de 2,7."

Isto representa um aumento de 17,4% em relação ao niobato de lítio e um aumento de 50% em relação ao vidro, para aqueles que estão a contar os pontos em casa.

"Com algumas modificações no mesmo equipamento que já era utilizado na indústria, foi possível obter carboneto de silício transparente", diz Calafiore. "Bastava alterar o processo, ser muito mais cuidadoso e, em vez de otimizar as propriedades electrónicas, otimizar as propriedades ópticas: transparência, uniformidade do índice de refração, etc."

O custo potencial do compromisso

Nessa altura, a equipa da Reality Labs foi a primeira a tentar passar de bolachas opacas de carboneto de silício para bolachas transparentes. E como o carboneto de silício é um dos materiais mais duros que se conhecem, requer essencialmente ferramentas de diamante para o cortar ou polir. Como resultado, os custos de engenharia não recorrentes eram muito elevados, pelo que o substrato resultante era bastante caro.

Embora existam alternativas mais económicas, tal como acontece com qualquer tecnologia, cada uma delas tem contrapartidas. E à medida que o campo de visão aumenta em direção ao campo de visão líder da indústria do Orion, de aproximadamente 70 graus, surgem novos problemas, como imagens fantasma e arco-íris.

"Encontrar a solução ideal para um ecrã de AR de campo de visão amplo está repleto de compromissos entre desempenho e custos", explica o Diretor de Investigação Científica Barry Silverstein. "Os custos podem muitas vezes ser reduzidos, mas se o desempenho não for suficiente, os custos acabarão por não ter importância."

As imagens fantasma são como ecos visuais da imagem primária que está a ser projectada no ecrã. Os arco-íris são faixas coloridas de luz criadas quando a luz ambiente se reflecte no guia de ondas. "Imaginemos que estamos a conduzir à noite com as luzes dos carros em movimento à nossa volta", diz Silverstein. "Também vai ter arco-íris que se movem. Ou se estivermos na praia a jogar voleibol e o sol estiver a brilhar, vamos ter um arco-íris que se move connosco e vamos perder a nossa oportunidade. E uma das propriedades milagrosas do carboneto de silício é que se livra desses arco-íris".

"A outra vantagem do carboneto de silício que nenhum dos outros materiais tem é a condutividade térmica", acrescenta Calafiore. "O plástico é um péssimo isolante. O vidro, o niobato de lítio, a mesma coisa. Passamos para o carboneto de silício e é transparente, parece vidro, e adivinhem: conduz o calor."

Assim, em julho de 2020, a equipa determinou que o carboneto de silício era a escolha ideal por três razões principais: Permitia um fator de forma melhorado porque exigia apenas uma única placa e estruturas de montagem mais pequenas, tinha melhores propriedades ópticas e era mais leve do que o vidro de placa dupla.

O segredo da gravura inclinada

Com o material em mente, o próximo passo foi a fabricação dos guias de onda - e especificamente, uma técnica de grade não convencional chamada slant etch.

"A grelha é a nanoestrutura que faz o acoplamento e o desacoplamento da luz da lente", explica Calafiore. "E para que o carboneto de silício funcione, a grelha precisa de ser gravada de forma inclinada. Em vez de serem verticais, queremos que as linhas da grelha sejam inclinadas na diagonal."

"Fomos os primeiros a fazer gravação oblíqua diretamente nos dispositivos", afirma o gestor de investigação Nihar Mohanty. "Toda a indústria se baseava na nanoimpressão, que não funciona para substratos com um índice de refração tão elevado. É por isso que mais ninguém no mundo tinha pensado em fazer carboneto de silício".

Mas como a gravação oblíqua é uma tecnologia imatura, a maioria dos fornecedores e fábricas de chips semicondutores não dispõe das ferramentas necessárias.

"Em 2019, meu gerente na época, Matt Colburn, e eu estabelecemos nossa própria instalação, pois não havia nada no mundo que pudesse produzir guias de onda de carboneto de silício gravados e onde pudéssemos provar a tecnologia além da escala de laboratório", explica Mohanty. "Foi um investimento enorme e estabelecemos toda a cadeia de produção nesse local. As ferramentas foram feitas à medida pelos nossos parceiros e o processo foi desenvolvido internamente no Meta, embora os nossos sistemas sejam de nível de investigação porque não existiam sistemas de nível de fabrico. Trabalhámos com um parceiro de fabrico para desenvolver ferramentas e processos de gravação oblíqua de nível de fabrico. E agora que mostrámos o que é possível fazer com o carboneto de silício, queremos que outros na indústria comecem a fazer as suas próprias ferramentas."

Quanto mais empresas investirem em carboneto de silício de qualidade ótica e desenvolverem equipamento, mais forte se tornará a categoria de óculos de realidade aumentada para o consumidor.

Já não andamos atrás de arco-íris

Enquanto a inevitabilidade tecnológica é um mitoNo entanto, as estrelas parecem estar a alinhar-se a favor do carboneto de silício. E embora a equipa continue a investigar alternativas, há uma forte sensação de que as pessoas certas se juntaram no momento certo e nas condições de mercado certas para construir óculos de realidade aumentada utilizando este material.

"A Orion provou que o carboneto de silício é uma opção viável para os óculos de realidade aumentada", afirma Silverstein, "e estamos agora a assistir ao interesse de toda a cadeia de fornecimento em três continentes diferentes, onde esta é uma oportunidade muito procurada. O carboneto de silício será o vencedor. Para mim, é apenas uma questão de tempo".

E muita coisa pode acontecer nesse tempo - tal como a forma como as coisas mudaram desde que criámos os nossos primeiros cristais transparentes de carboneto de silício.

"Todos estes fabricantes de carboneto de silício aumentaram enormemente a oferta em resposta ao esperado boom dos veículos eléctricos", observa Calafiore. "Neste momento, existe um excesso de capacidade que não existia quando estávamos a construir o Orion. Portanto, agora, como a oferta é elevada e a procura é baixa, o custo do substrato começou a baixar."

"Os fornecedores estão muito entusiasmados com a nova oportunidade de fabricar carboneto de silício de qualidade ótica - afinal, cada lente de guia de ondas representa uma grande quantidade de material em relação a um chip eletrónico, e todas as suas capacidades actuais se aplicam a este novo espaço", acrescenta Silverstein. "Encher a fábrica é essencial, e aumentar a escala da fábrica é o sonho. O tamanho da bolacha também é importante: Quanto maior for a bolacha, mais baixo é o custo - mas a complexidade do processo também aumenta. Dito isto, vimos os fornecedores passarem de bolachas de quatro para oito polegadas e alguns estão a trabalhar em precursores para bolachas de 12 polegadas, o que produziria exponencialmente mais pares de óculos de RA."

Estes avanços deverão ajudar a continuar a reduzir os custos. Ainda estamos no início, mas o futuro está a tornar-se claro.

"No início de qualquer nova revolução tecnológica, experimenta-se uma série de coisas", diz Calafiore. "Veja-se o caso da televisão: Começámos com tubos de raios catódicos, depois passámos para os televisores de plasma LED e agora para os microLED. Passámos por várias tecnologias e arquitecturas diferentes. À medida que se vai descobrindo o caminho, muitos caminhos acabam em lado nenhum, mas há alguns que continuam a ser considerados os mais promissores. Não estamos no fim do caminho e não o podemos fazer sozinhos, mas o carboneto de silício é um material maravilhoso que vale bem o investimento".

"O mundo está agora desperto", acrescenta Silverstein. "Demonstrámos com êxito que o carboneto de silício pode ser flexível em eletrónica e fotónica. É um material que poderá ter aplicações futuras na computação quântica. E estamos a ver sinais de que é possível reduzir significativamente o custo. Ainda há muito trabalho a fazer, mas as vantagens potenciais são enormes".

---

Saiba mais sobre o carboneto de silício em Espectro da Fotónica.

Para mais informações sobre o Orion, consulte estas publicações no blogue:

• Zero to One: como o nosso silício e chips personalizados estão a revolucionar a RA
• O disco de computação da Orion: A história por detrás do dispositivo que ajudou a tornar possíveis os nossos óculos AR

TL;DR:

• Hoje em LigarMark Zuckerberg revelou o Orion - o nosso primeiro par de óculos de realidade aumentada, anteriormente com o nome de código Projeto Nazare.
• Com um campo de visão líder na indústria, lentes de carboneto de silícioO Orion é o nosso protótipo de produto mais avançado e mais polido até à data.
• Atualmente, continuamos a otimizar os produtos e a reduzir os custos à medida que avançamos para um dispositivo de consumo escalável que irá revolucionar a forma como as pessoas interagem com o mundo.

---

"Estamos a construir óculos de realidade aumentada".

Cinco palavras simples, falado há cinco anos. Com eles, colocámos uma bandeira na nossa visão de um futuro em que já não temos de fazer a falsa escolha entre um mundo de informação na ponta dos dedos e o mundo físico que nos rodeia.

E agora, cinco anos mais tarde, mais cinco palavras que podem voltar a mudar o jogo:

Construímos óculos de realidade aumentada.

https://youtube.com/watch?v=2CJsnyS8u3c%3Fsi%3DTr77gOKEq3PnA7-k%26controls%3D0%3Fautoplay%3D0%26color%3Dwhite%26cc_lang_pref%3Den%26cc_load_policy%3D0%26enablejsapi%3D1%26frameborder%3D0%26hl%3Den%26rel%3D0%26origin%3Dhttps%253A%252F%252Fwww.meta.com

Na Meta, a nossa missão é simples: dar às pessoas o poder de criar comunidades e aproximar o mundo. E nos Reality Labs, criamos ferramentas que ajudam as pessoas a sentirem-se ligadas em qualquer altura e em qualquer lugar. É por isso que estamos a trabalhar para criar a próxima plataforma de computação que coloca as pessoas no centro, para que possam estar mais presentes, ligadas e capacitadas no mundo.

Óculos Ray-Ban Meta demonstraram o poder de dar às pessoas um acesso mãos-livres a partes essenciais das suas vidas digitais a partir das suas vidas físicas. Podemos falar com um assistente de IA inteligente, ligarmo-nos a amigos e captar os momentos mais importantes - tudo isto sem ter de pegar no telemóvel. Estes óculos elegantes integram-se perfeitamente na nossa vida quotidiana e as pessoas adoram-nos.

No entanto, embora o Ray-Ban Meta tenha aberto uma categoria totalmente nova de óculos sem ecrã, sobrecarregados por IA, a indústria de XR há muito que sonha com verdadeiros óculos de RA - um produto que combina as vantagens de um grande ecrã holográfico e assistência personalizada de IA num formato confortável, elegante e utilizável durante todo o dia.

E hoje, tornámos esse sonho mais próximo da realidade com a revelação de Órionque acreditamos ser o par de óculos de realidade aumentada mais avançado alguma vez criado. Na verdade, poderá ser o dispositivo eletrónico de consumo mais desafiante produzido desde o smartphone. O Orion é o resultado de invenções revolucionárias em praticamente todos os domínios da computação moderna - com base no trabalho que temos vindo a fazer nos Reality Labs na última década. Está repleto de tecnologias totalmente novas, incluindo o ecrã AR mais avançado alguma vez montado e silicone personalizado que permite a execução de poderosas experiências de RA num par de óculos, utilizando uma fração da potência e do peso de um auricular de RM.

O sistema de introdução de dados do Orion combina na perfeição a voz, o olhar e o rastreio da mão com um Pulseira EMG que lhe permite deslizar, clicar e percorrer enquanto mantém o braço confortavelmente ao seu lado, permitindo-lhe manter-se presente no mundo e com as pessoas à sua volta enquanto interage com conteúdo digital rico.

A partir de hoje, na Connect, e durante todo o ano, vamos abrir o acesso ao protótipo do nosso produto Orion aos funcionários da Meta e a audiências externas selecionadas, para que a nossa equipa de desenvolvimento possa aprender, iterar e desenvolver a nossa linha de produtos de óculos de realidade aumentada para o consumidor, que planeamos começar a enviar num futuro próximo.

Porquê óculos de realidade aumentada?

Há três razões principais pelas quais os óculos de realidade aumentada são fundamentais para desbloquear o próximo grande salto na computação orientada para o ser humano.

1. Permitem experiências digitais que não estão limitadas pelos limites de um ecrã de smartphone. Com ecrãs holográficos de grandes dimensões, pode utilizar o mundo físico como tela, colocando conteúdos e experiências 2D e 3D onde quiser.
2. Integram perfeitamente a IA contextual que pode sentir e compreender o mundo à sua volta para antecipar e responder proactivamente às suas necessidades.
3. São leves e óptimos para utilização no interior e no exterior - e permitem que as pessoas vejam o rosto, os olhos e as expressões reais umas das outras.

Esta é a estrela polar que a nossa indústria tem vindo a construir: um produto que combina a conveniência e o imediatismo dos wearables com um ecrã de grandes dimensões, uma entrada de dados de elevada largura de banda e IA contextualizada num formato que as pessoas se sentem confortáveis a usar no seu dia a dia.

Fator de forma compacto, desafios complexos

Durante anos, enfrentámos uma falsa escolha: ou os auscultadores de realidade virtual e mista, que permitem experiências profundas e imersivas num formato volumoso, ou os óculos, que são ideais para uma utilização durante todo o dia, mas que não oferecem aplicações e experiências visuais ricas devido à falta de um ecrã de grandes dimensões e da correspondente capacidade de computação.

Mas queremos tudo, sem compromissos. Durante anos, trabalhámos arduamente para aproveitar as incríveis experiências espaciais proporcionadas pelos auscultadores de RV e RM e miniaturizar a tecnologia necessária para proporcionar essas experiências num par de óculos leves e elegantes. Conseguir o fator de forma, fornecer ecrãs holográficos, desenvolver experiências de RA apelativas e criar novos paradigmas de interação homem-computador (HCI) - e fazer tudo isto num produto coeso - é um dos desafios mais difíceis que a nossa indústria alguma vez enfrentou. Era tão difícil que pensámos que tínhamos menos de 10% de hipóteses de o conseguir.

Até agora.

Um ecrã inovador num formato sem paralelo

Com aproximadamente 70 graus, o Orion tem o maior campo de visão no menor formato de óculos de realidade aumentada até hoje. Esse campo de visão revela casos de uso verdadeiramente imersivos para o Orion, desde janelas multitarefa e entretenimento em tela grande até hologramas de pessoas em tamanho real - todo conteúdo digital que pode se misturar perfeitamente com sua visão do mundo físico.

Para a Orion, o campo de visão era o nosso Santo Graal. Estávamos a chocar com as leis da física e tínhamos de dobrar os feixes de luz de formas que não são naturalmente dobradas - e tínhamos de o fazer num envelope de potência medido em miliwatts.

Em vez de vidro, fabricámos as lentes a partir de carboneto de silício-uma nova aplicação para os óculos de realidade aumentada. Carboneto de silício é incrivelmente leve, não resulta em artefactos ópticos ou luz difusa e tem um índice de refração elevado - todas as propriedades ópticas que são fundamentais para um grande campo de visão. Os próprios guias de ondas têm estruturas 3D à escala nanométrica realmente intrincadas e complexas para difratar ou espalhar a luz da forma necessária para obter este campo de visão. E os projectores são uLEDs - um novo tipo de tecnologia de visualização que é super pequena e extremamente eficiente em termos energéticos.

O Orion é inconfundivelmente um par de óculos, tanto no aspeto como no toque - completo com lentes transparentes. Ao contrário dos auscultadores de RM ou de outros óculos de RA actuais, continua a ser possível ver os olhos e as expressões reais dos outros, para que possa estar presente e partilhar a experiência com as pessoas que o rodeiam. Foram necessárias dezenas de inovações para que o design industrial chegasse a um formato de óculos contemporâneo que fosse confortável usar todos os dias. O Orion é um feito de miniaturização - os componentes são embalados até uma fração de milímetro. E conseguimos incorporar sete câmaras e sensores minúsculos nos aros da armação.

Tivemos de manter a precisão ótica a um décimo da espessura de um fio de cabelo humano. E o sistema pode detetar pequenas quantidades de movimento - como a expansão ou contração das molduras em diferentes temperaturas ambiente - e depois corrigir digitalmente o alinhamento ótico necessário, tudo em milissegundos. Fabricámos as armações em magnésio - o mesmo material utilizado nos carros de corrida de F1 e nas naves espaciais - porque é leve mas rígido, pelo que mantém os elementos ópticos alinhados e conduz eficazmente o calor.

Aquecimento e refrigeração

Assim que decifrámos o ecrã (sem trocadilhos) e ultrapassámos os problemas de física, tivemos de enfrentar o desafio de uma computação realmente potente, a par de um consumo de energia realmente baixo e da necessidade de dissipação de calor. Ao contrário dos actuais auscultadores MR, não se pode enfiar uma ventoinha num par de óculos. Por isso, tivemos de ser criativos. Muitos dos materiais utilizados para arrefecer o Orion são semelhantes aos utilizados pela NASA para arrefecer satélites no espaço exterior.

Construímos silício personalizado altamente especializado que é extremamente eficiente em termos energéticos e optimizado para os nossos algoritmos de IA, perceção automática e gráficos. Construímos vários chips personalizados e dezenas de blocos de IP de silício altamente personalizados dentro desses chips. Isto permite-nos utilizar os algoritmos necessários para o seguimento da mão e dos olhos, bem como a tecnologia de localização e mapeamento simultâneos (SLAM), que normalmente consome centenas de miliwatts de energia - e, por conseguinte, gera uma quantidade correspondente de calor - e reduzi-la a apenas algumas dezenas de miliwatts.

E sim, o silício personalizado continua a desempenhar um papel fundamental no desenvolvimento de produtos na Reality Labs, apesar do que possa ter lido noutros sítios. 😎

EMG sem esforço

Cada nova plataforma de computação traz consigo uma mudança de paradigma na forma como interagimos com os nossos dispositivos. A invenção do rato ajudou a abrir caminho para as interfaces gráficas do utilizador (GUI) que dominam o nosso mundo atual, e os smartphones só começaram a ganhar força com o advento do ecrã tátil. E a mesma regra é válida para os dispositivos portáteis.

Já falámos sobre o nosso trabalho com eletromiografia, ou EMGdurante anos, impulsionados pela nossa convicção de que a introdução de dados para óculos de realidade aumentada tem de ser rápida, conveniente, fiável, subtil e socialmente aceitável. E agora, esse trabalho está pronto para o horário nobre.

O sistema de entrada e interação do Orion combina na perfeição a voz, o olhar e o seguimento da mão com uma pulseira EMG que lhe permite deslizar, clicar e deslocar-se com facilidade.

Funciona - e parece - como magia. Imagine tirar uma fotografia na sua corrida matinal com um simples toque da ponta dos dedos ou navegar em menus com movimentos quase imperceptíveis das suas mãos. A nossa pulseira combina um tecido de alto desempenho com sensores EMG incorporados para detetar os sinais eléctricos gerados até pelos mais pequenos movimentos musculares. Um processador ML integrado no dispositivo interpreta então esses sinais EMG para produzir eventos de entrada que são transmitidos sem fios para os óculos. O sistema adapta-se a si, pelo que, com o tempo, se torna cada vez mais capaz de reconhecer os gestos mais subtis. E hoje, estamos a partilhar mais sobre o nosso apoio à investigação externa centrada em expandir o potencial de equidade e acessibilidade das pulseiras EMG.

Conheça o Puck de computação sem fios

Os verdadeiros óculos de RA têm de ser sem fios e também têm de ser pequenos.Por isso, construímos um disco de computação sem fios para o Orion. Retira alguma da carga dos óculos, permitindo uma maior duração da bateria e um melhor fator de forma com baixa latência.

Os óculos executam todos os algoritmos de rastreio da mão, rastreio ocular, SLAM e gráficos especializados de bloqueio do mundo AR, enquanto a lógica da aplicação é executada no disco para manter os óculos tão leves e compactos quanto possível.

O disco tem dois processadores, incluindo um personalizado aqui mesmo na Meta, e fornece a potência de computação necessária para renderização de gráficos de baixa latência, IA e alguma perceção adicional da máquina.

E uma vez que é pequeno e elegante, pode colocar confortavelmente o disco numa mala ou no bolso e fazer o que tem a fazer - sem compromissos.

Experiências de RA

É claro que, como qualquer peça de hardware, só é tão bom quanto as coisas que pode fazer com ela. E, embora ainda seja cedo, as experiências proporcionadas pelo Orion são um vislumbre emocionante do que está para vir.

https://youtube.com/watch?v=HkdSv3QPhNw%3F%26controls%3D0%3Fautoplay%3D0%26color%3Dwhite%26cc_lang_pref%3Den%26cc_load_policy%3D0%26enablejsapi%3D1%26frameborder%3D0%26hl%3Den%26rel%3D0%26origin%3Dhttps%253A%252F%252Fwww.meta.com

Temos o nosso assistente inteligente, Meta IA, a correr no Orion. Compreende o que está a ver no mundo físico e pode ajudá-lo com visualizações úteis. O Orion utiliza o mesmo modelo Llama que alimenta as experiências de IA atualmente em execução nos óculos inteligentes Ray-Ban Meta, além de modelos de investigação personalizados para demonstrar potenciais casos de utilização para o desenvolvimento futuro de wearables.

Pode fazer uma videochamada em modo mãos-livres em movimento para pôr a conversa em dia com amigos e familiares em tempo real, e pode manter-se ligado no WhatsApp e no Messenger para ver e enviar mensagens. Não é necessário puxar do telemóvel, desbloqueá-lo, encontrar a aplicação certa e avisar o seu amigo que está atrasado para o jantar - pode fazer tudo isto através dos seus óculos.

https://youtube.com/watch?v=el7lUVvu8Bo%3F%26controls%3D0%3Fautoplay%3D0%26color%3Dwhite%26cc_lang_pref%3Den%26cc_load_policy%3D0%26enablejsapi%3D1%26frameborder%3D0%26hl%3Den%26rel%3D0%26origin%3Dhttps%253A%252F%252Fwww.meta.com

Pode jogar jogos de RA partilhados com a família do outro lado do país ou com o seu amigo do outro lado do sofá. E o ecrã de grandes dimensões do Orion permite-lhe fazer várias tarefas com várias janelas para realizar tarefas sem ter de andar com o portátil às costas.

As experiências disponíveis no Orion hoje ajudarão a traçar o roteiro da nossa linha de óculos de realidade aumentada para o consumidor no futuro. As nossas equipas continuarão a iterar e a criar novas experiências sociais imersivas, juntamente com os nossos parceiros de desenvolvimento, e mal podemos esperar para partilhar o que vem a seguir.

Um protótipo de produto com objetivo

Embora o Orion não vá chegar às mãos dos consumidores, não se enganem: Este é o não um protótipo de investigação. É o protótipo de produto mais polido que já desenvolvemos - e é verdadeiramente representativo de algo que poderia enviar aos consumidores. Em vez de nos apressarmos a colocá-lo nas prateleiras, decidimos concentrar-nos primeiro no desenvolvimento interno, o que significa que podemos continuar a construir rapidamente e a ultrapassar os limites da tecnologia e das experiências.

E isso significa que chegaremos mais rapidamente a um produto de consumo ainda melhor.

O que vem a seguir

Há muito que dois grandes obstáculos se interpõem no caminho dos óculos de realidade aumentada para o consumidor comum: os avanços tecnológicos necessários para proporcionar um ecrã de grandes dimensões num formato de óculos compacto e a necessidade de experiências de realidade aumentada úteis e apelativas que possam ser executadas nesses óculos. O Orion é um grande marco, pois proporciona, pela primeira vez, verdadeiras experiências de RA num hardware com um estilo razoável.

Agora que partilhámos o Orion com o mundo, estamos concentrados em algumas coisas:

• Ajustar a qualidade do ecrã de RA para tornar as imagens ainda mais nítidas
• Otimizar sempre que possível para tornar o formato ainda mais pequeno
• Construir à escala para os tornar mais acessíveis

Nos próximos anos, podem esperar ver novos dispositivos que se baseiam nos nossos esforços de I&D. E algumas das inovações do Orion foram alargadas aos nossos actuais produtos de consumo, bem como ao nosso futuro roteiro de produtos. Optimizámos alguns dos nossos algoritmos de perceção espacial, que estão a ser executados em ambos os Meta Quest 3S e Orion. Embora o olhar fixo e o sistema de entrada gestual subtil tenham sido originalmente concebidos para o Orion, planeamos utilizá-los em produtos futuros. E estamos a explorar a utilização de pulseiras EMG também em futuros produtos de consumo.

O Orion não é apenas uma janela para o futuro - é um olhar sobre as possibilidades reais que estão ao nosso alcance hoje. Construímo-lo na busca do que fazemos melhor: ajudar as pessoas a ligarem-se. Desde os óculos Ray-Ban Meta até ao Orion, vimos o bem que pode advir de permitir que as pessoas se mantenham mais presentes e capacitadas no mundo físico, ao mesmo tempo que aproveitam toda a riqueza adicional que o mundo digital tem para oferecer.

Acreditamos que não deve ter de escolher entre os dois. E com a próxima plataforma de computação, não terá de o fazer.

---

Para mais informações sobre o Orion, consulte estas publicações no blogue:

• O disco de computação da Orion: A história por detrás do dispositivo que ajudou a tornar possíveis os nossos óculos AR
• Zero to One: como o nosso silício e chips personalizados estão a revolucionar a RA
• Cristalino: Os nossos guias de onda de carboneto de silício e o caminho para o grande FoV de Orion

No ano passado, na Connect, revelámos Órion-o nosso primeiro par de óculos de realidade aumentada. O culminar de o nosso trabalho na Reality Labs durante a última décadaO Orion combina as vantagens de um ecrã holográfico de grandes dimensões e assistência personalizada de IA num formato confortável e utilizável durante todo o dia. Recebeu alguma atenção pelo seu campo de visão líder na indústria, guias de onda de carboneto de silício, projectores uLED e muito mais. Mas hoje, estamos a voltar a nossa atenção para um herói não celebrado do Orion: o disco de computação.

Concebido para caber facilmente no bolso ou na mala, para que o possa levar para qualquer lugar durante o seu dia, o disco descarrega o poder de processamento do Orion para executar a lógica da aplicação e permitir um formato mais atraente e mais pequeno para os óculos. Ele se conecta sem fio aos óculos e à pulseira EMG para uma experiência perfeita.

É só colocar e esquecer, certo?

Mas a história do disco - mesmo enquanto protótipo - é envolvente, com um arco dramático que nunca se adivinharia pela sua aparência.

"Quando se constrói algo deste género, começa-se a entrar nos limites da física", explica o Diretor de Gestão de Produtos, Rahul Prasad. "Nos últimos 50 anos, a Lei de Moore tornou tudo mais pequeno, mais rápido e com menor consumo de energia. O problema é que agora estamos a começar a atingir os limites da quantidade de calor que podemos dissipar, da quantidade de bateria que podemos comprimir e do desempenho da antena que podemos colocar num objeto de tamanho específico."

Embora a retrospetiva possa ser 20/20, o potencial do disco não era imediatamente óbvio. Quando se é o primeiro a construir algo, é necessário explorar todas as possibilidades - não deixando pedra sobre pedra. Como é que se constrói algo que alguns podem considerar como um acessório indesejável em vez de uma parte essencial do pacote?

"Sabíamos que o disco era um dispositivo extra que estávamos a pedir às pessoas para transportarem", observa Jared Van Cleave, Diretor de Engenharia de Design de Produto, "por isso estudámos a forma de transformar o erro numa funcionalidade."

Em última análise, essa ética deu frutos, uma vez que o disco comprime uma grande quantidade de computação (e ainda mais silício personalizado concebido pela Meta para IA e perceção de máquinas) num tamanho reduzido. Isto foi fundamental para ajudar o Orion a passar do domínio da ficção científica para a realidade.

"Se não tivéssemos o disco, não poderíamos ter as experiências que o Orion oferece no seu formato - ponto final", diz Prasad. "Uma boa experiência de realidade aumentada exige um desempenho realmente elevado: taxas de fotogramas elevadas, latência extremamente baixa, gestão de energia e sem fios de precisão, etc. O disco e os óculos têm de ser concebidos em conjunto para trabalharem de forma muito próxima, não apenas na camada da aplicação, mas também nas camadas do sistema operativo, do firmware e do hardware. E mesmo que se concebesse um smartphone para funcionar com óculos de realidade aumentada, os exigentes requisitos de desempenho esgotariam a bateria do telefone e retirariam capacidade de computação aos casos de utilização do telefone. Por outro lado, o disco tem a sua própria bateria de alta capacidade, SoC de alto desempenho e um co-processador de IA personalizado concebido pela Meta e optimizado para o Orion."

Claro que o disco não foi concebido de um dia para o outro. Foram necessários anos de trabalho iterativo.

"Não sabíamos como é que as pessoas iriam querer interagir com o Orion do ponto de vista da entrada de dados - não havia nada que pudéssemos esboçar no mercado", diz o Gestor de Produto Matt Resman. "Se olharmos para os nossos primeiros protótipos de óculos, eram uns auscultadores enormes que pesavam três ou quatro quilos. E quando se está a tentar construir um produto, é muito difícil compreender a experiência do utilizador se não estivermos no formato certo. Com o disco, conseguimos criar um protótipo muito rapidamente para começar a perceber como é que as pessoas o utilizariam."

Com o nome de código Omega nos primeiros tempos, o disco foi inicialmente concebido pela então Oculus Research como uma banda em forma de Ω que seria colocada à volta do pescoço do utilizador e ligada aos óculos...

... até que algumas inovações da equipa sem fios da Reality Labs, entre outras coisas, lhes permitiram cortar o fio. Isso permitiu um fator de forma mais portátil ou de bolso/na mala, o que abriu muitas possibilidades.

"Nessa altura, a chamada de realidade aumentada ainda era o principal caso de utilização", explica Van Cleave. "O disco era onde os vídeos holográficos eram ancorados. Colocávamo-lo em cima da mesa com o banco de sensores virado para nós, para nos dar imagens e depois projetar a pessoa com quem estávamos a falar a partir da superfície do disco para a chamada."

"Orion tem como objetivo ligar as pessoas e aproximar-nos", afirma Resman. "Um dos conceitos iniciais para o disco era ajudar a criar esta sensação de presença com outras pessoas e permitir esta forma mais rica de comunicação."

"É diferente de tudo o que já se viu - o dispositivo tem o potencial de criar interações realmente divertidas e únicas", acrescenta o designer industrial Emron Henry. "A experiência do utilizador é um pouco como libertar um génio de uma garrafa, em que os hologramas emergem e se dissolvem perfeitamente no dispositivo."

Como já deve ter percebido, há mais potencialidades no disco do que aquilo que acabou por ser ativado como funcionalidade. Para além dos sensores e câmaras que teriam sido utilizados para chamadas de RA, o disco tem sensores hápticos e 6DOF que poderiam permitir a sua utilização como um controlador de rastreio para selecionar e manipular objectos virtuais e jogar jogos de RA. A equipa também explorou a entrada de toque capacitivo e de força para que o disco pudesse funcionar como um gamepad quando segurado no modo retrato e paisagem.

"Falávamos sobre a necessidade de transportar esta coisa extra", diz Van Cleave. "Como é que o tornamos mais útil? Havia todo um fluxo de trabalho em torno disso. E, a certa altura, a hipótese era que os jogos de RA seriam o caso de utilização ideal."

Desde o início, sabíamos que precisávamos de explorar as possibilidades de o disco fazer coisas que os telemóveis não podem. Eventualmente, acabámos por utilizar o olhar, o EMG e o rastreio da mão para jogos de RA, como o Stargazer e o Pong, mas criámos vários protótipos e jogos que utilizavam o disco como controlador nos primeiros tempos do Orion.

0:00 / 0:00

0:00 / 0:00

0:00 / 0:00

Explorações renderizadas do disco como um controlador 6DOF para jogos de RA como o Pong.

"Como não é um telemóvel, isso deu-nos muita liberdade de design", acrescenta Prasad. "Pode ser mais grosso, pode ser mais arredondado, de modo a caber confortavelmente na mão como um comando. É incrível que o disco seja mais pequeno do que um telemóvel normal, mas é mais potente do que um telemóvel porque tem um co-processador concebido pela Meta para IA e perceção automática."

A equipa investigou a questão de como um jogo de AR de qualidade pode diferir de um jogo de RM ou de consola. Isto significou explorar diferentes possibilidades para um controlador de jogos de realidade aumentada, incluindo joysticks, disposições de botões físicos, botões de acionamento e muito mais.

"Não acabámos por construir nada disso", observa Van Cleave. "Fizemos um protótipo, mas nunca chegámos a construir tudo. Queríamos manter as coisas simples. Queríamos fazer estas interfaces suaves, mas não fazer botões físicos e mecânicos."

E, embora os sensores e a sensação tátil não tenham sido activados no protótipo do produto acabado, desempenharam uma função integral durante o desenvolvimento, permitindo que as equipas apresentassem erros, bastando tocar algumas vezes na parte superior do dispositivo para desencadear um relatório de erro.

À medida que a IA começou a assumir um papel central como um caso de utilização chave, a computação tornou-se cada vez mais importante. No final, o disco alberga a conetividade sem fios, a potência de computação e a capacidade da bateria do Orion - uma enorme proeza técnica em si mesma -, o que ajuda a reduzir o peso e o formato dos óculos, dissipando muito mais calor em virtude da sua área de superfície.

Ao longo da sua evolução, uma coisa permaneceu inalterada: o disco é mais do que aquilo que se vê à primeira vista. A adoção de ideias não convencionais permitiu às nossas equipas explorar, ultrapassar os limites e construir o futuro.

"Estamos a definir uma categoria que ainda não existe", observa Henry. "Como seria de esperar em I&D, houve inícios e paragens ao longo do caminho. Como é que os utilizadores esperam interagir com os hologramas? Será que preferem utilizar um controlo remoto de realidade aumentada ou será que o seguimento da mão, o olhar e o EMG são suficientes para a entrada? O que é que parece intuitivo, de baixo atrito, familiar e útil?"

"Em vez de olharmos para o disco como uma mera pedra, perguntámo-nos o que mais poderíamos oferecer para o diferenciar dos telemóveis e justificar a razão pela qual o quereríamos transportar", reconhece Resman. "A sua potência de computação bruta e o seu design prático - que ajudaram a criar um formato de óculos que se pode usar de forma realista durante todo o dia - oferecem valor suficiente? A nossa função é ajudar a responder a estas perguntas."

"Desde o início, mudámos de orientação para nos concentrarmos no que podemos fazer que um telemóvel não pode fazer", acrescenta Van Cleave. "Os telemóveis têm de ter o ecrã, têm de ter uma determinada disposição física dos botões que os utilizadores esperam. E nós não temos essas limitações. O nosso disco de computação pode ser o que quisermos".

---

Para mais informações sobre o Orion, consulte estas publicações no blogue:

• Cristalino: Os nossos guias de onda de carboneto de silício e o caminho para o grande FoV de Orion
• Zero to One: como o nosso silício e chips personalizados estão a revolucionar a RA

TL;DR:

• Hoje em LigarMark Zuckerberg revelou o Orion - o nosso primeiro par de óculos de realidade aumentada, anteriormente com o nome de código Projeto Nazare.
• Com um campo de visão líder na indústria, lentes de carboneto de silícioO Orion é o nosso protótipo de produto mais avançado e mais polido até à data.
• Atualmente, continuamos a otimizar os produtos e a reduzir os custos à medida que avançamos para um dispositivo de consumo escalável que irá revolucionar a forma como as pessoas interagem com o mundo.

---

"Estamos a construir óculos de realidade aumentada".

Cinco palavras simples, falado há cinco anos. Com eles, colocámos uma bandeira na nossa visão de um futuro em que já não temos de fazer a falsa escolha entre um mundo de informação na ponta dos dedos e o mundo físico que nos rodeia.

E agora, cinco anos mais tarde, mais cinco palavras que podem voltar a mudar o jogo:

Construímos óculos de realidade aumentada.

https://youtube.com/watch?v=2CJsnyS8u3c%3Fsi%3DTr77gOKEq3PnA7-k%26controls%3D0%3Fautoplay%3D0%26color%3Dwhite%26cc_lang_pref%3Den%26cc_load_policy%3D0%26enablejsapi%3D1%26frameborder%3D0%26hl%3Den%26rel%3D0%26origin%3Dhttps%253A%252F%252Fwww.meta.com

Na Meta, a nossa missão é simples: dar às pessoas o poder de criar comunidades e aproximar o mundo. E nos Reality Labs, criamos ferramentas que ajudam as pessoas a sentirem-se ligadas em qualquer altura e em qualquer lugar. É por isso que estamos a trabalhar para criar a próxima plataforma de computação que coloca as pessoas no centro, para que possam estar mais presentes, ligadas e capacitadas no mundo.

Óculos Ray-Ban Meta demonstraram o poder de dar às pessoas um acesso mãos-livres a partes essenciais das suas vidas digitais a partir das suas vidas físicas. Podemos falar com um assistente de IA inteligente, ligarmo-nos a amigos e captar os momentos mais importantes - tudo isto sem ter de pegar no telemóvel. Estes óculos elegantes integram-se perfeitamente na nossa vida quotidiana e as pessoas adoram-nos.

No entanto, embora o Ray-Ban Meta tenha aberto uma categoria totalmente nova de óculos sem ecrã, sobrecarregados por IA, a indústria de XR há muito que sonha com verdadeiros óculos de RA - um produto que combina as vantagens de um grande ecrã holográfico e assistência personalizada de IA num formato confortável, elegante e utilizável durante todo o dia.

E hoje, tornámos esse sonho mais próximo da realidade com a revelação de Órionque acreditamos ser o par de óculos de realidade aumentada mais avançado alguma vez criado. Na verdade, poderá ser o dispositivo eletrónico de consumo mais desafiante produzido desde o smartphone. O Orion é o resultado de invenções revolucionárias em praticamente todos os domínios da computação moderna - com base no trabalho que temos vindo a fazer nos Reality Labs na última década. Está repleto de tecnologias totalmente novas, incluindo o ecrã AR mais avançado alguma vez montado e silicone personalizado que permite a execução de poderosas experiências de RA num par de óculos, utilizando uma fração da potência e do peso de um auricular de RM.

O sistema de introdução de dados do Orion combina na perfeição a voz, o olhar e o rastreio da mão com um Pulseira EMG que lhe permite deslizar, clicar e percorrer enquanto mantém o braço confortavelmente ao seu lado, permitindo-lhe manter-se presente no mundo e com as pessoas à sua volta enquanto interage com conteúdo digital rico.

A partir de hoje, na Connect, e durante todo o ano, vamos abrir o acesso ao protótipo do nosso produto Orion aos funcionários da Meta e a audiências externas selecionadas, para que a nossa equipa de desenvolvimento possa aprender, iterar e desenvolver a nossa linha de produtos de óculos de realidade aumentada para o consumidor, que planeamos começar a enviar num futuro próximo.

Porquê óculos de realidade aumentada?

Há três razões principais pelas quais os óculos de realidade aumentada são fundamentais para desbloquear o próximo grande salto na computação orientada para o ser humano.

1. Permitem experiências digitais que não estão limitadas pelos limites de um ecrã de smartphone. Com ecrãs holográficos de grandes dimensões, pode utilizar o mundo físico como tela, colocando conteúdos e experiências 2D e 3D onde quiser.
2. Integram perfeitamente a IA contextual que pode sentir e compreender o mundo à sua volta para antecipar e responder proactivamente às suas necessidades.
3. São leves e óptimos para utilização no interior e no exterior - e permitem que as pessoas vejam o rosto, os olhos e as expressões reais umas das outras.

Esta é a estrela polar que a nossa indústria tem vindo a construir: um produto que combina a conveniência e o imediatismo dos wearables com um ecrã de grandes dimensões, uma entrada de dados de elevada largura de banda e IA contextualizada num formato que as pessoas se sentem confortáveis a usar no seu dia a dia.

Fator de forma compacto, desafios complexos

Durante anos, enfrentámos uma falsa escolha: ou os auscultadores de realidade virtual e mista, que permitem experiências profundas e imersivas num formato volumoso, ou os óculos, que são ideais para uma utilização durante todo o dia, mas que não oferecem aplicações e experiências visuais ricas devido à falta de um ecrã de grandes dimensões e da correspondente capacidade de computação.

Mas queremos tudo, sem compromissos. Durante anos, trabalhámos arduamente para aproveitar as incríveis experiências espaciais proporcionadas pelos auscultadores de RV e RM e miniaturizar a tecnologia necessária para proporcionar essas experiências num par de óculos leves e elegantes. Conseguir o fator de forma, fornecer ecrãs holográficos, desenvolver experiências de RA apelativas e criar novos paradigmas de interação homem-computador (HCI) - e fazer tudo isto num produto coeso - é um dos desafios mais difíceis que a nossa indústria alguma vez enfrentou. Era tão difícil que pensámos que tínhamos menos de 10% de hipóteses de o conseguir.

Até agora.

Um ecrã inovador num formato sem paralelo

Com aproximadamente 70 graus, o Orion tem o maior campo de visão no menor formato de óculos de realidade aumentada até hoje. Esse campo de visão revela casos de uso verdadeiramente imersivos para o Orion, desde janelas multitarefa e entretenimento em tela grande até hologramas de pessoas em tamanho real - todo conteúdo digital que pode se misturar perfeitamente com sua visão do mundo físico.

Para a Orion, o campo de visão era o nosso Santo Graal. Estávamos a chocar com as leis da física e tínhamos de dobrar os feixes de luz de formas que não são naturalmente dobradas - e tínhamos de o fazer num envelope de potência medido em miliwatts.

Em vez de vidro, fabricámos as lentes a partir de carboneto de silício-uma nova aplicação para os óculos de realidade aumentada. Carboneto de silício é incrivelmente leve, não resulta em artefactos ópticos ou luz difusa e tem um índice de refração elevado - todas as propriedades ópticas que são fundamentais para um grande campo de visão. Os próprios guias de ondas têm estruturas 3D à escala nanométrica realmente intrincadas e complexas para difratar ou espalhar a luz da forma necessária para obter este campo de visão. E os projectores são uLEDs - um novo tipo de tecnologia de visualização que é super pequena e extremamente eficiente em termos energéticos.

O Orion é inconfundivelmente um par de óculos, tanto no aspeto como no toque - completo com lentes transparentes. Ao contrário dos auscultadores de RM ou de outros óculos de RA actuais, continua a ser possível ver os olhos e as expressões reais dos outros, para que possa estar presente e partilhar a experiência com as pessoas que o rodeiam. Foram necessárias dezenas de inovações para que o design industrial chegasse a um formato de óculos contemporâneo que fosse confortável usar todos os dias. O Orion é um feito de miniaturização - os componentes são embalados até uma fração de milímetro. E conseguimos incorporar sete câmaras e sensores minúsculos nos aros da armação.

Tivemos de manter a precisão ótica a um décimo da espessura de um fio de cabelo humano. E o sistema pode detetar pequenas quantidades de movimento - como a expansão ou contração das molduras em diferentes temperaturas ambiente - e depois corrigir digitalmente o alinhamento ótico necessário, tudo em milissegundos. Fabricámos as armações em magnésio - o mesmo material utilizado nos carros de corrida de F1 e nas naves espaciais - porque é leve mas rígido, pelo que mantém os elementos ópticos alinhados e conduz eficazmente o calor.

Aquecimento e refrigeração

Assim que decifrámos o ecrã (sem trocadilhos) e ultrapassámos os problemas de física, tivemos de enfrentar o desafio de uma computação realmente potente, a par de um consumo de energia realmente baixo e da necessidade de dissipação de calor. Ao contrário dos actuais auscultadores MR, não se pode enfiar uma ventoinha num par de óculos. Por isso, tivemos de ser criativos. Muitos dos materiais utilizados para arrefecer o Orion são semelhantes aos utilizados pela NASA para arrefecer satélites no espaço exterior.

Construímos silício personalizado altamente especializado que é extremamente eficiente em termos energéticos e optimizado para os nossos algoritmos de IA, perceção automática e gráficos. Construímos vários chips personalizados e dezenas de blocos de IP de silício altamente personalizados dentro desses chips. Isto permite-nos utilizar os algoritmos necessários para o seguimento da mão e dos olhos, bem como a tecnologia de localização e mapeamento simultâneos (SLAM), que normalmente consome centenas de miliwatts de energia - e, por conseguinte, gera uma quantidade correspondente de calor - e reduzi-la a apenas algumas dezenas de miliwatts.

E sim, o silício personalizado continua a desempenhar um papel fundamental no desenvolvimento de produtos na Reality Labs, apesar do que possa ter lido noutros sítios. 😎

EMG sem esforço

Cada nova plataforma de computação traz consigo uma mudança de paradigma na forma como interagimos com os nossos dispositivos. A invenção do rato ajudou a abrir caminho para as interfaces gráficas do utilizador (GUI) que dominam o nosso mundo atual, e os smartphones só começaram a ganhar força com o advento do ecrã tátil. E a mesma regra é válida para os dispositivos portáteis.

Já falámos sobre o nosso trabalho com eletromiografia, ou EMGdurante anos, impulsionados pela nossa convicção de que a introdução de dados para óculos de realidade aumentada tem de ser rápida, conveniente, fiável, subtil e socialmente aceitável. E agora, esse trabalho está pronto para o horário nobre.

O sistema de entrada e interação do Orion combina na perfeição a voz, o olhar e o seguimento da mão com uma pulseira EMG que lhe permite deslizar, clicar e deslocar-se com facilidade.

Funciona - e parece - como magia. Imagine tirar uma fotografia na sua corrida matinal com um simples toque da ponta dos dedos ou navegar em menus com movimentos quase imperceptíveis das suas mãos. A nossa pulseira combina um tecido de alto desempenho com sensores EMG incorporados para detetar os sinais eléctricos gerados até pelos mais pequenos movimentos musculares. Um processador ML integrado no dispositivo interpreta então esses sinais EMG para produzir eventos de entrada que são transmitidos sem fios para os óculos. O sistema adapta-se a si, pelo que, com o tempo, se torna cada vez mais capaz de reconhecer os gestos mais subtis. E hoje, estamos a partilhar mais sobre o nosso apoio à investigação externa centrada em expandir o potencial de equidade e acessibilidade das pulseiras EMG.

Conheça o Puck de computação sem fios

Os verdadeiros óculos de RA têm de ser sem fios e também têm de ser pequenos.Por isso, construímos um disco de computação sem fios para o Orion. Retira alguma da carga dos óculos, permitindo uma maior duração da bateria e um melhor fator de forma com baixa latência.

Os óculos executam todos os algoritmos de rastreio da mão, rastreio ocular, SLAM e gráficos especializados de bloqueio do mundo AR, enquanto a lógica da aplicação é executada no disco para manter os óculos tão leves e compactos quanto possível.

O disco tem dois processadores, incluindo um personalizado aqui mesmo na Meta, e fornece a potência de computação necessária para renderização de gráficos de baixa latência, IA e alguma perceção adicional da máquina.

E uma vez que é pequeno e elegante, pode colocar confortavelmente o disco numa mala ou no bolso e fazer o que tem a fazer - sem compromissos.

Experiências de RA

É claro que, como qualquer peça de hardware, só é tão bom quanto as coisas que pode fazer com ela. E, embora ainda seja cedo, as experiências proporcionadas pelo Orion são um vislumbre emocionante do que está para vir.

https://youtube.com/watch?v=HkdSv3QPhNw%3F%26controls%3D0%3Fautoplay%3D0%26color%3Dwhite%26cc_lang_pref%3Den%26cc_load_policy%3D0%26enablejsapi%3D1%26frameborder%3D0%26hl%3Den%26rel%3D0%26origin%3Dhttps%253A%252F%252Fwww.meta.com

Temos o nosso assistente inteligente, Meta IA, a correr no Orion. Compreende o que está a ver no mundo físico e pode ajudá-lo com visualizações úteis. O Orion utiliza o mesmo modelo Llama que alimenta as experiências de IA atualmente em execução nos óculos inteligentes Ray-Ban Meta, além de modelos de investigação personalizados para demonstrar potenciais casos de utilização para o desenvolvimento futuro de wearables.

Pode fazer uma videochamada em modo mãos-livres em movimento para pôr a conversa em dia com amigos e familiares em tempo real, e pode manter-se ligado no WhatsApp e no Messenger para ver e enviar mensagens. Não é necessário puxar do telemóvel, desbloqueá-lo, encontrar a aplicação certa e avisar o seu amigo que está atrasado para o jantar - pode fazer tudo isto através dos seus óculos.

https://youtube.com/watch?v=el7lUVvu8Bo%3F%26controls%3D0%3Fautoplay%3D0%26color%3Dwhite%26cc_lang_pref%3Den%26cc_load_policy%3D0%26enablejsapi%3D1%26frameborder%3D0%26hl%3Den%26rel%3D0%26origin%3Dhttps%253A%252F%252Fwww.meta.com

Pode jogar jogos de RA partilhados com a família do outro lado do país ou com o seu amigo do outro lado do sofá. E o ecrã de grandes dimensões do Orion permite-lhe fazer várias tarefas com várias janelas para realizar tarefas sem ter de andar com o portátil às costas.

As experiências disponíveis no Orion hoje ajudarão a traçar o roteiro da nossa linha de óculos de realidade aumentada para o consumidor no futuro. As nossas equipas continuarão a iterar e a criar novas experiências sociais imersivas, juntamente com os nossos parceiros de desenvolvimento, e mal podemos esperar para partilhar o que vem a seguir.

Um protótipo de produto com objetivo

Embora o Orion não vá chegar às mãos dos consumidores, não se enganem: Este é o não um protótipo de investigação. É o protótipo de produto mais polido que já desenvolvemos - e é verdadeiramente representativo de algo que poderia enviar aos consumidores. Em vez de nos apressarmos a colocá-lo nas prateleiras, decidimos concentrar-nos primeiro no desenvolvimento interno, o que significa que podemos continuar a construir rapidamente e a ultrapassar os limites da tecnologia e das experiências.

E isso significa que chegaremos mais rapidamente a um produto de consumo ainda melhor.

O que vem a seguir

Há muito que dois grandes obstáculos se interpõem no caminho dos óculos de realidade aumentada para o consumidor comum: os avanços tecnológicos necessários para proporcionar um ecrã de grandes dimensões num formato de óculos compacto e a necessidade de experiências de realidade aumentada úteis e apelativas que possam ser executadas nesses óculos. O Orion é um grande marco, pois proporciona, pela primeira vez, verdadeiras experiências de RA num hardware com um estilo razoável.

Agora que partilhámos o Orion com o mundo, estamos concentrados em algumas coisas:

• Ajustar a qualidade do ecrã de RA para tornar as imagens ainda mais nítidas
• Otimizar sempre que possível para tornar o formato ainda mais pequeno
• Construir à escala para os tornar mais acessíveis

Nos próximos anos, podem esperar ver novos dispositivos que se baseiam nos nossos esforços de I&D. E algumas das inovações do Orion foram alargadas aos nossos actuais produtos de consumo, bem como ao nosso futuro roteiro de produtos. Optimizámos alguns dos nossos algoritmos de perceção espacial, que estão a ser executados em ambos os Meta Quest 3S e Orion. Embora o olhar fixo e o sistema de entrada gestual subtil tenham sido originalmente concebidos para o Orion, planeamos utilizá-los em produtos futuros. E estamos a explorar a utilização de pulseiras EMG também em futuros produtos de consumo.

O Orion não é apenas uma janela para o futuro - é um olhar sobre as possibilidades reais que estão ao nosso alcance hoje. Construímo-lo na busca do que fazemos melhor: ajudar as pessoas a ligarem-se. Desde os óculos Ray-Ban Meta até ao Orion, vimos o bem que pode advir de permitir que as pessoas se mantenham mais presentes e capacitadas no mundo físico, ao mesmo tempo que aproveitam toda a riqueza adicional que o mundo digital tem para oferecer.

Acreditamos que não deve ter de escolher entre os dois. E com a próxima plataforma de computação, não terá de o fazer.

---

Para mais informações sobre o Orion, consulte estas publicações no blogue:

• O disco de computação da Orion: A história por detrás do dispositivo que ajudou a tornar possíveis os nossos óculos AR
• Zero to One: como o nosso silício e chips personalizados estão a revolucionar a RA
• Cristalino: Os nossos guias de onda de carboneto de silício e o caminho para o grande FoV de Orion