Em 2017, o cientista-chefe da Reality Labs Michael AbrashA Oculus Research, apoiada pelo fundador e diretor executivo da Meta, Mark Zuckerberg, criou uma nova equipa secreta na então Oculus Research para construir as bases da próxima plataforma informática. A sua tarefa hercúlea: Criar uma solução de silício personalizada que pudesse suportar as exigências únicas das futuras óculos de realidade aumentada-uma proeza técnica que exigiu a reimaginação de todos os componentes para um dispositivo que pode ser usado durante todo o dia Óculos AR que simplesmente ainda não existia.

Ângulo frontal do protótipo dos óculos Orion AR.

Fator de forma compacto, espaço considerável para problemas

Tendo crescido de apenas alguns investigadores para centenas de pessoas no lado do produto, a equipa de silício personalizado foi criada com base na premissa de que os óculos de RA não podiam depender do silício disponível nos smartphones actuais. E é uma premissa confirmada pelos vários chips personalizados que estão no seu interior Órion, o nosso primeiro protótipo de produto de óculos de realidade aumentada.

"Construir o navio à medida que este sai do porto - era exatamente isso que estávamos a fazer", diz Jeremy Snodgrass, Diretor de Estratégia de Tecnologias Avançadas. "Tivemos de aumentar a escala de uma equipa modesta enquanto construíamos estes chips em simultâneo. Foi fascinante ver a liderança trazer novas contratações a bordo enquanto desenvolvia uma cultura que valorizava a agilidade. Nada era problema de outra pessoa. Pegava-se num remo e começava-se a remar, mesmo que não fosse exatamente a função para que se tinha sido contratado. Foi uma época muito, muito emocionante".

"Quase tudo no Orion era novo para o mundo em muitos aspectos", concorda o diretor técnico da Display Architecture, Mike Yee. "Algumas das ideias já existiam, mas ninguém tinha assumido o projeto de investigação para construir um par de óculos de realidade aumentada que pudesse ser usado durante todo o dia."

A equipa tinha de proporcionar uma experiência de RA atraente com o menor consumo de energia possível. O formato dos óculos só pode dissipar uma determinada quantidade de calor e só pode acomodar uma determinada capacidade de bateria. Como resultado, as experiências que é possível proporcionar nos óculos dependem completamente do silício. Por outras palavras, se mantivermos constantes as capacidades térmicas e da bateria, a única forma de proporcionar uma determinada experiência é otimizar o silício.

"A conceção de uma nova arquitetura para o Orion exigiu que a equipa não só impulsionasse agressivamente as tecnologias existentes, como a tecnologia sem fios e os ecrãs, mas também assumisse riscos em relação a novas tecnologias", afirma o Diretor de Gestão de Produtos, Neeraj Choubey. "Por exemplo, a equipa desenvolveu um acelerador de aprendizagem automática (ML) sem um caso de utilização claro na altura, motivada pela forte convicção de que a ML se tornaria cada vez mais importante nos produtos Meta. No Orion, todos os aceleradores de aprendizagem automática são utilizados e, nalguns casos, estão sobrecarregados, servindo funções como o seguimento dos olhos e das mãos. Da mesma forma, a equipa desenvolveu protocolos de compressão personalizados para reduzir a largura de banda e o consumo de energia à medida que os dados eram transferidos do calcular o disco para o ecrã. O desenvolvimento de silício personalizado para atingir os objectivos da Orion em termos de formato exigiu uma tolerância a uma elevada ambiguidade e uma atenção meticulosa aos detalhes para criar uma arquitetura de sistema incrivelmente complexa."

"O maior desafio que tivemos foi fornecer os gráficos renderizados em 3D bloqueados pelo mundo, juntamente com o áudio espacializado que é renderizado de tal forma que parece emanar de um objeto virtual", observa Snodgrass. "Tínhamos de encaixar todos estes componentes electrónicos na capacidade térmica e no espaço físico, e depois funcionar com a bateria para não aquecer demasiado. E tivemos de fazer tudo isto num formato de óculos - não numa viseira grande como as que se vêem normalmente na categoria."

"Sabíamos como fornecer a potência de computação necessária para dar vida à nossa visão do Orion, mas enfrentámos uma tarefa assustadora: reduzir o consumo de energia por um fator de 100", afirma Robert Shearer, Diretor de Soluções SoC. "Isso exigiu que ultrapassássemos os limites do design de silício, adotando metodologias de diversos cantos do setor - da IoT à computação de alto desempenho - e inventando novas abordagens para preencher as lacunas. Os nossos parceiros da indústria pensaram que éramos loucos, e talvez não estivessem totalmente errados. Mas foi exatamente isso que foi necessário: uma vontade de desafiar a sabedoria convencional e repensar tudo. Construir um computador que funde perfeitamente os mundos virtual e físico exige uma compreensão profunda do contexto, ultrapassando em muito o que as plataformas de computação existentes podem oferecer. Essencialmente, reinventámos a forma como os computadores interagem com os humanos, o que significou reimaginar a forma como construímos o silício a partir do zero."

Componentes exteriores do Orion.

A magia dos MicroLEDs

Houve momentos em que as coisas se atrasaram ou em que surgiu um desafio técnico aparentemente intransponível, em que foi difícil manter o ímpeto e a moral. Mas a equipa foi resiliente, encontrando caminhos para contornar os obstáculos - ou simplesmente derrubando-os.

Vejamos, por exemplo, o ecrã do Orion. A equipa de silício foi responsável pelo silício no projetor do visor que se encontra nos cantos dos óculos.

"Para esses projectores, havia uma questão em aberto sobre se conseguiríamos obter os microLEDs numa matriz com eficiência e brilho suficientemente elevados para implementar um ecrã de campo de visão alargado", afirma Snodgrass. "Havia uma enorme dúvida de que conseguíssemos - que fosse possível no período de tempo que estávamos a considerar - porque se tratava de uma tecnologia muito recente."

"Percebemos muito cedo que tínhamos de repensar muitos dos paradigmas do desenvolvimento de produtos", acrescenta Yee. "A quantidade de luz necessária para criar um ecrã utilizável é um pouco mais brilhante para os óculos de realidade aumentada porque, como um ecrã usável, estamos a competir com o sol. Por isso, precisamos de níveis de energia que rivalizem com o sol - ou, pelo menos, é esse o objetivo. Ainda não chegámos a esse ponto, mas é uma parte importante do processo. E isso significa que precisamos de fontes de luz para um ecrã que sejam capazes disso e precisamos de circuitos que possam controlar isso. E, ao mesmo tempo, é preciso torná-lo minúsculo".

Silício personalizado que conduz os µLEDs da Orion.

Embora os microLEDs parecessem ser a fonte de luz mais adequada para os projectores, o silício ajudou a revelar o seu potencial.

"Nos ecrãs, falamos de distância entre píxeis, que é a distância entre os pontos centrais dos píxeis adjacentes", explica Yee. "Para as televisões, essas distâncias são de centenas de microns. No telemóvel, são muitas, muitas dezenas de microns. E nós precisávamos de reduzir isso para um único dígito. O único fabrico de semicondutores conhecido que conseguia chegar lá era o silício."

A complicar o trabalho estava o facto de a superfície posterior do ecrã ter de ser uma peça de silício, e ninguém no mundo tinha concebido silício para microLEDs.

"Na altura, as equipas de investigação que existiam tinham todas reutilizado ecrãs de cristais líquidos em silício para colocar microLEDs", diz Yee. "Nunca ninguém tinha concebido um painel posterior para microLEDs. E enfrentámos um desafio único porque se trata de um componente ótico. Tem de ser plano. Não se pode riscar. Tem de ter todas estas caraterísticas porque quando olhamos através dos guias de ondas, através dos projectores, estamos literalmente a olhar para a superfície superior da peça de silício."

A equipa de silício desenvolveu uma série complexa de plataformas de teste para estes ecrãs microLED, o que implicou uma coordenação estreita com os nossos fornecedores globais. Os microLEDs têm uma pegada global, com origem num local e depois transferidos para outro local onde foram colocados numa bolacha. As bolachas eram depois enviadas para serem cortadas numa forma específica, seguidas de uma viagem aos EUA para serem ligadas a outra bolacha e depois enviadas de volta para o outro lado do mundo para que o módulo fosse construído e testado. Tratava-se de um processo extremamente complicado e a equipa de silício desenvolveu veículos de teste para comprovar cada etapa.

A equipa também precisava de encontrar uma forma de fornecer energia aos ecrãs microLED no pequeno volume dos cantos dos óculos. A nossa equipa analógica desenvolveu um chip de gestão de energia personalizado que cabe dentro desse volume.

"O fornecimento de energia é crucial para estes dispositivos portáteis de formato pequeno, em que o tamanho da bateria é limitado e o espaço é escasso", refere o Diretor de Sistemas Analógicos e de Sinal Misto, Jihong Ren. "A nossa solução personalizada de IC de gestão de energia utiliza tecnologias de ponta para otimizar a eficiência energética para a nossa carga de trabalho específica ao nível do sistema, ao mesmo tempo que se enquadra nas restrições de espaço disponíveis. Alcançar esta solução ideal exigiu uma estreita colaboração interdisciplinar com nossas equipes mecânicas, elétricas, SoC, μLED e térmicas, garantindo uma integração perfeita de todos os componentes e maximizando o desempenho geral.

"Foi um feito espantoso, não só de engenharia, mas também de gestão organizacional: reunir uma equipa, trabalhar em vários fusos horários e com todos estes fornecedores diferentes", acrescenta Snodgrass. "De certa forma, gerir tudo isto em termos organizacionais foi um desafio tão grande como cumprir as especificações técnicas."

"Não só o design é personalizado, como todo o processo de fabrico é personalizado", acrescenta Yee. "Temos a sorte de ter alguns parceiros maravilhosos na indústria que ajudaram a fazer isso acontecer. Eles vêem o potencial a longo prazo dos ecrãs de RA como um todo e, certamente, a visão da Meta para o mesmo. Por isso, estão dispostos a associar-se a nós para fazer essas personalizações e optimizações para permitir esse ecrã."

Óculos Orion AR.

A iteração encontra a aceleração

Havia um ciclo de feedback estreito entre a equipa de silício e as mentes brilhantes da Reality Labs Research e da XR Tech que desenvolviam algoritmos. Estas últimas equipas forneciam esses algoritmos, que as primeiras traduziam em hardware, eliminando a sobrecarga do software de execução de CPU de uso geral. Isto significava que os algoritmos seriam executados com menor potência, mas também significava que a equipa de silício estava bloqueada. Uma vez que os algoritmos fossem reforçados, não poderiam mais fazer alterações.

"Digamos que a XR Tech estava a desenvolver algoritmicamente uma determinada disciplina", explica o Diretor de Arquitetura e Algoritmos da Silicon Accelerators, Ohad Meitav. "Eles detêm a pilha algorítmica e o seu desempenho. A minha equipa, em colaboração com eles, decidiria então como acelerar o algoritmo, como fortalecer partes do algoritmo e como colocá-lo no hardware de forma a funcionar de forma super eficiente. Depois, a XR Tech adaptava a sua pilha de software para ter em conta o hardware. É um processo muito iterativo".

Outra história de sucesso é a colaboração da equipa de silício com a Reality Labs Research para criar um novo algoritmo de reprojecção.

"Precisávamos que o algoritmo de reprojecção suportasse uma variedade de distorções e correcções diferentes", observa o arquiteto de silício Steve Clohset. "O algoritmo que a RL-R desenvolveu e que acabámos por utilizar não é utilizado na computação geral. E, até hoje, está a revelar-se uma ferramenta bastante poderosa."

Depois de os algoritmos terem sido reforçados e o hardware ter sido optimizado, a equipa de desenvolvimento de silício colocou os chips personalizados à prova.

"O chipset de silício personalizado da Orion está repleto de complexidade", afirma o Diretor Sénior de Sistemas e Infra-estruturas End-to-End, Liping Guo. "A criação e validação de chips autónomos e as interoperabilidades entre eles num curto período de tempo é incrivelmente desafiante. Felizmente, estamos a operar num ambiente verticalmente integrado em que a Reality Labs detém toda a pilha - desde o silício e firmware de baixo nível até ao sistema operativo, software e experiências de camada superior. Tirámos o máximo partido deste facto, trabalhando em estreita colaboração com os nossos parceiros multifuncionais, e deixámos a nossa integração de pilha cruzada na fase de validação do silício. O Orion foi o nosso piloto para esta metodologia - desenvolvemos os nossos músculos de shift-left e criámos uma base sólida para a Reality Labs colher todos os benefícios do silício personalizado no futuro."

E depois do arranque, era altura de otimizar o software.

"Há um processo iterativo em que se começa com uma pilha de software totalmente não optimizada, apenas para que tudo arranque e funcione", diz Snodgrass. "E depois, um a um, percorremos os subsistemas e começamos a otimizar o software para esse hardware específico - incluindo a redução da quantidade de memória que o software utiliza. O hardware pode ser muito bem concebido, mas não se consegue a eficiência energética teórica se não se investir tanto ou mais tempo a fazer com que o software tire o máximo partido do hardware. Esta é a história do Orion: hardware e software optimizados ao máximo. Não deixa nenhum picojoule ou miliwatt para trás".

E embora o Orion possa ser um protótipo, o trabalho que foi feito nele tem um potencial considerável para influenciar o roteiro da Meta.

"Encaramos os IPs de silício que estamos a construir como plataformas, no sentido em que são IPs valiosos que iremos melhorar de uma geração ou de um produto para outro", acrescenta Meitav. "Todos os algoritmos de visão computacional e gráficos não são criados apenas para o Orion. Serão utilizados em futuros produtos."

O nosso trabalho em silício envolve a criação de soluções inovadoras, ao mesmo tempo que trabalhamos em estreita colaboração com os nossos parceiros. De facto, a influência da equipa de silício estende-se para além do Orion, abrangendo Óculos Ray-Ban Meta e Auscultadores Meta Quest atualmente - apesar de ambos utilizarem chips de terceiros. A equipa de silício partilha regularmente o seu trabalho com a equipa de realidade mista, mostrando o que é possível fazer em termos de eficiência energética. A equipa de realidade mista partilha então essas descobertas com parceiros como Qualcomm para ajudar a informar futuros projectos de chips. E como a equipa de silício utiliza os mesmos processadores de sinal digital (DSPs) prontos a utilizar que os óculos Ray-Ban Meta, puderam partilhar as lições aprendidas e as melhores práticas ao implementar e escrever código para esses DSPs para ajudar a melhorar as experiências de áudio disponíveis nos nossos óculos com IA.

E essa partilha de conhecimentos é recíproca: A equipa de RM deu à equipa de silício conhecimentos sobre coisas como TimeWarp assíncrono e Aplicação SpaceWarp em produção.

"O que uma pessoa faz na produção é muito mais interessante do que algo que poderíamos fazer com um protótipo", diz Clohset. "Tentámos integrar o mais possível o que estavam a fazer com as urdiduras."

Ambiguidade < Ambição

Uma vez que Orion era verdadeiramente zero para um, as equipas envolvidas tiveram de lidar com uma quantidade excessiva de ambiguidade por necessidade.

"Com o Orion, não posso exagerar o quanto a ambiguidade complicou as coisas", diz Clohset. "Quando se fabrica um computador, por exemplo, geralmente tem-se uma boa ideia do que será o ecrã. Mas não sabíamos como seria o guia de ondas, por isso tivemos de experimentar diferentes guias de ondas e criar um mecanismo que pudesse lidar com o pior cenário possível, porque não sabíamos onde as coisas iriam parar. Uma otimização aqui iria convolar-se com todas as outras escolhas, e acabaríamos com esta matriz de todas estas coisas diferentes que tínhamos como suporte e que tentávamos validar, porque não sabíamos onde o produto iria parar dentro de seis meses."

É importante notar que o Orion não é apenas um par de óculos de realidade aumentada - é uma constelação de hardware composta por três partes. Grande parte do processamento ocorre no calcular o discoo que exige uma forte ligação entre este e os óculos. Adicione o pulseira EMG de superfície no circuito, e a arquitetura do sistema torna-se ainda mais complicada.

"Foi um enorme desafio para as equipas resolverem, e tudo isto funciona", diz Snodgrass. "Foi uma colaboração fantástica entre a equipa de silício, a equipa sem fios e as equipas de software de toda a organização."

O disco de computação do Orion.

"Com o Orion, criámos uma equipa inteira com uma grande diversidade de engenheiros, que conseguiram conceber um pipeline totalmente novo", acrescenta Clohset. "É um pipeline que lida com o movimento de seis graus de liberdade de objectos no espaço 3D. Utiliza o seu próprio controlador de ecrã personalizado. Tivemos de fazer correcções de qualidade de imagem verdadeiramente únicas. E penso que o desafio para nós foi que, como se tratava de um projeto zero a um, não havia especificações existentes para ajustar e melhorar. Tudo aqui é completamente novo, por isso tivemos liberdade para fazer tudo."

Tal como o disco O Orion tem algumas funcionalidades inactivas escondidas sob a superfície, mas o silício personalizado também se destaca. Embora o Orion não permita que o utilizador tire fotografias com as suas câmaras RGB, o silício é capaz de as suportar, bem como avatares de codecs. E tal como o disco ajudou a desbloquear um verdadeiro fator de forma de óculos ao transferir grande parte da computação, o silício personalizado da Orion provou ser uma peça necessária do puzzle da RA.

"Para dar vida a uma experiência zero a um, como os óculos de realidade aumentada, é necessário silício personalizado - ponto final", explica Snodgrass. "Com o tempo, se houver um mercado, os fornecedores de silício desenvolverão produtos para satisfazer a procura. Mas para o zero-a-um, não se pode simplesmente pegar em algo que existe na prateleira e que se destina a um produto diferente e encaixá-lo num novo molde. É preciso investir em algo personalizado. E para dar vida a essas experiências "zero a um", é necessária uma ampla colaboração entre parceiros de software, designers industriais, engenheiros mecânicos e outros."

"Ao libertarmo-nos dos modelos mentais tradicionais, criámos algo verdadeiramente notável", acrescenta Shearer. "Acreditamos que esta plataforma de computação representa o futuro da tecnologia - uma plataforma que irá revolucionar a forma como vivemos, trabalhamos e interagimos uns com os outros. Estamos entusiasmados por estar na vanguarda desta inovação, ultrapassando os limites do que é possível e ajudando a moldar o curso da história."

---

Para mais informações sobre o Orion, consulte estas publicações no blogue:

• Cristalino: Os nossos guias de onda de carboneto de silício e o caminho para o grande FoV de Orion
• O disco de computação da Orion: A história por detrás do dispositivo que ajudou a tornar possíveis os nossos óculos AR

Quando começámos a fazer demonstrações de Órion No início deste ano, lembrei-me de uma frase que se ouve muito na Meta - na verdade, estava até na nossa primeira carta aos potenciais acionistas, em 2012: O código ganha argumentos. Provavelmente, aprendemos tanto sobre este espaço de produto com alguns meses de demonstrações reais do que com os anos de trabalho que foram necessários para as criar. Não há nada que substitua o facto de construir algo, colocá-lo nas mãos das pessoas e aprender com a forma como reagem a ele.

Orion não foi o único exemplo disso este ano. O nosso hardware de realidade mista e Óculos com IA atingiram um novo nível de qualidade e acessibilidade. A estabilidade dessas plataformas permite que os nossos programadores de software avancem muito mais rapidamente em tudo, desde sistemas operativos a novas funcionalidades de IA. É assim que vejo o metaverso a começar a ganhar maior destaque e é por isso que estou tão confiante de que o próximo ano será o mais importante da história da Reality Labs.

https://youtube.com/watch?v=xwMNZb6UE1o%3F%26controls%3D0%3Fautoplay%3D0%26color%3Dwhite%26cc_lang_pref%3Den%26cc_load_policy%3D0%26enablejsapi%3D1%26frameborder%3D0%26hl%3Den%26rel%3D0%26origin%3Dhttps%253A%252F%252Fwww.meta.com

2024 foi o ano em que os óculos de IA atingiram o seu auge. Quando começámos a fabricar óculos inteligentes em 2021, pensámos que poderiam ser um bom primeiro passo em direção aos óculos de realidade aumentada que eventualmente queríamos construir. Embora os auscultadores de realidade mista estejam a caminho de se tornarem uma plataforma de computação de uso geral muito semelhante aos PCs actuais, vimos os óculos como a evolução natural das actuais plataformas de computação móvel. Por isso, queríamos começar a aprender com o mundo real o mais rapidamente possível.

A maior coisa que aprendemos é que os óculos são, de longe, o melhor fator de forma para um dispositivo verdadeiramente nativo da IA. De facto, poderão ser a primeira categoria de hardware a ser completamente definida pela IA desde o início. Para muitas pessoas, os óculos são o local onde um assistente de IA faz mais sentido, especialmente quando se trata de um sistema multimodal que possa compreender verdadeiramente o mundo que o rodeia.

Estamos mesmo no início da curva em S para toda esta categoria de produtos, e há inúmeras oportunidades pela frente. Uma das coisas que mais me entusiasma para 2025 é a evolução dos assistentes de IA para ferramentas que não se limitam a responder a uma mensagem quando pedimos ajuda, mas que podem tornar-se um ajudante proactivo durante o nosso dia. Na Connect, mostrámos como a IA em direto nos óculos pode tornar-se um participante em tempo real quando estamos a fazer coisas. Como esta funcionalidade começa a ser lançado em acesso antecipado este mês veremos o primeiro passo para um novo tipo de assistente de IA personalizado.

Não será a última. Estamos atualmente no meio de um impulso de toda a indústria para criar hardware nativo de IA. Estamos a ver os fabricantes de telemóveis e de PCs a esforçarem-se por reconstruir os seus produtos de forma a colocarem os assistentes de IA no seu núcleo. Mas penso que uma oportunidade muito maior é criar dispositivos que sejam nativos da IA desde o início, e estou confiante de que os óculos vão ser os primeiros a chegar lá. Michael Abrash, cientista-chefe de investigação da Meta, tem falado sobre o potencial de um assistente de IA personalizado e sensível ao contexto nos óculos durante muitos anose a criação das tecnologias que o tornam possível tem sido uma das grandes prioridades das nossas equipas de investigação.

Realidade mista tem sido outro domínio em que o facto de ter o produto certo nas mãos de muitas pessoas tem sido um importante acelerador do progresso. Vimos Meta Quest 3 melhoram mês após mês, à medida que continuamos a iterar na passagem do sistema principal, multitarefa, interfaces de utilizador espaciais e muito mais. Todos estes ganhos estenderam-se ao Quest 3S no momento em que foi lançado. Isso significa que o Quest 3S de $299 era, em muitos aspectos, um headset melhor no primeiro dia do que o Quest 3 de $499 quando foi lançado pela primeira vez em 2023. E toda a família Quest 3 continua a melhorar com cada atualização.

Em 2025, veremos a próxima iteração desta realidade, uma vez que o Quest 3S traz muito mais pessoas para a realidade mista pela primeira vez. Embora o Quest 3 tenha sido um sucesso entre as pessoas ansiosas por ter o melhor dispositivo do mercado, espera-se que o Quest 3S seja muito dotado em 2024. As vendas foram fortes durante o fim de semana da Black Friday e esperamos um aumento de pessoas a ativar os seus novos auscultadores durante as férias.

Isto dará continuidade a uma tendência que tomou forma no último ano: o crescimento de novos utilizadores que procuram uma maior variedade de coisas para fazer com os seus auscultadores. Queremos que estes novos utilizadores vejam a magia do MR e se mantenham por muito tempo, e é por isso que estamos a financiar os programadores para criarem os novos tipos de aplicações e jogos que procuram.

Tem havido um afluxo significativo de pessoas mais jovens, em particular, e estas têm vindo a gravitar em torno de jogos multijogador sociais e competitivos, bem como de conteúdos freemium. E títulos como BEHEMOTH da Skydance, Batman: Sombra de Arkham (que acaba de ganhar o prémio de melhor jogo de AR/VR nos The Game Awards!), e Metro Awakening mostrou mais uma vez que alguns dos melhores jogos novos que a nossa indústria produz só são possíveis nos auscultadores actuais.

À medida que o número de pessoas na RM cresce, a qualidade da experiência social que esta pode proporcionar está a crescer em paralelo. Este é o cerne do que a Meta está a tentar alcançar com os Reality Labs e onde será desbloqueado o maior potencial do metaverso: "a oportunidade de criar a plataforma mais social de sempre", foi assim que a descrevemos quando começou a trabalhar nele. Demos dois passos em frente nesta frente em 2024: primeiro com um vasto conjunto de melhorias no Horizon Worlds, incluindo a sua expansão para dispositivos móveis, e segundo com o sistema Meta Avatars de nova geração que permite às pessoas representarem-se a si próprias nas nossas aplicações e auscultadores. E à medida que a qualidade visual e a experiência geral com estes sistemas melhoram, mais pessoas estão a ter o seu primeiro vislumbre de um metaverso social. Estamos a assistir a tendências semelhantes, com os novos utilizadores da Quest 3S a passarem mais tempo no Horizon Worlds, tornando-o numa aplicação imersiva Top 3 para a Quest 3S, e as pessoas continuam a criar novos Meta Avatares em dispositivos móveis e RM.

O facto de a realidade mista ter entrado na moda ajudou a iluminar o que virá a seguir. Uma das primeiras tendências que descobrimos após o lançamento do Quest 3 no ano passado foi o facto de as pessoas utilizarem a realidade mista para verem vídeos enquanto faziam várias tarefas em casa - lavar a loiça ou aspirar a sala de estar. Este foi um sinal precoce de que as pessoas adoram ter um grande ecrã virtual que podem levar para qualquer lugar e colocar no mundo físico à sua volta. Vimos esta tendência descolar com todo o tipo de experiências de entretenimento a crescer rapidamente em toda a família Quest 3. Novas funcionalidades como o YouTube Co-Watch mostram o potencial que existe para um novo tipo de experiência de entretenimento social no metaverso.

É por isso que James Cameron, um dos contadores de histórias tecnologicamente mais inovadores dos nossos tempos, está agora a trabalhar para ajudar mais cineastas e criadores produzir óptimos conteúdos 3D para o Meta Quest. Embora os filmes em 3D sejam produzidos há décadas, nunca houve uma forma de os ver tão boa como com uns auscultadores MR e, no próximo ano, haverá mais pessoas a possuir auscultadores do que nunca. "Estamos num verdadeiro ponto de inflexão histórico,"Jim disse quando nós lançámos a nossa nova parceria este mês.

Isto está a acontecer paralelamente a uma mudança maior Mark Rabkin partilhado no Connect deste ano: A nossa visão para o Horizon OS consiste em criar um novo tipo de plataforma de computação de utilização geral capaz de executar todo o tipo de software, suportar todo o tipo de utilizadores e estar aberta a todo o tipo de criadores e programadores. Os nossos recentes lançamentos para multitarefas 2D/3D, posicionamento de painéis, melhor localização das mãos, integração do ambiente de trabalho remoto do Windows e Open Store começaram a criar uma dinâmica neste novo caminho. O Horizon OS está no bom caminho para ser a primeira plataforma que suporta todo o espetro de experiências, desde a RV imersiva a ecrãs 2D, aplicações móveis e ambientes de trabalho virtuais - e a comunidade de programadores é fundamental para esse sucesso.

O próximo grande passo em direção ao metaverso vai combinar óculos de IA com o tipo de experiência de realidade aumentada que revelámos este ano com o Orion. Não é frequente termos um vislumbre do futuro e vermos uma tecnologia totalmente nova que nos mostra para onde as coisas estão a ir. As pessoas que viram o Orion compreenderam imediatamente o que significava para o futuro, tal como as pessoas que viram os primeiros computadores pessoais a ganhar forma no Xerox PARC na década de 1970 ("em dez minutos tornou-se óbvio para mim que todos os computadores iriam funcionar assim um dia", disse mais tarde Steve Jobs sobre a sua demonstração do Xerox Alto em 1979).

Poder colocar as pessoas numa máquina do tempo e mostrar-lhes como será a próxima plataforma de computação foi um dos pontos altos de 2024 - e da minha carreira até agora. Mas o verdadeiro impacto do Orion será nos produtos que lançaremos a seguir e na forma como nos ajuda a compreender melhor o que as pessoas adoram nos óculos de realidade aumentada e o que precisa de ser melhorado. Passámos anos a trabalhar em investigação de utilizadores, exercícios de planeamento de produtos e estudos experimentais para tentar perceber como os óculos de realidade aumentada devem funcionar, e foi esse trabalho que nos permitiu criar o Orion. Mas o ritmo do progresso será muito mais rápido daqui para a frente, agora que temos um produto real em torno do qual podemos construir a nossa intuição.

Esta tem sido a lição repetida vezes sem conta durante a última década na Reality Labs. A coisa mais importante que se pode fazer quando se está a tentar inventar o futuro é enviar coisas e aprender com a forma como as pessoas reais as utilizam. Nem sempre serão êxitos imediatos, mas ensinar-nos-ão sempre alguma coisa. E quando se chega a coisas que realmente acertam no alvo, como a realidade mista no Quest 3 ou a IA nos óculos, é aí que se põe o pé no acelerador. É isto que fará de 2025 um ano tão especial: Com os dispositivos certos no mercado, as pessoas a experimentá-los pela primeira vez e os programadores a descobrirem todas as oportunidades que se avizinham, é altura de acelerar.

Bem-vindos a mais um episódio de Boz Para o Futuro, um podcast da Reality Labs. Em o episódio de hojeO nosso anfitrião, Andrew "Boz" Bosworth, CTO da Meta e Diretor dos Reality Labs, é acompanhado por Alex Himel, VP de Wearables da Meta.

A equipa de Himel trabalha em alguns dos problemas técnicos mais difíceis da indústria, tudo para ajudar a construir a próxima plataforma de computação. Tal como Bosworth, é um líder estável na Meta, tendo desempenhado várias funções de liderança em toda a empresa nos seus mais de 15 anos na empresa.

Bosworth e Himel abordam uma série de tópicos, incluindo os wearables, a realidade aumentada e a forma como a IA está a acelerar e a melhorar os tipos de experiências incorporadas em Óculos Ray-Ban Meta e futuros produtos.

Aprofundam o tema Órion e a receção positiva que tem tido desde que Mark Zuckerberg a anunciou em Ligar. Tal como Steve Jobs reconheceu o Alto como um ponto de viragem na computação, Bosworth afirmou que, embora possamos discordar dos pormenores, é difícil argumentar contra isto como o futuro. Himel e Bosworth continuam a falar sobre o enorme valor da prototipagem e da construção, dizendo que aprenderam muito mais sobre o Orion e os seus paradigmas de entrada nas três semanas de utilização do que nos anos passados a construí-lo.

Também falaram sobre o papel crucial da IA nos dispositivos portáteis e como se está a tornar cada vez mais útil na vida quotidiana - especialmente agora que é possível perguntar à Meta IA sobre as coisas que está a ver e utilizá-la para definir lembretes visuais.

Himel também fala sobre a sua profunda experiência num tipo diferente de pilha: sandes. Com sete anos de experiência a trabalhar na famosa loja Lange's Little Store em Chappaqua, Nova Iorque, onde cresceu, Himel e Bosworth falam sobre o que faz uma óptima sanduíche, onde é que os tomates vão realmente parar e qual é o melhor pão.

Pode sintonizar o Boz para o futuro sobre Podcasts da Apple, Spotifye onde quer que esteja a ouvir podcasts.

Pode seguir o Himel em Fios. Pode seguir a Bosworth em Instagram, Twitter/Xe Fios @boztank.

0:00 / 0:00

Em 2019, o Órion preparou uma importante demonstração para o fundador e diretor executivo da Meta, Mark Zuckerberg, apresentando potenciais guias de ondas para óculos de realidade aumentada-um momento crucial em que os cálculos teóricos no papel foram trazidos à vida. E foi uma demonstração que mudou tudo.

"Ao usar os óculos com guias de onda em vidro e placas múltiplas, parecia que estávamos numa discoteca", recorda o cientista ótico Pasqual Rivera. "Havia arco-íris por todo o lado e era tão perturbador que nem sequer estávamos a olhar para o conteúdo de RA. Depois, colocámos os óculos com carboneto de silício guias de ondas, e era como se estivéssemos na sinfonia a ouvir uma peça clássica e calma. Podíamos realmente prestar atenção à experiência completa do que estávamos a construir. Foi uma mudança total".

No entanto, por muito clara (trocadilho intencional) que a escolha do carboneto de silício como substrato pareça hoje em dia, quando começámos a seguir o caminho do caminho para os óculos AR há uma década, foi tudo menos isso.

"O carboneto de silício é normalmente muito dopado com azoto", diz Rivera. "É verde e, se ficar suficientemente espesso, parece preto. Não há forma de fazer uma lente ótica com ele. É um material eletrónico. Há uma razão para ter aquela cor, e é por causa das propriedades electrónicas."

"O carboneto de silício já existe como material há muito tempo", concorda Giuseppe Calafiore, líder técnico da AR Waveguides. "A sua principal aplicação é a eletrónica de alta potência. Vejamos o caso dos veículos eléctricos: Todos os VEs requerem um chip - mas esse chip também tem de ser capaz de uma potência muito elevada, de mover as rodas e de conduzir esta coisa. Acontece que não é possível fazê-lo com o substrato de silício normal, que é o que produz os chips que utilizamos nos nossos computadores e eletrónica. Precisamos de uma plataforma que nos permita passar por correntes elevadas, alta potência, e esse material é o carboneto de silício".

Até ao início dos debates relativamente recentes sobre as fontes de energia renováveis, o mercado para estes chipsets de alta potência não tinha nem de perto a dimensão do mercado de chips para eletrónica de consumo. O carboneto de silício sempre foi caro e não havia grande incentivo para baixar os custos porque, para o tamanho do chip que se faz para um carro, o preço do substrato era tolerável.

"Mas acontece que o carboneto de silício também tem algumas das propriedades de que precisamos para guias de ondas e ótica", diz Calafiore. "O índice de refração é a principal propriedade que nos interessa. E o carboneto de silício tem um índice de refração elevado, o que significa que é capaz de canalizar e emitir uma grande quantidade de dados ópticos. Podemos pensar nisto como uma largura de banda ótica - tal como temos uma largura de banda para a Internet, e queremos que seja suficientemente grande para podermos enviar grandes quantidades de dados através desse canal. O mesmo se aplica aos dispositivos ópticos".

Quanto maior for o índice de refração de um material, maior será o seu étenduepara poder enviar mais dados ópticos através desse canal.

"O canal, no nosso caso, é o nosso guia de ondas, e um étendue maior traduz-se num campo de visão maior", explica Calafiore. "Quanto maior for o índice de refração de um material, maior será o campo de visão que o ecrã pode suportar."

O caminho para o índice de refração correto

Quando Calafiore se juntou à então Oculus Research em 2016, o vidro com o índice de refração mais elevado de que a equipa dispunha era 1,8, o que exigia o empilhamento de várias placas para obter o campo de visão desejado. Para além dos artefactos ópticos indesejáveis, a linha de montagem tornou-se cada vez mais complicada, uma vez que os dois primeiros guias de ondas tinham de estar perfeitamente alinhados e, em seguida, essa pilha tinha de estar perfeitamente alinhada com um terceiro guia de ondas.

"Não só era caro, como era imediatamente óbvio que não se podia ter três peças de vidro por lente num par de óculos", recorda Calafiore. "Eram demasiado pesadas e a espessura era proibitivamente grande e feia - ninguém as compraria. Por isso, voltámos à estaca zero: tentar aumentar o índice de refração do substrato para reduzir o número de placas necessárias."

O primeiro material que a equipa analisou foi niobato de lítioque tem um índice de refração de cerca de 2,3 - um pouco mais elevado do que o do vidro, que é de 1,8.

"Apercebemo-nos de que só tínhamos de empilhar duas placas e que podíamos talvez até conseguir com uma placa cobrir o campo de visão", diz Calafiore. "Quase em paralelo, começámos a analisar outros materiais, e foi assim que descobrimos, juntamente com os nossos fornecedores em 2019, que o carboneto de silício, na sua forma mais pura, é realmente muito transparente. Ele também tem o maior índice de refração conhecido para uma aplicação ótica, que é de 2,7."

Isto representa um aumento de 17,4% em relação ao niobato de lítio e um aumento de 50% em relação ao vidro, para aqueles que estão a contar os pontos em casa.

"Com algumas modificações no mesmo equipamento que já era utilizado na indústria, foi possível obter carboneto de silício transparente", diz Calafiore. "Bastava alterar o processo, ser muito mais cuidadoso e, em vez de otimizar as propriedades electrónicas, otimizar as propriedades ópticas: transparência, uniformidade do índice de refração, etc."

O custo potencial do compromisso

Nessa altura, a equipa da Reality Labs foi a primeira a tentar passar de bolachas opacas de carboneto de silício para bolachas transparentes. E como o carboneto de silício é um dos materiais mais duros que se conhecem, requer essencialmente ferramentas de diamante para o cortar ou polir. Como resultado, os custos de engenharia não recorrentes eram muito elevados, pelo que o substrato resultante era bastante caro.

Embora existam alternativas mais económicas, tal como acontece com qualquer tecnologia, cada uma delas tem contrapartidas. E à medida que o campo de visão aumenta em direção ao campo de visão líder da indústria do Orion, de aproximadamente 70 graus, surgem novos problemas, como imagens fantasma e arco-íris.

"Encontrar a solução ideal para um ecrã de AR de campo de visão amplo está repleto de compromissos entre desempenho e custos", explica o Diretor de Investigação Científica Barry Silverstein. "Os custos podem muitas vezes ser reduzidos, mas se o desempenho não for suficiente, os custos acabarão por não ter importância."

As imagens fantasma são como ecos visuais da imagem primária que está a ser projectada no ecrã. Os arco-íris são faixas coloridas de luz criadas quando a luz ambiente se reflecte no guia de ondas. "Imaginemos que estamos a conduzir à noite com as luzes dos carros em movimento à nossa volta", diz Silverstein. "Também vai ter arco-íris que se movem. Ou se estivermos na praia a jogar voleibol e o sol estiver a brilhar, vamos ter um arco-íris que se move connosco e vamos perder a nossa oportunidade. E uma das propriedades milagrosas do carboneto de silício é que se livra desses arco-íris".

"A outra vantagem do carboneto de silício que nenhum dos outros materiais tem é a condutividade térmica", acrescenta Calafiore. "O plástico é um péssimo isolante. O vidro, o niobato de lítio, a mesma coisa. Passamos para o carboneto de silício e é transparente, parece vidro, e adivinhem: conduz o calor."

Assim, em julho de 2020, a equipa determinou que o carboneto de silício era a escolha ideal por três razões principais: Permitia um fator de forma melhorado porque exigia apenas uma única placa e estruturas de montagem mais pequenas, tinha melhores propriedades ópticas e era mais leve do que o vidro de placa dupla.

O segredo da gravura inclinada

Com o material em mente, o próximo passo foi a fabricação dos guias de onda - e especificamente, uma técnica de grade não convencional chamada slant etch.

"A grelha é a nanoestrutura que faz o acoplamento e o desacoplamento da luz da lente", explica Calafiore. "E para que o carboneto de silício funcione, a grelha precisa de ser gravada de forma inclinada. Em vez de serem verticais, queremos que as linhas da grelha sejam inclinadas na diagonal."

"Fomos os primeiros a fazer gravação oblíqua diretamente nos dispositivos", afirma o gestor de investigação Nihar Mohanty. "Toda a indústria se baseava na nanoimpressão, que não funciona para substratos com um índice de refração tão elevado. É por isso que mais ninguém no mundo tinha pensado em fazer carboneto de silício".

Mas como a gravação oblíqua é uma tecnologia imatura, a maioria dos fornecedores e fábricas de chips semicondutores não dispõe das ferramentas necessárias.

"Em 2019, meu gerente na época, Matt Colburn, e eu estabelecemos nossa própria instalação, pois não havia nada no mundo que pudesse produzir guias de onda de carboneto de silício gravados e onde pudéssemos provar a tecnologia além da escala de laboratório", explica Mohanty. "Foi um investimento enorme e estabelecemos toda a cadeia de produção nesse local. As ferramentas foram feitas à medida pelos nossos parceiros e o processo foi desenvolvido internamente no Meta, embora os nossos sistemas sejam de nível de investigação porque não existiam sistemas de nível de fabrico. Trabalhámos com um parceiro de fabrico para desenvolver ferramentas e processos de gravação oblíqua de nível de fabrico. E agora que mostrámos o que é possível fazer com o carboneto de silício, queremos que outros na indústria comecem a fazer as suas próprias ferramentas."

Quanto mais empresas investirem em carboneto de silício de qualidade ótica e desenvolverem equipamento, mais forte se tornará a categoria de óculos de realidade aumentada para o consumidor.

Já não andamos atrás de arco-íris

Enquanto a inevitabilidade tecnológica é um mitoNo entanto, as estrelas parecem estar a alinhar-se a favor do carboneto de silício. E embora a equipa continue a investigar alternativas, há uma forte sensação de que as pessoas certas se juntaram no momento certo e nas condições de mercado certas para construir óculos de realidade aumentada utilizando este material.

"A Orion provou que o carboneto de silício é uma opção viável para os óculos de realidade aumentada", afirma Silverstein, "e estamos agora a assistir ao interesse de toda a cadeia de fornecimento em três continentes diferentes, onde esta é uma oportunidade muito procurada. O carboneto de silício será o vencedor. Para mim, é apenas uma questão de tempo".

E muita coisa pode acontecer nesse tempo - tal como a forma como as coisas mudaram desde que criámos os nossos primeiros cristais transparentes de carboneto de silício.

"Todos estes fabricantes de carboneto de silício aumentaram enormemente a oferta em resposta ao esperado boom dos veículos eléctricos", observa Calafiore. "Neste momento, existe um excesso de capacidade que não existia quando estávamos a construir o Orion. Portanto, agora, como a oferta é elevada e a procura é baixa, o custo do substrato começou a baixar."

"Os fornecedores estão muito entusiasmados com a nova oportunidade de fabricar carboneto de silício de qualidade ótica - afinal, cada lente de guia de ondas representa uma grande quantidade de material em relação a um chip eletrónico, e todas as suas capacidades actuais se aplicam a este novo espaço", acrescenta Silverstein. "Encher a fábrica é essencial, e aumentar a escala da fábrica é o sonho. O tamanho da bolacha também é importante: Quanto maior for a bolacha, mais baixo é o custo - mas a complexidade do processo também aumenta. Dito isto, vimos os fornecedores passarem de bolachas de quatro para oito polegadas e alguns estão a trabalhar em precursores para bolachas de 12 polegadas, o que produziria exponencialmente mais pares de óculos de RA."

Estes avanços deverão ajudar a continuar a reduzir os custos. Ainda estamos no início, mas o futuro está a tornar-se claro.

"No início de qualquer nova revolução tecnológica, experimenta-se uma série de coisas", diz Calafiore. "Veja-se o caso da televisão: Começámos com tubos de raios catódicos, depois passámos para os televisores de plasma LED e agora para os microLED. Passámos por várias tecnologias e arquitecturas diferentes. À medida que se vai descobrindo o caminho, muitos caminhos acabam em lado nenhum, mas há alguns que continuam a ser considerados os mais promissores. Não estamos no fim do caminho e não o podemos fazer sozinhos, mas o carboneto de silício é um material maravilhoso que vale bem o investimento".

"O mundo está agora desperto", acrescenta Silverstein. "Demonstrámos com êxito que o carboneto de silício pode ser flexível em eletrónica e fotónica. É um material que poderá ter aplicações futuras na computação quântica. E estamos a ver sinais de que é possível reduzir significativamente o custo. Ainda há muito trabalho a fazer, mas as vantagens potenciais são enormes".

---

Saiba mais sobre o carboneto de silício em Espectro da Fotónica.

Para mais informações sobre o Orion, consulte estas publicações no blogue:

• Zero to One: como o nosso silício e chips personalizados estão a revolucionar a RA
• O disco de computação da Orion: A história por detrás do dispositivo que ajudou a tornar possíveis os nossos óculos AR

TL;DR:

• Hoje em LigarMark Zuckerberg revelou o Orion - o nosso primeiro par de óculos de realidade aumentada, anteriormente com o nome de código Projeto Nazare.
• Com um campo de visão líder na indústria, lentes de carboneto de silícioO Orion é o nosso protótipo de produto mais avançado e mais polido até à data.
• Atualmente, continuamos a otimizar os produtos e a reduzir os custos à medida que avançamos para um dispositivo de consumo escalável que irá revolucionar a forma como as pessoas interagem com o mundo.

---

"Estamos a construir óculos de realidade aumentada".

Cinco palavras simples, falado há cinco anos. Com eles, colocámos uma bandeira na nossa visão de um futuro em que já não temos de fazer a falsa escolha entre um mundo de informação na ponta dos dedos e o mundo físico que nos rodeia.

E agora, cinco anos mais tarde, mais cinco palavras que podem voltar a mudar o jogo:

Construímos óculos de realidade aumentada.

https://youtube.com/watch?v=2CJsnyS8u3c%3Fsi%3DTr77gOKEq3PnA7-k%26controls%3D0%3Fautoplay%3D0%26color%3Dwhite%26cc_lang_pref%3Den%26cc_load_policy%3D0%26enablejsapi%3D1%26frameborder%3D0%26hl%3Den%26rel%3D0%26origin%3Dhttps%253A%252F%252Fwww.meta.com

Na Meta, a nossa missão é simples: dar às pessoas o poder de criar comunidades e aproximar o mundo. E nos Reality Labs, criamos ferramentas que ajudam as pessoas a sentirem-se ligadas em qualquer altura e em qualquer lugar. É por isso que estamos a trabalhar para criar a próxima plataforma de computação que coloca as pessoas no centro, para que possam estar mais presentes, ligadas e capacitadas no mundo.

Óculos Ray-Ban Meta demonstraram o poder de dar às pessoas um acesso mãos-livres a partes essenciais das suas vidas digitais a partir das suas vidas físicas. Podemos falar com um assistente de IA inteligente, ligarmo-nos a amigos e captar os momentos mais importantes - tudo isto sem ter de pegar no telemóvel. Estes óculos elegantes integram-se perfeitamente na nossa vida quotidiana e as pessoas adoram-nos.

No entanto, embora o Ray-Ban Meta tenha aberto uma categoria totalmente nova de óculos sem ecrã, sobrecarregados por IA, a indústria de XR há muito que sonha com verdadeiros óculos de RA - um produto que combina as vantagens de um grande ecrã holográfico e assistência personalizada de IA num formato confortável, elegante e utilizável durante todo o dia.

E hoje, tornámos esse sonho mais próximo da realidade com a revelação de Órionque acreditamos ser o par de óculos de realidade aumentada mais avançado alguma vez criado. Na verdade, poderá ser o dispositivo eletrónico de consumo mais desafiante produzido desde o smartphone. O Orion é o resultado de invenções revolucionárias em praticamente todos os domínios da computação moderna - com base no trabalho que temos vindo a fazer nos Reality Labs na última década. Está repleto de tecnologias totalmente novas, incluindo o ecrã AR mais avançado alguma vez montado e silicone personalizado que permite a execução de poderosas experiências de RA num par de óculos, utilizando uma fração da potência e do peso de um auricular de RM.

O sistema de introdução de dados do Orion combina na perfeição a voz, o olhar e o rastreio da mão com um Pulseira EMG que lhe permite deslizar, clicar e percorrer enquanto mantém o braço confortavelmente ao seu lado, permitindo-lhe manter-se presente no mundo e com as pessoas à sua volta enquanto interage com conteúdo digital rico.

A partir de hoje, na Connect, e durante todo o ano, vamos abrir o acesso ao protótipo do nosso produto Orion aos funcionários da Meta e a audiências externas selecionadas, para que a nossa equipa de desenvolvimento possa aprender, iterar e desenvolver a nossa linha de produtos de óculos de realidade aumentada para o consumidor, que planeamos começar a enviar num futuro próximo.

Porquê óculos de realidade aumentada?

Há três razões principais pelas quais os óculos de realidade aumentada são fundamentais para desbloquear o próximo grande salto na computação orientada para o ser humano.

1. Permitem experiências digitais que não estão limitadas pelos limites de um ecrã de smartphone. Com ecrãs holográficos de grandes dimensões, pode utilizar o mundo físico como tela, colocando conteúdos e experiências 2D e 3D onde quiser.
2. Integram perfeitamente a IA contextual que pode sentir e compreender o mundo à sua volta para antecipar e responder proactivamente às suas necessidades.
3. São leves e óptimos para utilização no interior e no exterior - e permitem que as pessoas vejam o rosto, os olhos e as expressões reais umas das outras.

Esta é a estrela polar que a nossa indústria tem vindo a construir: um produto que combina a conveniência e o imediatismo dos wearables com um ecrã de grandes dimensões, uma entrada de dados de elevada largura de banda e IA contextualizada num formato que as pessoas se sentem confortáveis a usar no seu dia a dia.

Fator de forma compacto, desafios complexos

Durante anos, enfrentámos uma falsa escolha: ou os auscultadores de realidade virtual e mista, que permitem experiências profundas e imersivas num formato volumoso, ou os óculos, que são ideais para uma utilização durante todo o dia, mas que não oferecem aplicações e experiências visuais ricas devido à falta de um ecrã de grandes dimensões e da correspondente capacidade de computação.

Mas queremos tudo, sem compromissos. Durante anos, trabalhámos arduamente para aproveitar as incríveis experiências espaciais proporcionadas pelos auscultadores de RV e RM e miniaturizar a tecnologia necessária para proporcionar essas experiências num par de óculos leves e elegantes. Conseguir o fator de forma, fornecer ecrãs holográficos, desenvolver experiências de RA apelativas e criar novos paradigmas de interação homem-computador (HCI) - e fazer tudo isto num produto coeso - é um dos desafios mais difíceis que a nossa indústria alguma vez enfrentou. Era tão difícil que pensámos que tínhamos menos de 10% de hipóteses de o conseguir.

Até agora.

Um ecrã inovador num formato sem paralelo

Com aproximadamente 70 graus, o Orion tem o maior campo de visão no menor formato de óculos de realidade aumentada até hoje. Esse campo de visão revela casos de uso verdadeiramente imersivos para o Orion, desde janelas multitarefa e entretenimento em tela grande até hologramas de pessoas em tamanho real - todo conteúdo digital que pode se misturar perfeitamente com sua visão do mundo físico.

Para a Orion, o campo de visão era o nosso Santo Graal. Estávamos a chocar com as leis da física e tínhamos de dobrar os feixes de luz de formas que não são naturalmente dobradas - e tínhamos de o fazer num envelope de potência medido em miliwatts.

Em vez de vidro, fabricámos as lentes a partir de carboneto de silício-uma nova aplicação para os óculos de realidade aumentada. Carboneto de silício é incrivelmente leve, não resulta em artefactos ópticos ou luz difusa e tem um índice de refração elevado - todas as propriedades ópticas que são fundamentais para um grande campo de visão. Os próprios guias de ondas têm estruturas 3D à escala nanométrica realmente intrincadas e complexas para difratar ou espalhar a luz da forma necessária para obter este campo de visão. E os projectores são uLEDs - um novo tipo de tecnologia de visualização que é super pequena e extremamente eficiente em termos energéticos.

O Orion é inconfundivelmente um par de óculos, tanto no aspeto como no toque - completo com lentes transparentes. Ao contrário dos auscultadores de RM ou de outros óculos de RA actuais, continua a ser possível ver os olhos e as expressões reais dos outros, para que possa estar presente e partilhar a experiência com as pessoas que o rodeiam. Foram necessárias dezenas de inovações para que o design industrial chegasse a um formato de óculos contemporâneo que fosse confortável usar todos os dias. O Orion é um feito de miniaturização - os componentes são embalados até uma fração de milímetro. E conseguimos incorporar sete câmaras e sensores minúsculos nos aros da armação.

Tivemos de manter a precisão ótica a um décimo da espessura de um fio de cabelo humano. E o sistema pode detetar pequenas quantidades de movimento - como a expansão ou contração das molduras em diferentes temperaturas ambiente - e depois corrigir digitalmente o alinhamento ótico necessário, tudo em milissegundos. Fabricámos as armações em magnésio - o mesmo material utilizado nos carros de corrida de F1 e nas naves espaciais - porque é leve mas rígido, pelo que mantém os elementos ópticos alinhados e conduz eficazmente o calor.

Aquecimento e refrigeração

Assim que decifrámos o ecrã (sem trocadilhos) e ultrapassámos os problemas de física, tivemos de enfrentar o desafio de uma computação realmente potente, a par de um consumo de energia realmente baixo e da necessidade de dissipação de calor. Ao contrário dos actuais auscultadores MR, não se pode enfiar uma ventoinha num par de óculos. Por isso, tivemos de ser criativos. Muitos dos materiais utilizados para arrefecer o Orion são semelhantes aos utilizados pela NASA para arrefecer satélites no espaço exterior.

Construímos silício personalizado altamente especializado que é extremamente eficiente em termos energéticos e optimizado para os nossos algoritmos de IA, perceção automática e gráficos. Construímos vários chips personalizados e dezenas de blocos de IP de silício altamente personalizados dentro desses chips. Isto permite-nos utilizar os algoritmos necessários para o seguimento da mão e dos olhos, bem como a tecnologia de localização e mapeamento simultâneos (SLAM), que normalmente consome centenas de miliwatts de energia - e, por conseguinte, gera uma quantidade correspondente de calor - e reduzi-la a apenas algumas dezenas de miliwatts.

E sim, o silício personalizado continua a desempenhar um papel fundamental no desenvolvimento de produtos na Reality Labs, apesar do que possa ter lido noutros sítios. 😎

EMG sem esforço

Cada nova plataforma de computação traz consigo uma mudança de paradigma na forma como interagimos com os nossos dispositivos. A invenção do rato ajudou a abrir caminho para as interfaces gráficas do utilizador (GUI) que dominam o nosso mundo atual, e os smartphones só começaram a ganhar força com o advento do ecrã tátil. E a mesma regra é válida para os dispositivos portáteis.

Já falámos sobre o nosso trabalho com eletromiografia, ou EMGdurante anos, impulsionados pela nossa convicção de que a introdução de dados para óculos de realidade aumentada tem de ser rápida, conveniente, fiável, subtil e socialmente aceitável. E agora, esse trabalho está pronto para o horário nobre.

O sistema de entrada e interação do Orion combina na perfeição a voz, o olhar e o seguimento da mão com uma pulseira EMG que lhe permite deslizar, clicar e deslocar-se com facilidade.

Funciona - e parece - como magia. Imagine tirar uma fotografia na sua corrida matinal com um simples toque da ponta dos dedos ou navegar em menus com movimentos quase imperceptíveis das suas mãos. A nossa pulseira combina um tecido de alto desempenho com sensores EMG incorporados para detetar os sinais eléctricos gerados até pelos mais pequenos movimentos musculares. Um processador ML integrado no dispositivo interpreta então esses sinais EMG para produzir eventos de entrada que são transmitidos sem fios para os óculos. O sistema adapta-se a si, pelo que, com o tempo, se torna cada vez mais capaz de reconhecer os gestos mais subtis. E hoje, estamos a partilhar mais sobre o nosso apoio à investigação externa centrada em expandir o potencial de equidade e acessibilidade das pulseiras EMG.

Conheça o Puck de computação sem fios

Os verdadeiros óculos de RA têm de ser sem fios e também têm de ser pequenos.Por isso, construímos um disco de computação sem fios para o Orion. Retira alguma da carga dos óculos, permitindo uma maior duração da bateria e um melhor fator de forma com baixa latência.

Os óculos executam todos os algoritmos de rastreio da mão, rastreio ocular, SLAM e gráficos especializados de bloqueio do mundo AR, enquanto a lógica da aplicação é executada no disco para manter os óculos tão leves e compactos quanto possível.

O disco tem dois processadores, incluindo um personalizado aqui mesmo na Meta, e fornece a potência de computação necessária para renderização de gráficos de baixa latência, IA e alguma perceção adicional da máquina.

E uma vez que é pequeno e elegante, pode colocar confortavelmente o disco numa mala ou no bolso e fazer o que tem a fazer - sem compromissos.

Experiências de RA

É claro que, como qualquer peça de hardware, só é tão bom quanto as coisas que pode fazer com ela. E, embora ainda seja cedo, as experiências proporcionadas pelo Orion são um vislumbre emocionante do que está para vir.

https://youtube.com/watch?v=HkdSv3QPhNw%3F%26controls%3D0%3Fautoplay%3D0%26color%3Dwhite%26cc_lang_pref%3Den%26cc_load_policy%3D0%26enablejsapi%3D1%26frameborder%3D0%26hl%3Den%26rel%3D0%26origin%3Dhttps%253A%252F%252Fwww.meta.com

Temos o nosso assistente inteligente, Meta IA, a correr no Orion. Compreende o que está a ver no mundo físico e pode ajudá-lo com visualizações úteis. O Orion utiliza o mesmo modelo Llama que alimenta as experiências de IA atualmente em execução nos óculos inteligentes Ray-Ban Meta, além de modelos de investigação personalizados para demonstrar potenciais casos de utilização para o desenvolvimento futuro de wearables.

Pode fazer uma videochamada em modo mãos-livres em movimento para pôr a conversa em dia com amigos e familiares em tempo real, e pode manter-se ligado no WhatsApp e no Messenger para ver e enviar mensagens. Não é necessário puxar do telemóvel, desbloqueá-lo, encontrar a aplicação certa e avisar o seu amigo que está atrasado para o jantar - pode fazer tudo isto através dos seus óculos.

https://youtube.com/watch?v=el7lUVvu8Bo%3F%26controls%3D0%3Fautoplay%3D0%26color%3Dwhite%26cc_lang_pref%3Den%26cc_load_policy%3D0%26enablejsapi%3D1%26frameborder%3D0%26hl%3Den%26rel%3D0%26origin%3Dhttps%253A%252F%252Fwww.meta.com

Pode jogar jogos de RA partilhados com a família do outro lado do país ou com o seu amigo do outro lado do sofá. E o ecrã de grandes dimensões do Orion permite-lhe fazer várias tarefas com várias janelas para realizar tarefas sem ter de andar com o portátil às costas.

As experiências disponíveis no Orion hoje ajudarão a traçar o roteiro da nossa linha de óculos de realidade aumentada para o consumidor no futuro. As nossas equipas continuarão a iterar e a criar novas experiências sociais imersivas, juntamente com os nossos parceiros de desenvolvimento, e mal podemos esperar para partilhar o que vem a seguir.

Um protótipo de produto com objetivo

Embora o Orion não vá chegar às mãos dos consumidores, não se enganem: Este é o não um protótipo de investigação. É o protótipo de produto mais polido que já desenvolvemos - e é verdadeiramente representativo de algo que poderia enviar aos consumidores. Em vez de nos apressarmos a colocá-lo nas prateleiras, decidimos concentrar-nos primeiro no desenvolvimento interno, o que significa que podemos continuar a construir rapidamente e a ultrapassar os limites da tecnologia e das experiências.

E isso significa que chegaremos mais rapidamente a um produto de consumo ainda melhor.

O que vem a seguir

Há muito que dois grandes obstáculos se interpõem no caminho dos óculos de realidade aumentada para o consumidor comum: os avanços tecnológicos necessários para proporcionar um ecrã de grandes dimensões num formato de óculos compacto e a necessidade de experiências de realidade aumentada úteis e apelativas que possam ser executadas nesses óculos. O Orion é um grande marco, pois proporciona, pela primeira vez, verdadeiras experiências de RA num hardware com um estilo razoável.

Agora que partilhámos o Orion com o mundo, estamos concentrados em algumas coisas:

• Ajustar a qualidade do ecrã de RA para tornar as imagens ainda mais nítidas
• Otimizar sempre que possível para tornar o formato ainda mais pequeno
• Construir à escala para os tornar mais acessíveis

Nos próximos anos, podem esperar ver novos dispositivos que se baseiam nos nossos esforços de I&D. E algumas das inovações do Orion foram alargadas aos nossos actuais produtos de consumo, bem como ao nosso futuro roteiro de produtos. Optimizámos alguns dos nossos algoritmos de perceção espacial, que estão a ser executados em ambos os Meta Quest 3S e Orion. Embora o olhar fixo e o sistema de entrada gestual subtil tenham sido originalmente concebidos para o Orion, planeamos utilizá-los em produtos futuros. E estamos a explorar a utilização de pulseiras EMG também em futuros produtos de consumo.

O Orion não é apenas uma janela para o futuro - é um olhar sobre as possibilidades reais que estão ao nosso alcance hoje. Construímo-lo na busca do que fazemos melhor: ajudar as pessoas a ligarem-se. Desde os óculos Ray-Ban Meta até ao Orion, vimos o bem que pode advir de permitir que as pessoas se mantenham mais presentes e capacitadas no mundo físico, ao mesmo tempo que aproveitam toda a riqueza adicional que o mundo digital tem para oferecer.

Acreditamos que não deve ter de escolher entre os dois. E com a próxima plataforma de computação, não terá de o fazer.

---

Para mais informações sobre o Orion, consulte estas publicações no blogue:

• O disco de computação da Orion: A história por detrás do dispositivo que ajudou a tornar possíveis os nossos óculos AR
• Zero to One: como o nosso silício e chips personalizados estão a revolucionar a RA
• Cristalino: Os nossos guias de onda de carboneto de silício e o caminho para o grande FoV de Orion

No ano passado, na Connect, revelámos Órion-o nosso primeiro par de óculos de realidade aumentada. O culminar de o nosso trabalho na Reality Labs durante a última décadaO Orion combina as vantagens de um ecrã holográfico de grandes dimensões e assistência personalizada de IA num formato confortável e utilizável durante todo o dia. Recebeu alguma atenção pelo seu campo de visão líder na indústria, guias de onda de carboneto de silício, projectores uLED e muito mais. Mas hoje, estamos a voltar a nossa atenção para um herói não celebrado do Orion: o disco de computação.

Concebido para caber facilmente no bolso ou na mala, para que o possa levar para qualquer lugar durante o seu dia, o disco descarrega o poder de processamento do Orion para executar a lógica da aplicação e permitir um formato mais atraente e mais pequeno para os óculos. Ele se conecta sem fio aos óculos e à pulseira EMG para uma experiência perfeita.

É só colocar e esquecer, certo?

Mas a história do disco - mesmo enquanto protótipo - é envolvente, com um arco dramático que nunca se adivinharia pela sua aparência.

"Quando se constrói algo deste género, começa-se a entrar nos limites da física", explica o Diretor de Gestão de Produtos, Rahul Prasad. "Nos últimos 50 anos, a Lei de Moore tornou tudo mais pequeno, mais rápido e com menor consumo de energia. O problema é que agora estamos a começar a atingir os limites da quantidade de calor que podemos dissipar, da quantidade de bateria que podemos comprimir e do desempenho da antena que podemos colocar num objeto de tamanho específico."

Embora a retrospetiva possa ser 20/20, o potencial do disco não era imediatamente óbvio. Quando se é o primeiro a construir algo, é necessário explorar todas as possibilidades - não deixando pedra sobre pedra. Como é que se constrói algo que alguns podem considerar como um acessório indesejável em vez de uma parte essencial do pacote?

"Sabíamos que o disco era um dispositivo extra que estávamos a pedir às pessoas para transportarem", observa Jared Van Cleave, Diretor de Engenharia de Design de Produto, "por isso estudámos a forma de transformar o erro numa funcionalidade."

Em última análise, essa ética deu frutos, uma vez que o disco comprime uma grande quantidade de computação (e ainda mais silício personalizado concebido pela Meta para IA e perceção de máquinas) num tamanho reduzido. Isto foi fundamental para ajudar o Orion a passar do domínio da ficção científica para a realidade.

"Se não tivéssemos o disco, não poderíamos ter as experiências que o Orion oferece no seu formato - ponto final", diz Prasad. "Uma boa experiência de realidade aumentada exige um desempenho realmente elevado: taxas de fotogramas elevadas, latência extremamente baixa, gestão de energia e sem fios de precisão, etc. O disco e os óculos têm de ser concebidos em conjunto para trabalharem de forma muito próxima, não apenas na camada da aplicação, mas também nas camadas do sistema operativo, do firmware e do hardware. E mesmo que se concebesse um smartphone para funcionar com óculos de realidade aumentada, os exigentes requisitos de desempenho esgotariam a bateria do telefone e retirariam capacidade de computação aos casos de utilização do telefone. Por outro lado, o disco tem a sua própria bateria de alta capacidade, SoC de alto desempenho e um co-processador de IA personalizado concebido pela Meta e optimizado para o Orion."

Claro que o disco não foi concebido de um dia para o outro. Foram necessários anos de trabalho iterativo.

"Não sabíamos como é que as pessoas iriam querer interagir com o Orion do ponto de vista da entrada de dados - não havia nada que pudéssemos esboçar no mercado", diz o Gestor de Produto Matt Resman. "Se olharmos para os nossos primeiros protótipos de óculos, eram uns auscultadores enormes que pesavam três ou quatro quilos. E quando se está a tentar construir um produto, é muito difícil compreender a experiência do utilizador se não estivermos no formato certo. Com o disco, conseguimos criar um protótipo muito rapidamente para começar a perceber como é que as pessoas o utilizariam."

Com o nome de código Omega nos primeiros tempos, o disco foi inicialmente concebido pela então Oculus Research como uma banda em forma de Ω que seria colocada à volta do pescoço do utilizador e ligada aos óculos...

... até que algumas inovações da equipa sem fios da Reality Labs, entre outras coisas, lhes permitiram cortar o fio. Isso permitiu um fator de forma mais portátil ou de bolso/na mala, o que abriu muitas possibilidades.

"Nessa altura, a chamada de realidade aumentada ainda era o principal caso de utilização", explica Van Cleave. "O disco era onde os vídeos holográficos eram ancorados. Colocávamo-lo em cima da mesa com o banco de sensores virado para nós, para nos dar imagens e depois projetar a pessoa com quem estávamos a falar a partir da superfície do disco para a chamada."

"Orion tem como objetivo ligar as pessoas e aproximar-nos", afirma Resman. "Um dos conceitos iniciais para o disco era ajudar a criar esta sensação de presença com outras pessoas e permitir esta forma mais rica de comunicação."

"É diferente de tudo o que já se viu - o dispositivo tem o potencial de criar interações realmente divertidas e únicas", acrescenta o designer industrial Emron Henry. "A experiência do utilizador é um pouco como libertar um génio de uma garrafa, em que os hologramas emergem e se dissolvem perfeitamente no dispositivo."

Como já deve ter percebido, há mais potencialidades no disco do que aquilo que acabou por ser ativado como funcionalidade. Para além dos sensores e câmaras que teriam sido utilizados para chamadas de RA, o disco tem sensores hápticos e 6DOF que poderiam permitir a sua utilização como um controlador de rastreio para selecionar e manipular objectos virtuais e jogar jogos de RA. A equipa também explorou a entrada de toque capacitivo e de força para que o disco pudesse funcionar como um gamepad quando segurado no modo retrato e paisagem.

"Falávamos sobre a necessidade de transportar esta coisa extra", diz Van Cleave. "Como é que o tornamos mais útil? Havia todo um fluxo de trabalho em torno disso. E, a certa altura, a hipótese era que os jogos de RA seriam o caso de utilização ideal."

Desde o início, sabíamos que precisávamos de explorar as possibilidades de o disco fazer coisas que os telemóveis não podem. Eventualmente, acabámos por utilizar o olhar, o EMG e o rastreio da mão para jogos de RA, como o Stargazer e o Pong, mas criámos vários protótipos e jogos que utilizavam o disco como controlador nos primeiros tempos do Orion.

0:00 / 0:00

0:00 / 0:00

0:00 / 0:00

Explorações renderizadas do disco como um controlador 6DOF para jogos de RA como o Pong.

"Como não é um telemóvel, isso deu-nos muita liberdade de design", acrescenta Prasad. "Pode ser mais grosso, pode ser mais arredondado, de modo a caber confortavelmente na mão como um comando. É incrível que o disco seja mais pequeno do que um telemóvel normal, mas é mais potente do que um telemóvel porque tem um co-processador concebido pela Meta para IA e perceção automática."

A equipa investigou a questão de como um jogo de AR de qualidade pode diferir de um jogo de RM ou de consola. Isto significou explorar diferentes possibilidades para um controlador de jogos de realidade aumentada, incluindo joysticks, disposições de botões físicos, botões de acionamento e muito mais.

"Não acabámos por construir nada disso", observa Van Cleave. "Fizemos um protótipo, mas nunca chegámos a construir tudo. Queríamos manter as coisas simples. Queríamos fazer estas interfaces suaves, mas não fazer botões físicos e mecânicos."

E, embora os sensores e a sensação tátil não tenham sido activados no protótipo do produto acabado, desempenharam uma função integral durante o desenvolvimento, permitindo que as equipas apresentassem erros, bastando tocar algumas vezes na parte superior do dispositivo para desencadear um relatório de erro.

À medida que a IA começou a assumir um papel central como um caso de utilização chave, a computação tornou-se cada vez mais importante. No final, o disco alberga a conetividade sem fios, a potência de computação e a capacidade da bateria do Orion - uma enorme proeza técnica em si mesma -, o que ajuda a reduzir o peso e o formato dos óculos, dissipando muito mais calor em virtude da sua área de superfície.

Ao longo da sua evolução, uma coisa permaneceu inalterada: o disco é mais do que aquilo que se vê à primeira vista. A adoção de ideias não convencionais permitiu às nossas equipas explorar, ultrapassar os limites e construir o futuro.

"Estamos a definir uma categoria que ainda não existe", observa Henry. "Como seria de esperar em I&D, houve inícios e paragens ao longo do caminho. Como é que os utilizadores esperam interagir com os hologramas? Será que preferem utilizar um controlo remoto de realidade aumentada ou será que o seguimento da mão, o olhar e o EMG são suficientes para a entrada? O que é que parece intuitivo, de baixo atrito, familiar e útil?"

"Em vez de olharmos para o disco como uma mera pedra, perguntámo-nos o que mais poderíamos oferecer para o diferenciar dos telemóveis e justificar a razão pela qual o quereríamos transportar", reconhece Resman. "A sua potência de computação bruta e o seu design prático - que ajudaram a criar um formato de óculos que se pode usar de forma realista durante todo o dia - oferecem valor suficiente? A nossa função é ajudar a responder a estas perguntas."

"Desde o início, mudámos de orientação para nos concentrarmos no que podemos fazer que um telemóvel não pode fazer", acrescenta Van Cleave. "Os telemóveis têm de ter o ecrã, têm de ter uma determinada disposição física dos botões que os utilizadores esperam. E nós não temos essas limitações. O nosso disco de computação pode ser o que quisermos".

---

Para mais informações sobre o Orion, consulte estas publicações no blogue:

• Cristalino: Os nossos guias de onda de carboneto de silício e o caminho para o grande FoV de Orion
• Zero to One: como o nosso silício e chips personalizados estão a revolucionar a RA

TL;DR:

• Hoje em LigarMark Zuckerberg revelou o Orion - o nosso primeiro par de óculos de realidade aumentada, anteriormente com o nome de código Projeto Nazare.
• Com um campo de visão líder na indústria, lentes de carboneto de silícioO Orion é o nosso protótipo de produto mais avançado e mais polido até à data.
• Atualmente, continuamos a otimizar os produtos e a reduzir os custos à medida que avançamos para um dispositivo de consumo escalável que irá revolucionar a forma como as pessoas interagem com o mundo.

---

"Estamos a construir óculos de realidade aumentada".

Cinco palavras simples, falado há cinco anos. Com eles, colocámos uma bandeira na nossa visão de um futuro em que já não temos de fazer a falsa escolha entre um mundo de informação na ponta dos dedos e o mundo físico que nos rodeia.

E agora, cinco anos mais tarde, mais cinco palavras que podem voltar a mudar o jogo:

Construímos óculos de realidade aumentada.

https://youtube.com/watch?v=2CJsnyS8u3c%3Fsi%3DTr77gOKEq3PnA7-k%26controls%3D0%3Fautoplay%3D0%26color%3Dwhite%26cc_lang_pref%3Den%26cc_load_policy%3D0%26enablejsapi%3D1%26frameborder%3D0%26hl%3Den%26rel%3D0%26origin%3Dhttps%253A%252F%252Fwww.meta.com

Na Meta, a nossa missão é simples: dar às pessoas o poder de criar comunidades e aproximar o mundo. E nos Reality Labs, criamos ferramentas que ajudam as pessoas a sentirem-se ligadas em qualquer altura e em qualquer lugar. É por isso que estamos a trabalhar para criar a próxima plataforma de computação que coloca as pessoas no centro, para que possam estar mais presentes, ligadas e capacitadas no mundo.

Óculos Ray-Ban Meta demonstraram o poder de dar às pessoas um acesso mãos-livres a partes essenciais das suas vidas digitais a partir das suas vidas físicas. Podemos falar com um assistente de IA inteligente, ligarmo-nos a amigos e captar os momentos mais importantes - tudo isto sem ter de pegar no telemóvel. Estes óculos elegantes integram-se perfeitamente na nossa vida quotidiana e as pessoas adoram-nos.

No entanto, embora o Ray-Ban Meta tenha aberto uma categoria totalmente nova de óculos sem ecrã, sobrecarregados por IA, a indústria de XR há muito que sonha com verdadeiros óculos de RA - um produto que combina as vantagens de um grande ecrã holográfico e assistência personalizada de IA num formato confortável, elegante e utilizável durante todo o dia.

E hoje, tornámos esse sonho mais próximo da realidade com a revelação de Órionque acreditamos ser o par de óculos de realidade aumentada mais avançado alguma vez criado. Na verdade, poderá ser o dispositivo eletrónico de consumo mais desafiante produzido desde o smartphone. O Orion é o resultado de invenções revolucionárias em praticamente todos os domínios da computação moderna - com base no trabalho que temos vindo a fazer nos Reality Labs na última década. Está repleto de tecnologias totalmente novas, incluindo o ecrã AR mais avançado alguma vez montado e silicone personalizado que permite a execução de poderosas experiências de RA num par de óculos, utilizando uma fração da potência e do peso de um auricular de RM.

O sistema de introdução de dados do Orion combina na perfeição a voz, o olhar e o rastreio da mão com um Pulseira EMG que lhe permite deslizar, clicar e percorrer enquanto mantém o braço confortavelmente ao seu lado, permitindo-lhe manter-se presente no mundo e com as pessoas à sua volta enquanto interage com conteúdo digital rico.

A partir de hoje, na Connect, e durante todo o ano, vamos abrir o acesso ao protótipo do nosso produto Orion aos funcionários da Meta e a audiências externas selecionadas, para que a nossa equipa de desenvolvimento possa aprender, iterar e desenvolver a nossa linha de produtos de óculos de realidade aumentada para o consumidor, que planeamos começar a enviar num futuro próximo.

Porquê óculos de realidade aumentada?

Há três razões principais pelas quais os óculos de realidade aumentada são fundamentais para desbloquear o próximo grande salto na computação orientada para o ser humano.

1. Permitem experiências digitais que não estão limitadas pelos limites de um ecrã de smartphone. Com ecrãs holográficos de grandes dimensões, pode utilizar o mundo físico como tela, colocando conteúdos e experiências 2D e 3D onde quiser.
2. Integram perfeitamente a IA contextual que pode sentir e compreender o mundo à sua volta para antecipar e responder proactivamente às suas necessidades.
3. São leves e óptimos para utilização no interior e no exterior - e permitem que as pessoas vejam o rosto, os olhos e as expressões reais umas das outras.

Esta é a estrela polar que a nossa indústria tem vindo a construir: um produto que combina a conveniência e o imediatismo dos wearables com um ecrã de grandes dimensões, uma entrada de dados de elevada largura de banda e IA contextualizada num formato que as pessoas se sentem confortáveis a usar no seu dia a dia.

Fator de forma compacto, desafios complexos

Durante anos, enfrentámos uma falsa escolha: ou os auscultadores de realidade virtual e mista, que permitem experiências profundas e imersivas num formato volumoso, ou os óculos, que são ideais para uma utilização durante todo o dia, mas que não oferecem aplicações e experiências visuais ricas devido à falta de um ecrã de grandes dimensões e da correspondente capacidade de computação.

Mas queremos tudo, sem compromissos. Durante anos, trabalhámos arduamente para aproveitar as incríveis experiências espaciais proporcionadas pelos auscultadores de RV e RM e miniaturizar a tecnologia necessária para proporcionar essas experiências num par de óculos leves e elegantes. Conseguir o fator de forma, fornecer ecrãs holográficos, desenvolver experiências de RA apelativas e criar novos paradigmas de interação homem-computador (HCI) - e fazer tudo isto num produto coeso - é um dos desafios mais difíceis que a nossa indústria alguma vez enfrentou. Era tão difícil que pensámos que tínhamos menos de 10% de hipóteses de o conseguir.

Até agora.

Um ecrã inovador num formato sem paralelo

Com aproximadamente 70 graus, o Orion tem o maior campo de visão no menor formato de óculos de realidade aumentada até hoje. Esse campo de visão revela casos de uso verdadeiramente imersivos para o Orion, desde janelas multitarefa e entretenimento em tela grande até hologramas de pessoas em tamanho real - todo conteúdo digital que pode se misturar perfeitamente com sua visão do mundo físico.

Para a Orion, o campo de visão era o nosso Santo Graal. Estávamos a chocar com as leis da física e tínhamos de dobrar os feixes de luz de formas que não são naturalmente dobradas - e tínhamos de o fazer num envelope de potência medido em miliwatts.

Em vez de vidro, fabricámos as lentes a partir de carboneto de silício-uma nova aplicação para os óculos de realidade aumentada. Carboneto de silício é incrivelmente leve, não resulta em artefactos ópticos ou luz difusa e tem um índice de refração elevado - todas as propriedades ópticas que são fundamentais para um grande campo de visão. Os próprios guias de ondas têm estruturas 3D à escala nanométrica realmente intrincadas e complexas para difratar ou espalhar a luz da forma necessária para obter este campo de visão. E os projectores são uLEDs - um novo tipo de tecnologia de visualização que é super pequena e extremamente eficiente em termos energéticos.

O Orion é inconfundivelmente um par de óculos, tanto no aspeto como no toque - completo com lentes transparentes. Ao contrário dos auscultadores de RM ou de outros óculos de RA actuais, continua a ser possível ver os olhos e as expressões reais dos outros, para que possa estar presente e partilhar a experiência com as pessoas que o rodeiam. Foram necessárias dezenas de inovações para que o design industrial chegasse a um formato de óculos contemporâneo que fosse confortável usar todos os dias. O Orion é um feito de miniaturização - os componentes são embalados até uma fração de milímetro. E conseguimos incorporar sete câmaras e sensores minúsculos nos aros da armação.

Tivemos de manter a precisão ótica a um décimo da espessura de um fio de cabelo humano. E o sistema pode detetar pequenas quantidades de movimento - como a expansão ou contração das molduras em diferentes temperaturas ambiente - e depois corrigir digitalmente o alinhamento ótico necessário, tudo em milissegundos. Fabricámos as armações em magnésio - o mesmo material utilizado nos carros de corrida de F1 e nas naves espaciais - porque é leve mas rígido, pelo que mantém os elementos ópticos alinhados e conduz eficazmente o calor.

Aquecimento e refrigeração

Assim que decifrámos o ecrã (sem trocadilhos) e ultrapassámos os problemas de física, tivemos de enfrentar o desafio de uma computação realmente potente, a par de um consumo de energia realmente baixo e da necessidade de dissipação de calor. Ao contrário dos actuais auscultadores MR, não se pode enfiar uma ventoinha num par de óculos. Por isso, tivemos de ser criativos. Muitos dos materiais utilizados para arrefecer o Orion são semelhantes aos utilizados pela NASA para arrefecer satélites no espaço exterior.

Construímos silício personalizado altamente especializado que é extremamente eficiente em termos energéticos e optimizado para os nossos algoritmos de IA, perceção automática e gráficos. Construímos vários chips personalizados e dezenas de blocos de IP de silício altamente personalizados dentro desses chips. Isto permite-nos utilizar os algoritmos necessários para o seguimento da mão e dos olhos, bem como a tecnologia de localização e mapeamento simultâneos (SLAM), que normalmente consome centenas de miliwatts de energia - e, por conseguinte, gera uma quantidade correspondente de calor - e reduzi-la a apenas algumas dezenas de miliwatts.

E sim, o silício personalizado continua a desempenhar um papel fundamental no desenvolvimento de produtos na Reality Labs, apesar do que possa ter lido noutros sítios. 😎

EMG sem esforço

Cada nova plataforma de computação traz consigo uma mudança de paradigma na forma como interagimos com os nossos dispositivos. A invenção do rato ajudou a abrir caminho para as interfaces gráficas do utilizador (GUI) que dominam o nosso mundo atual, e os smartphones só começaram a ganhar força com o advento do ecrã tátil. E a mesma regra é válida para os dispositivos portáteis.

Já falámos sobre o nosso trabalho com eletromiografia, ou EMGdurante anos, impulsionados pela nossa convicção de que a introdução de dados para óculos de realidade aumentada tem de ser rápida, conveniente, fiável, subtil e socialmente aceitável. E agora, esse trabalho está pronto para o horário nobre.

O sistema de entrada e interação do Orion combina na perfeição a voz, o olhar e o seguimento da mão com uma pulseira EMG que lhe permite deslizar, clicar e deslocar-se com facilidade.

Funciona - e parece - como magia. Imagine tirar uma fotografia na sua corrida matinal com um simples toque da ponta dos dedos ou navegar em menus com movimentos quase imperceptíveis das suas mãos. A nossa pulseira combina um tecido de alto desempenho com sensores EMG incorporados para detetar os sinais eléctricos gerados até pelos mais pequenos movimentos musculares. Um processador ML integrado no dispositivo interpreta então esses sinais EMG para produzir eventos de entrada que são transmitidos sem fios para os óculos. O sistema adapta-se a si, pelo que, com o tempo, se torna cada vez mais capaz de reconhecer os gestos mais subtis. E hoje, estamos a partilhar mais sobre o nosso apoio à investigação externa centrada em expandir o potencial de equidade e acessibilidade das pulseiras EMG.

Conheça o Puck de computação sem fios

Os verdadeiros óculos de RA têm de ser sem fios e também têm de ser pequenos.Por isso, construímos um disco de computação sem fios para o Orion. Retira alguma da carga dos óculos, permitindo uma maior duração da bateria e um melhor fator de forma com baixa latência.

Os óculos executam todos os algoritmos de rastreio da mão, rastreio ocular, SLAM e gráficos especializados de bloqueio do mundo AR, enquanto a lógica da aplicação é executada no disco para manter os óculos tão leves e compactos quanto possível.

O disco tem dois processadores, incluindo um personalizado aqui mesmo na Meta, e fornece a potência de computação necessária para renderização de gráficos de baixa latência, IA e alguma perceção adicional da máquina.

E uma vez que é pequeno e elegante, pode colocar confortavelmente o disco numa mala ou no bolso e fazer o que tem a fazer - sem compromissos.

Experiências de RA

É claro que, como qualquer peça de hardware, só é tão bom quanto as coisas que pode fazer com ela. E, embora ainda seja cedo, as experiências proporcionadas pelo Orion são um vislumbre emocionante do que está para vir.

https://youtube.com/watch?v=HkdSv3QPhNw%3F%26controls%3D0%3Fautoplay%3D0%26color%3Dwhite%26cc_lang_pref%3Den%26cc_load_policy%3D0%26enablejsapi%3D1%26frameborder%3D0%26hl%3Den%26rel%3D0%26origin%3Dhttps%253A%252F%252Fwww.meta.com

Temos o nosso assistente inteligente, Meta IA, a correr no Orion. Compreende o que está a ver no mundo físico e pode ajudá-lo com visualizações úteis. O Orion utiliza o mesmo modelo Llama que alimenta as experiências de IA atualmente em execução nos óculos inteligentes Ray-Ban Meta, além de modelos de investigação personalizados para demonstrar potenciais casos de utilização para o desenvolvimento futuro de wearables.

Pode fazer uma videochamada em modo mãos-livres em movimento para pôr a conversa em dia com amigos e familiares em tempo real, e pode manter-se ligado no WhatsApp e no Messenger para ver e enviar mensagens. Não é necessário puxar do telemóvel, desbloqueá-lo, encontrar a aplicação certa e avisar o seu amigo que está atrasado para o jantar - pode fazer tudo isto através dos seus óculos.

https://youtube.com/watch?v=el7lUVvu8Bo%3F%26controls%3D0%3Fautoplay%3D0%26color%3Dwhite%26cc_lang_pref%3Den%26cc_load_policy%3D0%26enablejsapi%3D1%26frameborder%3D0%26hl%3Den%26rel%3D0%26origin%3Dhttps%253A%252F%252Fwww.meta.com

Pode jogar jogos de RA partilhados com a família do outro lado do país ou com o seu amigo do outro lado do sofá. E o ecrã de grandes dimensões do Orion permite-lhe fazer várias tarefas com várias janelas para realizar tarefas sem ter de andar com o portátil às costas.

As experiências disponíveis no Orion hoje ajudarão a traçar o roteiro da nossa linha de óculos de realidade aumentada para o consumidor no futuro. As nossas equipas continuarão a iterar e a criar novas experiências sociais imersivas, juntamente com os nossos parceiros de desenvolvimento, e mal podemos esperar para partilhar o que vem a seguir.

Um protótipo de produto com objetivo

Embora o Orion não vá chegar às mãos dos consumidores, não se enganem: Este é o não um protótipo de investigação. É o protótipo de produto mais polido que já desenvolvemos - e é verdadeiramente representativo de algo que poderia enviar aos consumidores. Em vez de nos apressarmos a colocá-lo nas prateleiras, decidimos concentrar-nos primeiro no desenvolvimento interno, o que significa que podemos continuar a construir rapidamente e a ultrapassar os limites da tecnologia e das experiências.

E isso significa que chegaremos mais rapidamente a um produto de consumo ainda melhor.

O que vem a seguir

Há muito que dois grandes obstáculos se interpõem no caminho dos óculos de realidade aumentada para o consumidor comum: os avanços tecnológicos necessários para proporcionar um ecrã de grandes dimensões num formato de óculos compacto e a necessidade de experiências de realidade aumentada úteis e apelativas que possam ser executadas nesses óculos. O Orion é um grande marco, pois proporciona, pela primeira vez, verdadeiras experiências de RA num hardware com um estilo razoável.

Agora que partilhámos o Orion com o mundo, estamos concentrados em algumas coisas:

• Ajustar a qualidade do ecrã de RA para tornar as imagens ainda mais nítidas
• Otimizar sempre que possível para tornar o formato ainda mais pequeno
• Construir à escala para os tornar mais acessíveis

Nos próximos anos, podem esperar ver novos dispositivos que se baseiam nos nossos esforços de I&D. E algumas das inovações do Orion foram alargadas aos nossos actuais produtos de consumo, bem como ao nosso futuro roteiro de produtos. Optimizámos alguns dos nossos algoritmos de perceção espacial, que estão a ser executados em ambos os Meta Quest 3S e Orion. Embora o olhar fixo e o sistema de entrada gestual subtil tenham sido originalmente concebidos para o Orion, planeamos utilizá-los em produtos futuros. E estamos a explorar a utilização de pulseiras EMG também em futuros produtos de consumo.

O Orion não é apenas uma janela para o futuro - é um olhar sobre as possibilidades reais que estão ao nosso alcance hoje. Construímo-lo na busca do que fazemos melhor: ajudar as pessoas a ligarem-se. Desde os óculos Ray-Ban Meta até ao Orion, vimos o bem que pode advir de permitir que as pessoas se mantenham mais presentes e capacitadas no mundo físico, ao mesmo tempo que aproveitam toda a riqueza adicional que o mundo digital tem para oferecer.

Acreditamos que não deve ter de escolher entre os dois. E com a próxima plataforma de computação, não terá de o fazer.

---

Para mais informações sobre o Orion, consulte estas publicações no blogue:

• O disco de computação da Orion: A história por detrás do dispositivo que ajudou a tornar possíveis os nossos óculos AR
• Zero to One: como o nosso silício e chips personalizados estão a revolucionar a RA
• Cristalino: Os nossos guias de onda de carboneto de silício e o caminho para o grande FoV de Orion