Em 2017, o cientista-chefe da Reality Labs Michael AbrashA Oculus Research, apoiada pelo fundador e diretor executivo da Meta, Mark Zuckerberg, criou uma nova equipa secreta na então Oculus Research para construir as bases da próxima plataforma informática. A sua tarefa hercúlea: Criar uma solução de silício personalizada que pudesse suportar as exigências únicas das futuras óculos de realidade aumentada-uma proeza técnica que exigiu a reimaginação de todos os componentes para um dispositivo que pode ser usado durante todo o dia Óculos AR que simplesmente ainda não existia.
Ângulo frontal do protótipo dos óculos Orion AR.
Fator de forma compacto, espaço considerável para problemas
Tendo crescido de apenas alguns investigadores para centenas de pessoas no lado do produto, a equipa de silício personalizado foi criada com base na premissa de que os óculos de RA não podiam depender do silício disponível nos smartphones actuais. E é uma premissa confirmada pelos vários chips personalizados que estão no seu interior Órion, o nosso primeiro protótipo de produto de óculos de realidade aumentada.
"Construir o navio à medida que este sai do porto - era exatamente isso que estávamos a fazer", diz Jeremy Snodgrass, Diretor de Estratégia de Tecnologias Avançadas. "Tivemos de aumentar a escala de uma equipa modesta enquanto construíamos estes chips em simultâneo. Foi fascinante ver a liderança trazer novas contratações a bordo enquanto desenvolvia uma cultura que valorizava a agilidade. Nada era problema de outra pessoa. Pegava-se num remo e começava-se a remar, mesmo que não fosse exatamente a função para que se tinha sido contratado. Foi uma época muito, muito emocionante".
"Quase tudo no Orion era novo para o mundo em muitos aspectos", concorda o diretor técnico da Display Architecture, Mike Yee. "Algumas das ideias já existiam, mas ninguém tinha assumido o projeto de investigação para construir um par de óculos de realidade aumentada que pudesse ser usado durante todo o dia."
A equipa tinha de proporcionar uma experiência de RA atraente com o menor consumo de energia possível. O formato dos óculos só pode dissipar uma determinada quantidade de calor e só pode acomodar uma determinada capacidade de bateria. Como resultado, as experiências que é possível proporcionar nos óculos dependem completamente do silício. Por outras palavras, se mantivermos constantes as capacidades térmicas e da bateria, a única forma de proporcionar uma determinada experiência é otimizar o silício.
"A conceção de uma nova arquitetura para o Orion exigiu que a equipa não só impulsionasse agressivamente as tecnologias existentes, como a tecnologia sem fios e os ecrãs, mas também assumisse riscos em relação a novas tecnologias", afirma o Diretor de Gestão de Produtos, Neeraj Choubey. "Por exemplo, a equipa desenvolveu um acelerador de aprendizagem automática (ML) sem um caso de utilização claro na altura, motivada pela forte convicção de que a ML se tornaria cada vez mais importante nos produtos Meta. No Orion, todos os aceleradores de aprendizagem automática são utilizados e, nalguns casos, estão sobrecarregados, servindo funções como o seguimento dos olhos e das mãos. Da mesma forma, a equipa desenvolveu protocolos de compressão personalizados para reduzir a largura de banda e o consumo de energia à medida que os dados eram transferidos do calcular o disco para o ecrã. O desenvolvimento de silício personalizado para atingir os objectivos da Orion em termos de formato exigiu uma tolerância a uma elevada ambiguidade e uma atenção meticulosa aos detalhes para criar uma arquitetura de sistema incrivelmente complexa."
"O maior desafio que tivemos foi fornecer os gráficos renderizados em 3D bloqueados pelo mundo, juntamente com o áudio espacializado que é renderizado de tal forma que parece emanar de um objeto virtual", observa Snodgrass. "Tínhamos de encaixar todos estes componentes electrónicos na capacidade térmica e no espaço físico, e depois funcionar com a bateria para não aquecer demasiado. E tivemos de fazer tudo isto num formato de óculos - não numa viseira grande como as que se vêem normalmente na categoria."
"Sabíamos como fornecer a potência de computação necessária para dar vida à nossa visão do Orion, mas enfrentámos uma tarefa assustadora: reduzir o consumo de energia por um fator de 100", afirma Robert Shearer, Diretor de Soluções SoC. "Isso exigiu que ultrapassássemos os limites do design de silício, adotando metodologias de diversos cantos do setor - da IoT à computação de alto desempenho - e inventando novas abordagens para preencher as lacunas. Os nossos parceiros da indústria pensaram que éramos loucos, e talvez não estivessem totalmente errados. Mas foi exatamente isso que foi necessário: uma vontade de desafiar a sabedoria convencional e repensar tudo. Construir um computador que funde perfeitamente os mundos virtual e físico exige uma compreensão profunda do contexto, ultrapassando em muito o que as plataformas de computação existentes podem oferecer. Essencialmente, reinventámos a forma como os computadores interagem com os humanos, o que significou reimaginar a forma como construímos o silício a partir do zero."
Componentes exteriores do Orion.
A magia dos MicroLEDs
Houve momentos em que as coisas se atrasaram ou em que surgiu um desafio técnico aparentemente intransponível, em que foi difícil manter o ímpeto e a moral. Mas a equipa foi resiliente, encontrando caminhos para contornar os obstáculos - ou simplesmente derrubando-os.
Vejamos, por exemplo, o ecrã do Orion. A equipa de silício foi responsável pelo silício no projetor do visor que se encontra nos cantos dos óculos.
"Para esses projectores, havia uma questão em aberto sobre se conseguiríamos obter os microLEDs numa matriz com eficiência e brilho suficientemente elevados para implementar um ecrã de campo de visão alargado", afirma Snodgrass. "Havia uma enorme dúvida de que conseguíssemos - que fosse possível no período de tempo que estávamos a considerar - porque se tratava de uma tecnologia muito recente."
"Percebemos muito cedo que tínhamos de repensar muitos dos paradigmas do desenvolvimento de produtos", acrescenta Yee. "A quantidade de luz necessária para criar um ecrã utilizável é um pouco mais brilhante para os óculos de realidade aumentada porque, como um ecrã usável, estamos a competir com o sol. Por isso, precisamos de níveis de energia que rivalizem com o sol - ou, pelo menos, é esse o objetivo. Ainda não chegámos a esse ponto, mas é uma parte importante do processo. E isso significa que precisamos de fontes de luz para um ecrã que sejam capazes disso e precisamos de circuitos que possam controlar isso. E, ao mesmo tempo, é preciso torná-lo minúsculo".
Silício personalizado que conduz os µLEDs da Orion.
Embora os microLEDs parecessem ser a fonte de luz mais adequada para os projectores, o silício ajudou a revelar o seu potencial.
"Nos ecrãs, falamos de distância entre píxeis, que é a distância entre os pontos centrais dos píxeis adjacentes", explica Yee. "Para as televisões, essas distâncias são de centenas de microns. No telemóvel, são muitas, muitas dezenas de microns. E nós precisávamos de reduzir isso para um único dígito. O único fabrico de semicondutores conhecido que conseguia chegar lá era o silício."
A complicar o trabalho estava o facto de a superfície posterior do ecrã ter de ser uma peça de silício, e ninguém no mundo tinha concebido silício para microLEDs.
"Na altura, as equipas de investigação que existiam tinham todas reutilizado ecrãs de cristais líquidos em silício para colocar microLEDs", diz Yee. "Nunca ninguém tinha concebido um painel posterior para microLEDs. E enfrentámos um desafio único porque se trata de um componente ótico. Tem de ser plano. Não se pode riscar. Tem de ter todas estas caraterísticas porque quando olhamos através dos guias de ondas, através dos projectores, estamos literalmente a olhar para a superfície superior da peça de silício."
A equipa de silício desenvolveu uma série complexa de plataformas de teste para estes ecrãs microLED, o que implicou uma coordenação estreita com os nossos fornecedores globais. Os microLEDs têm uma pegada global, com origem num local e depois transferidos para outro local onde foram colocados numa bolacha. As bolachas eram depois enviadas para serem cortadas numa forma específica, seguidas de uma viagem aos EUA para serem ligadas a outra bolacha e depois enviadas de volta para o outro lado do mundo para que o módulo fosse construído e testado. Tratava-se de um processo extremamente complicado e a equipa de silício desenvolveu veículos de teste para comprovar cada etapa.
A equipa também precisava de encontrar uma forma de fornecer energia aos ecrãs microLED no pequeno volume dos cantos dos óculos. A nossa equipa analógica desenvolveu um chip de gestão de energia personalizado que cabe dentro desse volume.
"O fornecimento de energia é crucial para estes dispositivos portáteis de formato pequeno, em que o tamanho da bateria é limitado e o espaço é escasso", refere o Diretor de Sistemas Analógicos e de Sinal Misto, Jihong Ren. "A nossa solução personalizada de IC de gestão de energia utiliza tecnologias de ponta para otimizar a eficiência energética para a nossa carga de trabalho específica ao nível do sistema, ao mesmo tempo que se enquadra nas restrições de espaço disponíveis. Alcançar esta solução ideal exigiu uma estreita colaboração interdisciplinar com nossas equipes mecânicas, elétricas, SoC, μLED e térmicas, garantindo uma integração perfeita de todos os componentes e maximizando o desempenho geral.
"Foi um feito espantoso, não só de engenharia, mas também de gestão organizacional: reunir uma equipa, trabalhar em vários fusos horários e com todos estes fornecedores diferentes", acrescenta Snodgrass. "De certa forma, gerir tudo isto em termos organizacionais foi um desafio tão grande como cumprir as especificações técnicas."
"Não só o design é personalizado, como todo o processo de fabrico é personalizado", acrescenta Yee. "Temos a sorte de ter alguns parceiros maravilhosos na indústria que ajudaram a fazer isso acontecer. Eles vêem o potencial a longo prazo dos ecrãs de RA como um todo e, certamente, a visão da Meta para o mesmo. Por isso, estão dispostos a associar-se a nós para fazer essas personalizações e optimizações para permitir esse ecrã."
Óculos Orion AR.
A iteração encontra a aceleração
Havia um ciclo de feedback estreito entre a equipa de silício e as mentes brilhantes da Reality Labs Research e da XR Tech que desenvolviam algoritmos. Estas últimas equipas forneciam esses algoritmos, que as primeiras traduziam em hardware, eliminando a sobrecarga do software de execução de CPU de uso geral. Isto significava que os algoritmos seriam executados com menor potência, mas também significava que a equipa de silício estava bloqueada. Uma vez que os algoritmos fossem reforçados, não poderiam mais fazer alterações.
"Digamos que a XR Tech estava a desenvolver algoritmicamente uma determinada disciplina", explica o Diretor de Arquitetura e Algoritmos da Silicon Accelerators, Ohad Meitav. "Eles detêm a pilha algorítmica e o seu desempenho. A minha equipa, em colaboração com eles, decidiria então como acelerar o algoritmo, como fortalecer partes do algoritmo e como colocá-lo no hardware de forma a funcionar de forma super eficiente. Depois, a XR Tech adaptava a sua pilha de software para ter em conta o hardware. É um processo muito iterativo".
Outra história de sucesso é a colaboração da equipa de silício com a Reality Labs Research para criar um novo algoritmo de reprojecção.
"Precisávamos que o algoritmo de reprojecção suportasse uma variedade de distorções e correcções diferentes", observa o arquiteto de silício Steve Clohset. "O algoritmo que a RL-R desenvolveu e que acabámos por utilizar não é utilizado na computação geral. E, até hoje, está a revelar-se uma ferramenta bastante poderosa."
Depois de os algoritmos terem sido reforçados e o hardware ter sido optimizado, a equipa de desenvolvimento de silício colocou os chips personalizados à prova.
"O chipset de silício personalizado da Orion está repleto de complexidade", afirma o Diretor Sénior de Sistemas e Infra-estruturas End-to-End, Liping Guo. "A criação e validação de chips autónomos e as interoperabilidades entre eles num curto período de tempo é incrivelmente desafiante. Felizmente, estamos a operar num ambiente verticalmente integrado em que a Reality Labs detém toda a pilha - desde o silício e firmware de baixo nível até ao sistema operativo, software e experiências de camada superior. Tirámos o máximo partido deste facto, trabalhando em estreita colaboração com os nossos parceiros multifuncionais, e deixámos a nossa integração de pilha cruzada na fase de validação do silício. O Orion foi o nosso piloto para esta metodologia - desenvolvemos os nossos músculos de shift-left e criámos uma base sólida para a Reality Labs colher todos os benefícios do silício personalizado no futuro."
E depois do arranque, era altura de otimizar o software.
"Há um processo iterativo em que se começa com uma pilha de software totalmente não optimizada, apenas para que tudo arranque e funcione", diz Snodgrass. "E depois, um a um, percorremos os subsistemas e começamos a otimizar o software para esse hardware específico - incluindo a redução da quantidade de memória que o software utiliza. O hardware pode ser muito bem concebido, mas não se consegue a eficiência energética teórica se não se investir tanto ou mais tempo a fazer com que o software tire o máximo partido do hardware. Esta é a história do Orion: hardware e software optimizados ao máximo. Não deixa nenhum picojoule ou miliwatt para trás".
E embora o Orion possa ser um protótipo, o trabalho que foi feito nele tem um potencial considerável para influenciar o roteiro da Meta.
"Encaramos os IPs de silício que estamos a construir como plataformas, no sentido em que são IPs valiosos que iremos melhorar de uma geração ou de um produto para outro", acrescenta Meitav. "Todos os algoritmos de visão computacional e gráficos não são criados apenas para o Orion. Serão utilizados em futuros produtos."
O nosso trabalho em silício envolve a criação de soluções inovadoras, ao mesmo tempo que trabalhamos em estreita colaboração com os nossos parceiros. De facto, a influência da equipa de silício estende-se para além do Orion, abrangendo Óculos Ray-Ban Meta e Auscultadores Meta Quest atualmente - apesar de ambos utilizarem chips de terceiros. A equipa de silício partilha regularmente o seu trabalho com a equipa de realidade mista, mostrando o que é possível fazer em termos de eficiência energética. A equipa de realidade mista partilha então essas descobertas com parceiros como Qualcomm para ajudar a informar futuros projectos de chips. E como a equipa de silício utiliza os mesmos processadores de sinal digital (DSPs) prontos a utilizar que os óculos Ray-Ban Meta, puderam partilhar as lições aprendidas e as melhores práticas ao implementar e escrever código para esses DSPs para ajudar a melhorar as experiências de áudio disponíveis nos nossos óculos com IA.
E essa partilha de conhecimentos é recíproca: A equipa de RM deu à equipa de silício conhecimentos sobre coisas como TimeWarp assíncrono e Aplicação SpaceWarp em produção.
"O que uma pessoa faz na produção é muito mais interessante do que algo que poderíamos fazer com um protótipo", diz Clohset. "Tentámos integrar o mais possível o que estavam a fazer com as urdiduras."
Ambiguidade < Ambição
Uma vez que Orion era verdadeiramente zero para um, as equipas envolvidas tiveram de lidar com uma quantidade excessiva de ambiguidade por necessidade.
"Com o Orion, não posso exagerar o quanto a ambiguidade complicou as coisas", diz Clohset. "Quando se fabrica um computador, por exemplo, geralmente tem-se uma boa ideia do que será o ecrã. Mas não sabíamos como seria o guia de ondas, por isso tivemos de experimentar diferentes guias de ondas e criar um mecanismo que pudesse lidar com o pior cenário possível, porque não sabíamos onde as coisas iriam parar. Uma otimização aqui iria convolar-se com todas as outras escolhas, e acabaríamos com esta matriz de todas estas coisas diferentes que tínhamos como suporte e que tentávamos validar, porque não sabíamos onde o produto iria parar dentro de seis meses."
É importante notar que o Orion não é apenas um par de óculos de realidade aumentada - é uma constelação de hardware composta por três partes. Grande parte do processamento ocorre no calcular o discoo que exige uma forte ligação entre este e os óculos. Adicione o pulseira EMG de superfície no circuito, e a arquitetura do sistema torna-se ainda mais complicada.
"Foi um enorme desafio para as equipas resolverem, e tudo isto funciona", diz Snodgrass. "Foi uma colaboração fantástica entre a equipa de silício, a equipa sem fios e as equipas de software de toda a organização."
O disco de computação do Orion.
"Com o Orion, criámos uma equipa inteira com uma grande diversidade de engenheiros, que conseguiram conceber um pipeline totalmente novo", acrescenta Clohset. "É um pipeline que lida com o movimento de seis graus de liberdade de objectos no espaço 3D. Utiliza o seu próprio controlador de ecrã personalizado. Tivemos de fazer correcções de qualidade de imagem verdadeiramente únicas. E penso que o desafio para nós foi que, como se tratava de um projeto zero a um, não havia especificações existentes para ajustar e melhorar. Tudo aqui é completamente novo, por isso tivemos liberdade para fazer tudo."
Tal como o disco O Orion tem algumas funcionalidades inactivas escondidas sob a superfície, mas o silício personalizado também se destaca. Embora o Orion não permita que o utilizador tire fotografias com as suas câmaras RGB, o silício é capaz de as suportar, bem como avatares de codecs. E tal como o disco ajudou a desbloquear um verdadeiro fator de forma de óculos ao transferir grande parte da computação, o silício personalizado da Orion provou ser uma peça necessária do puzzle da RA.
"Para dar vida a uma experiência zero a um, como os óculos de realidade aumentada, é necessário silício personalizado - ponto final", explica Snodgrass. "Com o tempo, se houver um mercado, os fornecedores de silício desenvolverão produtos para satisfazer a procura. Mas para o zero-a-um, não se pode simplesmente pegar em algo que existe na prateleira e que se destina a um produto diferente e encaixá-lo num novo molde. É preciso investir em algo personalizado. E para dar vida a essas experiências "zero a um", é necessária uma ampla colaboração entre parceiros de software, designers industriais, engenheiros mecânicos e outros."
"Ao libertarmo-nos dos modelos mentais tradicionais, criámos algo verdadeiramente notável", acrescenta Shearer. "Acreditamos que esta plataforma de computação representa o futuro da tecnologia - uma plataforma que irá revolucionar a forma como vivemos, trabalhamos e interagimos uns com os outros. Estamos entusiasmados por estar na vanguarda desta inovação, ultrapassando os limites do que é possível e ajudando a moldar o curso da história."
Para mais informações sobre o Orion, consulte estas publicações no blogue:
