Zero to One: como o nosso silício e chips personalizados estão a revolucionar a RA

In 2017, Reality Labs Chief Scientist Michael Abrash, backed by Meta Founder & CEO Mark Zuckerberg, established a new, secret team within what was then Oculus Research to build the foundation of the next computing platform. Their herculean task: Create a custom silicon solution that could support the unique demands of future augmented reality glasses—a technical feat that required reimagining every component for an all-day wearable AR glasses form factor that simply didn’t exist yet.

Ângulo frontal do protótipo dos óculos Orion AR.

Fator de forma compacto, espaço considerável para problemas

Growing from just a few researchers to hundreds of people on the product side, the custom silicon team was built on the premise that AR glasses couldn’t rely on the silicon available in today’s smartphones. And it’s a premise borne out by the several custom chips inside Orion, our first true AR glasses product prototype.

"Construir o navio à medida que este sai do porto - era exatamente isso que estávamos a fazer", diz Jeremy Snodgrass, Diretor de Estratégia de Tecnologias Avançadas. "Tivemos de aumentar a escala de uma equipa modesta enquanto construíamos estes chips em simultâneo. Foi fascinante ver a liderança trazer novas contratações a bordo enquanto desenvolvia uma cultura que valorizava a agilidade. Nada era problema de outra pessoa. Pegava-se num remo e começava-se a remar, mesmo que não fosse exatamente a função para que se tinha sido contratado. Foi uma época muito, muito emocionante".

"Quase tudo no Orion era novo para o mundo em muitos aspectos", concorda o diretor técnico da Display Architecture, Mike Yee. "Algumas das ideias já existiam, mas ninguém tinha assumido o projeto de investigação para construir um par de óculos de realidade aumentada que pudesse ser usado durante todo o dia."

A equipa tinha de proporcionar uma experiência de RA atraente com o menor consumo de energia possível. O formato dos óculos só pode dissipar uma determinada quantidade de calor e só pode acomodar uma determinada capacidade de bateria. Como resultado, as experiências que é possível proporcionar nos óculos dependem completamente do silício. Por outras palavras, se mantivermos constantes as capacidades térmicas e da bateria, a única forma de proporcionar uma determinada experiência é otimizar o silício.

“Designing a new architecture for Orion required the team to not only push existing technologies like wireless and displays aggressively but also to take risks on new technologies,” says Director of Product Management Neeraj Choubey. “For instance, the team developed a machine learning (ML) accelerator without a clear use case at the time, driven by the strong conviction that ML would become increasingly important in Meta’s products. On Orion, every ML accelerator is utilized, and in some cases, they’re oversubscribed, serving functions such as eye tracking and hand tracking. Similarly, the team developed custom compression protocols to reduce bandwidth and power consumption as data moved from the compute puck to the display. Developing custom silicon to achieve Orion’s form factor goals required both a tolerance for high ambiguity and meticulous attention to detail to deliver an incredibly complex system architecture.”

"O maior desafio que tivemos foi fornecer os gráficos renderizados em 3D bloqueados pelo mundo, juntamente com o áudio espacializado que é renderizado de tal forma que parece emanar de um objeto virtual", observa Snodgrass. "Tínhamos de encaixar todos estes componentes electrónicos na capacidade térmica e no espaço físico, e depois funcionar com a bateria para não aquecer demasiado. E tivemos de fazer tudo isto num formato de óculos - não numa viseira grande como as que se vêem normalmente na categoria."

"Sabíamos como fornecer a potência de computação necessária para dar vida à nossa visão do Orion, mas enfrentámos uma tarefa assustadora: reduzir o consumo de energia por um fator de 100", afirma Robert Shearer, Diretor de Soluções SoC. "Isso exigiu que ultrapassássemos os limites do design de silício, adotando metodologias de diversos cantos do setor - da IoT à computação de alto desempenho - e inventando novas abordagens para preencher as lacunas. Os nossos parceiros da indústria pensaram que éramos loucos, e talvez não estivessem totalmente errados. Mas foi exatamente isso que foi necessário: uma vontade de desafiar a sabedoria convencional e repensar tudo. Construir um computador que funde perfeitamente os mundos virtual e físico exige uma compreensão profunda do contexto, ultrapassando em muito o que as plataformas de computação existentes podem oferecer. Essencialmente, reinventámos a forma como os computadores interagem com os humanos, o que significou reimaginar a forma como construímos o silício a partir do zero."

Componentes exteriores do Orion.

A magia dos MicroLEDs

Houve momentos em que as coisas se atrasaram ou em que surgiu um desafio técnico aparentemente intransponível, em que foi difícil manter o ímpeto e a moral. Mas a equipa foi resiliente, encontrando caminhos para contornar os obstáculos - ou simplesmente derrubando-os.

Vejamos, por exemplo, o ecrã do Orion. A equipa de silício foi responsável pelo silício no projetor do visor que se encontra nos cantos dos óculos.

"Para esses projectores, havia uma questão em aberto sobre se conseguiríamos obter os microLEDs numa matriz com eficiência e brilho suficientemente elevados para implementar um ecrã de campo de visão alargado", afirma Snodgrass. "Havia uma enorme dúvida de que conseguíssemos - que fosse possível no período de tempo que estávamos a considerar - porque se tratava de uma tecnologia muito recente."

"Percebemos muito cedo que tínhamos de repensar muitos dos paradigmas do desenvolvimento de produtos", acrescenta Yee. "A quantidade de luz necessária para criar um ecrã utilizável é um pouco mais brilhante para os óculos de realidade aumentada porque, como um ecrã usável, estamos a competir com o sol. Por isso, precisamos de níveis de energia que rivalizem com o sol - ou, pelo menos, é esse o objetivo. Ainda não chegámos a esse ponto, mas é uma parte importante do processo. E isso significa que precisamos de fontes de luz para um ecrã que sejam capazes disso e precisamos de circuitos que possam controlar isso. E, ao mesmo tempo, é preciso torná-lo minúsculo".

Silício personalizado que conduz os µLEDs da Orion.

Embora os microLEDs parecessem ser a fonte de luz mais adequada para os projectores, o silício ajudou a revelar o seu potencial.

"Nos ecrãs, falamos de distância entre píxeis, que é a distância entre os pontos centrais dos píxeis adjacentes", explica Yee. "Para as televisões, essas distâncias são de centenas de microns. No telemóvel, são muitas, muitas dezenas de microns. E nós precisávamos de reduzir isso para um único dígito. O único fabrico de semicondutores conhecido que conseguia chegar lá era o silício."

A complicar o trabalho estava o facto de a superfície posterior do ecrã ter de ser uma peça de silício, e ninguém no mundo tinha concebido silício para microLEDs.

"Na altura, as equipas de investigação que existiam tinham todas reutilizado ecrãs de cristais líquidos em silício para colocar microLEDs", diz Yee. "Nunca ninguém tinha concebido um painel posterior para microLEDs. E enfrentámos um desafio único porque se trata de um componente ótico. Tem de ser plano. Não se pode riscar. Tem de ter todas estas caraterísticas porque quando olhamos através dos guias de ondas, através dos projectores, estamos literalmente a olhar para a superfície superior da peça de silício."

A equipa de silício desenvolveu uma série complexa de plataformas de teste para estes ecrãs microLED, o que implicou uma coordenação estreita com os nossos fornecedores globais. Os microLEDs têm uma pegada global, com origem num local e depois transferidos para outro local onde foram colocados numa bolacha. As bolachas eram depois enviadas para serem cortadas numa forma específica, seguidas de uma viagem aos EUA para serem ligadas a outra bolacha e depois enviadas de volta para o outro lado do mundo para que o módulo fosse construído e testado. Tratava-se de um processo extremamente complicado e a equipa de silício desenvolveu veículos de teste para comprovar cada etapa.

A equipa também precisava de encontrar uma forma de fornecer energia aos ecrãs microLED no pequeno volume dos cantos dos óculos. A nossa equipa analógica desenvolveu um chip de gestão de energia personalizado que cabe dentro desse volume.

"O fornecimento de energia é crucial para estes dispositivos portáteis de formato pequeno, em que o tamanho da bateria é limitado e o espaço é escasso", refere o Diretor de Sistemas Analógicos e de Sinal Misto, Jihong Ren. "A nossa solução personalizada de IC de gestão de energia utiliza tecnologias de ponta para otimizar a eficiência energética para a nossa carga de trabalho específica ao nível do sistema, ao mesmo tempo que se enquadra nas restrições de espaço disponíveis. Alcançar esta solução ideal exigiu uma estreita colaboração interdisciplinar com nossas equipes mecânicas, elétricas, SoC, μLED e térmicas, garantindo uma integração perfeita de todos os componentes e maximizando o desempenho geral.

"Foi um feito espantoso, não só de engenharia, mas também de gestão organizacional: reunir uma equipa, trabalhar em vários fusos horários e com todos estes fornecedores diferentes", acrescenta Snodgrass. "De certa forma, gerir tudo isto em termos organizacionais foi um desafio tão grande como cumprir as especificações técnicas."

"Não só o design é personalizado, como todo o processo de fabrico é personalizado", acrescenta Yee. "Temos a sorte de ter alguns parceiros maravilhosos na indústria que ajudaram a fazer isso acontecer. Eles vêem o potencial a longo prazo dos ecrãs de RA como um todo e, certamente, a visão da Meta para o mesmo. Por isso, estão dispostos a associar-se a nós para fazer essas personalizações e optimizações para permitir esse ecrã."

Óculos Orion AR.

A iteração encontra a aceleração

Havia um ciclo de feedback estreito entre a equipa de silício e as mentes brilhantes da Reality Labs Research e da XR Tech que desenvolviam algoritmos. Estas últimas equipas forneciam esses algoritmos, que as primeiras traduziam em hardware, eliminando a sobrecarga do software de execução de CPU de uso geral. Isto significava que os algoritmos seriam executados com menor potência, mas também significava que a equipa de silício estava bloqueada. Uma vez que os algoritmos fossem reforçados, não poderiam mais fazer alterações.

"Digamos que a XR Tech estava a desenvolver algoritmicamente uma determinada disciplina", explica o Diretor de Arquitetura e Algoritmos da Silicon Accelerators, Ohad Meitav. "Eles detêm a pilha algorítmica e o seu desempenho. A minha equipa, em colaboração com eles, decidiria então como acelerar o algoritmo, como fortalecer partes do algoritmo e como colocá-lo no hardware de forma a funcionar de forma super eficiente. Depois, a XR Tech adaptava a sua pilha de software para ter em conta o hardware. É um processo muito iterativo".

Outra história de sucesso é a colaboração da equipa de silício com a Reality Labs Research para criar um novo algoritmo de reprojecção.

"Precisávamos que o algoritmo de reprojecção suportasse uma variedade de distorções e correcções diferentes", observa o arquiteto de silício Steve Clohset. "O algoritmo que a RL-R desenvolveu e que acabámos por utilizar não é utilizado na computação geral. E, até hoje, está a revelar-se uma ferramenta bastante poderosa."

Depois de os algoritmos terem sido reforçados e o hardware ter sido optimizado, a equipa de desenvolvimento de silício colocou os chips personalizados à prova.

"O chipset de silício personalizado da Orion está repleto de complexidade", afirma o Diretor Sénior de Sistemas e Infra-estruturas End-to-End, Liping Guo. "A criação e validação de chips autónomos e as interoperabilidades entre eles num curto período de tempo é incrivelmente desafiante. Felizmente, estamos a operar num ambiente verticalmente integrado em que a Reality Labs detém toda a pilha - desde o silício e firmware de baixo nível até ao sistema operativo, software e experiências de camada superior. Tirámos o máximo partido deste facto, trabalhando em estreita colaboração com os nossos parceiros multifuncionais, e deixámos a nossa integração de pilha cruzada na fase de validação do silício. O Orion foi o nosso piloto para esta metodologia - desenvolvemos os nossos músculos de shift-left e criámos uma base sólida para a Reality Labs colher todos os benefícios do silício personalizado no futuro."

E depois do arranque, era altura de otimizar o software.

"Há um processo iterativo em que se começa com uma pilha de software totalmente não optimizada, apenas para que tudo arranque e funcione", diz Snodgrass. "E depois, um a um, percorremos os subsistemas e começamos a otimizar o software para esse hardware específico - incluindo a redução da quantidade de memória que o software utiliza. O hardware pode ser muito bem concebido, mas não se consegue a eficiência energética teórica se não se investir tanto ou mais tempo a fazer com que o software tire o máximo partido do hardware. Esta é a história do Orion: hardware e software optimizados ao máximo. Não deixa nenhum picojoule ou miliwatt para trás".

E embora o Orion possa ser um protótipo, o trabalho que foi feito nele tem um potencial considerável para influenciar o roteiro da Meta.

"Encaramos os IPs de silício que estamos a construir como plataformas, no sentido em que são IPs valiosos que iremos melhorar de uma geração ou de um produto para outro", acrescenta Meitav. "Todos os algoritmos de visão computacional e gráficos não são criados apenas para o Orion. Serão utilizados em futuros produtos."

O nosso trabalho em silício envolve a criação de soluções inovadoras, ao mesmo tempo que trabalhamos em estreita colaboração com os nossos parceiros. De facto, a influência da equipa de silício estende-se para além do Orion, abrangendo Óculos Ray-Ban Meta and Meta Quest headsets today—even though they both use third-party chips. The silicon team regularly shares their work with the mixed reality team, showing what’s possible in terms of power efficiency. The MR team then shares those findings with partners like Qualcomm to help inform future chip designs. And because the silicon team uses the same off-the-shelf digital signal processors (DSPs) as Ray-Ban Meta glasses, they’ve been able to share lessons learned and best practices when implementing and writing code for those DSPs to help improve the audio experiences available on our AI glasses.

And that knowledge sharing goes both ways: The MR team has given the silicon team insights on things like Asynchronous TimeWarp and Application SpaceWarp in production.

"O que uma pessoa faz na produção é muito mais interessante do que algo que poderíamos fazer com um protótipo", diz Clohset. "Tentámos integrar o mais possível o que estavam a fazer com as urdiduras."

Ambiguidade < Ambição

Uma vez que Orion era verdadeiramente zero para um, as equipas envolvidas tiveram de lidar com uma quantidade excessiva de ambiguidade por necessidade.

"Com o Orion, não posso exagerar o quanto a ambiguidade complicou as coisas", diz Clohset. "Quando se fabrica um computador, por exemplo, geralmente tem-se uma boa ideia do que será o ecrã. Mas não sabíamos como seria o guia de ondas, por isso tivemos de experimentar diferentes guias de ondas e criar um mecanismo que pudesse lidar com o pior cenário possível, porque não sabíamos onde as coisas iriam parar. Uma otimização aqui iria convolar-se com todas as outras escolhas, e acabaríamos com esta matriz de todas estas coisas diferentes que tínhamos como suporte e que tentávamos validar, porque não sabíamos onde o produto iria parar dentro de seis meses."

It’s important to note that Orion isn’t just a pair of AR glasses—it’s a three-part constellation of hardware. A lot of the processing happens on the compute puck, which necessitates a strong connection between it and the glasses. Add the surface EMG wristband into the loop, and the system architecture becomes even more complicated.

"Foi um enorme desafio para as equipas resolverem, e tudo isto funciona", diz Snodgrass. "Foi uma colaboração fantástica entre a equipa de silício, a equipa sem fios e as equipas de software de toda a organização."

O disco de computação do Orion.

"Com o Orion, criámos uma equipa inteira com uma grande diversidade de engenheiros, que conseguiram conceber um pipeline totalmente novo", acrescenta Clohset. "É um pipeline que lida com o movimento de seis graus de liberdade de objectos no espaço 3D. Utiliza o seu próprio controlador de ecrã personalizado. Tivemos de fazer correcções de qualidade de imagem verdadeiramente únicas. E penso que o desafio para nós foi que, como se tratava de um projeto zero a um, não havia especificações existentes para ajustar e melhorar. Tudo aqui é completamente novo, por isso tivemos liberdade para fazer tudo."

Much like the puck has some dormant features hidden beneath the surface, the custom silicon punches above its weight, too. While Orion doesn’t allow the user to take photos with its RGB cameras, the silicon is capable of supporting it, as well as codec avatars. And just as the puck helped unlock a true glasses form factor by offloading much of the compute, Orion’s custom silicon proved a necessary piece of the AR puzzle.

"Para dar vida a uma experiência zero a um, como os óculos de realidade aumentada, é necessário silício personalizado - ponto final", explica Snodgrass. "Com o tempo, se houver um mercado, os fornecedores de silício desenvolverão produtos para satisfazer a procura. Mas para o zero-a-um, não se pode simplesmente pegar em algo que existe na prateleira e que se destina a um produto diferente e encaixá-lo num novo molde. É preciso investir em algo personalizado. E para dar vida a essas experiências "zero a um", é necessária uma ampla colaboração entre parceiros de software, designers industriais, engenheiros mecânicos e outros."

"Ao libertarmo-nos dos modelos mentais tradicionais, criámos algo verdadeiramente notável", acrescenta Shearer. "Acreditamos que esta plataforma de computação representa o futuro da tecnologia - uma plataforma que irá revolucionar a forma como vivemos, trabalhamos e interagimos uns com os outros. Estamos entusiasmados por estar na vanguarda desta inovação, ultrapassando os limites do que é possível e ajudando a moldar o curso da história."