In 2017, Reality Labs Chief Scientist Michael Abrashgesteund door Meta Founder & CEO Mark Zuckerberg, richtte een nieuw, geheim team op binnen het toenmalige Oculus Research om de basis te leggen voor het volgende computerplatform. Hun herculische taak: Een op maat gemaakte siliciumoplossing maken die de unieke eisen van toekomstige augmented reality-bril-een technisch hoogstandje waarbij elk onderdeel opnieuw moest worden ontworpen voor een wearable die de hele dag meegaat AR-bril vormfactor die gewoon nog niet bestond.
Vooraanzicht van Orion AR bril prototype.
Compacte vorm, aanzienlijke probleemruimte
Het Custom Silicon-team groeide uit van slechts een paar onderzoekers tot honderden mensen aan de productkant en ging ervan uit dat AR-brillen niet konden vertrouwen op het silicium dat beschikbaar is in de smartphones van vandaag. En het is een vooronderstelling die wordt bevestigd door de verschillende aangepaste chips in OrionOns eerste prototype van een echte AR-bril.
"Het schip bouwen terwijl het de haven uitvaart, dat was precies wat we aan het doen waren", zegt Jeremy Snodgrass, Advanced Technologies Strategy Director. "We moesten een bescheiden team uitbreiden en tegelijkertijd deze chips bouwen. Het was fascinerend om te zien hoe het leiderschap nieuwe mensen aan boord haalde en tegelijkertijd een cultuur ontwikkelde waarin wendbaarheid centraal stond. Niets was het probleem van iemand anders. Je pakte een roeispaan en begon te roeien, zelfs als dat niet precies was waarvoor je was aangenomen. Het was een heel opwindende tijd."
"Bijna alles aan Orion was in veel opzichten nieuw voor de wereld," beaamt Display Architecture Technical Director Mike Yee. "Sommige ideeën waren er al, maar niemand had het onderzoeksproject op zich genomen om daadwerkelijk een AR-bril te bouwen die de hele dag draagbaar is."
Het team moest een meeslepende AR-ervaring leveren met zo min mogelijk energieverbruik. De vormfactor van de bril kan maar zoveel warmte afvoeren en er kan maar zoveel batterijcapaciteit in. Als gevolg daarvan zijn de ervaringen die op de bril kunnen worden geleverd volledig afhankelijk van het silicium. Met andere woorden, als je de thermische en batterijcapaciteiten constant houdt, is de enige manier om een bepaalde ervaring te leveren het optimaliseren van het silicium.
"Het ontwerpen van een nieuwe architectuur voor Orion vereiste van het team dat het niet alleen bestaande technologieën zoals draadloze en beeldschermen agressief pushte, maar ook risico's nam op het gebied van nieuwe technologieën," zegt Director of Product Management Neeraj Choubey. "Het team ontwikkelde bijvoorbeeld een machine learning (ML) versneller zonder een duidelijke use case op dat moment, gedreven door de sterke overtuiging dat ML steeds belangrijker zou worden in Meta's producten. Op Orion wordt elke ML-versneller gebruikt, en in sommige gevallen zijn ze overtekend, voor functies zoals het volgen van ogen en handen. Op dezelfde manier ontwikkelde het team aangepaste compressieprotocollen om bandbreedte en stroomverbruik te verminderen wanneer gegevens van de Orion naar de Orion werden verplaatst. puck berekenen naar het beeldscherm. Het ontwikkelen van silicium op maat om de vormfactordoelen van Orion te bereiken vereiste zowel een tolerantie voor hoge dubbelzinnigheid als nauwgezette aandacht voor details om een ongelooflijk complexe systeemarchitectuur te leveren."
"De grootste uitdaging die we hadden was het leveren van de 3D world-locked rendered graphics, samen met spatialized audio die zo wordt gerenderd dat het lijkt alsof het uit een virtueel object komt," merkt Snodgrass op. "We moesten al deze elektronica in de thermische capaciteit en de fysieke ruimte passen, en dan ook nog op de batterij laten werken zodat het niet te heet werd. En we moesten dat allemaal doen in een echte brilvorm - geen groot vizier zoals je meestal ziet in deze categorie."
"We wisten hoe we de benodigde rekenkracht konden leveren om onze visie voor Orion tot leven te brengen, maar we stonden voor een ontmoedigende taak: het stroomverbruik met een factor 100 verminderen," zegt Robert Shearer, directeur van SoC Solutions. "Hiervoor moesten we de grenzen van siliciumontwerp verleggen, methodologieën uit verschillende hoeken van de industrie omarmen - van IoT tot high-performance computing - en nieuwe benaderingen bedenken om de kloven te overbruggen. Onze industriële partners dachten dat we gek waren, en misschien hadden ze niet helemaal ongelijk. Maar dat is precies wat er nodig was: de bereidheid om conventionele wijsheid uit te dagen en alles opnieuw te bekijken. Het bouwen van een computer die de virtuele en fysieke wereld naadloos in elkaar laat overgaan vereist een diepgaand begrip van context, veel meer dan wat bestaande rekenplatforms kunnen bieden. In wezen hebben we de manier waarop computers met mensen communiceren opnieuw uitgevonden, wat betekende dat we de manier waarop we silicium bouwen vanaf de grond opnieuw moesten uitvinden."
Orion buitencomponenten.
De magie van microleds
Er waren momenten waarop dingen achterliepen op schema of er een schijnbaar onoverkomelijke technische uitdaging opdook en het moeilijk was om de vaart erin te houden en het moreel hoog te houden. Maar het team was veerkrachtig en vond wegen om obstakels te omzeilen of ze gewoonweg neer te halen.
Neem bijvoorbeeld het beeldscherm van Orion. Het siliciumteam was verantwoordelijk voor het silicium in de displayprojector die in de hoeken van de bril zit.
"Voor die projectoren was het een open vraag of we de microLED's in een array met voldoende efficiëntie en helderheid konden krijgen om een breedbeeldscherm te implementeren," zegt Snodgrass. "Er was enorme twijfel of we dat konden - of het mogelijk was in het tijdsbestek dat we overwogen - omdat dit een zeer opkomende technologie was."
"We realiseerden ons al heel vroeg dat we veel van de paradigma's van productontwikkeling moesten herzien," voegt Yee toe. "De hoeveelheid licht die je nodig hebt om een bruikbaar beeldscherm te maken is een stuk helderder voor AR-brillen, omdat je als draagbaar beeldscherm concurreert met de zon. We hebben dus energieniveaus nodig die daarmee kunnen wedijveren - dat is tenminste het doel. We zijn er nog niet helemaal, maar dat is een groot deel ervan. En dat betekent dat je lichtbronnen voor een beeldscherm nodig hebt die dat kunnen en dat je schakelingen nodig hebt die dat kunnen regelen. En tegelijkertijd moet je het klein maken."
Aangepast silicium dat de µLED's van Orion aanstuurt.
Hoewel microLED's de meest geschikte lichtbron leken voor de projectoren, hielp silicium bij het ontsluiten van hun potentieel.
"Bij beeldschermen hebben we het over pixelafstanden, dat zijn de afstanden tussen de middelpunten van aangrenzende pixels", legt Yee uit. "Voor tv's zijn die afstanden honderden microns. In je telefoon zijn het vele, vele tientallen microns. En we moesten dat terugbrengen tot in de enkele cijfers. De enige bekende halfgeleiderfabricage die dat kon, was silicium."
Het werk werd bemoeilijkt door het feit dat de achterkant van het scherm uit een stuk silicium moest bestaan, en niemand ter wereld had silicium voor microLED's ontworpen.
"Op dat moment hadden de onderzoeksteams allemaal vloeibare kristallen op siliciumschermen hergebruikt om er microLED's op te plaatsen," zegt Yee. "Niemand had ooit eerder een backplane voor microLED's ontworpen. En we stonden voor een vrij unieke uitdaging omdat het een optisch onderdeel is. Het moet plat zijn. Je kunt er geen krassen op maken. Het moet al deze eigenschappen hebben, want als je door de golfgeleiders en door de projectoren kijkt, kijk je letterlijk naar de bovenkant van het stuk silicium."
Het siliciumteam ontwikkelde een complexe reeks testplatforms voor deze microLED-schermen waarbij nauw moest worden samengewerkt met onze wereldwijde leveranciers. De microLED's hebben een wereldwijde voetafdruk: ze komen van de ene plek en worden vervolgens overgebracht naar een andere locatie waar ze op een wafer worden geplaatst. De wafers werden vervolgens verscheept om in een bepaalde vorm te worden gesneden, gevolgd door een reis naar de VS om met een andere wafer te worden verbonden, waarna ze weer over de hele wereld werden verscheept om de eigenlijke module te bouwen en te testen. Het was een enorm ingewikkeld proces en het siliciumteam ontwikkelde testvoertuigen om elke stap te testen.
Het team moest ook een manier vinden om stroom te leveren aan microLED-schermen in het kleine volume van de hoeken van de bril. Ons analoge team ontwikkelde een aangepaste chip voor energiebeheer die in dat volume paste.
"Stroomvoorziening is cruciaal voor dergelijke draagbare apparaten met een kleine vormfactor, waar de grootte van de batterij beperkt is en de ruimte beperkt," merkt Jihong Ren, directeur Analoge en Gemengde Signaalsystemen, op. "Onze op maat gemaakte Power Management IC-oplossing maakt gebruik van geavanceerde technologieën om de energie-efficiëntie voor onze specifieke werklast op systeemniveau te optimaliseren, en dat alles binnen de beschikbare ruimtebeperkingen. Om deze optimale oplossing te bereiken was een nauwe interdisciplinaire samenwerking nodig met onze mechanische, elektrische, SoC-, μLED- en thermische teams, zodat een naadloze integratie van alle componenten werd gegarandeerd en de algehele prestaties werden gemaximaliseerd."
"Dat was niet alleen een verbazingwekkende prestatie op het gebied van engineering, maar ook op het gebied van organisatiemanagement: een team samenbrengen, werken in verschillende tijdzones en met al die verschillende leveranciers," voegt Snodgrass toe. "In sommige opzichten was het organisatorisch managen van dat alles net zo'n uitdaging als het voldoen aan de technische specificaties."
"Niet alleen het ontwerp is aangepast, ook het hele fabricageproces is aangepast," voegt Yee toe. "We hebben het geluk dat we een aantal geweldige partners in de industrie hebben die dit mogelijk hebben gemaakt. Zij zien het langetermijnpotentieel van AR-schermen als geheel en zeker Meta's visie daarop. Ze zijn dus bereid geweest om met ons samen te werken om die aanpassingen en optimalisaties mogelijk te maken om dat beeldscherm mogelijk te maken."
Orion AR-bril.
Iteratie ontmoet versnelling
Er was een nauwe terugkoppeling tussen het siliciumteam en de briljante geesten in Reality Labs Research en XR Tech die algoritmen ontwikkelden. De laatstgenoemde teams leverden deze algoritmen, die de eerstgenoemde teams vertaalden naar hardware, waardoor de overhead van software die op een algemene CPU draaide werd weggenomen. Dat betekende dat de algoritmes op minder stroom zouden draaien, maar het betekende ook dat het siliciumteam vast zat. Als de algoritmen eenmaal gehard waren, konden ze geen wijzigingen meer aanbrengen.
"Stel dat XR Tech een bepaalde discipline algoritmisch aan het ontwikkelen was", legt Silicon Accelerators Architecture and Algorithms Director Ohad Meitav uit. "Zij zijn eigenaar van de algoritmische stack en de prestaties ervan. Mijn team zou dan, in samenwerking met hen, beslissen hoe het algoritme te versnellen, hoe delen van het algoritme te harden en hoe het daadwerkelijk in de hardware te zetten op een manier die super efficiënt draait. Vervolgens paste XR Tech hun softwarestack aan om rekening te houden met de hardware. Het is een zeer iteratief proces."
Een ander succesverhaal is de samenwerking van het siliconenteam met Reality Labs Research om een nieuw reprojectiealgoritme te ontwikkelen.
"We hadden het reprojectiealgoritme nodig om een groot aantal verschillende vervormingen en correcties te ondersteunen," merkt Silicon Architect Steve Clohset op. "Het algoritme dat RL-R ontwikkelde en dat we uiteindelijk gebruikten, wordt niet gebruikt in algemene computertoepassingen. En tot op de dag van vandaag blijkt het een behoorlijk krachtig hulpmiddel te zijn."
Nadat de algoritmen waren gehard en de hardware was geoptimaliseerd, stelde het silicon bring-up team de aangepaste chips op de proef.
"De op maat gemaakte siliciumchipset van Orion zit boordevol complexiteit", zegt Senior Director of End-to-End System and Infrastructure Liping Guo. "Het in korte tijd ontwikkelen en valideren van standalone chips en de interoperabiliteit daartussen is een ongelofelijke uitdaging. Gelukkig werken we binnen een verticaal geïntegreerde omgeving waar Reality Labs eigenaar is van de hele stack, van de silicium en low-level firmware tot het besturingssysteem, de software en de upper-layer ervaringen. We hebben hier optimaal van geprofiteerd, nauw samengewerkt met onze cross-functionele partners en onze cross-stack integratie verschoven naar het stadium van siliciumvalidatie. Orion was onze pilot voor deze methodologie - we hebben onze shift-left spieren ontwikkeld en een sterke basis gelegd voor Reality Labs om in de toekomst alle voordelen van silicium op maat te benutten."
En na het opstarten was het tijd om te optimaliseren voor software.
"Er is een iteratief proces waarbij je begint met een volledig ongeoptimaliseerde softwarestack om alles op te starten en te laten werken", zegt Snodgrass. "En dan ga je één voor één door de subsystemen en begin je de software te optimaliseren voor die specifieke hardware, inclusief het verminderen van de hoeveelheid geheugen die de software gebruikt. De hardware kan prachtig ontworpen zijn, maar je zult de theoretische energie-efficiëntie niet bereiken tenzij je evenveel of meer tijd investeert om de software optimaal te laten profiteren van de hardware. Dus dat is het verhaal van Orion: hardware en software tot het uiterste geoptimaliseerd. Laat geen picojoule of milliwatt achter."
En Orion mag dan wel een prototype zijn, het werk dat erin is gestoken heeft een aanzienlijk potentieel om de routekaart van Meta te beïnvloeden.
"We zien de silicium IP's die we bouwen als platformen in de zin dat dit gewaardeerde IP's zijn die we van de ene generatie of het ene product op het andere verbeteren," voegt Meitav toe. "Alle computer vision en grafische algoritmen zijn niet alleen voor Orion gemaakt. Ze worden gebruikt voor toekomstige producten."
Ons siliciumwerk houdt in dat we nieuwe oplossingen creëren en nauw samenwerken met partners. De invloed van het siliconeteam reikt zelfs verder dan Orion en omvat zowel Ray-Ban Meta bril en Meta Quest headsets ook al gebruiken ze allebei chips van derden. Het siliciumteam deelt hun werk regelmatig met het mixed reality-team en laat zien wat er mogelijk is op het gebied van energie-efficiëntie. Het MR-team deelt deze bevindingen vervolgens met partners zoals Qualcomm om te helpen bij toekomstige chipontwerpen. En omdat het siliciumteam dezelfde kant-en-klare digitale signaalprocessors (DSP's) gebruikt als de Ray-Ban Meta-brillen, hebben ze de geleerde lessen en best practices kunnen delen bij het implementeren en schrijven van code voor die DSP's om de audio-ervaring van onze AI-brillen te verbeteren.
En die kennisdeling gaat beide kanten op: Het MR-team heeft het siliciumteam inzichten gegeven in zaken als Asynchrone tijdverschuiving en Toepassing SpaceWarp in productie.
"Wat iemand in de productie doet is veel interessanter dan iets wat wij met een prototype konden doen," zegt Clohset. "We probeerden zoveel mogelijk te integreren wat zij deden met warpings."
Ambiguïteit < Ambitie
Omdat Orion echt nul tegen één was, hadden de betrokken teams noodgedwongen te maken met een buitensporige hoeveelheid ambiguïteit.
"Met Orion kan ik niet genoeg benadrukken hoe ingewikkeld de dubbelzinnigheid de dingen maakte," zegt Clohset. "Als je bijvoorbeeld een computer maakt, heb je over het algemeen een goed idee van wat het scherm zal worden. Maar we wisten niet wat de golfgeleider zou worden, dus moesten we verschillende golfgeleiders uitproberen en een mechanisme bedenken dat het slechtste scenario aankon omdat we niet wisten waar de dingen terecht zouden komen. Eén optimalisatie hier zou convergeren met al die andere keuzes en je zou eindigen met een matrix van al die verschillende dingen die je moest ondersteunen en proberen te valideren omdat je niet wist waar het product over zes maanden zou landen."
Het is belangrijk om te weten dat Orion niet zomaar een AR-bril is, maar een driedelige constellatie van hardware. Veel van de verwerking gebeurt op de puck berekenenwaardoor een sterke verbinding met de bril nodig is. Voeg de oppervlakte EMG polsband en de systeemarchitectuur wordt nog ingewikkelder.
"Dat was een enorme uitdaging voor de teams om op te lossen, en alles werkt gewoon", zegt Snodgrass. "Het was een geweldige samenwerking tussen het siliciumteam, het draadloze team en softwareteams in de hele organisatie."
De rekenmachine van Orion.
"Met Orion hebben we een heel team met een grote diversiteit aan ingenieurs samengesteld en zij waren in staat om een gloednieuwe pijplijn te ontwerpen," voegt Clohset toe. "Het is een pijplijn die zes vrijheidsgraden van beweging van objecten in de 3D-ruimte afhandelt. Het gebruikt zijn eigen aangepaste display driver. We moesten echt unieke beeldkwaliteitscorrecties uitvoeren. En ik denk dat de uitdaging voor ons was dat, omdat dit een nul-op-één project was, er geen bestaande specs waren om te tweaken en te verbeteren. Alles hier is compleet nieuw, dus we hadden speelruimte om alles te doen."
Net als de puck heeft een aantal sluimerende functies verborgen onder het oppervlak, maar het aangepaste silicium overtreft ook zijn gewicht. Hoewel Orion de gebruiker niet toestaat om foto's te maken met zijn RGB-camera's, kan het silicium dit wel ondersteunen, evenals codec avatars. En net zoals de puck hielp bij het ontsluiten van een echte bril door een groot deel van de rekenkracht over te nemen, bleek Orion's aangepaste silicium een noodzakelijk stukje van de AR-puzzel.
"Om een nul-op-één ervaring zoals een AR-bril tot leven te brengen, heb je silicium op maat nodig," legt Snodgrass uit. "Na verloop van tijd, als er een markt is, zullen siliciumleveranciers producten ontwikkelen om aan de vraag te voldoen. Maar voor zero-to-one kun je niet zomaar iets van de plank nemen dat bedoeld is voor een ander product en het in een nieuwe mal passen. Je moet investeren in iets op maat. En om die zero-to-one ervaringen tot leven te brengen, heb je een brede samenwerking nodig tussen softwarepartners, industriële ontwerpers, werktuigbouwkundigen en meer."
"Door los te komen van traditionele denkmodellen, hebben we iets echt opmerkelijks gecreëerd," voegt Shearer toe. "Wij geloven dat dit computerplatform de toekomst van de technologie vertegenwoordigt - een platform dat een revolutie teweeg zal brengen in de manier waarop we leven, werken en met elkaar omgaan. We vinden het geweldig om voorop te lopen in deze innovatie, de grenzen te verleggen van wat mogelijk is en de loop van de geschiedenis te helpen bepalen."
Bekijk voor meer informatie over Orion deze blogposts:
NL 
EN 
BG 
CS 
ET 
EL 
HR 
HU 
LT 
LV 
FR 
PL 
PT 
RO 
SL 
SK