Auteur: Kristián Ivančo

In 2017, Reality Labs Chief Scientist Michael Abrash, backed by Meta Founder & CEO Mark Zuckerberg, established a new, secret team within what was then Oculus Research to build the foundation of the next computing platform. Their herculean task: Create a custom silicon solution that could support the unique demands of future augmented reality glasses—a technical feat that required reimagining every component for an all-day wearable AR glasses form factor that simply didn’t exist yet.

Vooraanzicht van Orion AR bril prototype.

Compacte vorm, aanzienlijke probleemruimte

Growing from just a few researchers to hundreds of people on the product side, the custom silicon team was built on the premise that AR glasses couldn’t rely on the silicon available in today’s smartphones. And it’s a premise borne out by the several custom chips inside Orion, our first true AR glasses product prototype.

"Het schip bouwen terwijl het de haven uitvaart, dat was precies wat we aan het doen waren", zegt Jeremy Snodgrass, Advanced Technologies Strategy Director. "We moesten een bescheiden team uitbreiden en tegelijkertijd deze chips bouwen. Het was fascinerend om te zien hoe het leiderschap nieuwe mensen aan boord haalde en tegelijkertijd een cultuur ontwikkelde waarin wendbaarheid centraal stond. Niets was het probleem van iemand anders. Je pakte een roeispaan en begon te roeien, zelfs als dat niet precies was waarvoor je was aangenomen. Het was een heel opwindende tijd."

"Bijna alles aan Orion was in veel opzichten nieuw voor de wereld," beaamt Display Architecture Technical Director Mike Yee. "Sommige ideeën waren er al, maar niemand had het onderzoeksproject op zich genomen om daadwerkelijk een AR-bril te bouwen die de hele dag draagbaar is."

Het team moest een meeslepende AR-ervaring leveren met zo min mogelijk energieverbruik. De vormfactor van de bril kan maar zoveel warmte afvoeren en er kan maar zoveel batterijcapaciteit in. Als gevolg daarvan zijn de ervaringen die op de bril kunnen worden geleverd volledig afhankelijk van het silicium. Met andere woorden, als je de thermische en batterijcapaciteiten constant houdt, is de enige manier om een bepaalde ervaring te leveren het optimaliseren van het silicium.

“Designing a new architecture for Orion required the team to not only push existing technologies like wireless and displays aggressively but also to take risks on new technologies,” says Director of Product Management Neeraj Choubey. “For instance, the team developed a machine learning (ML) accelerator without a clear use case at the time, driven by the strong conviction that ML would become increasingly important in Meta’s products. On Orion, every ML accelerator is utilized, and in some cases, they’re oversubscribed, serving functions such as eye tracking and hand tracking. Similarly, the team developed custom compression protocols to reduce bandwidth and power consumption as data moved from the compute puck to the display. Developing custom silicon to achieve Orion’s form factor goals required both a tolerance for high ambiguity and meticulous attention to detail to deliver an incredibly complex system architecture.”

"De grootste uitdaging die we hadden was het leveren van de 3D world-locked rendered graphics, samen met spatialized audio die zo wordt gerenderd dat het lijkt alsof het uit een virtueel object komt," merkt Snodgrass op. "We moesten al deze elektronica in de thermische capaciteit en de fysieke ruimte passen, en dan ook nog op de batterij laten werken zodat het niet te heet werd. En we moesten dat allemaal doen in een echte brilvorm - geen groot vizier zoals je meestal ziet in deze categorie."

"We wisten hoe we de benodigde rekenkracht konden leveren om onze visie voor Orion tot leven te brengen, maar we stonden voor een ontmoedigende taak: het stroomverbruik met een factor 100 verminderen," zegt Robert Shearer, directeur van SoC Solutions. "Hiervoor moesten we de grenzen van siliciumontwerp verleggen, methodologieën uit verschillende hoeken van de industrie omarmen - van IoT tot high-performance computing - en nieuwe benaderingen bedenken om de kloven te overbruggen. Onze industriële partners dachten dat we gek waren, en misschien hadden ze niet helemaal ongelijk. Maar dat is precies wat er nodig was: de bereidheid om conventionele wijsheid uit te dagen en alles opnieuw te bekijken. Het bouwen van een computer die de virtuele en fysieke wereld naadloos in elkaar laat overgaan vereist een diepgaand begrip van context, veel meer dan wat bestaande rekenplatforms kunnen bieden. In wezen hebben we de manier waarop computers met mensen communiceren opnieuw uitgevonden, wat betekende dat we de manier waarop we silicium bouwen vanaf de grond opnieuw moesten uitvinden."

Orion buitencomponenten.

De magie van microleds

Er waren momenten waarop dingen achterliepen op schema of er een schijnbaar onoverkomelijke technische uitdaging opdook en het moeilijk was om de vaart erin te houden en het moreel hoog te houden. Maar het team was veerkrachtig en vond wegen om obstakels te omzeilen of ze gewoonweg neer te halen.

Neem bijvoorbeeld het beeldscherm van Orion. Het siliciumteam was verantwoordelijk voor het silicium in de displayprojector die in de hoeken van de bril zit.

"Voor die projectoren was het een open vraag of we de microLED's in een array met voldoende efficiëntie en helderheid konden krijgen om een breedbeeldscherm te implementeren," zegt Snodgrass. "Er was enorme twijfel of we dat konden - of het mogelijk was in het tijdsbestek dat we overwogen - omdat dit een zeer opkomende technologie was."

"We realiseerden ons al heel vroeg dat we veel van de paradigma's van productontwikkeling moesten herzien," voegt Yee toe. "De hoeveelheid licht die je nodig hebt om een bruikbaar beeldscherm te maken is een stuk helderder voor AR-brillen, omdat je als draagbaar beeldscherm concurreert met de zon. We hebben dus energieniveaus nodig die daarmee kunnen wedijveren - dat is tenminste het doel. We zijn er nog niet helemaal, maar dat is een groot deel ervan. En dat betekent dat je lichtbronnen voor een beeldscherm nodig hebt die dat kunnen en dat je schakelingen nodig hebt die dat kunnen regelen. En tegelijkertijd moet je het klein maken."

Aangepast silicium dat de µLED's van Orion aanstuurt.

Hoewel microLED's de meest geschikte lichtbron leken voor de projectoren, hielp silicium bij het ontsluiten van hun potentieel.

"Bij beeldschermen hebben we het over pixelafstanden, dat zijn de afstanden tussen de middelpunten van aangrenzende pixels", legt Yee uit. "Voor tv's zijn die afstanden honderden microns. In je telefoon zijn het vele, vele tientallen microns. En we moesten dat terugbrengen tot in de enkele cijfers. De enige bekende halfgeleiderfabricage die dat kon, was silicium."

Het werk werd bemoeilijkt door het feit dat de achterkant van het scherm uit een stuk silicium moest bestaan, en niemand ter wereld had silicium voor microLED's ontworpen.

"Op dat moment hadden de onderzoeksteams allemaal vloeibare kristallen op siliciumschermen hergebruikt om er microLED's op te plaatsen," zegt Yee. "Niemand had ooit eerder een backplane voor microLED's ontworpen. En we stonden voor een vrij unieke uitdaging omdat het een optisch onderdeel is. Het moet plat zijn. Je kunt er geen krassen op maken. Het moet al deze eigenschappen hebben, want als je door de golfgeleiders en door de projectoren kijkt, kijk je letterlijk naar de bovenkant van het stuk silicium."

Het siliciumteam ontwikkelde een complexe reeks testplatforms voor deze microLED-schermen waarbij nauw moest worden samengewerkt met onze wereldwijde leveranciers. De microLED's hebben een wereldwijde voetafdruk: ze komen van de ene plek en worden vervolgens overgebracht naar een andere locatie waar ze op een wafer worden geplaatst. De wafers werden vervolgens verscheept om in een bepaalde vorm te worden gesneden, gevolgd door een reis naar de VS om met een andere wafer te worden verbonden, waarna ze weer over de hele wereld werden verscheept om de eigenlijke module te bouwen en te testen. Het was een enorm ingewikkeld proces en het siliciumteam ontwikkelde testvoertuigen om elke stap te testen.

Het team moest ook een manier vinden om stroom te leveren aan microLED-schermen in het kleine volume van de hoeken van de bril. Ons analoge team ontwikkelde een aangepaste chip voor energiebeheer die in dat volume paste.

"Stroomvoorziening is cruciaal voor dergelijke draagbare apparaten met een kleine vormfactor, waar de grootte van de batterij beperkt is en de ruimte beperkt," merkt Jihong Ren, directeur Analoge en Gemengde Signaalsystemen, op. "Onze op maat gemaakte Power Management IC-oplossing maakt gebruik van geavanceerde technologieën om de energie-efficiëntie voor onze specifieke werklast op systeemniveau te optimaliseren, en dat alles binnen de beschikbare ruimtebeperkingen. Om deze optimale oplossing te bereiken was een nauwe interdisciplinaire samenwerking nodig met onze mechanische, elektrische, SoC-, μLED- en thermische teams, zodat een naadloze integratie van alle componenten werd gegarandeerd en de algehele prestaties werden gemaximaliseerd."

"Dat was niet alleen een verbazingwekkende prestatie op het gebied van engineering, maar ook op het gebied van organisatiemanagement: een team samenbrengen, werken in verschillende tijdzones en met al die verschillende leveranciers," voegt Snodgrass toe. "In sommige opzichten was het organisatorisch managen van dat alles net zo'n uitdaging als het voldoen aan de technische specificaties."

"Niet alleen het ontwerp is aangepast, ook het hele fabricageproces is aangepast," voegt Yee toe. "We hebben het geluk dat we een aantal geweldige partners in de industrie hebben die dit mogelijk hebben gemaakt. Zij zien het langetermijnpotentieel van AR-schermen als geheel en zeker Meta's visie daarop. Ze zijn dus bereid geweest om met ons samen te werken om die aanpassingen en optimalisaties mogelijk te maken om dat beeldscherm mogelijk te maken."

Orion AR-bril.

Iteratie ontmoet versnelling

Er was een nauwe terugkoppeling tussen het siliciumteam en de briljante geesten in Reality Labs Research en XR Tech die algoritmen ontwikkelden. De laatstgenoemde teams leverden deze algoritmen, die de eerstgenoemde teams vertaalden naar hardware, waardoor de overhead van software die op een algemene CPU draaide werd weggenomen. Dat betekende dat de algoritmes op minder stroom zouden draaien, maar het betekende ook dat het siliciumteam vast zat. Als de algoritmen eenmaal gehard waren, konden ze geen wijzigingen meer aanbrengen.

"Stel dat XR Tech een bepaalde discipline algoritmisch aan het ontwikkelen was", legt Silicon Accelerators Architecture and Algorithms Director Ohad Meitav uit. "Zij zijn eigenaar van de algoritmische stack en de prestaties ervan. Mijn team zou dan, in samenwerking met hen, beslissen hoe het algoritme te versnellen, hoe delen van het algoritme te harden en hoe het daadwerkelijk in de hardware te zetten op een manier die super efficiënt draait. Vervolgens paste XR Tech hun softwarestack aan om rekening te houden met de hardware. Het is een zeer iteratief proces."

Een ander succesverhaal is de samenwerking van het siliconenteam met Reality Labs Research om een nieuw reprojectiealgoritme te ontwikkelen.

"We hadden het reprojectiealgoritme nodig om een groot aantal verschillende vervormingen en correcties te ondersteunen," merkt Silicon Architect Steve Clohset op. "Het algoritme dat RL-R ontwikkelde en dat we uiteindelijk gebruikten, wordt niet gebruikt in algemene computertoepassingen. En tot op de dag van vandaag blijkt het een behoorlijk krachtig hulpmiddel te zijn."

Nadat de algoritmen waren gehard en de hardware was geoptimaliseerd, stelde het silicon bring-up team de aangepaste chips op de proef.

"De op maat gemaakte siliciumchipset van Orion zit boordevol complexiteit", zegt Senior Director of End-to-End System and Infrastructure Liping Guo. "Het in korte tijd ontwikkelen en valideren van standalone chips en de interoperabiliteit daartussen is een ongelofelijke uitdaging. Gelukkig werken we binnen een verticaal geïntegreerde omgeving waar Reality Labs eigenaar is van de hele stack, van de silicium en low-level firmware tot het besturingssysteem, de software en de upper-layer ervaringen. We hebben hier optimaal van geprofiteerd, nauw samengewerkt met onze cross-functionele partners en onze cross-stack integratie verschoven naar het stadium van siliciumvalidatie. Orion was onze pilot voor deze methodologie - we hebben onze shift-left spieren ontwikkeld en een sterke basis gelegd voor Reality Labs om in de toekomst alle voordelen van silicium op maat te benutten."

En na het opstarten was het tijd om te optimaliseren voor software.

"Er is een iteratief proces waarbij je begint met een volledig ongeoptimaliseerde softwarestack om alles op te starten en te laten werken", zegt Snodgrass. "En dan ga je één voor één door de subsystemen en begin je de software te optimaliseren voor die specifieke hardware, inclusief het verminderen van de hoeveelheid geheugen die de software gebruikt. De hardware kan prachtig ontworpen zijn, maar je zult de theoretische energie-efficiëntie niet bereiken tenzij je evenveel of meer tijd investeert om de software optimaal te laten profiteren van de hardware. Dus dat is het verhaal van Orion: hardware en software tot het uiterste geoptimaliseerd. Laat geen picojoule of milliwatt achter."

En Orion mag dan wel een prototype zijn, het werk dat erin is gestoken heeft een aanzienlijk potentieel om de routekaart van Meta te beïnvloeden.

"We zien de silicium IP's die we bouwen als platformen in de zin dat dit gewaardeerde IP's zijn die we van de ene generatie of het ene product op het andere verbeteren," voegt Meitav toe. "Alle computer vision en grafische algoritmen zijn niet alleen voor Orion gemaakt. Ze worden gebruikt voor toekomstige producten."

Ons siliciumwerk houdt in dat we nieuwe oplossingen creëren en nauw samenwerken met partners. De invloed van het siliconeteam reikt zelfs verder dan Orion en omvat zowel Ray-Ban Meta bril and Meta Quest headsets today—even though they both use third-party chips. The silicon team regularly shares their work with the mixed reality team, showing what’s possible in terms of power efficiency. The MR team then shares those findings with partners like Qualcomm to help inform future chip designs. And because the silicon team uses the same off-the-shelf digital signal processors (DSPs) as Ray-Ban Meta glasses, they’ve been able to share lessons learned and best practices when implementing and writing code for those DSPs to help improve the audio experiences available on our AI glasses.

And that knowledge sharing goes both ways: The MR team has given the silicon team insights on things like Asynchronous TimeWarp and Application SpaceWarp in production.

"Wat iemand in de productie doet is veel interessanter dan iets wat wij met een prototype konden doen," zegt Clohset. "We probeerden zoveel mogelijk te integreren wat zij deden met warpings."

Ambiguïteit < Ambitie

Omdat Orion echt nul tegen één was, hadden de betrokken teams noodgedwongen te maken met een buitensporige hoeveelheid ambiguïteit.

"Met Orion kan ik niet genoeg benadrukken hoe ingewikkeld de dubbelzinnigheid de dingen maakte," zegt Clohset. "Als je bijvoorbeeld een computer maakt, heb je over het algemeen een goed idee van wat het scherm zal worden. Maar we wisten niet wat de golfgeleider zou worden, dus moesten we verschillende golfgeleiders uitproberen en een mechanisme bedenken dat het slechtste scenario aankon omdat we niet wisten waar de dingen terecht zouden komen. Eén optimalisatie hier zou convergeren met al die andere keuzes en je zou eindigen met een matrix van al die verschillende dingen die je moest ondersteunen en proberen te valideren omdat je niet wist waar het product over zes maanden zou landen."

It’s important to note that Orion isn’t just a pair of AR glasses—it’s a three-part constellation of hardware. A lot of the processing happens on the compute puck, which necessitates a strong connection between it and the glasses. Add the surface EMG wristband into the loop, and the system architecture becomes even more complicated.

"Dat was een enorme uitdaging voor de teams om op te lossen, en alles werkt gewoon", zegt Snodgrass. "Het was een geweldige samenwerking tussen het siliciumteam, het draadloze team en softwareteams in de hele organisatie."

De rekenmachine van Orion.

"Met Orion hebben we een heel team met een grote diversiteit aan ingenieurs samengesteld en zij waren in staat om een gloednieuwe pijplijn te ontwerpen," voegt Clohset toe. "Het is een pijplijn die zes vrijheidsgraden van beweging van objecten in de 3D-ruimte afhandelt. Het gebruikt zijn eigen aangepaste display driver. We moesten echt unieke beeldkwaliteitscorrecties uitvoeren. En ik denk dat de uitdaging voor ons was dat, omdat dit een nul-op-één project was, er geen bestaande specs waren om te tweaken en te verbeteren. Alles hier is compleet nieuw, dus we hadden speelruimte om alles te doen."

Much like the puck has some dormant features hidden beneath the surface, the custom silicon punches above its weight, too. While Orion doesn’t allow the user to take photos with its RGB cameras, the silicon is capable of supporting it, as well as codec avatars. And just as the puck helped unlock a true glasses form factor by offloading much of the compute, Orion’s custom silicon proved a necessary piece of the AR puzzle.

"Om een nul-op-één ervaring zoals een AR-bril tot leven te brengen, heb je silicium op maat nodig," legt Snodgrass uit. "Na verloop van tijd, als er een markt is, zullen siliciumleveranciers producten ontwikkelen om aan de vraag te voldoen. Maar voor zero-to-one kun je niet zomaar iets van de plank nemen dat bedoeld is voor een ander product en het in een nieuwe mal passen. Je moet investeren in iets op maat. En om die zero-to-one ervaringen tot leven te brengen, heb je een brede samenwerking nodig tussen softwarepartners, industriële ontwerpers, werktuigbouwkundigen en meer."

"Door los te komen van traditionele denkmodellen, hebben we iets echt opmerkelijks gecreëerd," voegt Shearer toe. "Wij geloven dat dit computerplatform de toekomst van de technologie vertegenwoordigt - een platform dat een revolutie teweeg zal brengen in de manier waarop we leven, werken en met elkaar omgaan. We vinden het geweldig om voorop te lopen in deze innovatie, de grenzen te verleggen van wat mogelijk is en de loop van de geschiedenis te helpen bepalen."

When we first began giving demos of Orion early this year I was reminded of a line that you hear a lot at Meta—in fact it was even in our first letter to prospective shareholders back in 2012: Code wins arguments. We probably learned as much about this product space from a few months of real-life demos than we did from the years of work it took to make them. There is just no substitute for actually building something, putting it in people’s hands, and learning from how they react to it.

Orion wasn’t our only example of that this year. Our mixed reality hardware and AI glasses have both reached a new level of quality and accessibility. The stability of those platforms allows our software developers to move much faster on everything from operating systems to new AI features. This is how I see the metaverse starting to come into greater focus and why I’m so confident that the coming year will be the most important one in the history of Reality Labs.

2024 was het jaar waarin AI-brillen hun hoogtepunt bereikten. Toen we in 2021 begonnen met het maken van slimme brillen, dachten we dat ze een mooie eerste stap konden zijn in de richting van de AR-bril die we uiteindelijk wilden maken. Terwijl mixed reality-headsets op weg zijn om een algemeen computerplatform te worden, net als de huidige pc's, zagen we brillen als de natuurlijke evolutie van de huidige mobiele computerplatforms. We wilden dus zo snel mogelijk beginnen te leren van de echte wereld.

The biggest thing we’ve learned is that glasses are by far the best form factor for a truly AI-native device. In fact they might be the first hardware category to be completely defined by AI from the beginning. For many people, glasses are the place where an AI assistant makes the most sense, especially when it’s a multimodal system that can truly understand the world around you.

We’re right at the beginning of the S-curve for this entire product category, and there are endless opportunities ahead. One of the things I’m most excited about for 2025 is the evolution of AI assistants into tools that don’t just respond to a prompt when you ask for help but can become a proactive helper as you go about your day. At Connect we showed how Live AI on glasses can become more of a real-time participant when you’re getting things done. As this feature begins rolling out in early access this month we’ll see the first step toward a new kind of personalized AI assistant.

It won’t be the last. We’re currently in the middle of an industry-wide push to make AI-native hardware. You’re seeing phone and PC makers scramble to rebuild their products to put AI assistants at their core. But I think a much bigger opportunity is to make devices that are AI-native from the start, and I’m confident that glasses are going to be the first to get there. Meta’s Chief Research Scientist Michael Abrash has been talking about the potential of a personalized, context-aware AI assistant on glasses for many years, and building the technologies that make it possible has been a huge focus of our research teams.

Gemengde werkelijkheid has been another place where having the right product in the hands of a lot of people has been a major accelerant for progress. We’ve seen Meta Quest 3 get better month after month as we continue to iterate on the core system passthrough, multitasking, spatial user interfaces, and more. All these gains extended to Quest 3S the moment it launched. This meant the $299 Quest 3S was in many respects a better headset on day 1 than the $499 Quest 3 was when it first launched in 2023. And the entire Quest 3 family keeps getting better with every update.

In 2025 we’ll see the next iteration of this as Quest 3S brings a lot more people into mixed reality for the first time. While Quest 3 has been a hit among people excited to own the very best device on the market, Quest 3S is expected to be heavily gifted in 2024. Sales were strong over the Black Friday weekend, and we’re expecting a surge of people activating their new headsets over the holiday break.

Hiermee zetten we een trend voort die het afgelopen jaar vorm heeft gekregen: groei in nieuwe gebruikers die op zoek zijn naar een breder scala aan dingen die ze met hun headsets kunnen doen. We willen dat deze nieuwe gebruikers de magie van MR inzien en er blijven voor de lange termijn, daarom financieren we ontwikkelaars om de nieuwe soorten apps en games te bouwen waar ze naar op zoek zijn.

Er is een grote toestroom van vooral jongere mensen en zij zijn vooral geïnteresseerd in sociale en competitieve multiplayergames en freemiumcontent. En titels als BEHEMOTH van Skydance, Batman: Arkham Schaduw (die net Beste AR/VR-game heeft gewonnen bij The Game Awards!), en Metro ontwaken liet opnieuw zien dat sommige van de beste nieuwe games die onze industrie produceert nu alleen mogelijk zijn op de headsets van vandaag.

As the number of people in MR grows, the quality of the social experience it can deliver is growing in tandem. This is at the heart of what Meta is trying to achieve with Reality Labs and where the greatest potential of the metaverse will be unlocked: “the chance to create the most social platform ever” is how we described it when we first began working on it. We took two steps forward on this front in 2024: first with a broad set of improvements to Horizon Worlds including its expansion to mobile, and second with the next-generation Meta Avatars system that lets people represent themselves across our apps and headsets. And as the visual quality and overall experience with these systems improve, more people are getting their first glimpse of a social metaverse. We’re seeing similar trends with new Quest 3S users spending more time in Horizon Worlds, making it a Top 3 immersive app for Quest 3S, and people continue creating new Meta Avatars across mobile and MR.

De introductie van mixed reality in de mainstream heeft geholpen om duidelijk te maken wat de volgende stap is. Een van de eerste trends die we ontdekten na de lancering van Quest 3 vorig jaar was dat mensen mixed reality gebruikten om video's te bekijken terwijl ze thuis aan het multitasken waren - de afwas doen of de woonkamer stofzuigen. Dit was een vroeg signaal dat mensen graag een groot virtueel scherm hebben dat je overal mee naartoe kunt nemen en in de fysieke wereld om je heen kunt plaatsen. We hebben die trend zien doorzetten met allerlei entertainmentervaringen die snel groeien in de hele Quest 3 familie. Nieuwe functies zoals YouTube Co-Watch laten zien hoeveel potentieel er is voor een heel nieuw soort sociale entertainmentervaring in de metaverse.

That’s why James Cameron, one of the most technologically innovative storytellers of our lifetimes, is now working to help more filmmakers and creators produce great 3D content for Meta Quest. While 3D films have been produced for decades, there’s never been a way to view them that’s quite as good as an MR headset, and next year more people will own a headset than ever before. “We’re at a true, historic inflection point,"Jim said when we launched our new partnership this month.

This is happening alongside a larger shift Mark Rabkin shared at Connect this year: Our vision for Horizon OS is to build a new kind of general purpose computing platform capable of running every kind of software, supporting every kind of user, and open to every kind of creator and developer. Our recent releases for 2D/3D multi-tasking, panel positioning, better hand tracking, Windows Remote Desktop integration, and Open Store have started to build momentum along this new path. Horizon OS is on track to be the first platform that supports the full spectrum of experiences from immersive VR to 2D screens, mobile apps, and virtual desktops—and the developer community is central to that success.

De volgende grote stap naar de metaverse zal een AI-bril combineren met de echte augmented reality-ervaring die we dit jaar hebben onthuld met Orion. Het gebeurt niet vaak dat je een blik in de toekomst krijgt en een totaal nieuwe technologie ziet die je laat zien waar dingen naartoe gaan. De mensen die Orion zagen, begrepen meteen wat het betekende voor de toekomst, net zoals de mensen die de eerste personal computers vorm zagen krijgen bij Xerox PARC in de jaren 1970 ("binnen tien minuten was het me duidelijk dat alle computers ooit zo zouden werken", zei Steve Jobs later over zijn demonstratie van de Xerox Alto in 1979).

Mensen in een tijdmachine kunnen zetten en ze laten zien hoe het volgende computerplatform eruit zal zien, was een hoogtepunt van 2024 en van mijn carrière tot nu toe. Maar de echte impact van Orion zal zitten in de producten die we hierna uitbrengen en de manieren waarop het ons helpt beter te begrijpen wat mensen leuk vinden aan AR-brillen en wat er beter moet worden. We hebben jarenlang gewerkt aan gebruikersonderzoek, productplanning en experimentele studies om te begrijpen hoe AR-brillen zouden moeten werken, en dat werk heeft ons in staat gesteld om Orion te bouwen. Maar het tempo van de vooruitgang zal vanaf nu veel hoger liggen nu we een echt product hebben waar we onze intuïtie op kunnen baseren.

This has been the lesson time and again over the last decade at Reality Labs. The most important thing you can do when you’re trying to invent the future is to ship things and learn from how real people use them. They won’t always be immediate smash hits, but they’ll always teach you something. And when you land on things that really hit the mark, like mixed reality on Quest 3 or AI on glasses, that’s when you put your foot on the gas. This is what will make 2025 such a special year: With the right devices on the market, people experiencing them for the first time, and developers discovering all the opportunities ahead, it’s time to accelerate.

Welcome back for another episode of Boz To The Future, a podcast from Reality Labs. In today’s episode, our host, Meta CTO and Head of Reality Labs Andrew “Boz” Bosworth, is joined by Meta’s VP of Wearables Alex Himel.

Himel's team werkt aan enkele van de moeilijkste technische problemen in de industrie, allemaal in dienst van het helpen bouwen van het volgende computerplatform. Net als Bosworth is hij een ervaren leider bij Meta, die in zijn meer dan 15 jaar bij het bedrijf verschillende leidinggevende functies heeft bekleed.

Bosworth en Himel behandelen een scala aan onderwerpen, waaronder wearables, augmented reality en hoe AI het soort ervaringen versnelt en verbetert dat is ingebed in Ray-Ban Meta bril en toekomstige producten.

They go deep on Orion and the positive reception it’s received since Mark Zuckerberg announced it at Connect. Just as Steve Jobs recognized the Alto as a turning point in computing, Bosworth asserted that, while we may disagree about the details, it’s hard to argue against this as the future. Himel and Bosworth go on to talk about the tremendous value of prototyping and building, saying how much more they’ve learned about Orion and its input paradigms in the three weeks of using it compared to the years spent building it.

Ze spraken ook over de cruciale rol van AI in wearables en hoe het steeds nuttiger wordt in het dagelijks leven - vooral nu je Meta AI vragen kunt stellen over dingen die je ziet en het kunt gebruiken om visuele herinneringen in te stellen.

Himel vertelt ook over zijn diepgaande ervaring in een ander soort stapel: sandwiches. Met zeven jaar ervaring in het werken in de beroemde Lange's Little Store in Chappaqua, NY, waar hij opgroeide, gaan Himel en Bosworth in op wat een geweldige sandwich maakt, waar tomaten echt thuishoren en welk brood superieur is.

Je kunt afstemmen op Boz naar de toekomst on Apple Podcasts, Spotify, and wherever you listen to podcasts.

You can follow Himel on Threads. You can follow Bosworth on Instagram, Twitter/X, and Threads @boztank.

Back in 2019, the Orion team prepared an important demo for Meta Founder & CEO Mark Zuckerberg, showcasing potential waveguides for augmented reality glasses—a pivotal moment when theoretical calculations on paper were brought to life. And it was a demo that changed everything.

“Wearing the glasses with glass-based waveguides and multiple plates, it felt like you were in a disco,” recalls Optical Scientist Pasqual Rivera. “There were rainbows everywhere, and it was so distracting—you weren’t even looking at the AR content. Then, you put on the glasses with silicon carbide waveguides, and it was like you were at the symphony listening to a quiet, classical piece. You could actually pay attention to the full experience of what we were building. It was a total game changer.”

Yet as clear (pun intended) as the choice of silicon carbide as a substrate seems today, when we first started down the road to AR glasses a decade ago, it was anything but.

"Siliciumcarbide is normaal gesproken zwaar stikstofgedoteerd," zegt Rivera. "Het is groen en als het dik genoeg wordt, ziet het er zwart uit. Je kunt er op geen enkele manier een optische lens van maken. Het is een elektronisch materiaal. Er is een reden waarom het die kleur heeft en dat komt door de elektronische eigenschappen."

"Siliciumcarbide bestaat al heel lang als materiaal", beaamt Giuseppe Calafiore, Tech Lead bij AR Waveguides. "De belangrijkste toepassing is elektronica met een hoog vermogen. Neem elektrische voertuigen: Alle EV's hebben een chip nodig, maar die chip moet ook in staat zijn om zeer hoog vermogen te leveren, de wielen te bewegen en het ding aan te drijven. Het blijkt dat je dat niet kunt doen met het gewone siliciumsubstraat, dat de chips maakt die we in onze computers en elektronica gebruiken. Je hebt een platform nodig waarmee je hoge stromen en een hoog vermogen kunt verwerken, en dat materiaal is siliciumcarbide."

Totdat vrij recentelijk de discussies rond hernieuwbare energiebronnen oplaaiden, was de markt voor deze chipsets met hoog vermogen lang niet zo groot als de markt voor chips voor consumentenelektronica. Siliciumcarbide is altijd duur geweest en er was niet veel stimulans om de kosten omlaag te brengen omdat, voor de grootte van de chip die je voor een auto maakt, de prijs van het substraat acceptabel was.

"Maar het blijkt dat siliciumcarbide ook een aantal eigenschappen heeft die we nodig hebben voor golfgeleiders en optica," zegt Calafiore. "De brekingsindex is de belangrijkste eigenschap waar we om geven. En siliciumcarbide heeft een hoge brekingsindex, wat betekent dat het een grote hoeveelheid optische gegevens kan kan kanaliseren en uitvoeren. Je kunt het zien als optische bandbreedte - net zoals je bandbreedte hebt voor het internet, en je wilt dat die groot genoeg is zodat je enorme hoeveelheden gegevens door dat kanaal kunt sturen. Hetzelfde geldt voor optische apparaten."

The higher a material’s refractive index, the higher its étendue, so you can send more optical data through that channel.

"Het kanaal is in ons geval onze golfgeleider en een grotere étendue betekent een groter gezichtsveld," legt Calafiore uit. "Hoe groter de brekingsindex van een materiaal, hoe groter het gezichtsveld dat het scherm kan ondersteunen."

De weg naar de juiste brekingsindex

Toen Calafiore in 2016 bij het toenmalige Oculus Research kwam, had het team de beschikking over glas met de hoogste brekingsindex van 1,8, waardoor meerdere platen op elkaar gestapeld moesten worden om het gewenste gezichtsveld te krijgen. Afgezien van ongewenste optische artefacten werd de assemblagelijn steeds gecompliceerder omdat de eerste twee golfgeleiders perfect uitgelijnd moesten worden en die stapel vervolgens perfect uitgelijnd moest worden met een derde golfgeleider.

"Het was niet alleen duur, het was ook meteen duidelijk dat je geen drie stukken glas per lens in een bril kon hebben," herinnert Calafiore zich. "Ze waren te zwaar en de dikte was onbetaalbaar groot en lelijk - niemand zou het kopen. Dus gingen we terug naar af: proberen de brekingsindex van het substraat te verhogen om het aantal benodigde platen te verminderen."

The first material the team looked into was lithium niobate, which has a refractive index of roughly 2.3—quite a bit higher than the glass at 1.8.

"We realiseerden ons dat we maar twee platen hoefden te stapelen en misschien zelfs met één plaat konden volstaan om toch het gezichtsveld te bedekken," zegt Calafiore. "Zo kwamen we er samen met onze leveranciers in 2019 achter dat siliciumcarbide in zijn puurste vorm eigenlijk heel transparant is. Toevallig heeft het ook de hoogste brekingsindex die bekend is voor een optische toepassing, namelijk 2,7."

Dat is een toename van 17,4% ten opzichte van lithiumniobaat en een toename van 50% ten opzichte van glas, voor wie thuis de score bijhoudt.

"Met een paar aanpassingen aan dezelfde apparatuur die al in de industrie werd gebruikt, was het mogelijk om transparant siliciumcarbide te maken," zegt Calafiore. "Je kon gewoon het proces veranderen, veel voorzichtiger zijn en in plaats van te optimaliseren voor elektronische eigenschappen, optimaliseer je voor optische eigenschappen: transparantie, uniformiteit van de brekingsindex, enzovoort."

De potentiële kosten van een compromis

Het team van Reality Labs was destijds de eerste die zelfs maar probeerde om van ondoorzichtige siliciumcarbide wafers transparante wafers te maken. En omdat siliciumcarbide een van de hardste materialen is die bekend zijn, is er diamantgereedschap nodig om het te snijden of te polijsten. Hierdoor waren de eenmalige engineeringkosten erg hoog en was het resulterende substraat behoorlijk duur.

Hoewel er kosteneffectievere alternatieven bestaan, heeft elke technologie zijn nadelen. En als het gezichtsveld toeneemt in de richting van Orions toonaangevende gezichtsveld van ongeveer 70 graden, ontstaan er nieuwe problemen zoals spookbeelden en regenbogen.

"Het vinden van de optimale oplossing voor een AR-scherm met breed gezichtsveld is beladen met afwegingen tussen prestaties en kosten," legt Barry Silverstein, directeur van Research Science, uit. "De kosten kunnen vaak omlaag worden gebracht, maar als de prestaties het niet halen, zullen de kosten er uiteindelijk niet toe doen."

Spookbeelden zijn visuele echo's van het primaire beeld dat op het scherm wordt geprojecteerd. Regenbogen zijn kleurrijke lichtstrepen die ontstaan wanneer omgevingslicht weerkaatst op de golfgeleider. "Stel dat je 's nachts rijdt met bewegende autolichten om je heen," zegt Silverstein. "Dan krijg je regenbogen die ook bewegen. Of als je op het strand aan het volleyballen bent en de zon schijnt, krijg je een regenboogstreep die met je meebeweegt en dan mis je je schot. En een van de wonderbaarlijke eigenschappen van siliciumcarbide is dat het die regenbogen wegwerkt."

"Het andere voordeel van siliciumcarbide dat geen van de andere materialen heeft, is de thermische geleidbaarheid," voegt Calafiore toe. "Plastic is een vreselijke isolator. Glas, lithiumniobaat, hetzelfde. Siliciumcarbide is transparant, ziet eruit als glas en raad eens: het geleidt warmte."

In juli 2020 stelde het team vast dat siliciumcarbide om drie belangrijke redenen de optimale keuze was: Het leidde tot een verbeterde vormfactor omdat er maar één plaat en kleinere montagestructuren nodig waren, het had betere optische eigenschappen en het was lichter dan glas met twee platen.

Het geheim van schuine etsen

Met het materiaal in gedachten was de volgende noot die gekraakt moest worden de fabricage van de golfgeleiders - en specifiek een onconventionele roostertechniek genaamd slant etch.

"Het rooster is de nanostructuur die het licht van de lens in- en uitkoppelt," legt Calafiore uit. "En om siliciumcarbide te laten werken, moet het rooster schuin geëtst zijn. In plaats van verticaal wil je dat de lijnen van het rooster diagonaal schuin lopen."

"Wij waren de eersten die schuine etsen direct op de apparaten uitvoerden," zegt onderzoeksmanager Nihar Mohanty. "De hele industrie vertrouwde op nano-imprint, wat niet werkt voor substraten met zo'n hoge brekingsindex. Daarom had niemand anders ter wereld eraan gedacht om siliciumcarbide te doen."

Maar omdat schuine etsen een onvolwassen technologie is, ontbreekt het de meeste leveranciers en fabrieken van halfgeleiderchips aan de benodigde gereedschappen.

"In 2019 richtten mijn toenmalige manager, Matt Colburn, en ik onze eigen faciliteit op omdat er niets ter wereld was dat geëtste siliciumcarbide golfgeleiders kon produceren en waar we de technologie verder konden testen dan op laboratoriumschaal", legt Mohanty uit. "Het was een enorme investering en we hebben de hele pijplijn daar opgezet. Het gereedschap werd op maat gemaakt door onze partners en het proces werd intern ontwikkeld in Meta, hoewel onze systemen van onderzoekskwaliteit zijn omdat er geen systemen van productiekwaliteit beschikbaar waren. We werkten samen met een productiepartner om productiegereedschap en -processen voor schuine etsen te ontwikkelen. En nu we hebben laten zien wat er mogelijk is met siliciumcarbide, willen we dat anderen in de industrie hun eigen gereedschappen gaan maken."

Hoe meer bedrijven investeren in siliciumcarbide van optische kwaliteit en apparatuur ontwikkelen, hoe sterker de categorie AR-brillen voor consumenten zal worden.

Niet langer regenbogen najagen

While technological inevitability is a myth, the stars certainly seem to be aligning in silicon carbide’s favor. And although the team continues to investigate alternatives, there’s a strong sense that the right people have come together at the right time under the right market conditions to build AR glasses using this material.

"Orion heeft bewezen dat siliciumcarbide een haalbare optie is voor AR-brillen," zegt Silverstein, "en we zien nu interesse in de hele toeleveringsketen op drie verschillende continenten waar dit een grote kans is. Siliciumcarbide zal als winnaar uit de bus komen. Volgens mij is het gewoon een kwestie van tijd."

En in die tijd kan er veel gebeuren - net zoals de manier waarop de rollen zijn omgedraaid sinds we onze eerste heldere siliciumcarbidekristallen lieten groeien.

"Al deze siliciumcarbidefabrikanten hebben het aanbod enorm opgedreven als reactie op de verwachte explosie van elektrische voertuigen," merkt Calafiore op. "Op dit moment is er een overcapaciteit die er niet was toen we Orion bouwden. Dus nu, omdat het aanbod hoog is en de vraag laag, beginnen de kosten van het substraat te dalen."

"Leveranciers zijn erg enthousiast over de nieuwe mogelijkheid om siliciumcarbide van optische kwaliteit te produceren - elke golfgeleiderlens vertegenwoordigt immers een grote hoeveelheid materiaal in verhouding tot een elektronische chip, en al hun bestaande capaciteiten zijn van toepassing op deze nieuwe ruimte," voegt Silverstein toe. "Je fabriek vullen is essentieel, en je fabriek opschalen is de droom. De grootte van de wafer is ook belangrijk: Hoe groter de wafer, hoe lager de kosten, maar de complexiteit van het proces neemt ook toe. Dat gezegd hebbende, hebben we leveranciers zien overstappen van wafers van vier inch naar wafers van acht inch, en sommige werken aan voorlopers voor wafers van 12 inch, die exponentieel meer AR-brillen zouden opleveren."

Deze vooruitgang moet helpen om de kosten te blijven drukken. Het is nog vroeg, maar de toekomst komt in zicht.

"Aan het begin van elke nieuwe technologische revolutie probeer je een heleboel dingen," zegt Calafiore. "Kijk naar televisie: We begonnen met kathodestraalbuizen, en toen gingen we naar de LED-plasmatelevisies en nu microLED's. We hebben verschillende technologieën en architecturen doorlopen. Als je een pad zoekt, komen veel paden nergens uit, maar er zijn er een paar waar je naar terug blijft keren als de meest veelbelovende. We zijn nog niet aan het einde van de weg en we kunnen het niet alleen, maar siliciumcarbide is een wondermateriaal dat de investering meer dan waard is."

"De wereld is nu wakker," voegt Silverstein toe. "We hebben met succes aangetoond dat siliciumcarbide kan buigen in elektronica en fotonica. Het is een materiaal dat toekomstige toepassingen kan hebben in quantumcomputing. En we zien tekenen dat het mogelijk is om de kosten aanzienlijk te verlagen. Er is nog veel werk te doen, maar het potentieel is enorm."

TL;DR:

• Today at Connect, Mark Zuckerberg unveiled Orion—our first pair of true AR glasses, previously codenamed Project Nazare.
• With an industry-leading field of view, silicon carbide lenses, intricate waveguides, uLED projectors, and more, Orion is our most advanced and most polished product prototype to date.
• Nu gaan we verder met productoptimalisaties en het verlagen van de kosten, terwijl we toewerken naar een schaalbaar consumentenapparaat dat een revolutie teweeg zal brengen in de manier waarop mensen met de wereld omgaan.

---

"We bouwen AR-brillen."

Five simple words, spoken five years ago. With them, we planted a flag on our vision of a future where we no longer have to make the false choice between a world of information at our fingertips and the physical world all around us.

En nu, vijf jaar later, nog eens vijf woorden die het spel opnieuw zullen veranderen:

We hebben AR-brillen gebouwd.

Bij Meta is onze missie eenvoudig: mensen de kracht geven om een gemeenschap op te bouwen en de wereld dichter bij elkaar te brengen. En bij Reality Labs bouwen we tools waarmee mensen zich altijd en overal verbonden voelen. Daarom werken we aan het volgende computerplatform dat mensen centraal stelt, zodat ze meer aanwezig, verbonden en bevoegd zijn in de wereld.

Ray-Ban Meta bril hebben aangetoond hoe krachtig het is om mensen handsfree toegang te geven tot belangrijke delen van hun digitale leven vanuit hun fysieke leven. We kunnen praten met een slimme AI-assistent, contact leggen met vrienden en de momenten vastleggen die er toe doen - en dat alles zonder ooit een telefoon tevoorschijn te hoeven halen. Deze stijlvolle bril past naadloos in ons dagelijks leven en mensen zijn er helemaal weg van.

Maar terwijl Ray-Ban Meta een geheel nieuwe categorie van beeldschermloze brillen met AI opende, droomt de XR-industrie al lang van een echte AR-bril-een product dat de voordelen van een groot holografisch beeldscherm en gepersonaliseerde AI-hulp combineert in een comfortabele, stijlvolle, de hele dag draagbare vormfactor.

And today, we’ve pushed that dream closer to reality with the unveiling of Orion, which we believe is the most advanced pair of AR glasses ever made. In fact, it might be the most challenging consumer electronics device produced since the smartphone. Orion is the result of breakthrough inventions in virtually every field of modern computing—building on the work we’ve been doing at Reality Labs for the last decade. It’s packed with entirely new technologies, including the most advanced AR display ever assembled and custom silicon that enables powerful AR experiences to run on a pair of glasses using a fraction of the power and weight of an MR headset.

Orion’s input system seamlessly combines voice, eye gaze, and hand tracking with an EMG wristband that lets you swipe, click, and scroll while keeping your arm resting comfortably by your side, letting you stay present in the world and with the people around you as you interact with rich digital content.

Vanaf vandaag tijdens Connect en het hele jaar door, geven we toegang tot ons Orion productprototype aan Meta-werknemers en een select, extern publiek, zodat ons ontwikkelingsteam kan leren, itereren en bouwen aan onze AR-brillen voor consumenten, die we in de nabije toekomst willen gaan leveren.

Waarom een AR-bril?

Er zijn drie belangrijke redenen waarom AR-brillen de sleutel zijn tot het ontsluiten van de volgende grote sprong in mensgericht computergebruik.

1. Ze maken digitale ervaringen mogelijk die niet gebonden zijn aan de beperkingen van een smartphonescherm. Met grote holografische displays kun je de fysieke wereld als canvas gebruiken en 2D- en 3D-inhoud en -ervaringen plaatsen waar je maar wilt.
2. Ze integreren naadloos contextuele AI die de wereld om je heen kan voelen en begrijpen om te anticiperen en proactief in te spelen op je behoeften.
3. Ze zijn licht van gewicht en geweldig voor zowel binnen als buiten - en ze laten mensen elkaars echte gezicht, echte ogen en echte uitdrukkingen zien.

Dat is de noordelijke ster waar onze industrie naartoe heeft gewerkt: een product dat het gemak en de directheid van wearables combineert met een groot scherm, invoer met hoge bandbreedte en gecontextualiseerde AI in een vormfactor die mensen prettig vinden om in hun dagelijks leven te dragen.

Compacte vorm, complexe uitdagingen

Jarenlang hebben we voor een valse keuze gestaan: ofwel virtual en mixed reality headsets die diepe, meeslepende ervaringen mogelijk maken in een omvangrijke vormfactor, ofwel brillen die ideaal zijn om de hele dag te gebruiken maar geen rijke visuele apps en ervaringen bieden omdat een groot beeldscherm en bijbehorende rekenkracht ontbreken.

Maar we willen het allemaal, zonder compromissen. Jarenlang hebben we hard gewerkt om de ongelooflijke ruimtelijke ervaringen van VR- en MR-headsets te combineren met het miniaturiseren van de technologie die nodig is om deze ervaringen te leveren in een lichtgewicht, stijlvolle bril. Het vinden van de juiste vormfactor, het leveren van holografische displays, het ontwikkelen van meeslepende AR-ervaringen en het creëren van nieuwe paradigma's voor mens-computerinteractie (HCI) - en dat allemaal in één samenhangend product - is een van de moeilijkste uitdagingen waar onze branche ooit voor heeft gestaan. Het was zo'n uitdaging dat we dachten dat we minder dan 10 procent kans hadden om het tot een goed einde te brengen.

Tot nu.

Een baanbrekend beeldscherm in een ongeëvenaarde vormfactor

Met ongeveer 70 graden heeft Orion het grootste gezichtsveld in de kleinste AR-bril tot nu toe. Dat gezichtsveld ontsluit echt meeslepende gebruiksmogelijkheden voor Orion, van multitasking-vensters en entertainment op groot scherm tot levensgrote hologrammen van mensen - allemaal digitale content die naadloos overgaat in je kijk op de fysieke wereld.

Voor Orion was het gezichtsveld onze heilige graal. We botsten tegen de wetten van de fysica op en moesten lichtstralen buigen op manieren die ze van nature niet buigen - en we moesten dat doen met een vermogen gemeten in milliwatt.

Instead of glass, we made the lenses from silicon carbide—a novel application for AR glasses. Silicon carbide is incredibly lightweight, it doesn’t result in optical artifacts or stray light, and it has a high refractive index—all optical properties that are key to a large field of view. The waveguides themselves have really intricate and complex nano-scale 3D structures to diffract or spread light in the ways necessary to achieve this field of view. And the projectors are uLEDs—a new type of display technology that’s super small and extremely power efficient.

Orion is onmiskenbaar een bril, zowel qua uiterlijk als qua gevoel, compleet met transparante glazen. In tegenstelling tot MR-headsets of andere AR-brillen kun je nog steeds elkaars echte ogen en uitdrukkingen zien, zodat je aanwezig kunt zijn en de ervaring kunt delen met de mensen om je heen. Er waren tientallen innovaties nodig om het industriële ontwerp terug te brengen tot een eigentijdse bril die je elke dag met gemak kunt dragen. Orion is een huzarenstukje op het gebied van miniaturisatie: de componenten zitten op een fractie van een millimeter. En we zijn erin geslaagd om zeven piepkleine camera's en sensoren in de montuurranden in te bouwen.

We moesten de optische precisie handhaven op een tiende van de dikte van een menselijke haar. En het systeem kan minuscule bewegingen detecteren, zoals het uitzetten of krimpen van de frames bij verschillende kamertemperaturen, en vervolgens digitaal corrigeren voor de noodzakelijke optische uitlijning, en dat alles binnen milliseconden. We hebben de frames gemaakt van magnesium - hetzelfde materiaal dat wordt gebruikt in F1 raceauto's en ruimtevaartuigen - omdat het licht en toch stijf is, zodat het de optische elementen uitgelijnd houdt en warmte efficiënt afvoert.

Verwarming en koeling

Toen we eenmaal het beeldscherm hadden gekraakt (geen woordspeling bedoeld) en de fysicaproblemen hadden overwonnen, moesten we de uitdaging aangaan van echt krachtige rekenkracht naast een echt laag energieverbruik en de noodzaak van warmteafvoer. In tegenstelling tot de MR-headsets van tegenwoordig kun je geen ventilator in een bril stoppen. Dus moesten we creatief zijn. Veel van de materialen die worden gebruikt om Orion te koelen lijken op de materialen die NASA gebruikt om satellieten in de ruimte te koelen.

We built highly specialized custom silicon that’s extremely power efficient and optimized for our AI, machine perception, and graphics algorithms. We built multiple custom chips and dozens of highly custom silicon IP blocks inside those chips. That lets us take the algorithms necessary for hand and eye tracking as well as simultaneous localization and mapping (SLAM) technology that normally takes hundreds of milliwatts of power—and thus generates a corresponding amount of heat—and shrink it down to just a few dozen milliwatts.

En ja, silicium op maat blijft een cruciale rol spelen in de productontwikkeling bij Reality Labs, ondanks wat u misschien elders hebt gelezen. 😎

Moeiteloze EMG

Every new computing platform brings with it a paradigm shift in the way we interact with our devices. The invention of the mouse helped pave the way for the graphical user interfaces (GUIs) that dominate our world today, and smartphones didn’t start to really gain traction until the advent of the touch screen. And the same rule holds true for wearables.

We’ve spoken about our work with electromyography, or EMG, for years, driven by our belief that input for AR glasses needs to be fast, convenient, reliable, subtle, and socially acceptable. And now, that work is ready for prime time.

Het invoer- en interactiesysteem van Orion combineert stem-, oog- en handtracking naadloos met een EMG-polsband waarmee je moeiteloos kunt vegen, klikken en scrollen.

It works—and feels—like magic. Imagine taking a photo on your morning jog with a simple tap of your fingertips or navigating menus with barely perceptible movements of your hands. Our wristband combines a high-performance textile with embedded EMG sensors to detect the electrical signals generated by even the tiniest muscle movements. An on-device ML processor then interprets those EMG signals to produce input events that are transmitted wirelessly to the glasses. The system adapts to you, so it gets better and more capable at recognizing the most subtle gestures over time. And today, we’re sharing more about our support for external research focused on expanding the equity and accessibility potential of EMG wristbands.

Maak kennis met de Wireless Compute Puck

True AR glasses must be wireless, and they must also be small.So we built a wireless compute puck for Orion. It takes some of the load off of the glasses, enabling longer battery life and a better form factor complete with low latency.

Op de bril worden alle algoritmes voor het volgen van handen, ogen, SLAM en gespecialiseerde AR-wereldafbeeldingen uitgevoerd, terwijl de app-logica op de puck draait om de bril zo licht en compact mogelijk te houden.

De puck heeft twee processors, waaronder een die speciaal hier bij Meta is ontworpen, en hij levert de rekenkracht die nodig is voor grafische rendering met lage latentie, AI en wat extra machinewaarneming.

En omdat hij klein en gestroomlijnd is, kun je de puck gemakkelijk in je tas of zak stoppen en gewoon doorgaan met je werk - zonder verplichtingen.

AR Ervaringen

Natuurlijk, zoals met elk stukje hardware, is het alleen zo goed als de dingen die je kunt doen ermee. En hoewel het nog vroeg is, zijn de ervaringen die Orion biedt een opwindende glimp van wat komen gaat.

We’ve got our smart assistant, Meta AI, running on Orion. It understands what you’re looking at in the physical world and can help you with useful visualizations. Orion uses the same Llama model that powers AI experiences running on Ray-Ban Meta smart glasses today, plus custom research models to demonstrate potential use cases for future wearables development.

Je kunt onderweg een handsfree videogesprek voeren om in realtime bij te praten met vrienden en familie, en je kunt verbonden blijven met WhatsApp en Messenger om berichten te bekijken en te versturen. Je hoeft je telefoon niet tevoorschijn te halen, hem te ontgrendelen, de juiste app te vinden en je vriend te laten weten dat je te laat bent voor het eten - je kunt het allemaal via je bril doen.

Je kunt gedeelde AR-games spelen met familie aan de andere kant van het land of met je vriend aan de andere kant van de bank. En met het grote scherm van Orion kun je multitasken met meerdere vensters om dingen gedaan te krijgen zonder je laptop mee te hoeven slepen.

De ervaringen die vandaag beschikbaar zijn op Orion zullen helpen bij het uitstippelen van de roadmap voor onze AR-brillenlijn voor consumenten in de toekomst. Onze teams blijven itereren en nieuwe meeslepende sociale ervaringen bouwen, samen met onze ontwikkelaarspartners, en we kunnen niet wachten om te delen wat er daarna komt.

Een doelgericht productprototype

Hoewel Orion niet bij de consument terecht zal komen, vergis je je niet: Dit is niet een onderzoeksprototype. Het is het meest gepolijste productprototype dat we ooit hebben ontwikkeld en het is echt representatief voor iets dat zou naar de consument te brengen. In plaats van ons te haasten om het in de schappen te leggen, hebben we besloten om ons eerst te richten op interne ontwikkeling, waardoor we snel kunnen blijven bouwen en de grenzen van de technologie en ervaringen kunnen blijven verleggen.

En dat betekent dat we sneller tot een nog beter consumentenproduct zullen komen.

Wat komt hierna

Twee grote obstakels hebben lang in de weg gestaan van mainstream AR-brillen voor consumenten: de technologische doorbraken die nodig zijn om een groot scherm te leveren in een compacte brilvormfactor en de noodzaak van nuttige en boeiende AR-ervaringen die op die bril kunnen draaien. Orion is een enorme mijlpaal en levert voor het eerst echte AR-ervaringen op redelijk stijlvolle hardware.

Nu we Orion met de wereld hebben gedeeld, concentreren we ons op een paar dingen:

• De AR-weergavekwaliteit afstemmen om de beelden nog scherper te maken
• Optimaliseren waar we kunnen om de vormfactor nog kleiner te maken
• Op schaal bouwen om ze betaalbaarder te maken

In the next few years, you can expect to see new devices from us that build on our R&D efforts. And a number of Orion’s innovations have been extended to our current consumer products today as well as our future product roadmap. We’ve optimized some of our spatial perception algorithms, which are running on both Meta Quest 3S and Orion. While the eye gaze and subtle gestural input system was originally designed for Orion, we plan to use it in future products. And we’re exploring the use of EMG wristbands across future consumer products as well.

Orion is niet alleen een venster op de toekomst, het is een blik op de reële mogelijkheden die vandaag binnen handbereik liggen. We hebben het gebouwd in ons streven naar wat we het beste kunnen: mensen helpen om met elkaar in contact te komen. Van Ray-Ban Meta brillen tot Orion, we hebben gezien hoe goed het kan zijn om mensen meer aanwezig en bevoegd te laten zijn in de fysieke wereld, zelfs terwijl ze gebruik maken van alle extra rijkdom die de digitale wereld te bieden heeft.

Wij vinden dat je niet zou moeten hoeven kiezen tussen die twee. En met het volgende computerplatform hoeft dat ook niet.

Last year at Connect, we unveiled Orion—our first true pair of AR glasses. The culmination of our work at Reality Labs over the last decade, Orion combines the benefits of a large holographic display and personalized AI assistance in a comfortable, all-day wearable form factor. It got some attention for its industry-leading field of view, silicon carbide waveguides, uLED projectors, and more. But today, we’re turning our attention to an unsung hero of Orion: the compute puck.

De puck is ontworpen om gemakkelijk in je zak of tas te passen, zodat je hem overal mee naar toe kunt nemen. Hij ontlast de verwerkingskracht van Orion om applicatielogica uit te voeren en maakt een aantrekkelijkere, kleinere vormfactor voor de bril mogelijk. De puck maakt draadloos verbinding met de bril en de EMG-polsband voor een naadloze ervaring.

Instellen en vergeten, toch?

Maar de achtergrond van de puck - zelfs als prototype - is betrokken, met een dramatisch verloop dat je niet zou vermoeden op basis van zijn uiterlijk.

"Als je zoiets bouwt, kom je op de grenzen van de fysica", legt directeur productmanagement Rahul Prasad uit. "De afgelopen 50 jaar heeft de Wet van Moore alles kleiner, sneller en energiezuiniger gemaakt. Het probleem is dat je nu tegen grenzen aanloopt van hoeveel warmte je kunt afvoeren, hoeveel batterij je kunt comprimeren en hoeveel antenneprestaties je in een object van een bepaald formaat kunt stoppen."

Achteraf gezien is het misschien 20/20, maar het potentieel van de puck was niet meteen duidelijk. Als je de eerste bent die iets bouwt, moet je alle mogelijkheden onderzoeken en geen middel onbeproefd laten. Hoe bouw je iets dat sommigen eerder als een ongewenst accessoire beschouwen dan als een essentieel onderdeel van het pakket?

"We wisten dat de puck een extra apparaat was waarvan we vroegen dat mensen hem bij zich zouden dragen," merkt product design engineering manager Jared Van Cleave op, "dus onderzochten we hoe we van de bug een functie konden maken."

Uiteindelijk heeft dat ethos zijn vruchten afgeworpen, want de puck perst veel rekenkracht (en nog meer door Meta ontworpen silicium op maat voor AI en machinewaarneming) in een klein formaat. Dit hielp Orion om van sciencefiction naar realiteit te gaan.

"Als je de puck niet zou hebben, zou je niet de ervaringen kunnen hebben die Orion in zijn vormfactor biedt - punt," zegt Prasad. "Een goede AR-ervaring vereist echt hoge prestaties: hoge framerates, extreem lage latentie, fijnmazig draadloos en energiebeheer, enz. De puck en de bril moeten samen worden ontworpen om heel nauw samen te werken, niet alleen op de app-laag, maar ook op de besturingssysteem-, firmware- en hardwarelaag. En zelfs als je een smartphone zou ontwerpen om samen te werken met een AR-bril, zouden de veeleisende prestatie-eisen de batterij van de telefoon uitputten en rekencapaciteit wegzuigen uit de gebruikssituaties van de telefoon. Aan de andere kant heeft de puck zijn eigen batterij met hoge capaciteit, een SoC met hoge prestaties en een speciaal door Meta ontworpen AI co-processor die geoptimaliseerd is voor Orion."

Natuurlijk is de puck niet van de ene op de andere dag ontworpen. Er waren jaren van iteratief werk voor nodig.

"We wisten niet hoe mensen met Orion zouden willen omgaan vanuit een invoerperspectief, er was niets dat we in de markt konden gebruiken", zegt productmanager Matt Resman. "Als je kijkt naar onze eerste brilprototypes, dat waren van die enorme headsets die drie of vier kilo wogen. En als je een product probeert te maken, is het heel moeilijk om de gebruikerservaring te begrijpen als je niet de juiste vormfactor hebt. Met de puck konden we heel snel prototypes maken om te begrijpen hoe mensen het zouden gebruiken."

De puck, die in de begindagen de codenaam Omega kreeg, werd in eerste instantie door het toenmalige Oculus Research bedacht als een Ω-vormige band die om de nek van de gebruiker zou gaan en zou worden vastgemaakt aan de bril...

... totdat ze door enkele nieuwe innovaties van onder andere het draadloze team van Reality Labs het snoer konden doorknippen. Dat maakte een meer handzame of zakbare / in-tas vormfactor mogelijk, wat veel mogelijkheden opende.

"Op dat moment was augmented reality bellen nog steeds een primaire use case", legt Van Cleave uit. "De puck was de plek waar de holografische video's werden verankerd. Je legde de puck op tafel met de sensorbank naar je toe, maakte een beeld van je en projecteerde vervolgens met wie je sprak op het oppervlak van de puck voor het gesprek."

"Orion gaat over mensen verbinden en ons samenbrengen," zegt Resman. "Een van de eerste concepten voor de puck was om te helpen dit gevoel van aanwezigheid bij andere mensen te creëren en deze rijkere vorm van communicatie mogelijk te maken."

"Het is anders dan alles wat je ooit hebt gezien - het apparaat heeft het potentieel om echt leuke en unieke interacties te creëren," voegt industrieel ontwerper Emron Henry toe. "De gebruikerservaring voelt een beetje als het ontketenen van een geest uit een fles, waarbij hologrammen naadloos tevoorschijn komen en weer oplossen in het apparaat."

Zoals je nu waarschijnlijk wel kunt zien, zit er meer potentieel in de puck dan wat er uiteindelijk als functie is toegevoegd. Naast de sensoren en camera's die zouden zijn gebruikt voor AR-oproepen, heeft de puck haptische en 6DOF-sensoren waarmee hij zou kunnen worden gebruikt als een tracked controller om virtuele objecten te selecteren en manipuleren en AR-games te spelen. Het team heeft ook capacitieve en geforceerde aanraakinvoer onderzocht, zodat de puck als gamepad kan dienen wanneer hij zowel in staande als liggende modus wordt vastgehouden.

"We spraken over de noodzaak om dit extra ding mee te nemen," zegt Van Cleave. "Hoe maken we het nuttiger? Er was een hele workstream omheen. En op een gegeven moment was de hypothese dat AR gaming deze killer use case zou worden."

Al vroeg wisten we dat we de mogelijkheden moesten onderzoeken om de puck dingen te laten doen die telefoons niet kunnen. Uiteindelijk zijn we uitgekomen bij het gebruik van oogbesturing, EMG en handbesturing voor AR-games, zoals Stargazer en Pong, maar in de begindagen van Orion hebben we verschillende demo's en games gemaakt die de puck als controller gebruikten.

Weergegeven verkenningen van de puck als 6DOF-controller voor AR-spellen zoals Pong.

"Omdat het geen telefoon is, hebben we veel ontwerpvrijheid", voegt Prasad toe. "Hij kan dikker zijn, ik kan hem ronder maken zodat hij goed in je hand ligt als controller. Het is ongelooflijk dat de puck eigenlijk kleiner is dan de gemiddelde telefoon, maar hij is krachtiger dan een telefoon omdat hij een door Meta ontworpen co-processor heeft voor AI en machinewaarneming."

Het team onderzocht hoe een AR-game van hoge kwaliteit zou kunnen verschillen van een MR- of consolegame. Dat betekende dat er verschillende mogelijkheden voor een AR-gamecontroller werden onderzocht, waaronder joysticks, fysieke knopindelingen, triggerknoppen en meer.

"We hebben uiteindelijk niets van dat spul gebouwd," merkt Van Cleave op. "We hebben er een prototype van gemaakt, maar we hebben het nooit volledig gebouwd. We wilden het simpel houden. We wilden deze zachte interfaces maken, maar geen fysieke, mechanische knoppen."

En hoewel de sensoren en haptics niet werden ingeschakeld in het prototype van het eindproduct, dienden ze een integrale functie tijdens de ontwikkeling, waarbij teams bugs konden rapporteren door simpelweg een paar keer op de bovenkant van het apparaat te tikken om een bugrapport te genereren.

Toen AI steeds meer in het middelpunt van de belangstelling kwam te staan als een van de belangrijkste gebruiksmogelijkheden, kwam computergebruik steeds meer in beeld. Uiteindelijk herbergt de puck de draadloze connectiviteit, rekenkracht en batterijcapaciteit van Orion - een enorme technische prestatie op zich - wat allemaal helpt om het gewicht en de vormfactor van de bril te verminderen en tegelijkertijd veel meer warmte af te voeren dankzij het oppervlak.

Tijdens de evolutie is één ding hetzelfde gebleven: er zit meer achter de puck dan je op het eerste gezicht zou denken. Door onconventionele ideeën te omarmen, konden onze teams onderzoeken, grenzen verleggen en bouwen aan de toekomst.

"We definiëren een categorie die nog niet helemaal bestaat," merkt Henry op. "Zoals je kunt verwachten bij R&D, waren er onderweg stops en starts. Hoe willen gebruikers omgaan met hologrammen? Willen ze liever een AR-afstandsbediening gebruiken of is hand-tracking, oogopslag en EMG voldoende voor input? Wat voelt intuïtief, wrijvingsarm, vertrouwd en nuttig?"

"In plaats van de puck te zien als gewoon een steen, vroegen we ons af wat we nog meer konden bieden om hem verder te onderscheiden van telefoons en te rechtvaardigen waarom je hem bij je zou willen dragen," erkent Resman. "Bieden de ruwe rekenkracht en het praktische ontwerp - dat hielp om een bril te vinden die je de hele dag kunt dragen - uiteindelijk genoeg waarde? Het is onze taak om deze vragen te helpen beantwoorden."

"In het begin hebben we ons gericht op wat wij kunnen doen dat een telefoon niet kan doen," voegt Van Cleave toe. "Telefoons moeten een scherm hebben, ze moeten een bepaalde fysieke knoppenindeling hebben die gebruikers verwachten. Wij hebben die beperkingen niet. Onze compute puck kan zijn wat we maar willen."