In 2017, Reality Labs Chief Scientist Michael Abrashgesteund door Meta Founder & CEO Mark Zuckerberg, richtte een nieuw, geheim team op binnen het toenmalige Oculus Research om de basis te leggen voor het volgende computerplatform. Hun herculische taak: Een op maat gemaakte siliciumoplossing maken die de unieke eisen van toekomstige augmented reality-bril-een technisch hoogstandje waarbij elk onderdeel opnieuw moest worden ontworpen voor een wearable die de hele dag meegaat AR-bril vormfactor die gewoon nog niet bestond.

Vooraanzicht van Orion AR bril prototype.

Compacte vorm, aanzienlijke probleemruimte

Het Custom Silicon-team groeide uit van slechts een paar onderzoekers tot honderden mensen aan de productkant en ging ervan uit dat AR-brillen niet konden vertrouwen op het silicium dat beschikbaar is in de smartphones van vandaag. En het is een vooronderstelling die wordt bevestigd door de verschillende aangepaste chips in OrionOns eerste prototype van een echte AR-bril.

"Het schip bouwen terwijl het de haven uitvaart, dat was precies wat we aan het doen waren", zegt Jeremy Snodgrass, Advanced Technologies Strategy Director. "We moesten een bescheiden team uitbreiden en tegelijkertijd deze chips bouwen. Het was fascinerend om te zien hoe het leiderschap nieuwe mensen aan boord haalde en tegelijkertijd een cultuur ontwikkelde waarin wendbaarheid centraal stond. Niets was het probleem van iemand anders. Je pakte een roeispaan en begon te roeien, zelfs als dat niet precies was waarvoor je was aangenomen. Het was een heel opwindende tijd."

"Bijna alles aan Orion was in veel opzichten nieuw voor de wereld," beaamt Display Architecture Technical Director Mike Yee. "Sommige ideeën waren er al, maar niemand had het onderzoeksproject op zich genomen om daadwerkelijk een AR-bril te bouwen die de hele dag draagbaar is."

Het team moest een meeslepende AR-ervaring leveren met zo min mogelijk energieverbruik. De vormfactor van de bril kan maar zoveel warmte afvoeren en er kan maar zoveel batterijcapaciteit in. Als gevolg daarvan zijn de ervaringen die op de bril kunnen worden geleverd volledig afhankelijk van het silicium. Met andere woorden, als je de thermische en batterijcapaciteiten constant houdt, is de enige manier om een bepaalde ervaring te leveren het optimaliseren van het silicium.

"Het ontwerpen van een nieuwe architectuur voor Orion vereiste van het team dat het niet alleen bestaande technologieën zoals draadloze en beeldschermen agressief pushte, maar ook risico's nam op het gebied van nieuwe technologieën," zegt Director of Product Management Neeraj Choubey. "Het team ontwikkelde bijvoorbeeld een machine learning (ML) versneller zonder een duidelijke use case op dat moment, gedreven door de sterke overtuiging dat ML steeds belangrijker zou worden in Meta's producten. Op Orion wordt elke ML-versneller gebruikt, en in sommige gevallen zijn ze overtekend, voor functies zoals het volgen van ogen en handen. Op dezelfde manier ontwikkelde het team aangepaste compressieprotocollen om bandbreedte en stroomverbruik te verminderen wanneer gegevens van de Orion naar de Orion werden verplaatst. puck berekenen naar het beeldscherm. Het ontwikkelen van silicium op maat om de vormfactordoelen van Orion te bereiken vereiste zowel een tolerantie voor hoge dubbelzinnigheid als nauwgezette aandacht voor details om een ongelooflijk complexe systeemarchitectuur te leveren."

"De grootste uitdaging die we hadden was het leveren van de 3D world-locked rendered graphics, samen met spatialized audio die zo wordt gerenderd dat het lijkt alsof het uit een virtueel object komt," merkt Snodgrass op. "We moesten al deze elektronica in de thermische capaciteit en de fysieke ruimte passen, en dan ook nog op de batterij laten werken zodat het niet te heet werd. En we moesten dat allemaal doen in een echte brilvorm - geen groot vizier zoals je meestal ziet in deze categorie."

"We wisten hoe we de benodigde rekenkracht konden leveren om onze visie voor Orion tot leven te brengen, maar we stonden voor een ontmoedigende taak: het stroomverbruik met een factor 100 verminderen," zegt Robert Shearer, directeur van SoC Solutions. "Hiervoor moesten we de grenzen van siliciumontwerp verleggen, methodologieën uit verschillende hoeken van de industrie omarmen - van IoT tot high-performance computing - en nieuwe benaderingen bedenken om de kloven te overbruggen. Onze industriële partners dachten dat we gek waren, en misschien hadden ze niet helemaal ongelijk. Maar dat is precies wat er nodig was: de bereidheid om conventionele wijsheid uit te dagen en alles opnieuw te bekijken. Het bouwen van een computer die de virtuele en fysieke wereld naadloos in elkaar laat overgaan vereist een diepgaand begrip van context, veel meer dan wat bestaande rekenplatforms kunnen bieden. In wezen hebben we de manier waarop computers met mensen communiceren opnieuw uitgevonden, wat betekende dat we de manier waarop we silicium bouwen vanaf de grond opnieuw moesten uitvinden."

Orion buitencomponenten.

De magie van microleds

Er waren momenten waarop dingen achterliepen op schema of er een schijnbaar onoverkomelijke technische uitdaging opdook en het moeilijk was om de vaart erin te houden en het moreel hoog te houden. Maar het team was veerkrachtig en vond wegen om obstakels te omzeilen of ze gewoonweg neer te halen.

Neem bijvoorbeeld het beeldscherm van Orion. Het siliciumteam was verantwoordelijk voor het silicium in de displayprojector die in de hoeken van de bril zit.

"Voor die projectoren was het een open vraag of we de microLED's in een array met voldoende efficiëntie en helderheid konden krijgen om een breedbeeldscherm te implementeren," zegt Snodgrass. "Er was enorme twijfel of we dat konden - of het mogelijk was in het tijdsbestek dat we overwogen - omdat dit een zeer opkomende technologie was."

"We realiseerden ons al heel vroeg dat we veel van de paradigma's van productontwikkeling moesten herzien," voegt Yee toe. "De hoeveelheid licht die je nodig hebt om een bruikbaar beeldscherm te maken is een stuk helderder voor AR-brillen, omdat je als draagbaar beeldscherm concurreert met de zon. We hebben dus energieniveaus nodig die daarmee kunnen wedijveren - dat is tenminste het doel. We zijn er nog niet helemaal, maar dat is een groot deel ervan. En dat betekent dat je lichtbronnen voor een beeldscherm nodig hebt die dat kunnen en dat je schakelingen nodig hebt die dat kunnen regelen. En tegelijkertijd moet je het klein maken."

Aangepast silicium dat de µLED's van Orion aanstuurt.

Hoewel microLED's de meest geschikte lichtbron leken voor de projectoren, hielp silicium bij het ontsluiten van hun potentieel.

"Bij beeldschermen hebben we het over pixelafstanden, dat zijn de afstanden tussen de middelpunten van aangrenzende pixels", legt Yee uit. "Voor tv's zijn die afstanden honderden microns. In je telefoon zijn het vele, vele tientallen microns. En we moesten dat terugbrengen tot in de enkele cijfers. De enige bekende halfgeleiderfabricage die dat kon, was silicium."

Het werk werd bemoeilijkt door het feit dat de achterkant van het scherm uit een stuk silicium moest bestaan, en niemand ter wereld had silicium voor microLED's ontworpen.

"Op dat moment hadden de onderzoeksteams allemaal vloeibare kristallen op siliciumschermen hergebruikt om er microLED's op te plaatsen," zegt Yee. "Niemand had ooit eerder een backplane voor microLED's ontworpen. En we stonden voor een vrij unieke uitdaging omdat het een optisch onderdeel is. Het moet plat zijn. Je kunt er geen krassen op maken. Het moet al deze eigenschappen hebben, want als je door de golfgeleiders en door de projectoren kijkt, kijk je letterlijk naar de bovenkant van het stuk silicium."

Het siliciumteam ontwikkelde een complexe reeks testplatforms voor deze microLED-schermen waarbij nauw moest worden samengewerkt met onze wereldwijde leveranciers. De microLED's hebben een wereldwijde voetafdruk: ze komen van de ene plek en worden vervolgens overgebracht naar een andere locatie waar ze op een wafer worden geplaatst. De wafers werden vervolgens verscheept om in een bepaalde vorm te worden gesneden, gevolgd door een reis naar de VS om met een andere wafer te worden verbonden, waarna ze weer over de hele wereld werden verscheept om de eigenlijke module te bouwen en te testen. Het was een enorm ingewikkeld proces en het siliciumteam ontwikkelde testvoertuigen om elke stap te testen.

Het team moest ook een manier vinden om stroom te leveren aan microLED-schermen in het kleine volume van de hoeken van de bril. Ons analoge team ontwikkelde een aangepaste chip voor energiebeheer die in dat volume paste.

"Stroomvoorziening is cruciaal voor dergelijke draagbare apparaten met een kleine vormfactor, waar de grootte van de batterij beperkt is en de ruimte beperkt," merkt Jihong Ren, directeur Analoge en Gemengde Signaalsystemen, op. "Onze op maat gemaakte Power Management IC-oplossing maakt gebruik van geavanceerde technologieën om de energie-efficiëntie voor onze specifieke werklast op systeemniveau te optimaliseren, en dat alles binnen de beschikbare ruimtebeperkingen. Om deze optimale oplossing te bereiken was een nauwe interdisciplinaire samenwerking nodig met onze mechanische, elektrische, SoC-, μLED- en thermische teams, zodat een naadloze integratie van alle componenten werd gegarandeerd en de algehele prestaties werden gemaximaliseerd."

"Dat was niet alleen een verbazingwekkende prestatie op het gebied van engineering, maar ook op het gebied van organisatiemanagement: een team samenbrengen, werken in verschillende tijdzones en met al die verschillende leveranciers," voegt Snodgrass toe. "In sommige opzichten was het organisatorisch managen van dat alles net zo'n uitdaging als het voldoen aan de technische specificaties."

"Niet alleen het ontwerp is aangepast, ook het hele fabricageproces is aangepast," voegt Yee toe. "We hebben het geluk dat we een aantal geweldige partners in de industrie hebben die dit mogelijk hebben gemaakt. Zij zien het langetermijnpotentieel van AR-schermen als geheel en zeker Meta's visie daarop. Ze zijn dus bereid geweest om met ons samen te werken om die aanpassingen en optimalisaties mogelijk te maken om dat beeldscherm mogelijk te maken."

Orion AR-bril.

Iteratie ontmoet versnelling

Er was een nauwe terugkoppeling tussen het siliciumteam en de briljante geesten in Reality Labs Research en XR Tech die algoritmen ontwikkelden. De laatstgenoemde teams leverden deze algoritmen, die de eerstgenoemde teams vertaalden naar hardware, waardoor de overhead van software die op een algemene CPU draaide werd weggenomen. Dat betekende dat de algoritmes op minder stroom zouden draaien, maar het betekende ook dat het siliciumteam vast zat. Als de algoritmen eenmaal gehard waren, konden ze geen wijzigingen meer aanbrengen.

"Stel dat XR Tech een bepaalde discipline algoritmisch aan het ontwikkelen was", legt Silicon Accelerators Architecture and Algorithms Director Ohad Meitav uit. "Zij zijn eigenaar van de algoritmische stack en de prestaties ervan. Mijn team zou dan, in samenwerking met hen, beslissen hoe het algoritme te versnellen, hoe delen van het algoritme te harden en hoe het daadwerkelijk in de hardware te zetten op een manier die super efficiënt draait. Vervolgens paste XR Tech hun softwarestack aan om rekening te houden met de hardware. Het is een zeer iteratief proces."

Een ander succesverhaal is de samenwerking van het siliconenteam met Reality Labs Research om een nieuw reprojectiealgoritme te ontwikkelen.

"We hadden het reprojectiealgoritme nodig om een groot aantal verschillende vervormingen en correcties te ondersteunen," merkt Silicon Architect Steve Clohset op. "Het algoritme dat RL-R ontwikkelde en dat we uiteindelijk gebruikten, wordt niet gebruikt in algemene computertoepassingen. En tot op de dag van vandaag blijkt het een behoorlijk krachtig hulpmiddel te zijn."

Nadat de algoritmen waren gehard en de hardware was geoptimaliseerd, stelde het silicon bring-up team de aangepaste chips op de proef.

"De op maat gemaakte siliciumchipset van Orion zit boordevol complexiteit", zegt Senior Director of End-to-End System and Infrastructure Liping Guo. "Het in korte tijd ontwikkelen en valideren van standalone chips en de interoperabiliteit daartussen is een ongelofelijke uitdaging. Gelukkig werken we binnen een verticaal geïntegreerde omgeving waar Reality Labs eigenaar is van de hele stack, van de silicium en low-level firmware tot het besturingssysteem, de software en de upper-layer ervaringen. We hebben hier optimaal van geprofiteerd, nauw samengewerkt met onze cross-functionele partners en onze cross-stack integratie verschoven naar het stadium van siliciumvalidatie. Orion was onze pilot voor deze methodologie - we hebben onze shift-left spieren ontwikkeld en een sterke basis gelegd voor Reality Labs om in de toekomst alle voordelen van silicium op maat te benutten."

En na het opstarten was het tijd om te optimaliseren voor software.

"Er is een iteratief proces waarbij je begint met een volledig ongeoptimaliseerde softwarestack om alles op te starten en te laten werken", zegt Snodgrass. "En dan ga je één voor één door de subsystemen en begin je de software te optimaliseren voor die specifieke hardware, inclusief het verminderen van de hoeveelheid geheugen die de software gebruikt. De hardware kan prachtig ontworpen zijn, maar je zult de theoretische energie-efficiëntie niet bereiken tenzij je evenveel of meer tijd investeert om de software optimaal te laten profiteren van de hardware. Dus dat is het verhaal van Orion: hardware en software tot het uiterste geoptimaliseerd. Laat geen picojoule of milliwatt achter."

En Orion mag dan wel een prototype zijn, het werk dat erin is gestoken heeft een aanzienlijk potentieel om de routekaart van Meta te beïnvloeden.

"We zien de silicium IP's die we bouwen als platformen in de zin dat dit gewaardeerde IP's zijn die we van de ene generatie of het ene product op het andere verbeteren," voegt Meitav toe. "Alle computer vision en grafische algoritmen zijn niet alleen voor Orion gemaakt. Ze worden gebruikt voor toekomstige producten."

Ons siliciumwerk houdt in dat we nieuwe oplossingen creëren en nauw samenwerken met partners. De invloed van het siliconeteam reikt zelfs verder dan Orion en omvat zowel Ray-Ban Meta bril en Meta Quest headsets ook al gebruiken ze allebei chips van derden. Het siliciumteam deelt hun werk regelmatig met het mixed reality-team en laat zien wat er mogelijk is op het gebied van energie-efficiëntie. Het MR-team deelt deze bevindingen vervolgens met partners zoals Qualcomm om te helpen bij toekomstige chipontwerpen. En omdat het siliciumteam dezelfde kant-en-klare digitale signaalprocessors (DSP's) gebruikt als de Ray-Ban Meta-brillen, hebben ze de geleerde lessen en best practices kunnen delen bij het implementeren en schrijven van code voor die DSP's om de audio-ervaring van onze AI-brillen te verbeteren.

En die kennisdeling gaat beide kanten op: Het MR-team heeft het siliciumteam inzichten gegeven in zaken als Asynchrone tijdverschuiving en Toepassing SpaceWarp in productie.

"Wat iemand in de productie doet is veel interessanter dan iets wat wij met een prototype konden doen," zegt Clohset. "We probeerden zoveel mogelijk te integreren wat zij deden met warpings."

Ambiguïteit < Ambitie

Omdat Orion echt nul tegen één was, hadden de betrokken teams noodgedwongen te maken met een buitensporige hoeveelheid ambiguïteit.

"Met Orion kan ik niet genoeg benadrukken hoe ingewikkeld de dubbelzinnigheid de dingen maakte," zegt Clohset. "Als je bijvoorbeeld een computer maakt, heb je over het algemeen een goed idee van wat het scherm zal worden. Maar we wisten niet wat de golfgeleider zou worden, dus moesten we verschillende golfgeleiders uitproberen en een mechanisme bedenken dat het slechtste scenario aankon omdat we niet wisten waar de dingen terecht zouden komen. Eén optimalisatie hier zou convergeren met al die andere keuzes en je zou eindigen met een matrix van al die verschillende dingen die je moest ondersteunen en proberen te valideren omdat je niet wist waar het product over zes maanden zou landen."

Het is belangrijk om te weten dat Orion niet zomaar een AR-bril is, maar een driedelige constellatie van hardware. Veel van de verwerking gebeurt op de puck berekenenwaardoor een sterke verbinding met de bril nodig is. Voeg de oppervlakte EMG polsband en de systeemarchitectuur wordt nog ingewikkelder.

"Dat was een enorme uitdaging voor de teams om op te lossen, en alles werkt gewoon", zegt Snodgrass. "Het was een geweldige samenwerking tussen het siliciumteam, het draadloze team en softwareteams in de hele organisatie."

De rekenmachine van Orion.

"Met Orion hebben we een heel team met een grote diversiteit aan ingenieurs samengesteld en zij waren in staat om een gloednieuwe pijplijn te ontwerpen," voegt Clohset toe. "Het is een pijplijn die zes vrijheidsgraden van beweging van objecten in de 3D-ruimte afhandelt. Het gebruikt zijn eigen aangepaste display driver. We moesten echt unieke beeldkwaliteitscorrecties uitvoeren. En ik denk dat de uitdaging voor ons was dat, omdat dit een nul-op-één project was, er geen bestaande specs waren om te tweaken en te verbeteren. Alles hier is compleet nieuw, dus we hadden speelruimte om alles te doen."

Net als de puck heeft een aantal sluimerende functies verborgen onder het oppervlak, maar het aangepaste silicium overtreft ook zijn gewicht. Hoewel Orion de gebruiker niet toestaat om foto's te maken met zijn RGB-camera's, kan het silicium dit wel ondersteunen, evenals codec avatars. En net zoals de puck hielp bij het ontsluiten van een echte bril door een groot deel van de rekenkracht over te nemen, bleek Orion's aangepaste silicium een noodzakelijk stukje van de AR-puzzel.

"Om een nul-op-één ervaring zoals een AR-bril tot leven te brengen, heb je silicium op maat nodig," legt Snodgrass uit. "Na verloop van tijd, als er een markt is, zullen siliciumleveranciers producten ontwikkelen om aan de vraag te voldoen. Maar voor zero-to-one kun je niet zomaar iets van de plank nemen dat bedoeld is voor een ander product en het in een nieuwe mal passen. Je moet investeren in iets op maat. En om die zero-to-one ervaringen tot leven te brengen, heb je een brede samenwerking nodig tussen softwarepartners, industriële ontwerpers, werktuigbouwkundigen en meer."

"Door los te komen van traditionele denkmodellen, hebben we iets echt opmerkelijks gecreëerd," voegt Shearer toe. "Wij geloven dat dit computerplatform de toekomst van de technologie vertegenwoordigt - een platform dat een revolutie teweeg zal brengen in de manier waarop we leven, werken en met elkaar omgaan. We vinden het geweldig om voorop te lopen in deze innovatie, de grenzen te verleggen van wat mogelijk is en de loop van de geschiedenis te helpen bepalen."

---

Bekijk voor meer informatie over Orion deze blogposts:

• Kristalhelder: onze Siliciumcarbide golfgeleiders en de weg naar de grote FoV van Orion
• De Compute Puck van Orion: Het verhaal achter het apparaat dat onze AR-bril mogelijk maakte

Toen we voor het eerst demo's begonnen te geven van Orion Begin dit jaar moest ik denken aan een zin die je vaak hoort bij Meta - hij stond zelfs in onze eerste brief aan potentiële aandeelhouders in 2012: Code wint argumenten. We hebben waarschijnlijk evenveel geleerd over deze productruimte uit een paar maanden van levensechte demo's dan uit de jaren werk die nodig waren om ze te maken. Er is gewoon geen alternatief voor iets echt bouwen, het in de handen van mensen leggen en leren van hoe ze erop reageren.

Orion was niet ons enige voorbeeld dit jaar. Onze mixed reality-hardware en AI-bril hebben beide een nieuw niveau van kwaliteit en toegankelijkheid bereikt. Dankzij de stabiliteit van deze platforms kunnen onze softwareontwikkelaars veel sneller werken aan alles, van besturingssystemen tot nieuwe AI-functies. Dit is hoe ik zie dat de metaverse meer in beeld komt en waarom ik er zo zeker van ben dat het komende jaar het belangrijkste wordt in de geschiedenis van Reality Labs.

https://youtube.com/watch?v=xwMNZb6UE1o%3F%26controls%3D0%3Fautoplay%3D0%26color%3Dwhite%26cc_lang_pref%3Den%26cc_load_policy%3D0%26enablejsapi%3D1%26frameborder%3D0%26hl%3Den%26rel%3D0%26origin%3Dhttps%253A%252F%252Fwww.meta.com

2024 was het jaar waarin AI-brillen hun hoogtepunt bereikten. Toen we in 2021 begonnen met het maken van slimme brillen, dachten we dat ze een mooie eerste stap konden zijn in de richting van de AR-bril die we uiteindelijk wilden maken. Terwijl mixed reality-headsets op weg zijn om een algemeen computerplatform te worden, net als de huidige pc's, zagen we brillen als de natuurlijke evolutie van de huidige mobiele computerplatforms. We wilden dus zo snel mogelijk beginnen te leren van de echte wereld.

Het belangrijkste dat we hebben geleerd is dat brillen verreweg de beste vormfactor zijn voor een echt AI-native apparaat. Het is misschien wel de eerste hardwarecategorie die vanaf het begin volledig door AI wordt bepaald. Voor veel mensen is een bril de plek waar een AI-assistent het meest zinvol is, vooral als het een multimodaal systeem die de wereld om je heen echt kan begrijpen.

We staan aan het begin van de S-curve voor deze hele productcategorie en er liggen eindeloze mogelijkheden in het verschiet. Een van de dingen waar ik het meest enthousiast over ben voor 2025 is de evolutie van AI-assistenten naar tools die niet alleen reageren op een prompt wanneer je om hulp vraagt, maar die een proactieve helper kunnen worden terwijl je je dag doorneemt. Op Connect lieten we zien hoe Live AI op een bril meer een real-time deelnemer kan worden wanneer je dingen gedaan krijgt. Deze functie rolt deze maand uit in early access zien we de eerste stap naar een nieuw soort gepersonaliseerde AI-assistent.

Het zal niet de laatste zijn. We zitten momenteel midden in een industriebrede push om AI-native hardware te maken. Je ziet telefoon- en pc-makers zich haasten om hun producten om te bouwen zodat AI-assistenten de kern vormen. Maar ik denk dat het een veel grotere kans is om apparaten te maken die vanaf het begin AI-native zijn, en ik heb er alle vertrouwen in dat brillen de eersten zullen zijn die dat bereiken. Meta's Chief Research Scientist Michael Abrash heeft gesproken over het potentieel van een gepersonaliseerde, contextbewuste AI-assistent op een bril. voor vele jarenen het bouwen van de technologieën die dit mogelijk maken is een belangrijk aandachtspunt van onze onderzoeksteams.

Gemengde werkelijkheid is een andere plek waar het hebben van het juiste product in de handen van veel mensen een belangrijke versneller voor vooruitgang is geweest. We hebben Meta Quest 3 maand na maand beter worden terwijl we blijven werken aan de kern van systeemdoorvoer, multitasking, ruimtelijke gebruikersinterfaces en meer. Al deze verbeteringen hebben zich uitgebreid naar Quest 3S op het moment van lancering. Dit betekent dat de $299 Quest 3S op dag 1 in veel opzichten een betere headset was dan de $499 Quest 3 was toen deze voor het eerst werd gelanceerd in 2023. En de hele Quest 3 familie wordt steeds beter met elke update.

In 2025 zien we de volgende iteratie hiervan als Quest 3S veel meer mensen voor het eerst in mixed reality brengt. Terwijl Quest 3 een hit was onder mensen die het allerbeste apparaat op de markt wilden hebben, zal Quest 3S naar verwachting hoogbegaafd in 2024. De verkoop was sterk tijdens het Black Friday-weekend en we verwachten dat er tijdens de feestdagen een golf van mensen zal zijn die hun nieuwe headsets activeren.

Hiermee zetten we een trend voort die het afgelopen jaar vorm heeft gekregen: groei in nieuwe gebruikers die op zoek zijn naar een breder scala aan dingen die ze met hun headsets kunnen doen. We willen dat deze nieuwe gebruikers de magie van MR inzien en er blijven voor de lange termijn, daarom financieren we ontwikkelaars om de nieuwe soorten apps en games te bouwen waar ze naar op zoek zijn.

Er is een grote toestroom van vooral jongere mensen en zij zijn vooral geïnteresseerd in sociale en competitieve multiplayergames en freemiumcontent. En titels als BEHEMOTH van Skydance, Batman: Arkham Schaduw (die net Beste AR/VR-game heeft gewonnen bij The Game Awards!), en Metro ontwaken liet opnieuw zien dat sommige van de beste nieuwe games die onze industrie produceert nu alleen mogelijk zijn op de headsets van vandaag.

Naarmate het aantal mensen in MR toeneemt, groeit ook de kwaliteit van de sociale ervaring die het kan bieden. Dit is de kern van wat Meta probeert te bereiken met Reality Labs en waar het grootste potentieel van de metaverse zal worden ontsloten: "De kans om het meest sociale platform ooit te creëren", zo omschreven we het toen we begon er voor het eerst aan te werken. In 2024 hebben we op dit gebied twee stappen vooruit gezet: ten eerste met een groot aantal verbeteringen aan Horizon Worlds, waaronder de uitbreiding naar mobiel, en ten tweede met het volgende generatie Meta Avatars-systeem waarmee mensen zichzelf kunnen voorstellen in onze apps en headsets. En naarmate de visuele kwaliteit en algehele ervaring met deze systemen verbetert, krijgen steeds meer mensen hun eerste blik op een sociale metaverse. We zien vergelijkbare trends bij nieuwe Quest 3S gebruikers die meer tijd doorbrengen in Horizon Worlds, waardoor het een top 3 immersieve app is voor Quest 3S, en mensen blijven nieuwe Meta Avatars maken op mobiel en MR.

De introductie van mixed reality in de mainstream heeft geholpen om duidelijk te maken wat de volgende stap is. Een van de eerste trends die we ontdekten na de lancering van Quest 3 vorig jaar was dat mensen mixed reality gebruikten om video's te bekijken terwijl ze thuis aan het multitasken waren - de afwas doen of de woonkamer stofzuigen. Dit was een vroeg signaal dat mensen graag een groot virtueel scherm hebben dat je overal mee naartoe kunt nemen en in de fysieke wereld om je heen kunt plaatsen. We hebben die trend zien doorzetten met allerlei entertainmentervaringen die snel groeien in de hele Quest 3 familie. Nieuwe functies zoals YouTube Co-Watch laten zien hoeveel potentieel er is voor een heel nieuw soort sociale entertainmentervaring in de metaverse.

Daarom is James Cameron, een van de meest technologisch innovatieve verhalenvertellers van ons leven, nu bezig om meer filmmakers en ontwerpers te helpen... fantastische 3D-inhoud produceren voor Meta Quest. Hoewel 3D-films al tientallen jaren worden gemaakt, is er nog nooit een manier geweest om ze zo goed te bekijken als met een MR-headset, en volgend jaar zullen meer mensen een headset bezitten dan ooit tevoren. "We staan op een waar historisch keerpunt,"Jim zei wanneer we ons nieuwe partnerschap gelanceerd deze maand.

Dit gebeurt naast een grotere verschuiving Mark Rabkin gedeeld op Connect dit jaar: Onze visie voor Horizon OS is om een nieuw soort computerplatform voor algemene doeleinden te bouwen dat elk soort software kan draaien, elk soort gebruiker kan ondersteunen en openstaat voor elk soort maker en ontwikkelaar. Onze recente releases voor 2D/3D multi-tasking, paneelpositionering, betere handtracking, Windows Remote Desktop-integratie en Open Store zijn begonnen met het opbouwen van momentum op dit nieuwe pad. Horizon OS is hard op weg om het eerste platform te worden dat het volledige spectrum aan ervaringen ondersteunt, van meeslepende VR tot 2D-schermen, mobiele apps en virtuele desktops, en de ontwikkelaarscommunity staat centraal in dat succes.

De volgende grote stap naar de metaverse zal een AI-bril combineren met de echte augmented reality-ervaring die we dit jaar hebben onthuld met Orion. Het gebeurt niet vaak dat je een blik in de toekomst krijgt en een totaal nieuwe technologie ziet die je laat zien waar dingen naartoe gaan. De mensen die Orion zagen, begrepen meteen wat het betekende voor de toekomst, net zoals de mensen die de eerste personal computers vorm zagen krijgen bij Xerox PARC in de jaren 1970 ("binnen tien minuten was het me duidelijk dat alle computers ooit zo zouden werken", zei Steve Jobs later over zijn demonstratie van de Xerox Alto in 1979).

Mensen in een tijdmachine kunnen zetten en ze laten zien hoe het volgende computerplatform eruit zal zien, was een hoogtepunt van 2024 en van mijn carrière tot nu toe. Maar de echte impact van Orion zal zitten in de producten die we hierna uitbrengen en de manieren waarop het ons helpt beter te begrijpen wat mensen leuk vinden aan AR-brillen en wat er beter moet worden. We hebben jarenlang gewerkt aan gebruikersonderzoek, productplanning en experimentele studies om te begrijpen hoe AR-brillen zouden moeten werken, en dat werk heeft ons in staat gesteld om Orion te bouwen. Maar het tempo van de vooruitgang zal vanaf nu veel hoger liggen nu we een echt product hebben waar we onze intuïtie op kunnen baseren.

Dit is keer op keer de les geweest de afgelopen tien jaar bij Reality Labs. Het belangrijkste wat je kunt doen als je de toekomst probeert uit te vinden, is dingen verschepen en leren van hoe echte mensen ze gebruiken. Het zullen niet altijd onmiddellijk grote hits zijn, maar je leert er altijd iets van. En als je dingen vindt die echt een schot in de roos zijn, zoals mixed reality op de Quest 3 of AI op brillen, dan moet je pas echt gas geven. Dit is wat van 2025 zo'n speciaal jaar zal maken: Nu de juiste apparaten op de markt zijn, mensen ze voor het eerst ervaren en ontwikkelaars alle mogelijkheden ontdekken, is het tijd om gas te geven.

Welkom terug bij een nieuwe aflevering van Boz naar de toekomst, een podcast van Reality Labs. In aflevering van vandaagOnze gastheer, Meta CTO en hoofd van Reality Labs Andrew "Boz" Bosworth, wordt bijgestaan door Meta's VP van Wearables Alex Himel.

Himel's team werkt aan enkele van de moeilijkste technische problemen in de industrie, allemaal in dienst van het helpen bouwen van het volgende computerplatform. Net als Bosworth is hij een ervaren leider bij Meta, die in zijn meer dan 15 jaar bij het bedrijf verschillende leidinggevende functies heeft bekleed.

Bosworth en Himel behandelen een scala aan onderwerpen, waaronder wearables, augmented reality en hoe AI het soort ervaringen versnelt en verbetert dat is ingebed in Ray-Ban Meta bril en toekomstige producten.

Ze gaan diep op Orion en de positieve ontvangst sinds Mark Zuckerberg het aankondigde op Maak verbinding met. Net zoals Steve Jobs de Alto herkende als een keerpunt in de computerwereld, beweerde Bosworth dat, hoewel we het misschien niet eens zijn over de details, het moeilijk is om tegen te spreken dat dit de toekomst is. Himel en Bosworth praten verder over de enorme waarde van prototypen en bouwen, en zeggen hoeveel meer ze hebben geleerd over Orion en zijn invoerparadigma's in de drie weken dat ze het gebruiken vergeleken met de jaren die ze hebben besteed aan het bouwen ervan.

Ze spraken ook over de cruciale rol van AI in wearables en hoe het steeds nuttiger wordt in het dagelijks leven - vooral nu je Meta AI vragen kunt stellen over dingen die je ziet en het kunt gebruiken om visuele herinneringen in te stellen.

Himel vertelt ook over zijn diepgaande ervaring in een ander soort stapel: sandwiches. Met zeven jaar ervaring in het werken in de beroemde Lange's Little Store in Chappaqua, NY, waar hij opgroeide, gaan Himel en Bosworth in op wat een geweldige sandwich maakt, waar tomaten echt thuishoren en welk brood superieur is.

Je kunt afstemmen op Boz naar de toekomst op Apple podcasts, Spotifyen waar je ook naar podcasts luistert.

Je kunt Himel volgen op Draden. Je kunt Bosworth volgen op Instagram, Twitter/Xen Draden @boztank.

0:00 / 0:00

Terug in 2019, de Orion team een belangrijke demonstratie voor Meta Oprichter & CEO Mark Zuckerberg, waarin potentiële golfgeleiders voor augmented reality-bril-Een cruciaal moment waarop theoretische berekeningen op papier tot leven werden gebracht. En het was een demo die alles veranderde.

"Als je de bril met glazen golfgeleiders en meerdere platen droeg, voelde het alsof je in een disco was", herinnert optisch wetenschapper Pasqual Rivera zich. "Er waren overal regenbogen en het was zo afleidend dat je niet eens naar de AR-inhoud keek. Toen zette je de bril op met siliciumcarbide golfgeleiders, en het was alsof je bij de symfonie was en naar een rustig, klassiek stuk luisterde. Je kon echt aandacht besteden aan de volledige ervaring van wat we aan het bouwen waren. Het was een totale game changer.

Maar hoe duidelijk (bedoeld als woordspeling) de keuze voor siliciumcarbide als substraat vandaag ook lijkt, toen we voor het eerst de weg naar AR-brillen een decennium geledenHet was allesbehalve.

"Siliciumcarbide is normaal gesproken zwaar stikstofgedoteerd," zegt Rivera. "Het is groen en als het dik genoeg wordt, ziet het er zwart uit. Je kunt er op geen enkele manier een optische lens van maken. Het is een elektronisch materiaal. Er is een reden waarom het die kleur heeft en dat komt door de elektronische eigenschappen."

"Siliciumcarbide bestaat al heel lang als materiaal", beaamt Giuseppe Calafiore, Tech Lead bij AR Waveguides. "De belangrijkste toepassing is elektronica met een hoog vermogen. Neem elektrische voertuigen: Alle EV's hebben een chip nodig, maar die chip moet ook in staat zijn om zeer hoog vermogen te leveren, de wielen te bewegen en het ding aan te drijven. Het blijkt dat je dat niet kunt doen met het gewone siliciumsubstraat, dat de chips maakt die we in onze computers en elektronica gebruiken. Je hebt een platform nodig waarmee je hoge stromen en een hoog vermogen kunt verwerken, en dat materiaal is siliciumcarbide."

Totdat vrij recentelijk de discussies rond hernieuwbare energiebronnen oplaaiden, was de markt voor deze chipsets met hoog vermogen lang niet zo groot als de markt voor chips voor consumentenelektronica. Siliciumcarbide is altijd duur geweest en er was niet veel stimulans om de kosten omlaag te brengen omdat, voor de grootte van de chip die je voor een auto maakt, de prijs van het substraat acceptabel was.

"Maar het blijkt dat siliciumcarbide ook een aantal eigenschappen heeft die we nodig hebben voor golfgeleiders en optica," zegt Calafiore. "De brekingsindex is de belangrijkste eigenschap waar we om geven. En siliciumcarbide heeft een hoge brekingsindex, wat betekent dat het een grote hoeveelheid optische gegevens kan kan kanaliseren en uitvoeren. Je kunt het zien als optische bandbreedte - net zoals je bandbreedte hebt voor het internet, en je wilt dat die groot genoeg is zodat je enorme hoeveelheden gegevens door dat kanaal kunt sturen. Hetzelfde geldt voor optische apparaten."

Hoe hoger de brekingsindex van een materiaal, hoe hoger de étenduezodat je meer optische gegevens via dat kanaal kunt verzenden.

"Het kanaal is in ons geval onze golfgeleider en een grotere étendue betekent een groter gezichtsveld," legt Calafiore uit. "Hoe groter de brekingsindex van een materiaal, hoe groter het gezichtsveld dat het scherm kan ondersteunen."

De weg naar de juiste brekingsindex

Toen Calafiore in 2016 bij het toenmalige Oculus Research kwam, had het team de beschikking over glas met de hoogste brekingsindex van 1,8, waardoor meerdere platen op elkaar gestapeld moesten worden om het gewenste gezichtsveld te krijgen. Afgezien van ongewenste optische artefacten werd de assemblagelijn steeds gecompliceerder omdat de eerste twee golfgeleiders perfect uitgelijnd moesten worden en die stapel vervolgens perfect uitgelijnd moest worden met een derde golfgeleider.

"Het was niet alleen duur, het was ook meteen duidelijk dat je geen drie stukken glas per lens in een bril kon hebben," herinnert Calafiore zich. "Ze waren te zwaar en de dikte was onbetaalbaar groot en lelijk - niemand zou het kopen. Dus gingen we terug naar af: proberen de brekingsindex van het substraat te verhogen om het aantal benodigde platen te verminderen."

Het eerste materiaal dat het team onderzocht was lithiumniobaatmet een brekingsindex van ruwweg 2,3, wat een stuk hoger is dan de brekingsindex van glas (1,8).

"We realiseerden ons dat we maar twee platen hoefden te stapelen en misschien zelfs met één plaat konden volstaan om toch het gezichtsveld te bedekken," zegt Calafiore. "Zo kwamen we er samen met onze leveranciers in 2019 achter dat siliciumcarbide in zijn puurste vorm eigenlijk heel transparant is. Toevallig heeft het ook de hoogste brekingsindex die bekend is voor een optische toepassing, namelijk 2,7."

Dat is een toename van 17,4% ten opzichte van lithiumniobaat en een toename van 50% ten opzichte van glas, voor wie thuis de score bijhoudt.

"Met een paar aanpassingen aan dezelfde apparatuur die al in de industrie werd gebruikt, was het mogelijk om transparant siliciumcarbide te maken," zegt Calafiore. "Je kon gewoon het proces veranderen, veel voorzichtiger zijn en in plaats van te optimaliseren voor elektronische eigenschappen, optimaliseer je voor optische eigenschappen: transparantie, uniformiteit van de brekingsindex, enzovoort."

De potentiële kosten van een compromis

Het team van Reality Labs was destijds de eerste die zelfs maar probeerde om van ondoorzichtige siliciumcarbide wafers transparante wafers te maken. En omdat siliciumcarbide een van de hardste materialen is die bekend zijn, is er diamantgereedschap nodig om het te snijden of te polijsten. Hierdoor waren de eenmalige engineeringkosten erg hoog en was het resulterende substraat behoorlijk duur.

Hoewel er kosteneffectievere alternatieven bestaan, heeft elke technologie zijn nadelen. En als het gezichtsveld toeneemt in de richting van Orions toonaangevende gezichtsveld van ongeveer 70 graden, ontstaan er nieuwe problemen zoals spookbeelden en regenbogen.

"Het vinden van de optimale oplossing voor een AR-scherm met breed gezichtsveld is beladen met afwegingen tussen prestaties en kosten," legt Barry Silverstein, directeur van Research Science, uit. "De kosten kunnen vaak omlaag worden gebracht, maar als de prestaties het niet halen, zullen de kosten er uiteindelijk niet toe doen."

Spookbeelden zijn visuele echo's van het primaire beeld dat op het scherm wordt geprojecteerd. Regenbogen zijn kleurrijke lichtstrepen die ontstaan wanneer omgevingslicht weerkaatst op de golfgeleider. "Stel dat je 's nachts rijdt met bewegende autolichten om je heen," zegt Silverstein. "Dan krijg je regenbogen die ook bewegen. Of als je op het strand aan het volleyballen bent en de zon schijnt, krijg je een regenboogstreep die met je meebeweegt en dan mis je je schot. En een van de wonderbaarlijke eigenschappen van siliciumcarbide is dat het die regenbogen wegwerkt."

"Het andere voordeel van siliciumcarbide dat geen van de andere materialen heeft, is de thermische geleidbaarheid," voegt Calafiore toe. "Plastic is een vreselijke isolator. Glas, lithiumniobaat, hetzelfde. Siliciumcarbide is transparant, ziet eruit als glas en raad eens: het geleidt warmte."

In juli 2020 stelde het team vast dat siliciumcarbide om drie belangrijke redenen de optimale keuze was: Het leidde tot een verbeterde vormfactor omdat er maar één plaat en kleinere montagestructuren nodig waren, het had betere optische eigenschappen en het was lichter dan glas met twee platen.

Het geheim van schuine etsen

Met het materiaal in gedachten was de volgende noot die gekraakt moest worden de fabricage van de golfgeleiders - en specifiek een onconventionele roostertechniek genaamd slant etch.

"Het rooster is de nanostructuur die het licht van de lens in- en uitkoppelt," legt Calafiore uit. "En om siliciumcarbide te laten werken, moet het rooster schuin geëtst zijn. In plaats van verticaal wil je dat de lijnen van het rooster diagonaal schuin lopen."

"Wij waren de eersten die schuine etsen direct op de apparaten uitvoerden," zegt onderzoeksmanager Nihar Mohanty. "De hele industrie vertrouwde op nano-imprint, wat niet werkt voor substraten met zo'n hoge brekingsindex. Daarom had niemand anders ter wereld eraan gedacht om siliciumcarbide te doen."

Maar omdat schuine etsen een onvolwassen technologie is, ontbreekt het de meeste leveranciers en fabrieken van halfgeleiderchips aan de benodigde gereedschappen.

"In 2019 richtten mijn toenmalige manager, Matt Colburn, en ik onze eigen faciliteit op omdat er niets ter wereld was dat geëtste siliciumcarbide golfgeleiders kon produceren en waar we de technologie verder konden testen dan op laboratoriumschaal", legt Mohanty uit. "Het was een enorme investering en we hebben de hele pijplijn daar opgezet. Het gereedschap werd op maat gemaakt door onze partners en het proces werd intern ontwikkeld in Meta, hoewel onze systemen van onderzoekskwaliteit zijn omdat er geen systemen van productiekwaliteit beschikbaar waren. We werkten samen met een productiepartner om productiegereedschap en -processen voor schuine etsen te ontwikkelen. En nu we hebben laten zien wat er mogelijk is met siliciumcarbide, willen we dat anderen in de industrie hun eigen gereedschappen gaan maken."

Hoe meer bedrijven investeren in siliciumcarbide van optische kwaliteit en apparatuur ontwikkelen, hoe sterker de categorie AR-brillen voor consumenten zal worden.

Niet langer regenbogen najagen

Terwijl technologische onvermijdelijkheid is een mytheDe sterren lijken in het voordeel van siliciumcarbide te staan. En hoewel het team doorgaat met het onderzoeken van alternatieven, is er een sterk gevoel dat de juiste mensen op het juiste moment onder de juiste marktomstandigheden bij elkaar zijn gekomen om AR-brillen te bouwen met dit materiaal.

"Orion heeft bewezen dat siliciumcarbide een haalbare optie is voor AR-brillen," zegt Silverstein, "en we zien nu interesse in de hele toeleveringsketen op drie verschillende continenten waar dit een grote kans is. Siliciumcarbide zal als winnaar uit de bus komen. Volgens mij is het gewoon een kwestie van tijd."

En in die tijd kan er veel gebeuren - net zoals de manier waarop de rollen zijn omgedraaid sinds we onze eerste heldere siliciumcarbidekristallen lieten groeien.

"Al deze siliciumcarbidefabrikanten hebben het aanbod enorm opgedreven als reactie op de verwachte explosie van elektrische voertuigen," merkt Calafiore op. "Op dit moment is er een overcapaciteit die er niet was toen we Orion bouwden. Dus nu, omdat het aanbod hoog is en de vraag laag, beginnen de kosten van het substraat te dalen."

"Leveranciers zijn erg enthousiast over de nieuwe mogelijkheid om siliciumcarbide van optische kwaliteit te produceren - elke golfgeleiderlens vertegenwoordigt immers een grote hoeveelheid materiaal in verhouding tot een elektronische chip, en al hun bestaande capaciteiten zijn van toepassing op deze nieuwe ruimte," voegt Silverstein toe. "Je fabriek vullen is essentieel, en je fabriek opschalen is de droom. De grootte van de wafer is ook belangrijk: Hoe groter de wafer, hoe lager de kosten, maar de complexiteit van het proces neemt ook toe. Dat gezegd hebbende, hebben we leveranciers zien overstappen van wafers van vier inch naar wafers van acht inch, en sommige werken aan voorlopers voor wafers van 12 inch, die exponentieel meer AR-brillen zouden opleveren."

Deze vooruitgang moet helpen om de kosten te blijven drukken. Het is nog vroeg, maar de toekomst komt in zicht.

"Aan het begin van elke nieuwe technologische revolutie probeer je een heleboel dingen," zegt Calafiore. "Kijk naar televisie: We begonnen met kathodestraalbuizen, en toen gingen we naar de LED-plasmatelevisies en nu microLED's. We hebben verschillende technologieën en architecturen doorlopen. Als je een pad zoekt, komen veel paden nergens uit, maar er zijn er een paar waar je naar terug blijft keren als de meest veelbelovende. We zijn nog niet aan het einde van de weg en we kunnen het niet alleen, maar siliciumcarbide is een wondermateriaal dat de investering meer dan waard is."

"De wereld is nu wakker," voegt Silverstein toe. "We hebben met succes aangetoond dat siliciumcarbide kan buigen in elektronica en fotonica. Het is een materiaal dat toekomstige toepassingen kan hebben in quantumcomputing. En we zien tekenen dat het mogelijk is om de kosten aanzienlijk te verlagen. Er is nog veel werk te doen, maar het potentieel is enorm."

---

Meer informatie over siliciumcarbide in Fotonica Spectra.

Bekijk voor meer informatie over Orion deze blogposts:

• Nul tot één: hoe ons aangepaste silicium en chips AR revolutioneren
• De Compute Puck van Orion: Het verhaal achter het apparaat dat onze AR-bril mogelijk maakte

TL;DR:

• Vandaag bij Maak verbinding metonthulde Mark Zuckerberg Orion - onze eerste echte AR-bril, met de codenaam Project Nazare.
• Met een toonaangevend gezichtsveld, siliciumcarbide lenzenOrion is ons meest geavanceerde en meest gepolijste productprototype tot nu toe.
• Nu gaan we verder met productoptimalisaties en het verlagen van de kosten, terwijl we toewerken naar een schaalbaar consumentenapparaat dat een revolutie teweeg zal brengen in de manier waarop mensen met de wereld omgaan.

---

"We bouwen AR-brillen."

Vijf eenvoudige woorden, vijf jaar geleden gesproken. Met hen hebben we onze visie op een toekomst waarin we niet langer de valse keuze hoeven te maken tussen een wereld van informatie binnen handbereik en de fysieke wereld om ons heen, in de schijnwerpers gezet.

En nu, vijf jaar later, nog eens vijf woorden die het spel opnieuw zullen veranderen:

We hebben AR-brillen gebouwd.

https://youtube.com/watch?v=2CJsnyS8u3c%3Fsi%3DTr77gOKEq3PnA7-k%26controls%3D0%3Fautoplay%3D0%26color%3Dwhite%26cc_lang_pref%3Den%26cc_load_policy%3D0%26enablejsapi%3D1%26frameborder%3D0%26hl%3Den%26rel%3D0%26origin%3Dhttps%253A%252F%252Fwww.meta.com

Bij Meta is onze missie eenvoudig: mensen de kracht geven om een gemeenschap op te bouwen en de wereld dichter bij elkaar te brengen. En bij Reality Labs bouwen we tools waarmee mensen zich altijd en overal verbonden voelen. Daarom werken we aan het volgende computerplatform dat mensen centraal stelt, zodat ze meer aanwezig, verbonden en bevoegd zijn in de wereld.

Ray-Ban Meta bril hebben aangetoond hoe krachtig het is om mensen handsfree toegang te geven tot belangrijke delen van hun digitale leven vanuit hun fysieke leven. We kunnen praten met een slimme AI-assistent, contact leggen met vrienden en de momenten vastleggen die er toe doen - en dat alles zonder ooit een telefoon tevoorschijn te hoeven halen. Deze stijlvolle bril past naadloos in ons dagelijks leven en mensen zijn er helemaal weg van.

Maar terwijl Ray-Ban Meta een geheel nieuwe categorie van beeldschermloze brillen met AI opende, droomt de XR-industrie al lang van een echte AR-bril-een product dat de voordelen van een groot holografisch beeldscherm en gepersonaliseerde AI-hulp combineert in een comfortabele, stijlvolle, de hele dag draagbare vormfactor.

En vandaag hebben we die droom dichter bij de werkelijkheid gebracht met de onthulling van Orionwaarvan wij denken dat het de meest geavanceerde AR-bril is die ooit is gemaakt. Het is misschien wel het meest uitdagende apparaat voor consumentenelektronica sinds de smartphone. Orion is het resultaat van baanbrekende uitvindingen op vrijwel elk gebied van de moderne informatica - voortbouwend op de het werk dat we de afgelopen tien jaar bij Reality Labs hebben gedaan. Het zit boordevol geheel nieuwe technologieën, waaronder het meest geavanceerde AR-scherm ooit en siliconen op maat waarmee krachtige AR-ervaringen kunnen worden uitgevoerd op een bril met een fractie van de kracht en het gewicht van een MR-headset.

Het Orion-invoersysteem combineert stem-, oog- en handtracering naadloos met een EMG-polsband waarmee je kunt vegen, klikken en scrollen terwijl je arm comfortabel naast je zij blijft rusten, zodat je aanwezig kunt blijven in de wereld en bij de mensen om je heen terwijl je interactie hebt met rijke digitale content.

Vanaf vandaag tijdens Connect en het hele jaar door, geven we toegang tot ons Orion productprototype aan Meta-werknemers en een select, extern publiek, zodat ons ontwikkelingsteam kan leren, itereren en bouwen aan onze AR-brillen voor consumenten, die we in de nabije toekomst willen gaan leveren.

Waarom een AR-bril?

Er zijn drie belangrijke redenen waarom AR-brillen de sleutel zijn tot het ontsluiten van de volgende grote sprong in mensgericht computergebruik.

1. Ze maken digitale ervaringen mogelijk die niet gebonden zijn aan de beperkingen van een smartphonescherm. Met grote holografische displays kun je de fysieke wereld als canvas gebruiken en 2D- en 3D-inhoud en -ervaringen plaatsen waar je maar wilt.
2. Ze integreren naadloos contextuele AI die de wereld om je heen kan voelen en begrijpen om te anticiperen en proactief in te spelen op je behoeften.
3. Ze zijn licht van gewicht en geweldig voor zowel binnen als buiten - en ze laten mensen elkaars echte gezicht, echte ogen en echte uitdrukkingen zien.

Dat is de noordelijke ster waar onze industrie naartoe heeft gewerkt: een product dat het gemak en de directheid van wearables combineert met een groot scherm, invoer met hoge bandbreedte en gecontextualiseerde AI in een vormfactor die mensen prettig vinden om in hun dagelijks leven te dragen.

Compacte vorm, complexe uitdagingen

Jarenlang hebben we voor een valse keuze gestaan: ofwel virtual en mixed reality headsets die diepe, meeslepende ervaringen mogelijk maken in een omvangrijke vormfactor, ofwel brillen die ideaal zijn om de hele dag te gebruiken maar geen rijke visuele apps en ervaringen bieden omdat een groot beeldscherm en bijbehorende rekenkracht ontbreken.

Maar we willen het allemaal, zonder compromissen. Jarenlang hebben we hard gewerkt om de ongelooflijke ruimtelijke ervaringen van VR- en MR-headsets te combineren met het miniaturiseren van de technologie die nodig is om deze ervaringen te leveren in een lichtgewicht, stijlvolle bril. Het vinden van de juiste vormfactor, het leveren van holografische displays, het ontwikkelen van meeslepende AR-ervaringen en het creëren van nieuwe paradigma's voor mens-computerinteractie (HCI) - en dat allemaal in één samenhangend product - is een van de moeilijkste uitdagingen waar onze branche ooit voor heeft gestaan. Het was zo'n uitdaging dat we dachten dat we minder dan 10 procent kans hadden om het tot een goed einde te brengen.

Tot nu.

Een baanbrekend beeldscherm in een ongeëvenaarde vormfactor

Met ongeveer 70 graden heeft Orion het grootste gezichtsveld in de kleinste AR-bril tot nu toe. Dat gezichtsveld ontsluit echt meeslepende gebruiksmogelijkheden voor Orion, van multitasking-vensters en entertainment op groot scherm tot levensgrote hologrammen van mensen - allemaal digitale content die naadloos overgaat in je kijk op de fysieke wereld.

Voor Orion was het gezichtsveld onze heilige graal. We botsten tegen de wetten van de fysica op en moesten lichtstralen buigen op manieren die ze van nature niet buigen - en we moesten dat doen met een vermogen gemeten in milliwatt.

In plaats van glas, we hebben de lenzen gemaakt van siliciumcarbideeen nieuwe toepassing voor AR-brillen. Siliciumcarbide is ongelooflijk licht, het resulteert niet in optische artefacten of strooilicht en het heeft een hoge brekingsindex - allemaal optische eigenschappen die essentieel zijn voor een groot gezichtsveld. De golfgeleiders zelf hebben echt ingewikkelde en complexe 3D-structuren op nanoschaal om licht te verspreiden op de manieren die nodig zijn om dit gezichtsveld te bereiken. En de projectoren zijn uLED's - een nieuw soort weergavetechnologie die superklein en extreem energiezuinig is.

Orion is onmiskenbaar een bril, zowel qua uiterlijk als qua gevoel, compleet met transparante glazen. In tegenstelling tot MR-headsets of andere AR-brillen kun je nog steeds elkaars echte ogen en uitdrukkingen zien, zodat je aanwezig kunt zijn en de ervaring kunt delen met de mensen om je heen. Er waren tientallen innovaties nodig om het industriële ontwerp terug te brengen tot een eigentijdse bril die je elke dag met gemak kunt dragen. Orion is een huzarenstukje op het gebied van miniaturisatie: de componenten zitten op een fractie van een millimeter. En we zijn erin geslaagd om zeven piepkleine camera's en sensoren in de montuurranden in te bouwen.

We moesten de optische precisie handhaven op een tiende van de dikte van een menselijke haar. En het systeem kan minuscule bewegingen detecteren, zoals het uitzetten of krimpen van de frames bij verschillende kamertemperaturen, en vervolgens digitaal corrigeren voor de noodzakelijke optische uitlijning, en dat alles binnen milliseconden. We hebben de frames gemaakt van magnesium - hetzelfde materiaal dat wordt gebruikt in F1 raceauto's en ruimtevaartuigen - omdat het licht en toch stijf is, zodat het de optische elementen uitgelijnd houdt en warmte efficiënt afvoert.

Verwarming en koeling

Toen we eenmaal het beeldscherm hadden gekraakt (geen woordspeling bedoeld) en de fysicaproblemen hadden overwonnen, moesten we de uitdaging aangaan van echt krachtige rekenkracht naast een echt laag energieverbruik en de noodzaak van warmteafvoer. In tegenstelling tot de MR-headsets van tegenwoordig kun je geen ventilator in een bril stoppen. Dus moesten we creatief zijn. Veel van de materialen die worden gebruikt om Orion te koelen lijken op de materialen die NASA gebruikt om satellieten in de ruimte te koelen.

We bouwden Zeer gespecialiseerde siliconen op maat die extreem energiezuinig is en geoptimaliseerd voor onze AI, machinewaarneming en grafische algoritmen. We hebben meerdere aangepaste chips gebouwd en tientallen zeer aangepaste silicium IP-blokken in die chips. Hierdoor kunnen we de algoritmen die nodig zijn voor het volgen van handen en ogen en voor gelijktijdige lokalisatie en mapping (SLAM) technologie die normaal honderden milliwatts aan stroom verbruikt - en dus een overeenkomstige hoeveelheid warmte genereert - terugbrengen tot slechts enkele tientallen milliwatts.

En ja, silicium op maat blijft een cruciale rol spelen in de productontwikkeling bij Reality Labs, ondanks wat u misschien elders hebt gelezen. 😎

Moeiteloze EMG

Elk nieuw computerplatform brengt het volgende met zich mee een paradigmaverschuiving in de manier waarop we met onze apparaten omgaan. De uitvinding van de muis maakte de weg vrij voor de grafische gebruikersinterfaces (GUI's) die onze wereld vandaag domineren, en smartphones begonnen pas echt aan te slaan met de komst van het aanraakscherm. En dezelfde regel geldt voor wearables.

We hebben gesproken over ons werk met elektromyografie of EMGal jaren, gedreven door onze overtuiging dat invoer voor AR-brillen snel, handig, betrouwbaar, subtiel en sociaal acceptabel moet zijn. En nu is dat werk klaar voor prime time.

Het invoer- en interactiesysteem van Orion combineert stem-, oog- en handtracking naadloos met een EMG-polsband waarmee je moeiteloos kunt vegen, klikken en scrollen.

Het werkt en voelt als magie. Stel je voor dat je 's ochtends tijdens het joggen een foto maakt met een simpele tik van je vingertoppen of dat je door menu's navigeert met nauwelijks waarneembare bewegingen van je handen. Onze polsband combineert een hoogwaardig textiel met ingebouwde EMG-sensoren om de elektrische signalen te detecteren die worden gegenereerd door zelfs de kleinste spierbewegingen. Een on-device ML-processor interpreteert deze EMG-signalen om invoergebeurtenissen te produceren die draadloos naar de bril worden verzonden. Het systeem past zich aan jou aan, dus het wordt na verloop van tijd steeds beter in het herkennen van de meest subtiele gebaren. En vandaag delen we meer over onze steun aan extern onderzoek gericht op uitbreiding van de mogelijkheden voor gelijkheid en toegankelijkheid van EMG-polsbandjes.

Maak kennis met de Wireless Compute Puck

Echte AR-brillen moeten draadloos zijn en ze moeten ook klein zijn.Dus bouwden we een draadloze rekenmodule voor Orion. Het ontlast de bril enigszins, waardoor de batterij langer meegaat en de vormfactor beter is, compleet met lage latentie.

Op de bril worden alle algoritmes voor het volgen van handen, ogen, SLAM en gespecialiseerde AR-wereldafbeeldingen uitgevoerd, terwijl de app-logica op de puck draait om de bril zo licht en compact mogelijk te houden.

De puck heeft twee processors, waaronder een die speciaal hier bij Meta is ontworpen, en hij levert de rekenkracht die nodig is voor grafische rendering met lage latentie, AI en wat extra machinewaarneming.

En omdat hij klein en gestroomlijnd is, kun je de puck gemakkelijk in je tas of zak stoppen en gewoon doorgaan met je werk - zonder verplichtingen.

AR Ervaringen

Natuurlijk, zoals met elk stukje hardware, is het alleen zo goed als de dingen die je kunt doen ermee. En hoewel het nog vroeg is, zijn de ervaringen die Orion biedt een opwindende glimp van wat komen gaat.

https://youtube.com/watch?v=HkdSv3QPhNw%3F%26controls%3D0%3Fautoplay%3D0%26color%3Dwhite%26cc_lang_pref%3Den%26cc_load_policy%3D0%26enablejsapi%3D1%26frameborder%3D0%26hl%3Den%26rel%3D0%26origin%3Dhttps%253A%252F%252Fwww.meta.com

We hebben onze slimme assistent, Meta AIdraait op Orion. Het begrijpt waar je naar kijkt in de fysieke wereld en kan je helpen met nuttige visualisaties. Orion maakt gebruik van hetzelfde Llama-model dat de huidige AI-ervaringen op de Ray-Ban Meta smart glasses aandrijft, plus aangepaste onderzoeksmodellen om potentiële gebruikscases voor toekomstige wearables te demonstreren.

Je kunt onderweg een handsfree videogesprek voeren om in realtime bij te praten met vrienden en familie, en je kunt verbonden blijven met WhatsApp en Messenger om berichten te bekijken en te versturen. Je hoeft je telefoon niet tevoorschijn te halen, hem te ontgrendelen, de juiste app te vinden en je vriend te laten weten dat je te laat bent voor het eten - je kunt het allemaal via je bril doen.

https://youtube.com/watch?v=el7lUVvu8Bo%3F%26controls%3D0%3Fautoplay%3D0%26color%3Dwhite%26cc_lang_pref%3Den%26cc_load_policy%3D0%26enablejsapi%3D1%26frameborder%3D0%26hl%3Den%26rel%3D0%26origin%3Dhttps%253A%252F%252Fwww.meta.com

Je kunt gedeelde AR-games spelen met familie aan de andere kant van het land of met je vriend aan de andere kant van de bank. En met het grote scherm van Orion kun je multitasken met meerdere vensters om dingen gedaan te krijgen zonder je laptop mee te hoeven slepen.

De ervaringen die vandaag beschikbaar zijn op Orion zullen helpen bij het uitstippelen van de roadmap voor onze AR-brillenlijn voor consumenten in de toekomst. Onze teams blijven itereren en nieuwe meeslepende sociale ervaringen bouwen, samen met onze ontwikkelaarspartners, en we kunnen niet wachten om te delen wat er daarna komt.

Een doelgericht productprototype

Hoewel Orion niet bij de consument terecht zal komen, vergis je je niet: Dit is niet een onderzoeksprototype. Het is het meest gepolijste productprototype dat we ooit hebben ontwikkeld en het is echt representatief voor iets dat zou naar de consument te brengen. In plaats van ons te haasten om het in de schappen te leggen, hebben we besloten om ons eerst te richten op interne ontwikkeling, waardoor we snel kunnen blijven bouwen en de grenzen van de technologie en ervaringen kunnen blijven verleggen.

En dat betekent dat we sneller tot een nog beter consumentenproduct zullen komen.

Wat komt hierna

Twee grote obstakels hebben lang in de weg gestaan van mainstream AR-brillen voor consumenten: de technologische doorbraken die nodig zijn om een groot scherm te leveren in een compacte brilvormfactor en de noodzaak van nuttige en boeiende AR-ervaringen die op die bril kunnen draaien. Orion is een enorme mijlpaal en levert voor het eerst echte AR-ervaringen op redelijk stijlvolle hardware.

Nu we Orion met de wereld hebben gedeeld, concentreren we ons op een paar dingen:

• De AR-weergavekwaliteit afstemmen om de beelden nog scherper te maken
• Optimaliseren waar we kunnen om de vormfactor nog kleiner te maken
• Op schaal bouwen om ze betaalbaarder te maken

In de komende jaren kunt u van ons nieuwe apparaten verwachten die voortbouwen op onze R&D-inspanningen. En een aantal innovaties van Orion zijn uitgebreid naar onze huidige consumentenproducten en onze toekomstige product roadmap. We hebben een aantal van onze ruimtelijke waarnemingsalgoritmen geoptimaliseerd, die draaien op zowel Meta Quest 3S en Orion. Hoewel het systeem voor oogbesturing en subtiele gebareninvoer oorspronkelijk is ontworpen voor Orion, zijn we van plan om het in toekomstige producten te gebruiken. En we onderzoeken ook het gebruik van EMG-polsbandjes in toekomstige consumentenproducten.

Orion is niet alleen een venster op de toekomst, het is een blik op de reële mogelijkheden die vandaag binnen handbereik liggen. We hebben het gebouwd in ons streven naar wat we het beste kunnen: mensen helpen om met elkaar in contact te komen. Van Ray-Ban Meta brillen tot Orion, we hebben gezien hoe goed het kan zijn om mensen meer aanwezig en bevoegd te laten zijn in de fysieke wereld, zelfs terwijl ze gebruik maken van alle extra rijkdom die de digitale wereld te bieden heeft.

Wij vinden dat je niet zou moeten hoeven kiezen tussen die twee. En met het volgende computerplatform hoeft dat ook niet.

---

Bekijk voor meer informatie over Orion deze blogposts:

• De Compute Puck van Orion: Het verhaal achter het apparaat dat onze AR-bril mogelijk maakte
• Nul tot één: hoe ons aangepaste silicium en chips AR revolutioneren
• Kristalhelder: onze Siliciumcarbide golfgeleiders en de weg naar de grote FoV van Orion

Vorig jaar onthulden we tijdens Connect Oriononze eerste echte AR-bril. Het hoogtepunt van ons werk bij Reality Labs in de afgelopen tien jaarOrion combineert de voordelen van een groot holografisch beeldscherm en gepersonaliseerde AI-hulp in een comfortabele, de hele dag door draagbare vorm. Het kreeg wat aandacht voor zijn toonaangevende gezichtsveld, siliciumcarbide golfgeleiders, uLED projectoren en meer. Maar vandaag richten we onze aandacht op een onbezongen held van Orion: de compute puck.

De puck is ontworpen om gemakkelijk in je zak of tas te passen, zodat je hem overal mee naar toe kunt nemen. Hij ontlast de verwerkingskracht van Orion om applicatielogica uit te voeren en maakt een aantrekkelijkere, kleinere vormfactor voor de bril mogelijk. De puck maakt draadloos verbinding met de bril en de EMG-polsband voor een naadloze ervaring.

Instellen en vergeten, toch?

Maar de achtergrond van de puck - zelfs als prototype - is betrokken, met een dramatisch verloop dat je niet zou vermoeden op basis van zijn uiterlijk.

"Als je zoiets bouwt, kom je op de grenzen van de fysica", legt directeur productmanagement Rahul Prasad uit. "De afgelopen 50 jaar heeft de Wet van Moore alles kleiner, sneller en energiezuiniger gemaakt. Het probleem is dat je nu tegen grenzen aanloopt van hoeveel warmte je kunt afvoeren, hoeveel batterij je kunt comprimeren en hoeveel antenneprestaties je in een object van een bepaald formaat kunt stoppen."

Achteraf gezien is het misschien 20/20, maar het potentieel van de puck was niet meteen duidelijk. Als je de eerste bent die iets bouwt, moet je alle mogelijkheden onderzoeken en geen middel onbeproefd laten. Hoe bouw je iets dat sommigen eerder als een ongewenst accessoire beschouwen dan als een essentieel onderdeel van het pakket?

"We wisten dat de puck een extra apparaat was waarvan we vroegen dat mensen hem bij zich zouden dragen," merkt product design engineering manager Jared Van Cleave op, "dus onderzochten we hoe we van de bug een functie konden maken."

Uiteindelijk heeft dat ethos zijn vruchten afgeworpen, want de puck perst veel rekenkracht (en nog meer door Meta ontworpen silicium op maat voor AI en machinewaarneming) in een klein formaat. Dit hielp Orion om van sciencefiction naar realiteit te gaan.

"Als je de puck niet zou hebben, zou je niet de ervaringen kunnen hebben die Orion in zijn vormfactor biedt - punt," zegt Prasad. "Een goede AR-ervaring vereist echt hoge prestaties: hoge framerates, extreem lage latentie, fijnmazig draadloos en energiebeheer, enz. De puck en de bril moeten samen worden ontworpen om heel nauw samen te werken, niet alleen op de app-laag, maar ook op de besturingssysteem-, firmware- en hardwarelaag. En zelfs als je een smartphone zou ontwerpen om samen te werken met een AR-bril, zouden de veeleisende prestatie-eisen de batterij van de telefoon uitputten en rekencapaciteit wegzuigen uit de gebruikssituaties van de telefoon. Aan de andere kant heeft de puck zijn eigen batterij met hoge capaciteit, een SoC met hoge prestaties en een speciaal door Meta ontworpen AI co-processor die geoptimaliseerd is voor Orion."

Natuurlijk is de puck niet van de ene op de andere dag ontworpen. Er waren jaren van iteratief werk voor nodig.

"We wisten niet hoe mensen met Orion zouden willen omgaan vanuit een invoerperspectief, er was niets dat we in de markt konden gebruiken", zegt productmanager Matt Resman. "Als je kijkt naar onze eerste brilprototypes, dat waren van die enorme headsets die drie of vier kilo wogen. En als je een product probeert te maken, is het heel moeilijk om de gebruikerservaring te begrijpen als je niet de juiste vormfactor hebt. Met de puck konden we heel snel prototypes maken om te begrijpen hoe mensen het zouden gebruiken."

De puck, die in de begindagen de codenaam Omega kreeg, werd in eerste instantie door het toenmalige Oculus Research bedacht als een Ω-vormige band die om de nek van de gebruiker zou gaan en zou worden vastgemaakt aan de bril...

... totdat ze door enkele nieuwe innovaties van onder andere het draadloze team van Reality Labs het snoer konden doorknippen. Dat maakte een meer handzame of zakbare / in-tas vormfactor mogelijk, wat veel mogelijkheden opende.

"Op dat moment was augmented reality bellen nog steeds een primaire use case", legt Van Cleave uit. "De puck was de plek waar de holografische video's werden verankerd. Je legde de puck op tafel met de sensorbank naar je toe, maakte een beeld van je en projecteerde vervolgens met wie je sprak op het oppervlak van de puck voor het gesprek."

"Orion gaat over mensen verbinden en ons samenbrengen," zegt Resman. "Een van de eerste concepten voor de puck was om te helpen dit gevoel van aanwezigheid bij andere mensen te creëren en deze rijkere vorm van communicatie mogelijk te maken."

"Het is anders dan alles wat je ooit hebt gezien - het apparaat heeft het potentieel om echt leuke en unieke interacties te creëren," voegt industrieel ontwerper Emron Henry toe. "De gebruikerservaring voelt een beetje als het ontketenen van een geest uit een fles, waarbij hologrammen naadloos tevoorschijn komen en weer oplossen in het apparaat."

Zoals je nu waarschijnlijk wel kunt zien, zit er meer potentieel in de puck dan wat er uiteindelijk als functie is toegevoegd. Naast de sensoren en camera's die zouden zijn gebruikt voor AR-oproepen, heeft de puck haptische en 6DOF-sensoren waarmee hij zou kunnen worden gebruikt als een tracked controller om virtuele objecten te selecteren en manipuleren en AR-games te spelen. Het team heeft ook capacitieve en geforceerde aanraakinvoer onderzocht, zodat de puck als gamepad kan dienen wanneer hij zowel in staande als liggende modus wordt vastgehouden.

"We spraken over de noodzaak om dit extra ding mee te nemen," zegt Van Cleave. "Hoe maken we het nuttiger? Er was een hele workstream omheen. En op een gegeven moment was de hypothese dat AR gaming deze killer use case zou worden."

Al vroeg wisten we dat we de mogelijkheden moesten onderzoeken om de puck dingen te laten doen die telefoons niet kunnen. Uiteindelijk zijn we uitgekomen bij het gebruik van oogbesturing, EMG en handbesturing voor AR-games, zoals Stargazer en Pong, maar in de begindagen van Orion hebben we verschillende demo's en games gemaakt die de puck als controller gebruikten.

0:00 / 0:00

0:00 / 0:00

0:00 / 0:00

Weergegeven verkenningen van de puck als 6DOF-controller voor AR-spellen zoals Pong.

"Omdat het geen telefoon is, hebben we veel ontwerpvrijheid", voegt Prasad toe. "Hij kan dikker zijn, ik kan hem ronder maken zodat hij goed in je hand ligt als controller. Het is ongelooflijk dat de puck eigenlijk kleiner is dan de gemiddelde telefoon, maar hij is krachtiger dan een telefoon omdat hij een door Meta ontworpen co-processor heeft voor AI en machinewaarneming."

Het team onderzocht hoe een AR-game van hoge kwaliteit zou kunnen verschillen van een MR- of consolegame. Dat betekende dat er verschillende mogelijkheden voor een AR-gamecontroller werden onderzocht, waaronder joysticks, fysieke knopindelingen, triggerknoppen en meer.

"We hebben uiteindelijk niets van dat spul gebouwd," merkt Van Cleave op. "We hebben er een prototype van gemaakt, maar we hebben het nooit volledig gebouwd. We wilden het simpel houden. We wilden deze zachte interfaces maken, maar geen fysieke, mechanische knoppen."

En hoewel de sensoren en haptics niet werden ingeschakeld in het prototype van het eindproduct, dienden ze een integrale functie tijdens de ontwikkeling, waarbij teams bugs konden rapporteren door simpelweg een paar keer op de bovenkant van het apparaat te tikken om een bugrapport te genereren.

Toen AI steeds meer in het middelpunt van de belangstelling kwam te staan als een van de belangrijkste gebruiksmogelijkheden, kwam computergebruik steeds meer in beeld. Uiteindelijk herbergt de puck de draadloze connectiviteit, rekenkracht en batterijcapaciteit van Orion - een enorme technische prestatie op zich - wat allemaal helpt om het gewicht en de vormfactor van de bril te verminderen en tegelijkertijd veel meer warmte af te voeren dankzij het oppervlak.

Tijdens de evolutie is één ding hetzelfde gebleven: er zit meer achter de puck dan je op het eerste gezicht zou denken. Door onconventionele ideeën te omarmen, konden onze teams onderzoeken, grenzen verleggen en bouwen aan de toekomst.

"We definiëren een categorie die nog niet helemaal bestaat," merkt Henry op. "Zoals je kunt verwachten bij R&D, waren er onderweg stops en starts. Hoe willen gebruikers omgaan met hologrammen? Willen ze liever een AR-afstandsbediening gebruiken of is hand-tracking, oogopslag en EMG voldoende voor input? Wat voelt intuïtief, wrijvingsarm, vertrouwd en nuttig?"

"In plaats van de puck te zien als gewoon een steen, vroegen we ons af wat we nog meer konden bieden om hem verder te onderscheiden van telefoons en te rechtvaardigen waarom je hem bij je zou willen dragen," erkent Resman. "Bieden de ruwe rekenkracht en het praktische ontwerp - dat hielp om een bril te vinden die je de hele dag kunt dragen - uiteindelijk genoeg waarde? Het is onze taak om deze vragen te helpen beantwoorden."

"In het begin hebben we ons gericht op wat wij kunnen doen dat een telefoon niet kan doen," voegt Van Cleave toe. "Telefoons moeten een scherm hebben, ze moeten een bepaalde fysieke knoppenindeling hebben die gebruikers verwachten. Wij hebben die beperkingen niet. Onze compute puck kan zijn wat we maar willen."

---

Bekijk voor meer informatie over Orion deze blogposts:

• Kristalhelder: onze Siliciumcarbide golfgeleiders en de weg naar de grote FoV van Orion
• Nul tot één: hoe ons aangepaste silicium en chips AR revolutioneren

TL;DR:

• Vandaag bij Maak verbinding metonthulde Mark Zuckerberg Orion - onze eerste echte AR-bril, met de codenaam Project Nazare.
• Met een toonaangevend gezichtsveld, siliciumcarbide lenzenOrion is ons meest geavanceerde en meest gepolijste productprototype tot nu toe.
• Nu gaan we verder met productoptimalisaties en het verlagen van de kosten, terwijl we toewerken naar een schaalbaar consumentenapparaat dat een revolutie teweeg zal brengen in de manier waarop mensen met de wereld omgaan.

---

"We bouwen AR-brillen."

Vijf eenvoudige woorden, vijf jaar geleden gesproken. Met hen hebben we onze visie op een toekomst waarin we niet langer de valse keuze hoeven te maken tussen een wereld van informatie binnen handbereik en de fysieke wereld om ons heen, in de schijnwerpers gezet.

En nu, vijf jaar later, nog eens vijf woorden die het spel opnieuw zullen veranderen:

We hebben AR-brillen gebouwd.

https://youtube.com/watch?v=2CJsnyS8u3c%3Fsi%3DTr77gOKEq3PnA7-k%26controls%3D0%3Fautoplay%3D0%26color%3Dwhite%26cc_lang_pref%3Den%26cc_load_policy%3D0%26enablejsapi%3D1%26frameborder%3D0%26hl%3Den%26rel%3D0%26origin%3Dhttps%253A%252F%252Fwww.meta.com

Bij Meta is onze missie eenvoudig: mensen de kracht geven om een gemeenschap op te bouwen en de wereld dichter bij elkaar te brengen. En bij Reality Labs bouwen we tools waarmee mensen zich altijd en overal verbonden voelen. Daarom werken we aan het volgende computerplatform dat mensen centraal stelt, zodat ze meer aanwezig, verbonden en bevoegd zijn in de wereld.

Ray-Ban Meta bril hebben aangetoond hoe krachtig het is om mensen handsfree toegang te geven tot belangrijke delen van hun digitale leven vanuit hun fysieke leven. We kunnen praten met een slimme AI-assistent, contact leggen met vrienden en de momenten vastleggen die er toe doen - en dat alles zonder ooit een telefoon tevoorschijn te hoeven halen. Deze stijlvolle bril past naadloos in ons dagelijks leven en mensen zijn er helemaal weg van.

Maar terwijl Ray-Ban Meta een geheel nieuwe categorie van beeldschermloze brillen met AI opende, droomt de XR-industrie al lang van een echte AR-bril-een product dat de voordelen van een groot holografisch beeldscherm en gepersonaliseerde AI-hulp combineert in een comfortabele, stijlvolle, de hele dag draagbare vormfactor.

En vandaag hebben we die droom dichter bij de werkelijkheid gebracht met de onthulling van Orionwaarvan wij denken dat het de meest geavanceerde AR-bril is die ooit is gemaakt. Het is misschien wel het meest uitdagende apparaat voor consumentenelektronica sinds de smartphone. Orion is het resultaat van baanbrekende uitvindingen op vrijwel elk gebied van de moderne informatica - voortbouwend op de het werk dat we de afgelopen tien jaar bij Reality Labs hebben gedaan. Het zit boordevol geheel nieuwe technologieën, waaronder het meest geavanceerde AR-scherm ooit en siliconen op maat waarmee krachtige AR-ervaringen kunnen worden uitgevoerd op een bril met een fractie van de kracht en het gewicht van een MR-headset.

Het Orion-invoersysteem combineert stem-, oog- en handtracering naadloos met een EMG-polsband waarmee je kunt vegen, klikken en scrollen terwijl je arm comfortabel naast je zij blijft rusten, zodat je aanwezig kunt blijven in de wereld en bij de mensen om je heen terwijl je interactie hebt met rijke digitale content.

Vanaf vandaag tijdens Connect en het hele jaar door, geven we toegang tot ons Orion productprototype aan Meta-werknemers en een select, extern publiek, zodat ons ontwikkelingsteam kan leren, itereren en bouwen aan onze AR-brillen voor consumenten, die we in de nabije toekomst willen gaan leveren.

Waarom een AR-bril?

Er zijn drie belangrijke redenen waarom AR-brillen de sleutel zijn tot het ontsluiten van de volgende grote sprong in mensgericht computergebruik.

1. Ze maken digitale ervaringen mogelijk die niet gebonden zijn aan de beperkingen van een smartphonescherm. Met grote holografische displays kun je de fysieke wereld als canvas gebruiken en 2D- en 3D-inhoud en -ervaringen plaatsen waar je maar wilt.
2. Ze integreren naadloos contextuele AI die de wereld om je heen kan voelen en begrijpen om te anticiperen en proactief in te spelen op je behoeften.
3. Ze zijn licht van gewicht en geweldig voor zowel binnen als buiten - en ze laten mensen elkaars echte gezicht, echte ogen en echte uitdrukkingen zien.

Dat is de noordelijke ster waar onze industrie naartoe heeft gewerkt: een product dat het gemak en de directheid van wearables combineert met een groot scherm, invoer met hoge bandbreedte en gecontextualiseerde AI in een vormfactor die mensen prettig vinden om in hun dagelijks leven te dragen.

Compacte vorm, complexe uitdagingen

Jarenlang hebben we voor een valse keuze gestaan: ofwel virtual en mixed reality headsets die diepe, meeslepende ervaringen mogelijk maken in een omvangrijke vormfactor, ofwel brillen die ideaal zijn om de hele dag te gebruiken maar geen rijke visuele apps en ervaringen bieden omdat een groot beeldscherm en bijbehorende rekenkracht ontbreken.

Maar we willen het allemaal, zonder compromissen. Jarenlang hebben we hard gewerkt om de ongelooflijke ruimtelijke ervaringen van VR- en MR-headsets te combineren met het miniaturiseren van de technologie die nodig is om deze ervaringen te leveren in een lichtgewicht, stijlvolle bril. Het vinden van de juiste vormfactor, het leveren van holografische displays, het ontwikkelen van meeslepende AR-ervaringen en het creëren van nieuwe paradigma's voor mens-computerinteractie (HCI) - en dat allemaal in één samenhangend product - is een van de moeilijkste uitdagingen waar onze branche ooit voor heeft gestaan. Het was zo'n uitdaging dat we dachten dat we minder dan 10 procent kans hadden om het tot een goed einde te brengen.

Tot nu.

Een baanbrekend beeldscherm in een ongeëvenaarde vormfactor

Met ongeveer 70 graden heeft Orion het grootste gezichtsveld in de kleinste AR-bril tot nu toe. Dat gezichtsveld ontsluit echt meeslepende gebruiksmogelijkheden voor Orion, van multitasking-vensters en entertainment op groot scherm tot levensgrote hologrammen van mensen - allemaal digitale content die naadloos overgaat in je kijk op de fysieke wereld.

Voor Orion was het gezichtsveld onze heilige graal. We botsten tegen de wetten van de fysica op en moesten lichtstralen buigen op manieren die ze van nature niet buigen - en we moesten dat doen met een vermogen gemeten in milliwatt.

In plaats van glas, we hebben de lenzen gemaakt van siliciumcarbideeen nieuwe toepassing voor AR-brillen. Siliciumcarbide is ongelooflijk licht, het resulteert niet in optische artefacten of strooilicht en het heeft een hoge brekingsindex - allemaal optische eigenschappen die essentieel zijn voor een groot gezichtsveld. De golfgeleiders zelf hebben echt ingewikkelde en complexe 3D-structuren op nanoschaal om licht te verspreiden op de manieren die nodig zijn om dit gezichtsveld te bereiken. En de projectoren zijn uLED's - een nieuw soort weergavetechnologie die superklein en extreem energiezuinig is.

Orion is onmiskenbaar een bril, zowel qua uiterlijk als qua gevoel, compleet met transparante glazen. In tegenstelling tot MR-headsets of andere AR-brillen kun je nog steeds elkaars echte ogen en uitdrukkingen zien, zodat je aanwezig kunt zijn en de ervaring kunt delen met de mensen om je heen. Er waren tientallen innovaties nodig om het industriële ontwerp terug te brengen tot een eigentijdse bril die je elke dag met gemak kunt dragen. Orion is een huzarenstukje op het gebied van miniaturisatie: de componenten zitten op een fractie van een millimeter. En we zijn erin geslaagd om zeven piepkleine camera's en sensoren in de montuurranden in te bouwen.

We moesten de optische precisie handhaven op een tiende van de dikte van een menselijke haar. En het systeem kan minuscule bewegingen detecteren, zoals het uitzetten of krimpen van de frames bij verschillende kamertemperaturen, en vervolgens digitaal corrigeren voor de noodzakelijke optische uitlijning, en dat alles binnen milliseconden. We hebben de frames gemaakt van magnesium - hetzelfde materiaal dat wordt gebruikt in F1 raceauto's en ruimtevaartuigen - omdat het licht en toch stijf is, zodat het de optische elementen uitgelijnd houdt en warmte efficiënt afvoert.

Verwarming en koeling

Toen we eenmaal het beeldscherm hadden gekraakt (geen woordspeling bedoeld) en de fysicaproblemen hadden overwonnen, moesten we de uitdaging aangaan van echt krachtige rekenkracht naast een echt laag energieverbruik en de noodzaak van warmteafvoer. In tegenstelling tot de MR-headsets van tegenwoordig kun je geen ventilator in een bril stoppen. Dus moesten we creatief zijn. Veel van de materialen die worden gebruikt om Orion te koelen lijken op de materialen die NASA gebruikt om satellieten in de ruimte te koelen.

We bouwden Zeer gespecialiseerde siliconen op maat die extreem energiezuinig is en geoptimaliseerd voor onze AI, machinewaarneming en grafische algoritmen. We hebben meerdere aangepaste chips gebouwd en tientallen zeer aangepaste silicium IP-blokken in die chips. Hierdoor kunnen we de algoritmen die nodig zijn voor het volgen van handen en ogen en voor gelijktijdige lokalisatie en mapping (SLAM) technologie die normaal honderden milliwatts aan stroom verbruikt - en dus een overeenkomstige hoeveelheid warmte genereert - terugbrengen tot slechts enkele tientallen milliwatts.

En ja, silicium op maat blijft een cruciale rol spelen in de productontwikkeling bij Reality Labs, ondanks wat u misschien elders hebt gelezen. 😎

Moeiteloze EMG

Elk nieuw computerplatform brengt het volgende met zich mee een paradigmaverschuiving in de manier waarop we met onze apparaten omgaan. De uitvinding van de muis maakte de weg vrij voor de grafische gebruikersinterfaces (GUI's) die onze wereld vandaag domineren, en smartphones begonnen pas echt aan te slaan met de komst van het aanraakscherm. En dezelfde regel geldt voor wearables.

We hebben gesproken over ons werk met elektromyografie of EMGal jaren, gedreven door onze overtuiging dat invoer voor AR-brillen snel, handig, betrouwbaar, subtiel en sociaal acceptabel moet zijn. En nu is dat werk klaar voor prime time.

Het invoer- en interactiesysteem van Orion combineert stem-, oog- en handtracking naadloos met een EMG-polsband waarmee je moeiteloos kunt vegen, klikken en scrollen.

Het werkt en voelt als magie. Stel je voor dat je 's ochtends tijdens het joggen een foto maakt met een simpele tik van je vingertoppen of dat je door menu's navigeert met nauwelijks waarneembare bewegingen van je handen. Onze polsband combineert een hoogwaardig textiel met ingebouwde EMG-sensoren om de elektrische signalen te detecteren die worden gegenereerd door zelfs de kleinste spierbewegingen. Een on-device ML-processor interpreteert deze EMG-signalen om invoergebeurtenissen te produceren die draadloos naar de bril worden verzonden. Het systeem past zich aan jou aan, dus het wordt na verloop van tijd steeds beter in het herkennen van de meest subtiele gebaren. En vandaag delen we meer over onze steun aan extern onderzoek gericht op uitbreiding van de mogelijkheden voor gelijkheid en toegankelijkheid van EMG-polsbandjes.

Maak kennis met de Wireless Compute Puck

Echte AR-brillen moeten draadloos zijn en ze moeten ook klein zijn.Dus bouwden we een draadloze rekenmodule voor Orion. Het ontlast de bril enigszins, waardoor de batterij langer meegaat en de vormfactor beter is, compleet met lage latentie.

Op de bril worden alle algoritmes voor het volgen van handen, ogen, SLAM en gespecialiseerde AR-wereldafbeeldingen uitgevoerd, terwijl de app-logica op de puck draait om de bril zo licht en compact mogelijk te houden.

De puck heeft twee processors, waaronder een die speciaal hier bij Meta is ontworpen, en hij levert de rekenkracht die nodig is voor grafische rendering met lage latentie, AI en wat extra machinewaarneming.

En omdat hij klein en gestroomlijnd is, kun je de puck gemakkelijk in je tas of zak stoppen en gewoon doorgaan met je werk - zonder verplichtingen.

AR Ervaringen

Natuurlijk, zoals met elk stukje hardware, is het alleen zo goed als de dingen die je kunt doen ermee. En hoewel het nog vroeg is, zijn de ervaringen die Orion biedt een opwindende glimp van wat komen gaat.

https://youtube.com/watch?v=HkdSv3QPhNw%3F%26controls%3D0%3Fautoplay%3D0%26color%3Dwhite%26cc_lang_pref%3Den%26cc_load_policy%3D0%26enablejsapi%3D1%26frameborder%3D0%26hl%3Den%26rel%3D0%26origin%3Dhttps%253A%252F%252Fwww.meta.com

We hebben onze slimme assistent, Meta AIdraait op Orion. Het begrijpt waar je naar kijkt in de fysieke wereld en kan je helpen met nuttige visualisaties. Orion maakt gebruik van hetzelfde Llama-model dat de huidige AI-ervaringen op de Ray-Ban Meta smart glasses aandrijft, plus aangepaste onderzoeksmodellen om potentiële gebruikscases voor toekomstige wearables te demonstreren.

Je kunt onderweg een handsfree videogesprek voeren om in realtime bij te praten met vrienden en familie, en je kunt verbonden blijven met WhatsApp en Messenger om berichten te bekijken en te versturen. Je hoeft je telefoon niet tevoorschijn te halen, hem te ontgrendelen, de juiste app te vinden en je vriend te laten weten dat je te laat bent voor het eten - je kunt het allemaal via je bril doen.

https://youtube.com/watch?v=el7lUVvu8Bo%3F%26controls%3D0%3Fautoplay%3D0%26color%3Dwhite%26cc_lang_pref%3Den%26cc_load_policy%3D0%26enablejsapi%3D1%26frameborder%3D0%26hl%3Den%26rel%3D0%26origin%3Dhttps%253A%252F%252Fwww.meta.com

Je kunt gedeelde AR-games spelen met familie aan de andere kant van het land of met je vriend aan de andere kant van de bank. En met het grote scherm van Orion kun je multitasken met meerdere vensters om dingen gedaan te krijgen zonder je laptop mee te hoeven slepen.

De ervaringen die vandaag beschikbaar zijn op Orion zullen helpen bij het uitstippelen van de roadmap voor onze AR-brillenlijn voor consumenten in de toekomst. Onze teams blijven itereren en nieuwe meeslepende sociale ervaringen bouwen, samen met onze ontwikkelaarspartners, en we kunnen niet wachten om te delen wat er daarna komt.

Een doelgericht productprototype

Hoewel Orion niet bij de consument terecht zal komen, vergis je je niet: Dit is niet een onderzoeksprototype. Het is het meest gepolijste productprototype dat we ooit hebben ontwikkeld en het is echt representatief voor iets dat zou naar de consument te brengen. In plaats van ons te haasten om het in de schappen te leggen, hebben we besloten om ons eerst te richten op interne ontwikkeling, waardoor we snel kunnen blijven bouwen en de grenzen van de technologie en ervaringen kunnen blijven verleggen.

En dat betekent dat we sneller tot een nog beter consumentenproduct zullen komen.

Wat komt hierna

Twee grote obstakels hebben lang in de weg gestaan van mainstream AR-brillen voor consumenten: de technologische doorbraken die nodig zijn om een groot scherm te leveren in een compacte brilvormfactor en de noodzaak van nuttige en boeiende AR-ervaringen die op die bril kunnen draaien. Orion is een enorme mijlpaal en levert voor het eerst echte AR-ervaringen op redelijk stijlvolle hardware.

Nu we Orion met de wereld hebben gedeeld, concentreren we ons op een paar dingen:

• De AR-weergavekwaliteit afstemmen om de beelden nog scherper te maken
• Optimaliseren waar we kunnen om de vormfactor nog kleiner te maken
• Op schaal bouwen om ze betaalbaarder te maken

In de komende jaren kunt u van ons nieuwe apparaten verwachten die voortbouwen op onze R&D-inspanningen. En een aantal innovaties van Orion zijn uitgebreid naar onze huidige consumentenproducten en onze toekomstige product roadmap. We hebben een aantal van onze ruimtelijke waarnemingsalgoritmen geoptimaliseerd, die draaien op zowel Meta Quest 3S en Orion. Hoewel het systeem voor oogbesturing en subtiele gebareninvoer oorspronkelijk is ontworpen voor Orion, zijn we van plan om het in toekomstige producten te gebruiken. En we onderzoeken ook het gebruik van EMG-polsbandjes in toekomstige consumentenproducten.

Orion is niet alleen een venster op de toekomst, het is een blik op de reële mogelijkheden die vandaag binnen handbereik liggen. We hebben het gebouwd in ons streven naar wat we het beste kunnen: mensen helpen om met elkaar in contact te komen. Van Ray-Ban Meta brillen tot Orion, we hebben gezien hoe goed het kan zijn om mensen meer aanwezig en bevoegd te laten zijn in de fysieke wereld, zelfs terwijl ze gebruik maken van alle extra rijkdom die de digitale wereld te bieden heeft.

Wij vinden dat je niet zou moeten hoeven kiezen tussen die twee. En met het volgende computerplatform hoeft dat ook niet.

---

Bekijk voor meer informatie over Orion deze blogposts:

• De Compute Puck van Orion: Het verhaal achter het apparaat dat onze AR-bril mogelijk maakte
• Nul tot één: hoe ons aangepaste silicium en chips AR revolutioneren
• Kristalhelder: onze Siliciumcarbide golfgeleiders en de weg naar de grote FoV van Orion