In 2017, Reality Labs Chief Scientist Michael Abrashgesteund door Meta Founder & CEO Mark Zuckerberg, richtte een nieuw, geheim team op binnen het toenmalige Oculus Research om de basis te leggen voor het volgende computerplatform. Hun herculische taak: Een op maat gemaakte siliciumoplossing maken die de unieke eisen van toekomstige augmented reality-bril-een technisch hoogstandje waarbij elk onderdeel opnieuw moest worden ontworpen voor een wearable die de hele dag meegaat AR-bril vormfactor die gewoon nog niet bestond.

Vooraanzicht van Orion AR bril prototype.

Compacte vorm, aanzienlijke probleemruimte

Het Custom Silicon-team groeide uit van slechts een paar onderzoekers tot honderden mensen aan de productkant en ging ervan uit dat AR-brillen niet konden vertrouwen op het silicium dat beschikbaar is in de smartphones van vandaag. En het is een vooronderstelling die wordt bevestigd door de verschillende aangepaste chips in OrionOns eerste prototype van een echte AR-bril.

"Het schip bouwen terwijl het de haven uitvaart, dat was precies wat we aan het doen waren", zegt Jeremy Snodgrass, Advanced Technologies Strategy Director. "We moesten een bescheiden team uitbreiden en tegelijkertijd deze chips bouwen. Het was fascinerend om te zien hoe het leiderschap nieuwe mensen aan boord haalde en tegelijkertijd een cultuur ontwikkelde waarin wendbaarheid centraal stond. Niets was het probleem van iemand anders. Je pakte een roeispaan en begon te roeien, zelfs als dat niet precies was waarvoor je was aangenomen. Het was een heel opwindende tijd."

"Bijna alles aan Orion was in veel opzichten nieuw voor de wereld," beaamt Display Architecture Technical Director Mike Yee. "Sommige ideeën waren er al, maar niemand had het onderzoeksproject op zich genomen om daadwerkelijk een AR-bril te bouwen die de hele dag draagbaar is."

Het team moest een meeslepende AR-ervaring leveren met zo min mogelijk energieverbruik. De vormfactor van de bril kan maar zoveel warmte afvoeren en er kan maar zoveel batterijcapaciteit in. Als gevolg daarvan zijn de ervaringen die op de bril kunnen worden geleverd volledig afhankelijk van het silicium. Met andere woorden, als je de thermische en batterijcapaciteiten constant houdt, is de enige manier om een bepaalde ervaring te leveren het optimaliseren van het silicium.

"Het ontwerpen van een nieuwe architectuur voor Orion vereiste van het team dat het niet alleen bestaande technologieën zoals draadloze en beeldschermen agressief pushte, maar ook risico's nam op het gebied van nieuwe technologieën," zegt Director of Product Management Neeraj Choubey. "Het team ontwikkelde bijvoorbeeld een machine learning (ML) versneller zonder een duidelijke use case op dat moment, gedreven door de sterke overtuiging dat ML steeds belangrijker zou worden in Meta's producten. Op Orion wordt elke ML-versneller gebruikt, en in sommige gevallen zijn ze overtekend, voor functies zoals het volgen van ogen en handen. Op dezelfde manier ontwikkelde het team aangepaste compressieprotocollen om bandbreedte en stroomverbruik te verminderen wanneer gegevens van de Orion naar de Orion werden verplaatst. puck berekenen naar het beeldscherm. Het ontwikkelen van silicium op maat om de vormfactordoelen van Orion te bereiken vereiste zowel een tolerantie voor hoge dubbelzinnigheid als nauwgezette aandacht voor details om een ongelooflijk complexe systeemarchitectuur te leveren."

"De grootste uitdaging die we hadden was het leveren van de 3D world-locked rendered graphics, samen met spatialized audio die zo wordt gerenderd dat het lijkt alsof het uit een virtueel object komt," merkt Snodgrass op. "We moesten al deze elektronica in de thermische capaciteit en de fysieke ruimte passen, en dan ook nog op de batterij laten werken zodat het niet te heet werd. En we moesten dat allemaal doen in een echte brilvorm - geen groot vizier zoals je meestal ziet in deze categorie."

"We wisten hoe we de benodigde rekenkracht konden leveren om onze visie voor Orion tot leven te brengen, maar we stonden voor een ontmoedigende taak: het stroomverbruik met een factor 100 verminderen," zegt Robert Shearer, directeur van SoC Solutions. "Hiervoor moesten we de grenzen van siliciumontwerp verleggen, methodologieën uit verschillende hoeken van de industrie omarmen - van IoT tot high-performance computing - en nieuwe benaderingen bedenken om de kloven te overbruggen. Onze industriële partners dachten dat we gek waren, en misschien hadden ze niet helemaal ongelijk. Maar dat is precies wat er nodig was: de bereidheid om conventionele wijsheid uit te dagen en alles opnieuw te bekijken. Het bouwen van een computer die de virtuele en fysieke wereld naadloos in elkaar laat overgaan vereist een diepgaand begrip van context, veel meer dan wat bestaande rekenplatforms kunnen bieden. In wezen hebben we de manier waarop computers met mensen communiceren opnieuw uitgevonden, wat betekende dat we de manier waarop we silicium bouwen vanaf de grond opnieuw moesten uitvinden."

Orion buitencomponenten.

De magie van microleds

Er waren momenten waarop dingen achterliepen op schema of er een schijnbaar onoverkomelijke technische uitdaging opdook en het moeilijk was om de vaart erin te houden en het moreel hoog te houden. Maar het team was veerkrachtig en vond wegen om obstakels te omzeilen of ze gewoonweg neer te halen.

Neem bijvoorbeeld het beeldscherm van Orion. Het siliciumteam was verantwoordelijk voor het silicium in de displayprojector die in de hoeken van de bril zit.

"Voor die projectoren was het een open vraag of we de microLED's in een array met voldoende efficiëntie en helderheid konden krijgen om een breedbeeldscherm te implementeren," zegt Snodgrass. "Er was enorme twijfel of we dat konden - of het mogelijk was in het tijdsbestek dat we overwogen - omdat dit een zeer opkomende technologie was."

"We realiseerden ons al heel vroeg dat we veel van de paradigma's van productontwikkeling moesten herzien," voegt Yee toe. "De hoeveelheid licht die je nodig hebt om een bruikbaar beeldscherm te maken is een stuk helderder voor AR-brillen, omdat je als draagbaar beeldscherm concurreert met de zon. We hebben dus energieniveaus nodig die daarmee kunnen wedijveren - dat is tenminste het doel. We zijn er nog niet helemaal, maar dat is een groot deel ervan. En dat betekent dat je lichtbronnen voor een beeldscherm nodig hebt die dat kunnen en dat je schakelingen nodig hebt die dat kunnen regelen. En tegelijkertijd moet je het klein maken."

Aangepast silicium dat de µLED's van Orion aanstuurt.

Hoewel microLED's de meest geschikte lichtbron leken voor de projectoren, hielp silicium bij het ontsluiten van hun potentieel.

"Bij beeldschermen hebben we het over pixelafstanden, dat zijn de afstanden tussen de middelpunten van aangrenzende pixels", legt Yee uit. "Voor tv's zijn die afstanden honderden microns. In je telefoon zijn het vele, vele tientallen microns. En we moesten dat terugbrengen tot in de enkele cijfers. De enige bekende halfgeleiderfabricage die dat kon, was silicium."

Het werk werd bemoeilijkt door het feit dat de achterkant van het scherm uit een stuk silicium moest bestaan, en niemand ter wereld had silicium voor microLED's ontworpen.

"Op dat moment hadden de onderzoeksteams allemaal vloeibare kristallen op siliciumschermen hergebruikt om er microLED's op te plaatsen," zegt Yee. "Niemand had ooit eerder een backplane voor microLED's ontworpen. En we stonden voor een vrij unieke uitdaging omdat het een optisch onderdeel is. Het moet plat zijn. Je kunt er geen krassen op maken. Het moet al deze eigenschappen hebben, want als je door de golfgeleiders en door de projectoren kijkt, kijk je letterlijk naar de bovenkant van het stuk silicium."

Het siliciumteam ontwikkelde een complexe reeks testplatforms voor deze microLED-schermen waarbij nauw moest worden samengewerkt met onze wereldwijde leveranciers. De microLED's hebben een wereldwijde voetafdruk: ze komen van de ene plek en worden vervolgens overgebracht naar een andere locatie waar ze op een wafer worden geplaatst. De wafers werden vervolgens verscheept om in een bepaalde vorm te worden gesneden, gevolgd door een reis naar de VS om met een andere wafer te worden verbonden, waarna ze weer over de hele wereld werden verscheept om de eigenlijke module te bouwen en te testen. Het was een enorm ingewikkeld proces en het siliciumteam ontwikkelde testvoertuigen om elke stap te testen.

Het team moest ook een manier vinden om stroom te leveren aan microLED-schermen in het kleine volume van de hoeken van de bril. Ons analoge team ontwikkelde een aangepaste chip voor energiebeheer die in dat volume paste.

"Stroomvoorziening is cruciaal voor dergelijke draagbare apparaten met een kleine vormfactor, waar de grootte van de batterij beperkt is en de ruimte beperkt," merkt Jihong Ren, directeur Analoge en Gemengde Signaalsystemen, op. "Onze op maat gemaakte Power Management IC-oplossing maakt gebruik van geavanceerde technologieën om de energie-efficiëntie voor onze specifieke werklast op systeemniveau te optimaliseren, en dat alles binnen de beschikbare ruimtebeperkingen. Om deze optimale oplossing te bereiken was een nauwe interdisciplinaire samenwerking nodig met onze mechanische, elektrische, SoC-, μLED- en thermische teams, zodat een naadloze integratie van alle componenten werd gegarandeerd en de algehele prestaties werden gemaximaliseerd."

"Dat was niet alleen een verbazingwekkende prestatie op het gebied van engineering, maar ook op het gebied van organisatiemanagement: een team samenbrengen, werken in verschillende tijdzones en met al die verschillende leveranciers," voegt Snodgrass toe. "In sommige opzichten was het organisatorisch managen van dat alles net zo'n uitdaging als het voldoen aan de technische specificaties."

"Niet alleen het ontwerp is aangepast, ook het hele fabricageproces is aangepast," voegt Yee toe. "We hebben het geluk dat we een aantal geweldige partners in de industrie hebben die dit mogelijk hebben gemaakt. Zij zien het langetermijnpotentieel van AR-schermen als geheel en zeker Meta's visie daarop. Ze zijn dus bereid geweest om met ons samen te werken om die aanpassingen en optimalisaties mogelijk te maken om dat beeldscherm mogelijk te maken."

Orion AR-bril.

Iteratie ontmoet versnelling

Er was een nauwe terugkoppeling tussen het siliciumteam en de briljante geesten in Reality Labs Research en XR Tech die algoritmen ontwikkelden. De laatstgenoemde teams leverden deze algoritmen, die de eerstgenoemde teams vertaalden naar hardware, waardoor de overhead van software die op een algemene CPU draaide werd weggenomen. Dat betekende dat de algoritmes op minder stroom zouden draaien, maar het betekende ook dat het siliciumteam vast zat. Als de algoritmen eenmaal gehard waren, konden ze geen wijzigingen meer aanbrengen.

"Stel dat XR Tech een bepaalde discipline algoritmisch aan het ontwikkelen was", legt Silicon Accelerators Architecture and Algorithms Director Ohad Meitav uit. "Zij zijn eigenaar van de algoritmische stack en de prestaties ervan. Mijn team zou dan, in samenwerking met hen, beslissen hoe het algoritme te versnellen, hoe delen van het algoritme te harden en hoe het daadwerkelijk in de hardware te zetten op een manier die super efficiënt draait. Vervolgens paste XR Tech hun softwarestack aan om rekening te houden met de hardware. Het is een zeer iteratief proces."

Een ander succesverhaal is de samenwerking van het siliconenteam met Reality Labs Research om een nieuw reprojectiealgoritme te ontwikkelen.

"We hadden het reprojectiealgoritme nodig om een groot aantal verschillende vervormingen en correcties te ondersteunen," merkt Silicon Architect Steve Clohset op. "Het algoritme dat RL-R ontwikkelde en dat we uiteindelijk gebruikten, wordt niet gebruikt in algemene computertoepassingen. En tot op de dag van vandaag blijkt het een behoorlijk krachtig hulpmiddel te zijn."

Nadat de algoritmen waren gehard en de hardware was geoptimaliseerd, stelde het silicon bring-up team de aangepaste chips op de proef.

"De op maat gemaakte siliciumchipset van Orion zit boordevol complexiteit", zegt Senior Director of End-to-End System and Infrastructure Liping Guo. "Het in korte tijd ontwikkelen en valideren van standalone chips en de interoperabiliteit daartussen is een ongelofelijke uitdaging. Gelukkig werken we binnen een verticaal geïntegreerde omgeving waar Reality Labs eigenaar is van de hele stack, van de silicium en low-level firmware tot het besturingssysteem, de software en de upper-layer ervaringen. We hebben hier optimaal van geprofiteerd, nauw samengewerkt met onze cross-functionele partners en onze cross-stack integratie verschoven naar het stadium van siliciumvalidatie. Orion was onze pilot voor deze methodologie - we hebben onze shift-left spieren ontwikkeld en een sterke basis gelegd voor Reality Labs om in de toekomst alle voordelen van silicium op maat te benutten."

En na het opstarten was het tijd om te optimaliseren voor software.

"Er is een iteratief proces waarbij je begint met een volledig ongeoptimaliseerde softwarestack om alles op te starten en te laten werken", zegt Snodgrass. "En dan ga je één voor één door de subsystemen en begin je de software te optimaliseren voor die specifieke hardware, inclusief het verminderen van de hoeveelheid geheugen die de software gebruikt. De hardware kan prachtig ontworpen zijn, maar je zult de theoretische energie-efficiëntie niet bereiken tenzij je evenveel of meer tijd investeert om de software optimaal te laten profiteren van de hardware. Dus dat is het verhaal van Orion: hardware en software tot het uiterste geoptimaliseerd. Laat geen picojoule of milliwatt achter."

En Orion mag dan wel een prototype zijn, het werk dat erin is gestoken heeft een aanzienlijk potentieel om de routekaart van Meta te beïnvloeden.

"We zien de silicium IP's die we bouwen als platformen in de zin dat dit gewaardeerde IP's zijn die we van de ene generatie of het ene product op het andere verbeteren," voegt Meitav toe. "Alle computer vision en grafische algoritmen zijn niet alleen voor Orion gemaakt. Ze worden gebruikt voor toekomstige producten."

Ons siliciumwerk houdt in dat we nieuwe oplossingen creëren en nauw samenwerken met partners. De invloed van het siliconeteam reikt zelfs verder dan Orion en omvat zowel Ray-Ban Meta bril en Meta Quest headsets ook al gebruiken ze allebei chips van derden. Het siliciumteam deelt hun werk regelmatig met het mixed reality-team en laat zien wat er mogelijk is op het gebied van energie-efficiëntie. Het MR-team deelt deze bevindingen vervolgens met partners zoals Qualcomm om te helpen bij toekomstige chipontwerpen. En omdat het siliciumteam dezelfde kant-en-klare digitale signaalprocessors (DSP's) gebruikt als de Ray-Ban Meta-brillen, hebben ze de geleerde lessen en best practices kunnen delen bij het implementeren en schrijven van code voor die DSP's om de audio-ervaring van onze AI-brillen te verbeteren.

En die kennisdeling gaat beide kanten op: Het MR-team heeft het siliciumteam inzichten gegeven in zaken als Asynchrone tijdverschuiving en Toepassing SpaceWarp in productie.

"Wat iemand in de productie doet is veel interessanter dan iets wat wij met een prototype konden doen," zegt Clohset. "We probeerden zoveel mogelijk te integreren wat zij deden met warpings."

Ambiguïteit < Ambitie

Omdat Orion echt nul tegen één was, hadden de betrokken teams noodgedwongen te maken met een buitensporige hoeveelheid ambiguïteit.

"Met Orion kan ik niet genoeg benadrukken hoe ingewikkeld de dubbelzinnigheid de dingen maakte," zegt Clohset. "Als je bijvoorbeeld een computer maakt, heb je over het algemeen een goed idee van wat het scherm zal worden. Maar we wisten niet wat de golfgeleider zou worden, dus moesten we verschillende golfgeleiders uitproberen en een mechanisme bedenken dat het slechtste scenario aankon omdat we niet wisten waar de dingen terecht zouden komen. Eén optimalisatie hier zou convergeren met al die andere keuzes en je zou eindigen met een matrix van al die verschillende dingen die je moest ondersteunen en proberen te valideren omdat je niet wist waar het product over zes maanden zou landen."

Het is belangrijk om te weten dat Orion niet zomaar een AR-bril is, maar een driedelige constellatie van hardware. Veel van de verwerking gebeurt op de puck berekenenwaardoor een sterke verbinding met de bril nodig is. Voeg de oppervlakte EMG polsband en de systeemarchitectuur wordt nog ingewikkelder.

"Dat was een enorme uitdaging voor de teams om op te lossen, en alles werkt gewoon", zegt Snodgrass. "Het was een geweldige samenwerking tussen het siliciumteam, het draadloze team en softwareteams in de hele organisatie."

De rekenmachine van Orion.

"Met Orion hebben we een heel team met een grote diversiteit aan ingenieurs samengesteld en zij waren in staat om een gloednieuwe pijplijn te ontwerpen," voegt Clohset toe. "Het is een pijplijn die zes vrijheidsgraden van beweging van objecten in de 3D-ruimte afhandelt. Het gebruikt zijn eigen aangepaste display driver. We moesten echt unieke beeldkwaliteitscorrecties uitvoeren. En ik denk dat de uitdaging voor ons was dat, omdat dit een nul-op-één project was, er geen bestaande specs waren om te tweaken en te verbeteren. Alles hier is compleet nieuw, dus we hadden speelruimte om alles te doen."

Net als de puck heeft een aantal sluimerende functies verborgen onder het oppervlak, maar het aangepaste silicium overtreft ook zijn gewicht. Hoewel Orion de gebruiker niet toestaat om foto's te maken met zijn RGB-camera's, kan het silicium dit wel ondersteunen, evenals codec avatars. En net zoals de puck hielp bij het ontsluiten van een echte bril door een groot deel van de rekenkracht over te nemen, bleek Orion's aangepaste silicium een noodzakelijk stukje van de AR-puzzel.

"Om een nul-op-één ervaring zoals een AR-bril tot leven te brengen, heb je silicium op maat nodig," legt Snodgrass uit. "Na verloop van tijd, als er een markt is, zullen siliciumleveranciers producten ontwikkelen om aan de vraag te voldoen. Maar voor zero-to-one kun je niet zomaar iets van de plank nemen dat bedoeld is voor een ander product en het in een nieuwe mal passen. Je moet investeren in iets op maat. En om die zero-to-one ervaringen tot leven te brengen, heb je een brede samenwerking nodig tussen softwarepartners, industriële ontwerpers, werktuigbouwkundigen en meer."

"Door los te komen van traditionele denkmodellen, hebben we iets echt opmerkelijks gecreëerd," voegt Shearer toe. "Wij geloven dat dit computerplatform de toekomst van de technologie vertegenwoordigt - een platform dat een revolutie teweeg zal brengen in de manier waarop we leven, werken en met elkaar omgaan. We vinden het geweldig om voorop te lopen in deze innovatie, de grenzen te verleggen van wat mogelijk is en de loop van de geschiedenis te helpen bepalen."

Bekijk voor meer informatie over Orion deze blogposts:

• Kristalhelder: onze Siliciumcarbide golfgeleiders en de weg naar de grote FoV van Orion
• De Compute Puck van Orion: Het verhaal achter het apparaat dat onze AR-bril mogelijk maakte

Toen we voor het eerst demo's begonnen te geven van Orion Begin dit jaar moest ik denken aan een zin die je vaak hoort bij Meta - hij stond zelfs in onze eerste brief aan potentiële aandeelhouders in 2012: Code wint argumenten. We hebben waarschijnlijk evenveel geleerd over deze productruimte uit een paar maanden van levensechte demo's dan uit de jaren werk die nodig waren om ze te maken. Er is gewoon geen alternatief voor iets echt bouwen, het in de handen van mensen leggen en leren van hoe ze erop reageren.

Orion was niet ons enige voorbeeld dit jaar. Onze mixed reality-hardware en AI-bril hebben beide een nieuw niveau van kwaliteit en toegankelijkheid bereikt. Dankzij de stabiliteit van deze platforms kunnen onze softwareontwikkelaars veel sneller werken aan alles, van besturingssystemen tot nieuwe AI-functies. Dit is hoe ik zie dat de metaverse meer in beeld komt en waarom ik er zo zeker van ben dat het komende jaar het belangrijkste wordt in de geschiedenis van Reality Labs.

https://youtube.com/watch?v=xwMNZb6UE1o%3F%26controls%3D0%3Fautoplay%3D0%26color%3Dwhite%26cc_lang_pref%3Den%26cc_load_policy%3D0%26enablejsapi%3D1%26frameborder%3D0%26hl%3Den%26rel%3D0%26origin%3Dhttps%253A%252F%252Fwww.meta.com

2024 was het jaar waarin AI-brillen hun hoogtepunt bereikten. Toen we in 2021 begonnen met het maken van slimme brillen, dachten we dat ze een mooie eerste stap konden zijn in de richting van de AR-bril die we uiteindelijk wilden maken. Terwijl mixed reality-headsets op weg zijn om een algemeen computerplatform te worden, net als de huidige pc's, zagen we brillen als de natuurlijke evolutie van de huidige mobiele computerplatforms. We wilden dus zo snel mogelijk beginnen te leren van de echte wereld.

Het belangrijkste dat we hebben geleerd is dat brillen verreweg de beste vormfactor zijn voor een echt AI-native apparaat. Het is misschien wel de eerste hardwarecategorie die vanaf het begin volledig door AI wordt bepaald. Voor veel mensen is een bril de plek waar een AI-assistent het meest zinvol is, vooral als het een multimodaal systeem die de wereld om je heen echt kan begrijpen.

We staan aan het begin van de S-curve voor deze hele productcategorie en er liggen eindeloze mogelijkheden in het verschiet. Een van de dingen waar ik het meest enthousiast over ben voor 2025 is de evolutie van AI-assistenten naar tools die niet alleen reageren op een prompt wanneer je om hulp vraagt, maar die een proactieve helper kunnen worden terwijl je je dag doorneemt. Op Connect lieten we zien hoe Live AI op een bril meer een real-time deelnemer kan worden wanneer je dingen gedaan krijgt. Deze functie rolt deze maand uit in early access zien we de eerste stap naar een nieuw soort gepersonaliseerde AI-assistent.

Het zal niet de laatste zijn. We zitten momenteel midden in een industriebrede push om AI-native hardware te maken. Je ziet telefoon- en pc-makers zich haasten om hun producten om te bouwen zodat AI-assistenten de kern vormen. Maar ik denk dat het een veel grotere kans is om apparaten te maken die vanaf het begin AI-native zijn, en ik heb er alle vertrouwen in dat brillen de eersten zullen zijn die dat bereiken. Meta's Chief Research Scientist Michael Abrash heeft gesproken over het potentieel van een gepersonaliseerde, contextbewuste AI-assistent op een bril. voor vele jarenen het bouwen van de technologieën die dit mogelijk maken is een belangrijk aandachtspunt van onze onderzoeksteams.

Gemengde werkelijkheid is een andere plek waar het hebben van het juiste product in de handen van veel mensen een belangrijke versneller voor vooruitgang is geweest. We hebben Meta Quest 3 maand na maand beter worden terwijl we blijven werken aan de kern van systeemdoorvoer, multitasking, ruimtelijke gebruikersinterfaces en meer. Al deze verbeteringen hebben zich uitgebreid naar Quest 3S op het moment van lancering. Dit betekent dat de $299 Quest 3S op dag 1 in veel opzichten een betere headset was dan de $499 Quest 3 was toen deze voor het eerst werd gelanceerd in 2023. En de hele Quest 3 familie wordt steeds beter met elke update.

In 2025 zien we de volgende iteratie hiervan als Quest 3S veel meer mensen voor het eerst in mixed reality brengt. Terwijl Quest 3 een hit was onder mensen die het allerbeste apparaat op de markt wilden hebben, zal Quest 3S naar verwachting hoogbegaafd in 2024. De verkoop was sterk tijdens het Black Friday-weekend en we verwachten dat er tijdens de feestdagen een golf van mensen zal zijn die hun nieuwe headsets activeren.

Hiermee zetten we een trend voort die het afgelopen jaar vorm heeft gekregen: groei in nieuwe gebruikers die op zoek zijn naar een breder scala aan dingen die ze met hun headsets kunnen doen. We willen dat deze nieuwe gebruikers de magie van MR inzien en er blijven voor de lange termijn, daarom financieren we ontwikkelaars om de nieuwe soorten apps en games te bouwen waar ze naar op zoek zijn.

Er is een grote toestroom van vooral jongere mensen en zij zijn vooral geïnteresseerd in sociale en competitieve multiplayergames en freemiumcontent. En titels als BEHEMOTH van Skydance, Batman: Arkham Schaduw (die net Beste AR/VR-game heeft gewonnen bij The Game Awards!), en Metro ontwaken liet opnieuw zien dat sommige van de beste nieuwe games die onze industrie produceert nu alleen mogelijk zijn op de headsets van vandaag.

Naarmate het aantal mensen in MR toeneemt, groeit ook de kwaliteit van de sociale ervaring die het kan bieden. Dit is de kern van wat Meta probeert te bereiken met Reality Labs en waar het grootste potentieel van de metaverse zal worden ontsloten: "De kans om het meest sociale platform ooit te creëren", zo omschreven we het toen we begon er voor het eerst aan te werken. In 2024 hebben we op dit gebied twee stappen vooruit gezet: ten eerste met een groot aantal verbeteringen aan Horizon Worlds, waaronder de uitbreiding naar mobiel, en ten tweede met het volgende generatie Meta Avatars-systeem waarmee mensen zichzelf kunnen voorstellen in onze apps en headsets. En naarmate de visuele kwaliteit en algehele ervaring met deze systemen verbetert, krijgen steeds meer mensen hun eerste blik op een sociale metaverse. We zien vergelijkbare trends bij nieuwe Quest 3S gebruikers die meer tijd doorbrengen in Horizon Worlds, waardoor het een top 3 immersieve app is voor Quest 3S, en mensen blijven nieuwe Meta Avatars maken op mobiel en MR.

De introductie van mixed reality in de mainstream heeft geholpen om duidelijk te maken wat de volgende stap is. Een van de eerste trends die we ontdekten na de lancering van Quest 3 vorig jaar was dat mensen mixed reality gebruikten om video's te bekijken terwijl ze thuis aan het multitasken waren - de afwas doen of de woonkamer stofzuigen. Dit was een vroeg signaal dat mensen graag een groot virtueel scherm hebben dat je overal mee naartoe kunt nemen en in de fysieke wereld om je heen kunt plaatsen. We hebben die trend zien doorzetten met allerlei entertainmentervaringen die snel groeien in de hele Quest 3 familie. Nieuwe functies zoals YouTube Co-Watch laten zien hoeveel potentieel er is voor een heel nieuw soort sociale entertainmentervaring in de metaverse.

Daarom is James Cameron, een van de meest technologisch innovatieve verhalenvertellers van ons leven, nu bezig om meer filmmakers en ontwerpers te helpen... fantastische 3D-inhoud produceren voor Meta Quest. Hoewel 3D-films al tientallen jaren worden gemaakt, is er nog nooit een manier geweest om ze zo goed te bekijken als met een MR-headset, en volgend jaar zullen meer mensen een headset bezitten dan ooit tevoren. "We staan op een waar historisch keerpunt,"Jim zei wanneer we ons nieuwe partnerschap gelanceerd deze maand.

Dit gebeurt naast een grotere verschuiving Mark Rabkin gedeeld op Connect dit jaar: Onze visie voor Horizon OS is om een nieuw soort computerplatform voor algemene doeleinden te bouwen dat elk soort software kan draaien, elk soort gebruiker kan ondersteunen en openstaat voor elk soort maker en ontwikkelaar. Onze recente releases voor 2D/3D multi-tasking, paneelpositionering, betere handtracking, Windows Remote Desktop-integratie en Open Store zijn begonnen met het opbouwen van momentum op dit nieuwe pad. Horizon OS is hard op weg om het eerste platform te worden dat het volledige spectrum aan ervaringen ondersteunt, van meeslepende VR tot 2D-schermen, mobiele apps en virtuele desktops, en de ontwikkelaarscommunity staat centraal in dat succes.

De volgende grote stap naar de metaverse zal een AI-bril combineren met de echte augmented reality-ervaring die we dit jaar hebben onthuld met Orion. Het gebeurt niet vaak dat je een blik in de toekomst krijgt en een totaal nieuwe technologie ziet die je laat zien waar dingen naartoe gaan. De mensen die Orion zagen, begrepen meteen wat het betekende voor de toekomst, net zoals de mensen die de eerste personal computers vorm zagen krijgen bij Xerox PARC in de jaren 1970 ("binnen tien minuten was het me duidelijk dat alle computers ooit zo zouden werken", zei Steve Jobs later over zijn demonstratie van de Xerox Alto in 1979).

Mensen in een tijdmachine kunnen zetten en ze laten zien hoe het volgende computerplatform eruit zal zien, was een hoogtepunt van 2024 en van mijn carrière tot nu toe. Maar de echte impact van Orion zal zitten in de producten die we hierna uitbrengen en de manieren waarop het ons helpt beter te begrijpen wat mensen leuk vinden aan AR-brillen en wat er beter moet worden. We hebben jarenlang gewerkt aan gebruikersonderzoek, productplanning en experimentele studies om te begrijpen hoe AR-brillen zouden moeten werken, en dat werk heeft ons in staat gesteld om Orion te bouwen. Maar het tempo van de vooruitgang zal vanaf nu veel hoger liggen nu we een echt product hebben waar we onze intuïtie op kunnen baseren.

Dit is keer op keer de les geweest de afgelopen tien jaar bij Reality Labs. Het belangrijkste wat je kunt doen als je de toekomst probeert uit te vinden, is dingen verschepen en leren van hoe echte mensen ze gebruiken. Het zullen niet altijd onmiddellijk grote hits zijn, maar je leert er altijd iets van. En als je dingen vindt die echt een schot in de roos zijn, zoals mixed reality op de Quest 3 of AI op brillen, dan moet je pas echt gas geven. Dit is wat van 2025 zo'n speciaal jaar zal maken: Nu de juiste apparaten op de markt zijn, mensen ze voor het eerst ervaren en ontwikkelaars alle mogelijkheden ontdekken, is het tijd om gas te geven.