2017 m. "Reality Labs" vyriausiasis mokslininkas Michael Abrashremiama "Meta" įkūrėjo ir generalinio direktoriaus Marko Zuckerbergo, įsteigė naują, slaptą komandą tuometinėje "Oculus Research", kuri turėjo sukurti naujos kompiuterių platformos pagrindą. Jų laukė herakliška užduotis: Sukurti specialų silicio sprendimą, kuris galėtų patenkinti unikalius ateities platformos poreikius. papildytosios realybės akiniai-techninis pasiekimas, dėl kurio reikėjo iš naujo sukurti kiekvieną komponentą, kad būtų galima dėvėti visą dieną AR akiniai formos veiksnys, kurio paprasčiausiai dar nebuvo.

"Orion AR" akinių prototipo priekinis kampas.

Kompaktiškas formatas, daug vietos problemoms spręsti

Nuo kelių tyrėjų iki šimtų žmonių, dirbančių su produktais, išaugusi užsakomojo silicio komanda buvo sukurta remiantis prielaida, kad AR akiniai negali remtis siliciu, esančiu šiuolaikiniuose išmaniuosiuose telefonuose. Šią prielaidą patvirtina kelios pagal užsakymą pagamintos mikroschemos. Orionmūsų pirmasis tikras AR akinių prototipas.

"Statome laivą, kai jis išplaukia iš uosto, - būtent tai ir darėme", - sako pažangiųjų technologijų strategijos direktorius Jeremy Snodgrassas. "Turėjome padidinti kuklią komandą ir tuo pat metu kurti šiuos lustus. Buvo įdomu stebėti, kaip vadovybė priima naujus darbuotojus ir kartu kuria kultūrą, kurioje vertinamas veržlumas. Niekas nebuvo kieno nors kito problema. Imdavai irklą ir pradėdavai irkluoti, net jei tai nebuvo būtent tai, kam buvai pasamdytas. Tai buvo labai, labai įdomus laikas."

"Beveik viskas, kas susiję su "Orion", daugeliu atžvilgių buvo nauja, - pritaria "Display Architecture" technikos direktorius Mike'as Yee. "Kai kurios idėjos jau buvo žinomos, bet niekas nebuvo ėmęsis mokslinių tyrimų projekto, kad iš tikrųjų sukurtų visą dieną nešiojamus AR akinius."

Komanda turėjo sukurti įtikinamą AR patirtį sunaudodama kuo mažiau energijos. Akinių formos faktorius gali išsklaidyti tik tiek šilumos, o baterija gali talpinti tik tiek, kiek reikia. Dėl to patirtis, kurią galima suteikti akiniais, visiškai priklauso nuo silicio. Kitaip tariant, jei šilumos ir akumuliatoriaus talpa yra pastovi, vienintelis būdas suteikti tam tikrą patirtį yra optimizuoti silicį.

"Kurdama naują "Orion" architektūrą, komanda turėjo ne tik intensyviai plėtoti esamas technologijas, pavyzdžiui, belaidį ryšį ir ekranus, bet ir rizikuoti naujomis technologijomis", - sako produktų valdymo direktorius Neeraj Choubey. "Pavyzdžiui, komanda sukūrė mašininio mokymosi (ML) greitintuvą, tuo metu neturėdama aiškaus panaudojimo atvejo, nes buvo tvirtai įsitikinusi, kad ML taps vis svarbesnis "Meta" produktuose. Kompanijoje "Orion" kiekvienas ML akceleratorius yra naudojamas, o kai kuriais atvejais jie yra pertekliniai, nes atlieka tokias funkcijas kaip akių stebėjimas ir rankų stebėjimas. Panašiai komanda sukūrė pasirinktinius glaudinimo protokolus, kad sumažintų pralaidumą ir energijos suvartojimą, kai duomenys judėjo iš apskaičiuoti puck į ekraną. Kuriant individualų silicį, kad būtų pasiekti "Orion" formos faktoriaus tikslai, reikėjo ir tolerancijos dideliam neapibrėžtumui, ir kruopštaus dėmesio detalėms, kad būtų sukurta neįtikėtinai sudėtinga sistemos architektūra."

"Didžiausias iššūkis, su kuriuo susidūrėme, buvo pateikti 3D pasaulio užrakintą atvaizduotą grafiką ir erdvinį garsą, kuris atvaizduojamas taip, kad atrodo, jog sklinda iš virtualaus objekto", - pažymi Snodgrassas. "Turėjome sutalpinti visą šią elektroniką į šiluminę talpą ir fizinę erdvę, o tada paleisti ją nuo akumuliatoriaus, kad ji per daug neįkaistų. Be to, visa tai turėjome atlikti tikruose akiniuose, o ne dideliame veide, kokį paprastai matome šioje kategorijoje."

"Žinojome, kaip užtikrinti reikiamą skaičiavimo galią, kad galėtume įgyvendinti "Orion" viziją, tačiau susidūrėme su nelengva užduotimi: sumažinti energijos suvartojimą 100 kartų", - sako SoC sprendimų direktorius Robertas Sheareris. "Tam reikėjo išplėsti silicio projektavimo ribas, taikyti metodikas iš įvairių pramonės sričių - nuo daiktų interneto iki didelio našumo skaičiavimų - ir išrasti naujų metodų, kaip užpildyti spragas. Mūsų pramonės partneriai manė, kad esame pamišę, ir galbūt jie ne visai klydo. Tačiau būtent to ir reikėjo: noro mesti iššūkį tradicinei išminčiai ir viską permąstyti iš naujo. Sukurti kompiuterį, kuris sklandžiai sujungtų virtualų ir fizinį pasaulius, reikia gilaus konteksto supratimo, gerokai pranokstančio tai, ką gali pasiūlyti esamos skaičiavimo platformos. Iš esmės iš naujo išradome, kaip kompiuteriai sąveikauja su žmonėmis, o tai reiškė, kad reikėjo iš pagrindų iš naujo įsivaizduoti, kaip mes kuriame silicį."

"Orion" išorės komponentai.

Mikroschemų "MicroLED" magija

Buvo akimirkų, kai darbai atsilikdavo nuo grafiko arba iškildavo iš pažiūros neįveikiamas techninis iššūkis, kai buvo sunku išlaikyti pagreitį ir moralę. Tačiau komanda buvo ištverminga ir rado būdų, kaip apeiti kliūtis, arba tiesiog jas nušlavė.

Pavyzdžiui, "Orion" ekranas. Silicio komanda buvo atsakinga už ekrano projektoriaus, esančio akinių kampuose, silicį.

"Kalbant apie šiuos projektorius, kilo atviras klausimas, ar galėtume gauti pakankamai efektyvią ir ryškią mikroschemų matricą, kad galėtume sukurti plataus matymo lauko ekraną", - sako Snodgrassas. "Buvo didžiulė abejonė, ar galime - ar tai įmanoma padaryti per tą laiką, kurį svarstėme, - nes tai buvo labai nauja technologija."

"Labai anksti supratome, kad turime permąstyti daugelį produktų kūrimo paradigmų", - priduria Yee. "Šviesos kiekis, kurio reikia, kad ekranas būtų tinkamas naudoti, AR akiniuose yra daug ryškesnis, nes nešiojamame ekrane konkuruojama su saule. Taigi mums reikia tokio energijos lygio, kuris galėtų su ja varžytis - ar bent jau toks yra tikslas. Kol kas to dar nepasiekėme, bet tai yra svarbi dalis. Tai reiškia, kad ekranui reikia tokių šviesos šaltinių, kurie galėtų tai užtikrinti, ir grandinių, kurios galėtų tai valdyti. Kartu reikia, kad jis būtų mažytis."

"Orion" µLED lemputes valdantis pasirinktinis silicis.

Nors mikroLED atrodė tinkamiausias šviesos šaltinis projektoriams, silicis padėjo atskleisti jų potencialą.

"Ekranuose kalbame apie pikselių žingsnius, t. y. atstumus tarp gretimų pikselių centrinių taškų", - aiškina Yee. "Televizoriuose šie atstumai siekia šimtus mikronų. Jūsų telefone - daug, daug dešimčių mikronų. Mums reikėjo sumažinti šį atstumą iki vienženklio skaičiaus. Vienintelė žinoma puslaidininkių gamyba, kuri galėjo tai pasiekti, buvo silicis."

Darbą apsunkino tai, kad galinis ekrano paviršius turėjo būti pagamintas iš silicio, o silicio, skirto mikroLED, niekas pasaulyje nebuvo kūręs.

"Tuo metu visos tyrėjų grupės buvo pakeitusios skystųjų kristalų ant silicio ekranų paskirtį, kad juose būtų galima naudoti mikroLED", - sako Yee. "Iki tol niekas nebuvo sukūręs "microLED" ekranams skirtos plokštės. Ir mes susidūrėme su gana unikaliu iššūkiu, nes tai yra optinis komponentas. Jis turi būti plokščias. Jo negalima subraižyti. Jis turi pasižymėti visomis šiomis savybėmis, nes žiūrėdami pro bangolaidžius, pro projektorius, jūs tiesiogine prasme žiūrite į viršutinį silicio gabalo paviršių."

Silicio komanda sukūrė sudėtingas šių mikroLED ekranų bandymų platformas, kurias reikėjo glaudžiai koordinuoti su mūsų pasauliniais tiekėjais. MikroLED ekranai yra pasaulinio masto - jie buvo sukurti vienoje vietoje, o paskui perkelti į kitą vietą, kur buvo sudėti ant plokštelės. Tuomet plokštelės buvo siunčiamos supjaustyti į tam tikrą formą, po to jos buvo vežamos į JAV, kad būtų sujungtos su kita plokštele, o tada siunčiamos atgal per visą pasaulį, kad būtų sukurtas ir išbandytas tikrasis modulis. Tai buvo nepaprastai sudėtingas procesas, todėl silicio komanda sukūrė bandymų transporto priemones, kad išbandytų kiekvieną etapą.

Komandai taip pat reikėjo rasti būdą, kaip mažame akinių kampų tūryje tiekti energiją "microLED" ekranams. Mūsų analogų komanda sukūrė individualų maitinimo valdymo lustą, kuris tilpo į šį tūrį.

"Maitinimo tiekimas yra labai svarbus tokiems nedidelio formato dėvimiems įrenginiams, kurių baterijos dydis yra ribotas, o vietos - mažai", - pažymi analoginių ir mišrių signalų sistemų direktorius Jihong Ren. "Mūsų pritaikytas maitinimo valdymo integrinis grandynas naudoja pažangiausias technologijas, kad optimizuotų energijos vartojimo efektyvumą mūsų konkrečiam darbo krūviui sistemos lygmeniu, ir visa tai atitinka turimus erdvės apribojimus. Norint pasiekti šį optimalų sprendimą, reikėjo glaudaus tarpdisciplininio bendradarbiavimo su mūsų mechanikos, elektrotechnikos, SoC, μLED ir šilumos komandomis, kad būtų užtikrinta sklandi visų komponentų integracija ir maksimaliai padidintas bendras našumas."

"Tai buvo nuostabus ne tik inžinerijos, bet ir organizacinio valdymo žygdarbis: suburti komandą, dirbti skirtingose laiko juostose ir su visais šiais skirtingais tiekėjais", - priduria Snodgrassas. "Tam tikra prasme viso to organizacinis valdymas buvo toks pat didelis iššūkis kaip ir techninių specifikacijų laikymasis."

"Ne tik dizainas, bet ir visas gamybos procesas yra individualus", - priduria Yee. "Mums pasisekė, kad turime puikių partnerių pramonėje, kurie padėjo tai įgyvendinti. Jie įžvelgia ilgalaikį AR ekranų potencialą ir, be abejo, Mėtos viziją. Todėl jie noriai bendradarbiavo su mumis, kad šie pritaikymo ir optimizavimo darbai būtų atlikti, kad būtų galima naudoti šį ekraną."

"Orion AR" akiniai.

Iteracija ir pagreitinimas

Silicio komanda ir genialūs "Reality Labs Research" ir "XR Tech" specialistai, kuriantys algoritmus, turėjo glaudų grįžtamąjį ryšį. Pastarosios komandos pateikdavo šiuos algoritmus, kuriuos pirmosios komandos perkeldavo į techninę įrangą, taip pašalindamos bendrosios paskirties procesoriaus vykdomos programinės įrangos pridėtines išlaidas. Tai reiškė, kad algoritmai veiktų mažesniu galingumu, tačiau tai taip pat reiškė, kad silicio komanda buvo užrakinta. Kai algoritmai buvo patobulinti, jie nebegalėjo daryti pakeitimų.

"Tarkime, "XR Tech" kūrė tam tikrą algoritminę discipliną, - aiškina "Silicon Accelerators" architektūros ir algoritmų direktorius Ohadas Meitavas. "Jiems priklauso algoritmų stekas ir jo našumas. Tada mano komanda, bendradarbiaudama su jais, nuspręs, kaip pagreitinti algoritmą, kaip patobulinti algoritmo dalis ir kaip iš tikrųjų įdiegti jį į aparatinę įrangą taip, kad jis veiktų itin efektyviai. Tada "XR Tech" pritaikytų savo programinės įrangos steką, kad būtų atsižvelgta į aparatinę įrangą. Tai labai kartotinis procesas."

Kita sėkmės istorija - silicio komandos bendradarbiavimas su "Reality Labs Research", siekiant sukurti naują reprojekcijos algoritmą.

"Mums reikėjo, kad perprojektavimo algoritmas palaikytų įvairius iškraipymus ir korekcijas", - pažymi "Silicon Architect" architektas Steve'as Clohsetas. "RL-R" sukurtas algoritmas, kurį galiausiai panaudojome, nenaudojamas bendroje kompiuterijoje. Ir šiai dienai jis pasirodo esąs gana galingas įrankis".

Kai algoritmai buvo patobulinti ir techninė įranga optimizuota, silicio diegimo komanda išbandė pritaikytus lustus.

"Orion" pasirinktinis silicio mikroschemų rinkinys yra labai sudėtingas, - sako "End-to-End" sistemos ir infrastruktūros vyresnysis direktorius Lipingas Guo. "Per trumpą laiką sukurti ir patvirtinti atskiras mikroschemas ir jų tarpusavio sąveiką yra neįtikėtinai sudėtinga. Laimei, mes dirbame vertikaliai integruotoje aplinkoje, kurioje "Reality Labs" priklauso visas paketas - nuo silicio ir žemo lygio programinės įrangos iki operacinės sistemos, programinės įrangos ir viršutinio sluoksnio patirties. Tuo visapusiškai pasinaudojome, glaudžiai bendradarbiaudami su įvairių sričių partneriais, ir pakeitėme savo komplekso integraciją silicio patvirtinimo etape. "Orion" buvo mūsų bandomasis šios metodikos bandymas - mes sustiprinome savo "shift-left" raumenis ir sukūrėme tvirtą pagrindą, kad "Reality Labs" ateityje galėtų pasinaudoti visais pritaikyto silicio privalumais."

Po įdiegimo atėjo laikas optimizuoti programinę įrangą.

"Vyksta kartotinis procesas, kai pradedama nuo visiškai neoptimizuoto programinės įrangos paketo, kad viskas būtų paleista ir veiktų", - sako Snodgrassas. "Tada po vieną pereinate per posistemes ir pradedate optimizuoti programinę įrangą konkrečiai aparatinei įrangai, įskaitant programinės įrangos naudojamos atminties mažinimą. Techninė įranga gali būti puikiai suprojektuota, tačiau teorinio energijos vartojimo efektyvumo nepasieksite, jei neinvestuosite tiek pat ar net daugiau laiko, kad programinė įranga išnaudotų visus techninės įrangos privalumus. Štai tokia "Orion" istorija: iki galo optimizuota aparatinė ir programinė įranga. Nepalikite nė vieno pikodžaulio ar milivato."

Nors "Orion" gali būti tik prototipas, jo kūrimas gali turėti didelės įtakos "Meta" veiksmų planui.

"Į kuriamas silicio integrines grandines žiūrime kaip į platformas, nes tai yra vertingos integrinės grandinės, kurias tobulinsime pereidami nuo vienos kartos ar vieno produkto prie kito", - priduria A. Meitav. "Visi kompiuterinės regos ir grafikos algoritmai sukurti ne tik "Orion". Jie bus naudojami būsimuose produktuose."

Mūsų darbas su siliciu apima naujų sprendimų kūrimą ir glaudų bendradarbiavimą su partneriais. Silicio komandos įtaka neapsiriboja vien tik Orionu. "Ray-Ban Meta" akiniai ir "Meta Quest" ausinės šiandien, nors abiejuose naudojami trečiųjų šalių lustai. Silicio komanda reguliariai dalijasi savo darbais su mišrios realybės komanda, parodydama, ką galima padaryti energijos vartojimo efektyvumo požiūriu. MR komanda dalijasi šiais rezultatais su partneriais, pvz. "Qualcomm" padėti informuoti apie būsimus lustų projektus. Kadangi silicio komanda naudoja tuos pačius nestandartinius skaitmeninius signalų procesorius (DSP) kaip ir "Ray-Ban Meta" akiniai, ji galėjo pasidalyti įgyta patirtimi ir geriausios praktikos pavyzdžiais, kai diegė ir rašė šių DSP kodą, kad padėtų pagerinti mūsų dirbtinio intelekto akinių garso patirtį.

Žiniomis dalijamasi abiem kryptimis: MR komanda suteikė silicio komandai įžvalgų, pvz. Asinchroninis "TimeWarp ir Programos "SpaceWarp" diegimas gamyboje.

"Tai, ką žmogus daro gamyboje, yra kur kas įdomiau nei tai, ką galėtume padaryti su prototipu", - sako Clohsetas. "Stengėmės kuo labiau integruoti tai, ką jie darė su deformacijomis."

Dviprasmiškumas < Ambicijos

Kadangi "Orion" iš tiesų buvo nulis prie vieno, dalyvaujančioms komandoms teko susidurti su pernelyg dideliu kiekiu dviprasmybių.

"Negaliu pervertinti, kaip sudėtinga buvo dėl dviprasmiškumo", - sako Clohsetas. "Kai, pavyzdžiui, kuriate kompiuterį, paprastai gerai įsivaizduojate, koks bus ekranas. Tačiau mes nežinojome, koks galiausiai bus bangolaidis, todėl turėjome išbandyti įvairius bangolaidžius ir sugalvoti mechanizmą, kuris galėtų susidoroti su blogiausiu scenarijumi, nes nežinojome, kur viskas nusileis. Vienas optimizavimas čia būtų susipynęs su visais kitais pasirinkimais, ir galiausiai būtų susidariusi visų šių skirtingų dalykų matrica, kurią turėjote palaikyti ir bandyti patvirtinti, nes nežinojote, kur gaminys nusileis po šešių mėnesių."

Svarbu pažymėti, kad "Orion" nėra tik pora AR akinių - tai trijų dalių techninės įrangos žvaigždynas. Daug duomenų apdorojama apskaičiuoti puck, todėl tarp jo ir akinių turi būti stiprus ryšys. Pridėkite paviršiaus EMG apyrankė į ciklą, ir sistemos architektūra tampa dar sudėtingesnė.

"Komandoms tai buvo didžiulis iššūkis, kurį reikėjo išspręsti, ir visa tai tiesiog veikia", - sako Snodgrassas. "Tai buvo nuostabus bendradarbiavimas tarp silicio komandos, belaidžio ryšio komandos ir programinės įrangos komandų visoje organizacijoje."

"Orion" skaičiavimo pūkas.

"Su "Orion" subūrėme visą komandą, kurioje dirbo įvairūs inžinieriai, ir jie sugebėjo suprojektuoti visiškai naują vamzdyną", - priduria Clohsetas. "Tai vamzdynas, kuris apdoroja šešių laisvės laipsnių objektų judėjimą 3D erdvėje. Jis naudoja savo pasirinktinę ekrano tvarkyklę. Turėjome atlikti tikrai unikalius vaizdo kokybės pataisymus. Manau, kad iššūkis mums buvo tai, kad tai buvo nulinis projektas, todėl nebuvo jokios esamos specifikacijos, kurią būtų galima koreguoti ir tobulinti. Viskas čia visiškai nauja, todėl turėjome veiksmų laisvę."

Panašiai kaip ritulys po paviršiumi paslėptos kai kurios neaktyvios funkcijos, pasirinktinis silikonas taip pat yra pranašesnis už savo svorį. Nors "Orion" neleidžia naudotojui fotografuoti RGB kameromis, silicis gali tai palaikyti, taip pat kodekų avatarai. Kaip ir "Orion" pritaikytas silicis, kuris padėjo išlaisvinti tikrąjį akinių formato faktorių, nes iškraunama didelė dalis skaičiavimų, taip ir "Orion" pritaikytas silicis pasirodė esąs būtina AR dėlionės dalis.

"Norint įgyvendinti tokią "zero-to-one" patirtį kaip AR akiniai, reikia specialaus silikono - pilno sustojimo", - aiškina Snodgrassas. "Laikui bėgant, jei atsiras rinka, silicio pardavėjai sukurs produktus, kurie patenkins paklausą. Tačiau norint sukurti "zero-to-one", negalima tiesiog paimti iš lentynos kažką, kas yra skirta kitam produktui, ir pritaikyti tai naujoje formoje. Reikia investuoti į kažką pagal užsakymą. O norint įgyvendinti šias "zero-to-one" patirtis, reikia plataus programinės įrangos partnerių, pramoninių dizainerių, mechanikos inžinierių ir kt. bendradarbiavimo."

"Išsilaisvinę iš tradicinių mąstymo modelių, sukūrėme kažką išties nepaprasto", - priduria Sheareris. "Tikime, kad ši kompiuterinė platforma yra technologijų ateitis, kuri iš esmės pakeis tai, kaip gyvename, dirbame ir bendraujame vieni su kitais. Džiaugiamės, kad galime būti šios inovacijos priešakyje, plėsti galimybių ribas ir padėti kurti istoriją."

Daugiau informacijos apie "Orion" rasite šiuose tinklaraščio įrašuose:

• "Crystal Clear": mūsų silicio karbido bangolaidžiai ir kelias į didelį "Orion" spinduliuotės plotą
• "Orion's Compute Puck": Įrenginio, padėjusio sukurti mūsų AR akinius, istorija

When we first began giving demos of Orion early this year I was reminded of a line that you hear a lot at Meta—in fact it was even in our first letter to prospective shareholders back in 2012: Code wins arguments. We probably learned as much about this product space from a few months of real-life demos than we did from the years of work it took to make them. There is just no substitute for actually building something, putting it in people’s hands, and learning from how they react to it.

Orion wasn’t our only example of that this year. Our mixed reality hardware ir AI glasses have both reached a new level of quality and accessibility. The stability of those platforms allows our software developers to move much faster on everything from operating systems to new AI features. This is how I see the metaverse starting to come into greater focus and why I’m so confident that the coming year will be the most important one in the history of Reality Labs.

https://youtube.com/watch?v=xwMNZb6UE1o%3F%26controls%3D0%3Fautoplay%3D0%26color%3Dwhite%26cc_lang_pref%3Den%26cc_load_policy%3D0%26enablejsapi%3D1%26frameborder%3D0%26hl%3Den%26rel%3D0%26origin%3Dhttps%253A%252F%252Fwww.meta.com

2024 was the year AI glasses hit their stride. When we first started making smart glasses in 2021 we thought they could be a nice first step toward the AR glasses we eventually wanted to build. While mixed reality headsets are on track to becoming a general purpose computing platform much like today’s PCs, we saw glasses as the natural evolution of today’s mobile computing platforms. So we wanted to begin learning from the real world as soon as possible.

The biggest thing we’ve learned is that glasses are by far the best form factor for a truly AI-native device. In fact they might be the first hardware category to be completely defined by AI from the beginning. For many people, glasses are the place where an AI assistant makes the most sense, especially when it’s a multimodal system that can truly understand the world around you.

We’re right at the beginning of the S-curve for this entire product category, and there are endless opportunities ahead. One of the things I’m most excited about for 2025 is the evolution of AI assistants into tools that don’t just respond to a prompt when you ask for help but can become a proactive helper as you go about your day. At Connect we showed how Live AI on glasses can become more of a real-time participant when you’re getting things done. As this feature begins rolling out in early access this month we’ll see the first step toward a new kind of personalized AI assistant.

It won’t be the last. We’re currently in the middle of an industry-wide push to make AI-native hardware. You’re seeing phone and PC makers scramble to rebuild their products to put AI assistants at their core. But I think a much bigger opportunity is to make devices that are AI-native from the start, and I’m confident that glasses are going to be the first to get there. Meta’s Chief Research Scientist Michael Abrash has been talking about the potential of a personalized, context-aware AI assistant on glasses for many years, and building the technologies that make it possible has been a huge focus of our research teams.

Mixed reality has been another place where having the right product in the hands of a lot of people has been a major accelerant for progress. We’ve seen Meta Quest 3 get better month after month as we continue to iterate on the core system passthrough, multitasking, spatial user interfaces, and more. All these gains extended to Quest 3S the moment it launched. This meant the $299 Quest 3S was in many respects a better headset on day 1 than the $499 Quest 3 was when it first launched in 2023. And the entire Quest 3 family keeps getting better with every update.

In 2025 we’ll see the next iteration of this as Quest 3S brings a lot more people into mixed reality for the first time. While Quest 3 has been a hit among people excited to own the very best device on the market, Quest 3S is expected to be heavily gifted in 2024. Sales were strong over the Black Friday weekend, and we’re expecting a surge of people activating their new headsets over the holiday break.

This will continue a trend that took shape over the last year: growth in new users who are seeking out a wider range of things to do with their headsets. We want these new users to see the magic of MR and stick around for the long run, which is why we’re funding developers to build the new types of apps and games they’re looking for.

There’s been a significant influx of younger people in particular, and they have been gravitating toward social and competitive multiplayer games, as well as freemium content. And titles like Skydance’s BEHEMOTH, Batman: Arkham Shadow (which just won Best AR/VR game at The Game Awards!), and Metro Awakening showed once again that some of the best new games our industry produces are now only possible on today’s headsets.

As the number of people in MR grows, the quality of the social experience it can deliver is growing in tandem. This is at the heart of what Meta is trying to achieve with Reality Labs and where the greatest potential of the metaverse will be unlocked: “the chance to create the most social platform ever” is how we described it when we first began working on it. We took two steps forward on this front in 2024: first with a broad set of improvements to Horizon Worlds including its expansion to mobile, and second with the next-generation Meta Avatars system that lets people represent themselves across our apps and headsets. And as the visual quality and overall experience with these systems improve, more people are getting their first glimpse of a social metaverse. We’re seeing similar trends with new Quest 3S users spending more time in Horizon Worlds, making it a Top 3 immersive app for Quest 3S, and people continue creating new Meta Avatars across mobile and MR.

Getting mixed reality into the mainstream has helped illuminate what will come next. One of the first trends that we discovered after the launch of Quest 3 last year was people using mixed reality to watch videos while multitasking in their home—doing the dishes or vacuuming their living rooms. This was an early signal that people love having a big virtual screen that you can take anywhere and place in the physical world around you. We’ve seen that trend take off with all sorts of entertainment experiences growing fast across the whole Quest 3 family. New features like YouTube Co-Watch show how much potential there is for a whole new kind of social entertainment experience in the metaverse.

That’s why James Cameron, one of the most technologically innovative storytellers of our lifetimes, is now working to help more filmmakers and creators produce great 3D content for Meta Quest. While 3D films have been produced for decades, there’s never been a way to view them that’s quite as good as an MR headset, and next year more people will own a headset than ever before. “We’re at a true, historic inflection point,”Jim said when we launched our new partnership this month.

This is happening alongside a larger shift Mark Rabkin shared at Connect this year: Our vision for Horizon OS is to build a new kind of general purpose computing platform capable of running every kind of software, supporting every kind of user, and open to every kind of creator and developer. Our recent releases for 2D/3D multi-tasking, panel positioning, better hand tracking, Windows Remote Desktop integration, and Open Store have started to build momentum along this new path. Horizon OS is on track to be the first platform that supports the full spectrum of experiences from immersive VR to 2D screens, mobile apps, and virtual desktops—and the developer community is central to that success.

The next big step toward the metaverse will be combining AI glasses with the kind of true augmented reality experience we revealed this year with Orion. It’s not often that you get a glimpse of the future and see a totally new technology that shows you where things are heading. The people who saw Orion immediately understood what it meant for the future much like the people who saw first personal computers taking shape at Xerox PARC in the 1970s (“within ten minutes it was obvious to me that all computers would work like this someday,” Steve Jobs later said of his 1979 demo of the Xerox Alto).

Being able to put people in a time machine and show them how the next computing platform will look was a highlight of 2024—and of my career so far. But the real impact of Orion will be in the products we ship next and the ways it helps us better understand what people love about AR glasses and what needs to get better. We spent years working on user research, product planning exercises, and experimental studies trying to understand how AR glasses should work, and that work is what enabled us to build Orion. But the pace of progress will be much more rapid from here on out now that we have a real product to build our intuition around.

This has been the lesson time and again over the last decade at Reality Labs. The most important thing you can do when you’re trying to invent the future is to ship things and learn from how real people use them. They won’t always be immediate smash hits, but they’ll always teach you something. And when you land on things that really hit the mark, like mixed reality on Quest 3 or AI on glasses, that’s when you put your foot on the gas. This is what will make 2025 such a special year: With the right devices on the market, people experiencing them for the first time, and developers discovering all the opportunities ahead, it’s time to accelerate.

Welcome back for another episode of Boz To The Future, a podcast from Reality Labs. In today’s episode, our host, Meta CTO and Head of Reality Labs Andrew “Boz” Bosworth, is joined by Meta’s VP of Wearables Alex Himel.

Himel’s team works on some of the industry’s hardest technical problems, all in the service of helping to build the next computing platform. Like Bosworth, he’s a tenured leader at Meta, having filled numerous leadership roles across the business in his 15+ years at the company.

Bosworth and Himel cover a range of topics, including wearables, augmented reality, and how AI is accelerating and improving the kinds of experiences embedded in "Ray-Ban Meta" akiniai and future products.

They go deep on Orion and the positive reception it’s received since Mark Zuckerberg announced it at Prisijungti. Just as Steve Jobs recognized the Alto as a turning point in computing, Bosworth asserted that, while we may disagree about the details, it’s hard to argue against this as the future. Himel and Bosworth go on to talk about the tremendous value of prototyping and building, saying how much more they’ve learned about Orion and its input paradigms in the three weeks of using it compared to the years spent building it.

They also talked about the crucial role of AI in wearables, and how it’s becoming increasingly useful in everyday life—especially now that you’re able to ask Meta AI about things you’re seeing and use it to set visual reminders.

Himel also talks about his deep experience in a different kind of stack: sandwiches. With seven years under his belt working in the famous Lange’s Little Store in Chappaqua, NY, where he grew up, Himel and Bosworth get into what makes a great sandwich, where tomatoes really go, and which bread is superior.

You can tune in to Boz to the Future on Apple Podcasts, "Spotify", and wherever you listen to podcasts.

You can follow Himel on Threads. You can follow Bosworth on "Instagram", Twitter/X, and Threads @boztank.