Autorius: Kristián Ivančo

In 2017, Reality Labs Chief Scientist Michael Abrash, backed by Meta Founder & CEO Mark Zuckerberg, established a new, secret team within what was then Oculus Research to build the foundation of the next computing platform. Their herculean task: Create a custom silicon solution that could support the unique demands of future augmented reality glasses—a technical feat that required reimagining every component for an all-day wearable AR glasses form factor that simply didn’t exist yet.

"Orion AR" akinių prototipo priekinis kampas.

Kompaktiškas formatas, daug vietos problemoms spręsti

Growing from just a few researchers to hundreds of people on the product side, the custom silicon team was built on the premise that AR glasses couldn’t rely on the silicon available in today’s smartphones. And it’s a premise borne out by the several custom chips inside Orion, our first true AR glasses product prototype.

"Statome laivą, kai jis išplaukia iš uosto, - būtent tai ir darėme", - sako pažangiųjų technologijų strategijos direktorius Jeremy Snodgrassas. "Turėjome padidinti kuklią komandą ir tuo pat metu kurti šiuos lustus. Buvo įdomu stebėti, kaip vadovybė priima naujus darbuotojus ir kartu kuria kultūrą, kurioje vertinamas veržlumas. Niekas nebuvo kieno nors kito problema. Imdavai irklą ir pradėdavai irkluoti, net jei tai nebuvo būtent tai, kam buvai pasamdytas. Tai buvo labai, labai įdomus laikas."

"Beveik viskas, kas susiję su "Orion", daugeliu atžvilgių buvo nauja, - pritaria "Display Architecture" technikos direktorius Mike'as Yee. "Kai kurios idėjos jau buvo žinomos, bet niekas nebuvo ėmęsis mokslinių tyrimų projekto, kad iš tikrųjų sukurtų visą dieną nešiojamus AR akinius."

Komanda turėjo sukurti įtikinamą AR patirtį sunaudodama kuo mažiau energijos. Akinių formos faktorius gali išsklaidyti tik tiek šilumos, o baterija gali talpinti tik tiek, kiek reikia. Dėl to patirtis, kurią galima suteikti akiniais, visiškai priklauso nuo silicio. Kitaip tariant, jei šilumos ir akumuliatoriaus talpa yra pastovi, vienintelis būdas suteikti tam tikrą patirtį yra optimizuoti silicį.

“Designing a new architecture for Orion required the team to not only push existing technologies like wireless and displays aggressively but also to take risks on new technologies,” says Director of Product Management Neeraj Choubey. “For instance, the team developed a machine learning (ML) accelerator without a clear use case at the time, driven by the strong conviction that ML would become increasingly important in Meta’s products. On Orion, every ML accelerator is utilized, and in some cases, they’re oversubscribed, serving functions such as eye tracking and hand tracking. Similarly, the team developed custom compression protocols to reduce bandwidth and power consumption as data moved from the compute puck to the display. Developing custom silicon to achieve Orion’s form factor goals required both a tolerance for high ambiguity and meticulous attention to detail to deliver an incredibly complex system architecture.”

"Didžiausias iššūkis, su kuriuo susidūrėme, buvo pateikti 3D pasaulio užrakintą atvaizduotą grafiką ir erdvinį garsą, kuris atvaizduojamas taip, kad atrodo, jog sklinda iš virtualaus objekto", - pažymi Snodgrassas. "Turėjome sutalpinti visą šią elektroniką į šiluminę talpą ir fizinę erdvę, o tada paleisti ją nuo akumuliatoriaus, kad ji per daug neįkaistų. Be to, visa tai turėjome atlikti tikruose akiniuose, o ne dideliame veide, kokį paprastai matome šioje kategorijoje."

"Žinojome, kaip užtikrinti reikiamą skaičiavimo galią, kad galėtume įgyvendinti "Orion" viziją, tačiau susidūrėme su nelengva užduotimi: sumažinti energijos suvartojimą 100 kartų", - sako SoC sprendimų direktorius Robertas Sheareris. "Tam reikėjo išplėsti silicio projektavimo ribas, taikyti metodikas iš įvairių pramonės sričių - nuo daiktų interneto iki didelio našumo skaičiavimų - ir išrasti naujų metodų, kaip užpildyti spragas. Mūsų pramonės partneriai manė, kad esame pamišę, ir galbūt jie ne visai klydo. Tačiau būtent to ir reikėjo: noro mesti iššūkį tradicinei išminčiai ir viską permąstyti iš naujo. Sukurti kompiuterį, kuris sklandžiai sujungtų virtualų ir fizinį pasaulius, reikia gilaus konteksto supratimo, gerokai pranokstančio tai, ką gali pasiūlyti esamos skaičiavimo platformos. Iš esmės iš naujo išradome, kaip kompiuteriai sąveikauja su žmonėmis, o tai reiškė, kad reikėjo iš pagrindų iš naujo įsivaizduoti, kaip mes kuriame silicį."

"Orion" išorės komponentai.

Mikroschemų "MicroLED" magija

Buvo akimirkų, kai darbai atsilikdavo nuo grafiko arba iškildavo iš pažiūros neįveikiamas techninis iššūkis, kai buvo sunku išlaikyti pagreitį ir moralę. Tačiau komanda buvo ištverminga ir rado būdų, kaip apeiti kliūtis, arba tiesiog jas nušlavė.

Pavyzdžiui, "Orion" ekranas. Silicio komanda buvo atsakinga už ekrano projektoriaus, esančio akinių kampuose, silicį.

"Kalbant apie šiuos projektorius, kilo atviras klausimas, ar galėtume gauti pakankamai efektyvią ir ryškią mikroschemų matricą, kad galėtume sukurti plataus matymo lauko ekraną", - sako Snodgrassas. "Buvo didžiulė abejonė, ar galime - ar tai įmanoma padaryti per tą laiką, kurį svarstėme, - nes tai buvo labai nauja technologija."

"Labai anksti supratome, kad turime permąstyti daugelį produktų kūrimo paradigmų", - priduria Yee. "Šviesos kiekis, kurio reikia, kad ekranas būtų tinkamas naudoti, AR akiniuose yra daug ryškesnis, nes nešiojamame ekrane konkuruojama su saule. Taigi mums reikia tokio energijos lygio, kuris galėtų su ja varžytis - ar bent jau toks yra tikslas. Kol kas to dar nepasiekėme, bet tai yra svarbi dalis. Tai reiškia, kad ekranui reikia tokių šviesos šaltinių, kurie galėtų tai užtikrinti, ir grandinių, kurios galėtų tai valdyti. Kartu reikia, kad jis būtų mažytis."

"Orion" µLED lemputes valdantis pasirinktinis silicis.

Nors mikroLED atrodė tinkamiausias šviesos šaltinis projektoriams, silicis padėjo atskleisti jų potencialą.

"Ekranuose kalbame apie pikselių žingsnius, t. y. atstumus tarp gretimų pikselių centrinių taškų", - aiškina Yee. "Televizoriuose šie atstumai siekia šimtus mikronų. Jūsų telefone - daug, daug dešimčių mikronų. Mums reikėjo sumažinti šį atstumą iki vienženklio skaičiaus. Vienintelė žinoma puslaidininkių gamyba, kuri galėjo tai pasiekti, buvo silicis."

Darbą apsunkino tai, kad galinis ekrano paviršius turėjo būti pagamintas iš silicio, o silicio, skirto mikroLED, niekas pasaulyje nebuvo kūręs.

"Tuo metu visos tyrėjų grupės buvo pakeitusios skystųjų kristalų ant silicio ekranų paskirtį, kad juose būtų galima naudoti mikroLED", - sako Yee. "Iki tol niekas nebuvo sukūręs "microLED" ekranams skirtos plokštės. Ir mes susidūrėme su gana unikaliu iššūkiu, nes tai yra optinis komponentas. Jis turi būti plokščias. Jo negalima subraižyti. Jis turi pasižymėti visomis šiomis savybėmis, nes žiūrėdami pro bangolaidžius, pro projektorius, jūs tiesiogine prasme žiūrite į viršutinį silicio gabalo paviršių."

Silicio komanda sukūrė sudėtingas šių mikroLED ekranų bandymų platformas, kurias reikėjo glaudžiai koordinuoti su mūsų pasauliniais tiekėjais. MikroLED ekranai yra pasaulinio masto - jie buvo sukurti vienoje vietoje, o paskui perkelti į kitą vietą, kur buvo sudėti ant plokštelės. Tuomet plokštelės buvo siunčiamos supjaustyti į tam tikrą formą, po to jos buvo vežamos į JAV, kad būtų sujungtos su kita plokštele, o tada siunčiamos atgal per visą pasaulį, kad būtų sukurtas ir išbandytas tikrasis modulis. Tai buvo nepaprastai sudėtingas procesas, todėl silicio komanda sukūrė bandymų transporto priemones, kad išbandytų kiekvieną etapą.

Komandai taip pat reikėjo rasti būdą, kaip mažame akinių kampų tūryje tiekti energiją "microLED" ekranams. Mūsų analogų komanda sukūrė individualų maitinimo valdymo lustą, kuris tilpo į šį tūrį.

"Maitinimo tiekimas yra labai svarbus tokiems nedidelio formato dėvimiems įrenginiams, kurių baterijos dydis yra ribotas, o vietos - mažai", - pažymi analoginių ir mišrių signalų sistemų direktorius Jihong Ren. "Mūsų pritaikytas maitinimo valdymo integrinis grandynas naudoja pažangiausias technologijas, kad optimizuotų energijos vartojimo efektyvumą mūsų konkrečiam darbo krūviui sistemos lygmeniu, ir visa tai atitinka turimus erdvės apribojimus. Norint pasiekti šį optimalų sprendimą, reikėjo glaudaus tarpdisciplininio bendradarbiavimo su mūsų mechanikos, elektrotechnikos, SoC, μLED ir šilumos komandomis, kad būtų užtikrinta sklandi visų komponentų integracija ir maksimaliai padidintas bendras našumas."

"Tai buvo nuostabus ne tik inžinerijos, bet ir organizacinio valdymo žygdarbis: suburti komandą, dirbti skirtingose laiko juostose ir su visais šiais skirtingais tiekėjais", - priduria Snodgrassas. "Tam tikra prasme viso to organizacinis valdymas buvo toks pat didelis iššūkis kaip ir techninių specifikacijų laikymasis."

"Ne tik dizainas, bet ir visas gamybos procesas yra individualus", - priduria Yee. "Mums pasisekė, kad turime puikių partnerių pramonėje, kurie padėjo tai įgyvendinti. Jie įžvelgia ilgalaikį AR ekranų potencialą ir, be abejo, Mėtos viziją. Todėl jie noriai bendradarbiavo su mumis, kad šie pritaikymo ir optimizavimo darbai būtų atlikti, kad būtų galima naudoti šį ekraną."

"Orion AR" akiniai.

Iteracija ir pagreitinimas

Silicio komanda ir genialūs "Reality Labs Research" ir "XR Tech" specialistai, kuriantys algoritmus, turėjo glaudų grįžtamąjį ryšį. Pastarosios komandos pateikdavo šiuos algoritmus, kuriuos pirmosios komandos perkeldavo į techninę įrangą, taip pašalindamos bendrosios paskirties procesoriaus vykdomos programinės įrangos pridėtines išlaidas. Tai reiškė, kad algoritmai veiktų mažesniu galingumu, tačiau tai taip pat reiškė, kad silicio komanda buvo užrakinta. Kai algoritmai buvo patobulinti, jie nebegalėjo daryti pakeitimų.

"Tarkime, "XR Tech" kūrė tam tikrą algoritminę discipliną, - aiškina "Silicon Accelerators" architektūros ir algoritmų direktorius Ohadas Meitavas. "Jiems priklauso algoritmų stekas ir jo našumas. Tada mano komanda, bendradarbiaudama su jais, nuspręs, kaip pagreitinti algoritmą, kaip patobulinti algoritmo dalis ir kaip iš tikrųjų įdiegti jį į aparatinę įrangą taip, kad jis veiktų itin efektyviai. Tada "XR Tech" pritaikytų savo programinės įrangos steką, kad būtų atsižvelgta į aparatinę įrangą. Tai labai kartotinis procesas."

Kita sėkmės istorija - silicio komandos bendradarbiavimas su "Reality Labs Research", siekiant sukurti naują reprojekcijos algoritmą.

"Mums reikėjo, kad perprojektavimo algoritmas palaikytų įvairius iškraipymus ir korekcijas", - pažymi "Silicon Architect" architektas Steve'as Clohsetas. "RL-R" sukurtas algoritmas, kurį galiausiai panaudojome, nenaudojamas bendroje kompiuterijoje. Ir šiai dienai jis pasirodo esąs gana galingas įrankis".

Kai algoritmai buvo patobulinti ir techninė įranga optimizuota, silicio diegimo komanda išbandė pritaikytus lustus.

"Orion" pasirinktinis silicio mikroschemų rinkinys yra labai sudėtingas, - sako "End-to-End" sistemos ir infrastruktūros vyresnysis direktorius Lipingas Guo. "Per trumpą laiką sukurti ir patvirtinti atskiras mikroschemas ir jų tarpusavio sąveiką yra neįtikėtinai sudėtinga. Laimei, mes dirbame vertikaliai integruotoje aplinkoje, kurioje "Reality Labs" priklauso visas paketas - nuo silicio ir žemo lygio programinės įrangos iki operacinės sistemos, programinės įrangos ir viršutinio sluoksnio patirties. Tuo visapusiškai pasinaudojome, glaudžiai bendradarbiaudami su įvairių sričių partneriais, ir pakeitėme savo komplekso integraciją silicio patvirtinimo etape. "Orion" buvo mūsų bandomasis šios metodikos bandymas - mes sustiprinome savo "shift-left" raumenis ir sukūrėme tvirtą pagrindą, kad "Reality Labs" ateityje galėtų pasinaudoti visais pritaikyto silicio privalumais."

Po įdiegimo atėjo laikas optimizuoti programinę įrangą.

"Vyksta kartotinis procesas, kai pradedama nuo visiškai neoptimizuoto programinės įrangos paketo, kad viskas būtų paleista ir veiktų", - sako Snodgrassas. "Tada po vieną pereinate per posistemes ir pradedate optimizuoti programinę įrangą konkrečiai aparatinei įrangai, įskaitant programinės įrangos naudojamos atminties mažinimą. Techninė įranga gali būti puikiai suprojektuota, tačiau teorinio energijos vartojimo efektyvumo nepasieksite, jei neinvestuosite tiek pat ar net daugiau laiko, kad programinė įranga išnaudotų visus techninės įrangos privalumus. Štai tokia "Orion" istorija: iki galo optimizuota aparatinė ir programinė įranga. Nepalikite nė vieno pikodžaulio ar milivato."

Nors "Orion" gali būti tik prototipas, jo kūrimas gali turėti didelės įtakos "Meta" veiksmų planui.

"Į kuriamas silicio integrines grandines žiūrime kaip į platformas, nes tai yra vertingos integrinės grandinės, kurias tobulinsime pereidami nuo vienos kartos ar vieno produkto prie kito", - priduria A. Meitav. "Visi kompiuterinės regos ir grafikos algoritmai sukurti ne tik "Orion". Jie bus naudojami būsimuose produktuose."

Mūsų darbas su siliciu apima naujų sprendimų kūrimą ir glaudų bendradarbiavimą su partneriais. Silicio komandos įtaka neapsiriboja vien tik Orionu. "Ray-Ban Meta" akiniai and Meta Quest headsets today—even though they both use third-party chips. The silicon team regularly shares their work with the mixed reality team, showing what’s possible in terms of power efficiency. The MR team then shares those findings with partners like Qualcomm to help inform future chip designs. And because the silicon team uses the same off-the-shelf digital signal processors (DSPs) as Ray-Ban Meta glasses, they’ve been able to share lessons learned and best practices when implementing and writing code for those DSPs to help improve the audio experiences available on our AI glasses.

And that knowledge sharing goes both ways: The MR team has given the silicon team insights on things like Asynchronous TimeWarp and Application SpaceWarp in production.

"Tai, ką žmogus daro gamyboje, yra kur kas įdomiau nei tai, ką galėtume padaryti su prototipu", - sako Clohsetas. "Stengėmės kuo labiau integruoti tai, ką jie darė su deformacijomis."

Dviprasmiškumas < Ambicijos

Kadangi "Orion" iš tiesų buvo nulis prie vieno, dalyvaujančioms komandoms teko susidurti su pernelyg dideliu kiekiu dviprasmybių.

"Negaliu pervertinti, kaip sudėtinga buvo dėl dviprasmiškumo", - sako Clohsetas. "Kai, pavyzdžiui, kuriate kompiuterį, paprastai gerai įsivaizduojate, koks bus ekranas. Tačiau mes nežinojome, koks galiausiai bus bangolaidis, todėl turėjome išbandyti įvairius bangolaidžius ir sugalvoti mechanizmą, kuris galėtų susidoroti su blogiausiu scenarijumi, nes nežinojome, kur viskas nusileis. Vienas optimizavimas čia būtų susipynęs su visais kitais pasirinkimais, ir galiausiai būtų susidariusi visų šių skirtingų dalykų matrica, kurią turėjote palaikyti ir bandyti patvirtinti, nes nežinojote, kur gaminys nusileis po šešių mėnesių."

It’s important to note that Orion isn’t just a pair of AR glasses—it’s a three-part constellation of hardware. A lot of the processing happens on the compute puck, which necessitates a strong connection between it and the glasses. Add the surface EMG wristband into the loop, and the system architecture becomes even more complicated.

"Komandoms tai buvo didžiulis iššūkis, kurį reikėjo išspręsti, ir visa tai tiesiog veikia", - sako Snodgrassas. "Tai buvo nuostabus bendradarbiavimas tarp silicio komandos, belaidžio ryšio komandos ir programinės įrangos komandų visoje organizacijoje."

"Orion" skaičiavimo pūkas.

"Su "Orion" subūrėme visą komandą, kurioje dirbo įvairūs inžinieriai, ir jie sugebėjo suprojektuoti visiškai naują vamzdyną", - priduria Clohsetas. "Tai vamzdynas, kuris apdoroja šešių laisvės laipsnių objektų judėjimą 3D erdvėje. Jis naudoja savo pasirinktinę ekrano tvarkyklę. Turėjome atlikti tikrai unikalius vaizdo kokybės pataisymus. Manau, kad iššūkis mums buvo tai, kad tai buvo nulinis projektas, todėl nebuvo jokios esamos specifikacijos, kurią būtų galima koreguoti ir tobulinti. Viskas čia visiškai nauja, todėl turėjome veiksmų laisvę."

Much like the puck has some dormant features hidden beneath the surface, the custom silicon punches above its weight, too. While Orion doesn’t allow the user to take photos with its RGB cameras, the silicon is capable of supporting it, as well as codec avatars. And just as the puck helped unlock a true glasses form factor by offloading much of the compute, Orion’s custom silicon proved a necessary piece of the AR puzzle.

"Norint įgyvendinti tokią "zero-to-one" patirtį kaip AR akiniai, reikia specialaus silikono - pilno sustojimo", - aiškina Snodgrassas. "Laikui bėgant, jei atsiras rinka, silicio pardavėjai sukurs produktus, kurie patenkins paklausą. Tačiau norint sukurti "zero-to-one", negalima tiesiog paimti iš lentynos kažką, kas yra skirta kitam produktui, ir pritaikyti tai naujoje formoje. Reikia investuoti į kažką pagal užsakymą. O norint įgyvendinti šias "zero-to-one" patirtis, reikia plataus programinės įrangos partnerių, pramoninių dizainerių, mechanikos inžinierių ir kt. bendradarbiavimo."

"Išsilaisvinę iš tradicinių mąstymo modelių, sukūrėme kažką išties nepaprasto", - priduria Sheareris. "Tikime, kad ši kompiuterinė platforma yra technologijų ateitis, kuri iš esmės pakeis tai, kaip gyvename, dirbame ir bendraujame vieni su kitais. Džiaugiamės, kad galime būti šios inovacijos priešakyje, plėsti galimybių ribas ir padėti kurti istoriją."

When we first began giving demos of Orion early this year I was reminded of a line that you hear a lot at Meta—in fact it was even in our first letter to prospective shareholders back in 2012: Code wins arguments. We probably learned as much about this product space from a few months of real-life demos than we did from the years of work it took to make them. There is just no substitute for actually building something, putting it in people’s hands, and learning from how they react to it.

Orion wasn’t our only example of that this year. Our mixed reality hardware and AI glasses have both reached a new level of quality and accessibility. The stability of those platforms allows our software developers to move much faster on everything from operating systems to new AI features. This is how I see the metaverse starting to come into greater focus and why I’m so confident that the coming year will be the most important one in the history of Reality Labs.

2024 m. - dirbtinio intelekto akiniai pasiekė savo viršūnę. Kai 2021 m. pradėjome gaminti išmaniuosius akinius, manėme, kad jie galėtų būti geras pirmas žingsnis link AR akinių, kuriuos galiausiai norėjome sukurti. Nors mišriosios realybės ausinės yra pakeliui į bendrosios paskirties kompiuterių platformą, panašią į šiandieninius asmeninius kompiuterius, akinius laikėme natūralia šiandieninių mobiliųjų kompiuterių platformų evoliucija. Todėl norėjome kuo greičiau pradėti mokytis iš realaus pasaulio.

The biggest thing we’ve learned is that glasses are by far the best form factor for a truly AI-native device. In fact they might be the first hardware category to be completely defined by AI from the beginning. For many people, glasses are the place where an AI assistant makes the most sense, especially when it’s a multimodal system that can truly understand the world around you.

We’re right at the beginning of the S-curve for this entire product category, and there are endless opportunities ahead. One of the things I’m most excited about for 2025 is the evolution of AI assistants into tools that don’t just respond to a prompt when you ask for help but can become a proactive helper as you go about your day. At Connect we showed how Live AI on glasses can become more of a real-time participant when you’re getting things done. As this feature begins rolling out in early access this month we’ll see the first step toward a new kind of personalized AI assistant.

It won’t be the last. We’re currently in the middle of an industry-wide push to make AI-native hardware. You’re seeing phone and PC makers scramble to rebuild their products to put AI assistants at their core. But I think a much bigger opportunity is to make devices that are AI-native from the start, and I’m confident that glasses are going to be the first to get there. Meta’s Chief Research Scientist Michael Abrash has been talking about the potential of a personalized, context-aware AI assistant on glasses for many years, and building the technologies that make it possible has been a huge focus of our research teams.

Mišrioji realybė has been another place where having the right product in the hands of a lot of people has been a major accelerant for progress. We’ve seen Meta Quest 3 get better month after month as we continue to iterate on the core system passthrough, multitasking, spatial user interfaces, and more. All these gains extended to Quest 3S the moment it launched. This meant the $299 Quest 3S was in many respects a better headset on day 1 than the $499 Quest 3 was when it first launched in 2023. And the entire Quest 3 family keeps getting better with every update.

In 2025 we’ll see the next iteration of this as Quest 3S brings a lot more people into mixed reality for the first time. While Quest 3 has been a hit among people excited to own the very best device on the market, Quest 3S is expected to be heavily gifted in 2024. Sales were strong over the Black Friday weekend, and we’re expecting a surge of people activating their new headsets over the holiday break.

Tai tęs per pastaruosius metus susiformavusią tendenciją: daugėja naujų naudotojų, kurie ieško įvairesnių galimybių naudotis ausinėmis. Norime, kad šie nauji naudotojai pamatytų MR stebuklą ir pasiliktų ilgam, todėl finansuojame kūrėjus, kad jie kurtų naujo tipo programas ir žaidimus, kurių jie ieško.

Ypač daug jaunų žmonių, kurie renkasi socialinius ir konkurencinius daugelio žaidėjų žaidimus, taip pat nemokamą turinį. Ir tokie žaidimai, pvz. Skydance's BEHEMOTH, Betmenas: "Arkham Shadow (kuris ką tik laimėjo geriausio AR/VR žaidimo apdovanojimą "The Game Awards"!) ir Metro pabudimas dar kartą įrodė, kad kai kuriuos geriausius naujus žaidimus mūsų pramonė dabar gali žaisti tik su šiuolaikinėmis ausinėmis.

As the number of people in MR grows, the quality of the social experience it can deliver is growing in tandem. This is at the heart of what Meta is trying to achieve with Reality Labs and where the greatest potential of the metaverse will be unlocked: “the chance to create the most social platform ever” is how we described it when we first began working on it. We took two steps forward on this front in 2024: first with a broad set of improvements to Horizon Worlds including its expansion to mobile, and second with the next-generation Meta Avatars system that lets people represent themselves across our apps and headsets. And as the visual quality and overall experience with these systems improve, more people are getting their first glimpse of a social metaverse. We’re seeing similar trends with new Quest 3S users spending more time in Horizon Worlds, making it a Top 3 immersive app for Quest 3S, and people continue creating new Meta Avatars across mobile and MR.

Mišriosios realybės paplitimas padėjo išsiaiškinti, kas bus toliau. Viena iš pirmųjų tendencijų, kurias pastebėjome pernai pasirodžius "Quest 3", buvo ta, kad žmonės naudoja mišriąją realybę vaizdo įrašams žiūrėti ir tuo pat metu atlieka daugybę užduočių namuose - plauna indus ar siurbia kambarį. Tai buvo ankstyvas signalas, kad žmonėms patinka turėti didelį virtualųjį ekraną, kurį galima pasiimti bet kur ir patalpinti fiziniame pasaulyje aplink save. Matėme, kad ši tendencija įsivyrauja, o įvairios pramoginės patirtys sparčiai auga visoje "Quest 3" šeimoje. Naujos funkcijos, pvz., "YouTube Co-Watch parodo, kiek daug potencialo yra visiškai naujo tipo socialinėms pramogoms metaversle.

That’s why James Cameron, one of the most technologically innovative storytellers of our lifetimes, is now working to help more filmmakers and creators produce great 3D content for Meta Quest. While 3D films have been produced for decades, there’s never been a way to view them that’s quite as good as an MR headset, and next year more people will own a headset than ever before. “We’re at a true, historic inflection point,"Jim said when we launched our new partnership this month.

This is happening alongside a larger shift Mark Rabkin shared at Connect this year: Our vision for Horizon OS is to build a new kind of general purpose computing platform capable of running every kind of software, supporting every kind of user, and open to every kind of creator and developer. Our recent releases for 2D/3D multi-tasking, panel positioning, better hand tracking, Windows Remote Desktop integration, and Open Store have started to build momentum along this new path. Horizon OS is on track to be the first platform that supports the full spectrum of experiences from immersive VR to 2D screens, mobile apps, and virtual desktops—and the developer community is central to that success.

Kitas didelis žingsnis link metaverslo bus derinami dirbtinio intelekto akiniai su tikra papildytosios realybės patirtimi, kurią šiais metais atskleidėme su "Orion". Nedažnai tenka žvilgtelėti į ateitį ir pamatyti visiškai naują technologiją, kuri parodo, kur link viskas krypsta. Žmonės, kurie pamatė "Orion", iš karto suprato, ką tai reiškia ateičiai, panašiai kaip žmonės, kurie 1970-aisiais matė, kaip "Xerox PARC" įmonėje formavosi pirmieji asmeniniai kompiuteriai ("per dešimt minučių man buvo aišku, kad visi kompiuteriai kada nors veiks taip", - vėliau apie 1979 m. demonstruotą "Xerox Alto" sakė Steve'as Jobsas).

Galimybė pasodinti žmones į laiko mašiną ir parodyti jiems, kaip atrodys kita kompiuterių platforma, buvo svarbiausias 2024 m. ir mano karjeros įvykis. Tačiau tikrąjį "Orion" poveikį turės produktai, kuriuos pristatysime vėliau, ir tai, kaip ji padės mums geriau suprasti, kas žmonėms patinka AR akiniuose ir ką reikia patobulinti. Daugelį metų atlikdami naudotojų tyrimus, produktų planavimo pratybas ir eksperimentinius tyrimus bandėme suprasti, kaip turėtų veikti AR akiniai, ir būtent šis darbas leido mums sukurti "Orion". Tačiau dabar, kai turime realų produktą, kuriuo remdamiesi galime kurti savo intuiciją, pažanga bus daug spartesnė.

This has been the lesson time and again over the last decade at Reality Labs. The most important thing you can do when you’re trying to invent the future is to ship things and learn from how real people use them. They won’t always be immediate smash hits, but they’ll always teach you something. And when you land on things that really hit the mark, like mixed reality on Quest 3 or AI on glasses, that’s when you put your foot on the gas. This is what will make 2025 such a special year: With the right devices on the market, people experiencing them for the first time, and developers discovering all the opportunities ahead, it’s time to accelerate.

Welcome back for another episode of Boz To The Future, a podcast from Reality Labs. In today’s episode, our host, Meta CTO and Head of Reality Labs Andrew “Boz” Bosworth, is joined by Meta’s VP of Wearables Alex Himel.

Himelio komanda sprendžia sudėtingiausias technines problemas pramonėje, kad padėtų sukurti kitą kompiuterijos platformą. Kaip ir Bosworthas, jis yra ilgametis "Meta" vadovas, per daugiau nei 15 metų bendrovėje užėmęs daugybę vadovaujančių pareigų visame versle.

Bosworthas ir Himelis aptaria įvairias temas, įskaitant dėvimus įrenginius, papildytąją realybę ir tai, kaip dirbtinis intelektas pagreitina ir pagerina patirtį, įdiegtą į "Ray-Ban Meta" akiniai ir būsimus produktus.

They go deep on Orion and the positive reception it’s received since Mark Zuckerberg announced it at Connect. Just as Steve Jobs recognized the Alto as a turning point in computing, Bosworth asserted that, while we may disagree about the details, it’s hard to argue against this as the future. Himel and Bosworth go on to talk about the tremendous value of prototyping and building, saying how much more they’ve learned about Orion and its input paradigms in the three weeks of using it compared to the years spent building it.

Jie taip pat kalbėjo apie itin svarbų dirbtinio intelekto vaidmenį dėvimuose įrenginiuose ir apie tai, kaip jis tampa vis naudingesnis kasdieniame gyvenime, ypač dabar, kai galite paklausti "Meta AI" apie tai, ką matote, ir naudoti jį vizualiniams priminimams nustatyti.

Himelis taip pat pasakoja apie savo didelę patirtį, įgytą dirbant su kitokio pobūdžio krūvomis - sumuštiniais. Septynerius metus dirbęs garsiojoje "Lange's Little Store" parduotuvėje Čapakavoje, Niujorko valstijoje, kur jis užaugo, Himelis ir Bosworthas išsiaiškina, kas yra puikus sumuštinis, kur iš tikrųjų tinka pomidorai ir kokia duona yra geresnė.

Galite įsijungti Boz į ateitį on Apple Podcasts, Spotify, and wherever you listen to podcasts.

You can follow Himel on Threads. You can follow Bosworth on Instagram, Twitter/X, and Threads @boztank.

Back in 2019, the Orion team prepared an important demo for Meta Founder & CEO Mark Zuckerberg, showcasing potential waveguides for augmented reality glasses—a pivotal moment when theoretical calculations on paper were brought to life. And it was a demo that changed everything.

“Wearing the glasses with glass-based waveguides and multiple plates, it felt like you were in a disco,” recalls Optical Scientist Pasqual Rivera. “There were rainbows everywhere, and it was so distracting—you weren’t even looking at the AR content. Then, you put on the glasses with silicon carbide waveguides, and it was like you were at the symphony listening to a quiet, classical piece. You could actually pay attention to the full experience of what we were building. It was a total game changer.”

Yet as clear (pun intended) as the choice of silicon carbide as a substrate seems today, when we first started down the road to AR glasses a decade ago, it was anything but.

"Silicio karbidas paprastai būna stipriai legiruotas azotu, - sako Rivera. "Jis yra žalias, o jei pakankamai storas, atrodo juodas. Iš jo niekaip negalima pagaminti optinio lęšio. Tai elektroninė medžiaga. Ne veltui ji yra tokios spalvos, ir tai lemia elektroninės savybės."

"Silicio karbidas kaip medžiaga naudojamas jau seniai, - pritaria "AR Waveguides" technikos vadovas Giuseppe Calafiore. "Pagrindinė jo paskirtis - didelės galios elektronika. Pavyzdžiui, elektrinės transporto priemonės: Visoms elektromobiliams reikia lusto, bet tas lustas taip pat turi būti labai didelės galios, judinti ratus ir vairuoti šį daiktą. Pasirodo, to neįmanoma padaryti naudojant įprastą silicio substratą, iš kurio gaminamos mikroschemos, kurias naudojame savo kompiuteriuose ir elektronikoje. Reikia platformos, kuri leistų praleisti dideles sroves, didelę galią, ir ta medžiaga yra silicio karbidas."

Kol pastaruoju metu nepradėta aktyviai diskutuoti apie atsinaujinančiuosius energijos šaltinius, šių didelės galios mikroschemų rinkinių rinka nė iš tolo neprilygo buitinės elektronikos mikroschemų rinkai. Silicio karbidas visada buvo brangus, ir nebuvo daug paskatų mažinti sąnaudas, nes tokio dydžio mikroschemų, kokios gaminamos automobiliams, substrato kaina buvo priimtina.

"Tačiau paaiškėjo, kad silicio karbidas taip pat pasižymi kai kuriomis savybėmis, reikalingomis bangolaidžiams ir optikai", - sako Calafiore'as. "Pagrindinė mums svarbi savybė yra lūžio rodiklis. O silicio karbidas turi didelį lūžio rodiklį, o tai reiškia, kad jis gali nukreipti ir perduoti didelį kiekį optinių duomenų. Galima tai laikyti optiniu dažnių juostos pločiu - panašiai kaip interneto dažnių juostos plotis, ir jūs norite, kad jis būtų pakankamai didelis, kad tuo kanalu galėtumėte siųsti didžiulius duomenų kiekius. Tas pats pasakytina ir apie optinius prietaisus."

The higher a material’s refractive index, the higher its étendue, so you can send more optical data through that channel.

"Mūsų atveju kanalas yra mūsų bangolaidis, o didesnis etendue reiškia didesnį matymo lauką", - aiškina Calafiore'as. "Kuo didesnis medžiagos lūžio rodiklis, tuo didesnį matymo lauką ekranas gali išlaikyti."

Kelias į tinkamą lūžio rodiklį

Kai 2016 m. Calafiore'as pirmą kartą prisijungė prie tuometinių "Oculus Research" tyrimų, didžiausias komandos turimas lūžio rodiklis buvo 1,8 - tam, kad būtų pasiektas norimas regėjimo laukas, reikėjo sudėti kelias plokšteles. Be nepageidaujamų optinių artefaktų, surinkimo linija darėsi vis sudėtingesnė, nes pirmieji du bangolaidžiai turėjo būti tobulai suderinti, o paskui šis krūvis turėjo būti tobulai suderintas su trečiuoju bangolaidžiu.

"Tai buvo ne tik brangu, bet ir iš karto buvo aišku, kad akinių poroje negalima naudoti trijų stiklo gabalėlių vienam lęšiui", - prisimena Calafiore'as. "Jie buvo per sunkūs, o jų storis buvo pernelyg didelis ir negražus - niekas nebūtų jų pirkęs. Taigi grįžome į pradinį etapą: bandėme padidinti pagrindo lūžio rodiklį, kad sumažintume reikalingų plokštelių skaičių."

The first material the team looked into was lithium niobate, which has a refractive index of roughly 2.3—quite a bit higher than the glass at 1.8.

"Supratome, kad mums užtenka sudėti dvi plokštes, o galbūt galėtume išsiversti ir su viena plokštele, kad vis tiek padengtume regėjimo lauką", - sako Calafiore'as. "Beveik lygiagrečiai pradėjome ieškoti kitų medžiagų - taip 2019 m. kartu su tiekėjais išsiaiškinome, kad gryniausia silicio karbido forma iš tikrųjų yra labai skaidri. Be to, jis turi didžiausią žinomą lūžio rodiklį optiniam naudojimui - 2,7."

Tai 17,4% daugiau nei ličio niobato ir 50% daugiau nei stiklo, jei skaičiuojate namuose.

"Keletą kartų pakeitus tą pačią pramonėje jau naudojamą įrangą, pavyko gauti skaidrų silicio karbidą", - sako Calafiore'as. "Galima tiesiog pakeisti procesą, būti daug atsargesniems ir, užuot optimizavus elektronines savybes, optimizuoti optines savybes: skaidrumą, lūžio rodiklio vienodumą ir pan."

Galimos kompromisų sąnaudos

Tuo metu "Reality Labs" komanda buvo pirmoji, kuri net bandė pereiti nuo neskaidrių silicio karbido plokštelių prie skaidrių. Kadangi silicio karbidas yra viena iš kiečiausių žinomų medžiagų, jam pjaustyti ar poliruoti iš esmės reikia deimantinių įrankių. Dėl to vienkartinės inžinerinės išlaidos buvo labai didelės, todėl gautas substratas buvo gana brangus.

Nors esama ekonomiškesnių alternatyvų, kaip ir bet kurios kitos technologijos atveju, kiekviena iš jų turi kompromisų. O didėjant matymo laukui, kai "Orion" matymo laukas tampa geriausiu pramonėje - maždaug 70 laipsnių, atsiranda naujų problemų, pavyzdžiui, vaiduokliški vaizdai ir vaivorykštės.

"Ieškant optimalaus plataus matymo lauko AR ekrano sprendimo, tenka ieškoti kompromisų tarp našumo ir sąnaudų", - aiškina mokslinių tyrimų direktorius Barry Silversteinas. "Išlaidas dažnai galima sumažinti, bet jei našumas nesumažės, išlaidos galiausiai nebus svarbios."

Vaiduokliški vaizdai yra tarsi pagrindinio vaizdo, projektuojamo į ekraną, regimieji aidai. Vaivorykštės - tai spalvingi šviesos ruožai, atsirandantys aplinkos šviesai atsispindint nuo bangolaidžio. "Sakykime, kad važiuojate naktį ir aplink jus juda automobilių šviesos, - sako Silveršteinas. "Jums taip pat judės vaivorykštės. Arba jei žaidžiate tinklinį paplūdimyje ir šviečia saulė, gausite vaivorykštės ruožą, kuris judės kartu su jumis, ir jūs praleisite šūvį. O viena iš stebuklingų silicio karbido savybių yra ta, kad jis atsikrato tų vaivorykščių."

"Kitas silicio karbido privalumas, kurio neturi nė viena kita medžiaga, yra šilumos laidumas", - priduria Calafiore'as. "Plastikas yra siaubingas izoliatorius. Stiklas, ličio niobatas - tas pats. Silicio karbidas yra skaidrus, atrodo kaip stiklas, ir spėkite ką: jis praleidžia šilumą."

Taigi 2020 m. liepą komanda nusprendė, kad silicio karbidas yra optimalus pasirinkimas dėl trijų pagrindinių priežasčių: Jis leido pagerinti formos faktorių, nes reikėjo tik vienos plokštelės ir mažesnių tvirtinimo konstrukcijų, pasižymėjo geresnėmis optinėmis savybėmis ir buvo lengvesnis už dviejų plokštelių stiklą.

Šlaitinio ėsdinimo paslaptis

Pasirinkus medžiagą, kitas riešutas buvo bangolaidžių gamyba, o konkrečiai - netradicinis grotelių metodas, vadinamas įstrižuoju ėsdinimu.

"Tinklelis yra nanostruktūra, kuri įjungia ir išjungia šviesą iš lęšio", - aiškina Calafiore'as. "Kad silicio karbidas veiktų, grotelės turi būti įstrižai ėsdinamos. Reikia, kad grotelių linijos būtų ne vertikalios, o įstrižos."

"Buvome pirmieji, atlikę įstrižą ėsdinimą tiesiai ant prietaisų", - sako tyrimų vadovas Niharas Mohanty. "Visa pramonė naudojo nanoatspaudus, kurie netinka substratams su tokiu dideliu lūžio rodikliu. Štai kodėl niekas kitas pasaulyje nesugalvojo atlikti silicio karbido."

Tačiau, kadangi įstrižas ėsdinimas yra neišplėtota technologija, dauguma puslaidininkinių lustų tiekėjų ir gamyklų neturi reikiamų įrankių.

"2019 m. kartu su tuometiniu vadovu Mattu Colburnu įkūrėme nuosavą gamyklą, nes pasaulyje nebuvo nieko, kas galėtų gaminti ėsdintus silicio karbido bangolaidžius ir kur galėtume išbandyti technologiją ne tik laboratoriniu mastu", - aiškina Mohanty. "Tai buvo didžiulė investicija, ir mes ten sukūrėme visą vamzdyną. Įrankius mums pagal užsakymą pagamino mūsų partneriai, o procesas buvo sukurtas pačioje įmonėje "Meta", nors mūsų sistemos yra mokslinių tyrimų klasės, nes nebuvo jokių gamybai tinkamų sistemų. Bendradarbiavome su gamybos partneriu, kad sukurtume gamybai tinkamus įstrižojo ėsdinimo įrankius ir procesus. Dabar, kai parodėme, kas įmanoma naudojant silicio karbidą, norime, kad ir kiti pramonės atstovai pradėtų gaminti savo įrankius."

Kuo daugiau įmonių investuos į optinio silicio karbido kokybę ir kurs įrangą, tuo stipresnė bus AR akinių kategorija.

Daugiau nebeieškoti vaivorykštės

While technological inevitability is a myth, the stars certainly seem to be aligning in silicon carbide’s favor. And although the team continues to investigate alternatives, there’s a strong sense that the right people have come together at the right time under the right market conditions to build AR glasses using this material.

"Orion" įrodė, kad silicio karbidas yra perspektyvus AR akinių variantas, - sako Silversteinas, - ir dabar matome, kad tiekėjų grandinė trijuose skirtinguose žemynuose aktyviai domisi šia galimybe. Silicio karbidas bus geriausias. Mano nuomone, tai tik laiko klausimas."

Per tą laiką gali daug kas nutikti - panašiai kaip nuo tada, kai užauginome pirmuosius skaidraus silicio karbido kristalus.

"Visi šie silicio karbido gamintojai, reaguodami į laukiamą elektromobilių bumą, smarkiai padidino pasiūlą", - pažymi Calafiore. "Dabar yra pertekliniai pajėgumai, kurių nebuvo, kai kūrėme "Orion". Kadangi pasiūla didelė, o paklausa maža, substrato kaina pradėjo mažėti."

"Tiekėjai labai džiaugiasi nauja galimybe gaminti optinės kokybės silicio karbidą - juk kiekvienas bangolaidžio lęšis, palyginti su elektroniniu lustu, yra didelis medžiagos kiekis, o visi jų turimi pajėgumai tinka šiai naujai sričiai", - priduria Silveršteinas. "Labai svarbu užpildyti gamyklą, o svajonė - padidinti gamyklos apimtis. Svarbu ir plokštelės dydis: Kuo didesnė plokštelė, tuo mažesnės sąnaudos, tačiau didėja ir proceso sudėtingumas. Tačiau matėme, kad tiekėjai pereina nuo keturių iki aštuonių colių plokštelių, o kai kurie kuria 12 colių plokštelių pirmtakus, kurie leistų pagaminti eksponentiškai daugiau porų AR akinių."

Šie pasiekimai turėtų padėti ir toliau mažinti išlaidas. Dar tik pradžia, bet ateitis vis labiau ryškėja.

"Bet kokios naujos technologinės revoliucijos pradžioje išbandoma daugybė dalykų, - sako Calafiore'as. "Pažvelkite į televiziją: Pradėjome nuo katodinių spindulių vamzdžių, vėliau perėjome prie LED plazminių televizorių, o dabar - prie mikroLED. Išbandėme kelias skirtingas technologijas ir architektūras. Ieškant kelio, daugybė kelių baigiasi niekur, bet yra keletas, prie kurių vis grįžtama kaip prie perspektyviausių. Nesame kelio pabaigoje ir negalime to padaryti vieni, tačiau silicio karbidas yra stebuklinga medžiaga, į kurią verta investuoti."

"Pasaulis dabar pabudo", - priduria Silveršteinas. "Sėkmingai įrodėme, kad silicio karbidas gali būti lankstus elektronikoje ir fotonikoje. Tai medžiaga, kuri ateityje gali būti pritaikyta kvantinių kompiuterių srityje. Ir matome požymių, kad įmanoma gerokai sumažinti kainą. Dar daug ką reikia nuveikti, tačiau potencialas čia yra didžiulis."

TL;DR:

• Today at Connect, Mark Zuckerberg unveiled Orion—our first pair of true AR glasses, previously codenamed Project Nazare.
• With an industry-leading field of view, silicon carbide lenses, intricate waveguides, uLED projectors, and more, Orion is our most advanced and most polished product prototype to date.
• Dabar toliau optimizuojame gaminius ir mažiname sąnaudas, kad sukurtume keičiamo dydžio vartotojo įrenginį, kuris pakeis žmonių bendravimo su pasauliu būdą.

---

"Kuriame AR akinius."

Five simple words, spoken five years ago. With them, we planted a flag on our vision of a future where we no longer have to make the false choice between a world of information at our fingertips and the physical world all around us.

O dabar, po penkerių metų, dar penki žodžiai, kurie gali dar kartą pakeisti žaidimą:

Sukūrėme AR akinius.

"Meta" misija paprasta: suteikti žmonėms galią kurti bendruomenę ir suartinti pasaulį. O "Reality Labs" kuriame įrankius, padedančius žmonėms jaustis prisijungusiems bet kada ir bet kur. Todėl dirbame kurdami kitą kompiuterinę platformą, kurios centre atsiduria žmonės, kad jie galėtų labiau būti pasaulyje, palaikyti ryšį ir įgyti daugiau galių.

"Ray-Ban Meta" akiniai įrodė, kad žmonėms suteikiama galimybė laisvai naudotis pagrindinėmis skaitmeninio gyvenimo dalimis iš fizinio gyvenimo. Galime kalbėtis su išmaniuoju dirbtinio intelekto asistentu, bendrauti su draugais ir fiksuoti svarbias akimirkas - ir visa tai galime daryti neišsitraukdami telefono. Šie stilingi akiniai sklandžiai įsilieja į mūsų kasdienį gyvenimą, o žmonės juos be galo mėgsta.

Nors "Ray-Ban Meta" sukūrė visiškai naują akinių be ekrano kategoriją, kurią papildė dirbtinis intelektas, XR pramonė jau seniai svajojo apie tikrus AR akinius - gaminį, kuris sujungtų didelio holografinio ekrano privalumus ir asmeninę dirbtinio intelekto pagalbą patogiame, stilingame, visą dieną nešiojamame formate.

And today, we’ve pushed that dream closer to reality with the unveiling of Orion, which we believe is the most advanced pair of AR glasses ever made. In fact, it might be the most challenging consumer electronics device produced since the smartphone. Orion is the result of breakthrough inventions in virtually every field of modern computing—building on the work we’ve been doing at Reality Labs for the last decade. It’s packed with entirely new technologies, including the most advanced AR display ever assembled and custom silicon that enables powerful AR experiences to run on a pair of glasses using a fraction of the power and weight of an MR headset.

Orion’s input system seamlessly combines voice, eye gaze, and hand tracking with an EMG wristband that lets you swipe, click, and scroll while keeping your arm resting comfortably by your side, letting you stay present in the world and with the people around you as you interact with rich digital content.

Nuo šiandien "Connect" ir toliau visus metus "Meta" darbuotojams ir atrinktai išorės auditorijai suteikiame prieigą prie "Orion" produkto prototipo, kad mūsų kūrimo komanda galėtų mokytis, tobulinti ir kurti savo vartotojui skirtų AR akinių liniją, kurią planuojame pradėti tiekti netolimoje ateityje.

Kodėl AR akiniai?

Yra trys pagrindinės priežastys, dėl kurių AR akiniai yra svarbiausi, norint atverti kitą didelį šuolį į žmogų orientuotų kompiuterių srityje.

1. Jie suteikia galimybę patirti skaitmeninę patirtį, kurios nevaržo išmaniojo telefono ekrano ribos. Naudodami didelius holografinius ekranus, fizinį pasaulį galite naudoti kaip drobę ir bet kur patalpinti 2D ir 3D turinį bei patirtį.
2. Juose sklandžiai integruotas kontekstinis dirbtinis intelektas, kuris gali pajusti ir suprasti jus supantį pasaulį, kad numatytų ir aktyviai atsižvelgtų į jūsų poreikius.
3. Jie yra lengvi ir puikiai tinka naudoti tiek patalpose, tiek lauke, be to, žmonės gali matyti tikrus vienas kito veidus, akis ir išraiškas.

Tai šiaurinė žvaigždė, prie kurios mūsų pramonė artėja: gaminys, kuriame būtų suderintas dėvimųjų įrenginių patogumas ir greitaveika, didelis ekranas, didelio pralaidumo įvestis ir kontekstualizuotas dirbtinis intelektas, ir kuris būtų tokios formos, kad žmonės jaustųsi patogiai nešiojami kasdieniame gyvenime.

Kompaktiškas formatas, sudėtingi iššūkiai

Jau daugelį metų susiduriame su klaidingu pasirinkimu - arba virtualios ir mišrios realybės ausinės, leidžiančios patirti gilią ir įtraukiančią patirtį, bet turinčios didelių gabaritų, arba akiniai, kurie idealiai tinka naudoti visą dieną, bet nesuteikia galimybės naudotis turtingomis vaizdinėmis programomis ir patirtimis, nes neturi didelio ekrano ir atitinkamos skaičiavimo galios.

Tačiau mes norime visko, be jokių kompromisų. Daugelį metų sunkiai dirbome, kad galėtume pritaikyti neįtikėtiną erdvinę patirtį, kurią suteikia VR ir MR ausinės, ir miniatiūrizuoti technologiją, reikalingą šiai patirčiai perteikti lengvuose ir stilinguose akiniuose. Formos faktoriaus suderinimas, holografiniai ekranai, įtikinama AR patirtis, naujos žmogaus ir kompiuterio sąveikos (HCI) paradigmos ir visa tai padaryti vienu vientisu produktu - tai vienas sudėtingiausių iššūkių, su kuriais kada nors teko susidurti mūsų pramonei. Jis buvo toks sudėtingas, kad manėme, jog turime mažiau nei 10 proc. tikimybę jį sėkmingai įgyvendinti.

Iki šiol.

Pažangus ekranas neprilygstamo formato ekrane

Maždaug 70 laipsnių kampu "Orion" turi didžiausią matymo lauką mažiausiuose iki šiol AR akiniuose. Toks matymo laukas atveria tikrai įtraukiančius "Orion" naudojimo atvejus - nuo daugiafunkcinių langų ir pramogų dideliame ekrane iki natūralaus dydžio žmonių hologramų - visą skaitmeninį turinį, kuris gali sklandžiai susilieti su jūsų fizinio pasaulio vaizdu.

"Orion" atveju regėjimo laukas buvo mūsų šventasis gralis. Susidūrėme su fizikos dėsniais ir turėjome sulenkti šviesos pluoštus taip, kaip jie natūraliai nesilenkia, ir turėjome tai padaryti neviršydami milivatais matuojamos galios.

Instead of glass, we made the lenses from silicon carbide—a novel application for AR glasses. Silicon carbide is incredibly lightweight, it doesn’t result in optical artifacts or stray light, and it has a high refractive index—all optical properties that are key to a large field of view. The waveguides themselves have really intricate and complex nano-scale 3D structures to diffract or spread light in the ways necessary to achieve this field of view. And the projectors are uLEDs—a new type of display technology that’s super small and extremely power efficient.

"Orion" - tai akiniai, kurių išvaizda ir pojūtis yra neabejotini - su skaidriais lęšiais. Skirtingai nei MR ausinėse ar kituose dabartiniuose AR akiniuose, vis dar galite matyti tikrąsias kitų žmonių akis ir išraiškas, todėl galite būti šalia ir dalytis patirtimi su aplinkiniais. Reikėjo dešimčių naujovių, kad pramoninis dizainas taptų šiuolaikinės formos akiniais, kuriuos būtų patogu nešioti kasdien. Orion yra miniatiūrizacijos pasiekimas - komponentai sutalpinti iki milimetro dalies. Į rėmelio apvadus pavyko įmontuoti septynias mažytes kameras ir jutiklius.

Turėjome išlaikyti optinį tikslumą, kurio storis prilygo vienai dešimtajai žmogaus plauko sruogai. Be to, sistema gali aptikti nedidelius judesius, pavyzdžiui, rėmų išsiplėtimą ar susitraukimą esant skirtingai kambario temperatūrai, ir skaitmeniniu būdu ištaisyti reikiamą optinį išlyginimą per milisekundes. Rėmeliai pagaminti iš magnio - tos pačios medžiagos, kuri naudojama F1 lenktyniniuose automobiliuose ir kosminiuose laivuose, nes ji yra lengva, bet standi, todėl išlaiko optinių elementų pusiausvyrą ir efektyviai praleidžia šilumą.

Šildymas ir vėsinimas

Kai tik įveikėme ekraną (be kalambūro) ir įveikėme fizikos problemas, turėjome išspręsti tikrai galingų skaičiavimų ir mažo energijos suvartojimo bei šilumos išsklaidymo problemą. Skirtingai nuo šiuolaikinių MR ausinių, į akinius negalima įdėti ventiliatoriaus. Taigi turėjome būti kūrybingi. Daugelis medžiagų, naudojamų "Orion" aušinimui, yra panašios į tas, kurias NASA naudoja palydovams kosmose aušinti.

We built highly specialized custom silicon that’s extremely power efficient and optimized for our AI, machine perception, and graphics algorithms. We built multiple custom chips and dozens of highly custom silicon IP blocks inside those chips. That lets us take the algorithms necessary for hand and eye tracking as well as simultaneous localization and mapping (SLAM) technology that normally takes hundreds of milliwatts of power—and thus generates a corresponding amount of heat—and shrink it down to just a few dozen milliwatts.

Ir taip, nepaisant to, ką teko skaityti kitur, "Reality Labs" kuriant gaminius ir toliau labai svarbus vaidmuo tenka pasirinktiniam siliciui. 😎

"Effortless EMG

Every new computing platform brings with it a paradigm shift in the way we interact with our devices. The invention of the mouse helped pave the way for the graphical user interfaces (GUIs) that dominate our world today, and smartphones didn’t start to really gain traction until the advent of the touch screen. And the same rule holds true for wearables.

We’ve spoken about our work with electromyography, or EMG, for years, driven by our belief that input for AR glasses needs to be fast, convenient, reliable, subtle, and socially acceptable. And now, that work is ready for prime time.

"Orion" įvesties ir sąveikos sistema sklandžiai sujungia balsą, akių žvilgsnį ir rankos sekimą su EMG apyranke, kuri leidžia lengvai perbraukti, spustelėti ir slinkti.

It works—and feels—like magic. Imagine taking a photo on your morning jog with a simple tap of your fingertips or navigating menus with barely perceptible movements of your hands. Our wristband combines a high-performance textile with embedded EMG sensors to detect the electrical signals generated by even the tiniest muscle movements. An on-device ML processor then interprets those EMG signals to produce input events that are transmitted wirelessly to the glasses. The system adapts to you, so it gets better and more capable at recognizing the most subtle gestures over time. And today, we’re sharing more about our support for external research focused on expanding the equity and accessibility potential of EMG wristbands.

Susipažinkite su belaidžiu skaičiavimo įrenginiu "Puck

True AR glasses must be wireless, and they must also be small.So we built a wireless compute puck for Orion. It takes some of the load off of the glasses, enabling longer battery life and a better form factor complete with low latency.

Akiniuose veikia visi rankų sekimo, akių sekimo, SLAM ir specializuoti AR pasaulio užrakinimo grafikos algoritmai, o programėlės logika veikia lėkštėje, kad akiniai būtų kuo lengvesni ir kompaktiškesni.

Ritulys turi du procesorius, įskaitant vieną pagal užsakymą sukurtą čia, "Meta", ir užtikrina skaičiavimo galią, reikalingą mažo vėlavimo grafikos atvaizdavimui, dirbtiniam intelektui ir kai kuriems papildomiems mašinų suvokimo būdams.

Kadangi jis mažas ir aptakus, galite patogiai įsidėti jį į krepšį ar kišenę ir tęsti darbus - be jokių įsipareigojimų.

AR patirtis

Žinoma, kaip ir bet kuri kita aparatinė įranga, ji yra tik tiek gera, kiek geri yra dalykai, kuriuos galite daryti su juo. Nors dar tik pradedama, "Orion" suteikiama patirtis yra įdomi ateities perspektyva.

We’ve got our smart assistant, Meta AI, running on Orion. It understands what you’re looking at in the physical world and can help you with useful visualizations. Orion uses the same Llama model that powers AI experiences running on Ray-Ban Meta smart glasses today, plus custom research models to demonstrate potential use cases for future wearables development.

Keliaudami galite laisvų rankų įranga atlikti vaizdo skambutį ir realiuoju laiku bendrauti su draugais ir šeima, o "WhatsApp" ir "Messenger" galite palaikyti ryšį ir peržiūrėti bei siųsti žinutes. Nereikia išsitraukti telefono, atrakinti jo, ieškoti tinkamos programos ir pranešti draugui, kad vėluojate į vakarienę - visa tai galite padaryti per akinius.

Galite žaisti bendrus AR žaidimus su kitoje šalies pusėje esančia šeima arba su kitoje sofos pusėje sėdinčiu draugu. O dideliame "Orion" ekrane galite atlikti kelias užduotis keliuose languose ir atlikti darbus nesinešiodami su savimi nešiojamojo kompiuterio.

Šiandien su "Orion" įgyta patirtis padės nubrėžti būsimos AR akinių linijos vartotojui gaires. Mūsų komandos kartu su kūrėjų partneriais ir toliau tobulins ir kurs naujas įtraukiančias socialines patirtis, todėl negalime sulaukti, kada galėsime pasidalyti tuo, kas bus toliau.

Tikslingas produkto prototipas

Nors "Orion" nepateks į vartotojų rankas, nesuklyskite: Tai yra ne tyrimų prototipą. Tai labiausiai ištobulintas produkto prototipas, kokį kada nors esame sukūrę, ir jis iš tiesų atspindi tai, kas galėtų siųsti vartotojams. Užuot skubėję išleisti jį į parduotuvių lentynas, nusprendėme pirmiausia sutelkti dėmesį į vidinę plėtrą, o tai reiškia, kad galime greitai kurti ir toliau plėsti technologijų ir patirties ribas.

Tai reiškia, kad greičiau sukursime dar geresnį produktą vartotojui.

Kas toliau

Ilgai trukdė dvi pagrindinės kliūtys, trukdžiusios sukurti plataus vartojimo AR akinius: technologinis proveržis, būtinas norint sukurti didelį ekraną kompaktiškoje akinių formoje, ir būtinybė sukurti naudingą ir įtikinamą AR patirtį, kurią būtų galima paleisti šiuose akiniuose. "Orion" - tai didžiulis įvykis, nes pirmą kartą užtikrinama tikra AR patirtis, veikianti pakankamai stilingoje aparatinėje įrangoje.

Dabar, kai pasauliui pristatėme "Orion", daugiausia dėmesio skiriame keliems dalykams:

• AR ekrano kokybės reguliavimas, kad vaizdai būtų dar ryškesni
• Optimizuojame, kur tik galime, kad formos faktorius būtų dar mažesnis.
• Statyba dideliu mastu, kad jie būtų prieinamesni.

In the next few years, you can expect to see new devices from us that build on our R&D efforts. And a number of Orion’s innovations have been extended to our current consumer products today as well as our future product roadmap. We’ve optimized some of our spatial perception algorithms, which are running on both Meta Quest 3S and Orion. While the eye gaze and subtle gestural input system was originally designed for Orion, we plan to use it in future products. And we’re exploring the use of EMG wristbands across future consumer products as well.

"Orion" - tai ne tik langas į ateitį - tai žvilgsnis į labai realias galimybes, kurias galima pasiekti jau šiandien. Jį sukūrėme siekdami to, ką darome geriausiai: padėti žmonėms užmegzti ryšį. Nuo "Ray-Ban Meta" akinių iki "Orion" - matėme, kiek gerų rezultatų galima pasiekti, kai žmonės gali būti fiziniame pasaulyje ir turėti daugiau galimybių, net ir naudodamiesi visais skaitmeninio pasaulio teikiamais turtais.

Manome, kad neturėtumėte rinktis tarp šių dviejų dalykų. Su kita kompiuterių platforma jums to daryti nereikės.

Last year at Connect, we unveiled Orion—our first true pair of AR glasses. The culmination of our work at Reality Labs over the last decade, Orion combines the benefits of a large holographic display and personalized AI assistance in a comfortable, all-day wearable form factor. It got some attention for its industry-leading field of view, silicon carbide waveguides, uLED projectors, and more. But today, we’re turning our attention to an unsung hero of Orion: the compute puck.

Suprojektuotas taip, kad jį būtų galima lengvai įsidėti į kišenę ar rankinę ir pasiimti bet kur, kur tik einate savo dienos reikalais, "Orion" procesoriaus galia perkeliama į taikomųjų programų logiką ir akiniams suteikiama patrauklesnė, mažesnė forma. Jis belaidžiu ryšiu sujungiamas su akiniais ir EMG apyranke, kad patirtis būtų vientisa.

Nustatykite ir pamirškite, tiesa?

Tačiau rutulio istorija - net ir jo prototipo - yra labai įdomi, o jo išvaizdos nesuprastumėte.

"Kai kuriate kažką panašaus, pradedate įveikti fizikos ribas", - aiškina produktų valdymo direktorius Rahulas Prasadas. "Per pastaruosius 50 metų dėl Mūro dėsnio viskas tapo mažesnė, greitesnė ir mažesnės galios. Problema ta, kad dabar pradedate susidurti su ribomis, kiek šilumos galite išsklaidyti, kiek akumuliatoriaus galite suspausti ir kiek antenos našumo galite sutalpinti į tam tikro dydžio objektą."

Nors žvelgiant iš laiko perspektyvos gali būti 20/20, tačiau ritulio potencialas nebuvo iš karto akivaizdus. Kai esi pirmasis, kuris ką nors kuria, turi ištirti visas galimybes ir nepalikti akmens ant akmens. Kaip sukurti kažką, ką kai kas gali laikyti nepageidaujamu priedu, o ne svarbia paketo dalimi?

"Žinojome, kad ritė - tai papildomas prietaisas, kurį prašome žmonių nešiotis su savimi, - pažymi gaminių dizaino inžinerijos vadovas Jaredas Van Cleave'as, - todėl ieškojome būdų, kaip šią klaidą paversti funkcija."

Galiausiai šis principas pasiteisino, nes ritėje į nedidelį dydį sutalpinta daug skaičiavimų (ir dar daugiau "Meta" sukurto specialaus silicio, skirto dirbtiniam intelektui ir mašininiam suvokimui). Tai padėjo "Orion" iš mokslinės fantastikos srities tapti realybe.

"Jei neturėtumėte ritinio, negalėtumėte patirti tokios patirties, kokią siūlo "Orion", - sako Prasadas. "Gerai AR patirčiai reikia tikrai didelio našumo: didelio kadrų dažnio, itin mažo vėlavimo, tikslaus belaidžio ryšio ir energijos valdymo ir pan. Puką ir akinius reikia sukurti taip, kad jie glaudžiai bendradarbiautų ne tik programėlių, bet ir operacinės sistemos, programinės ir aparatinės įrangos lygmenimis. Ir net jei išmanusis telefonas būtų sukurtas kartu su AR akiniais, dėl didelių našumo reikalavimų išsikrautų telefono akumuliatorius ir būtų atimta skaičiavimo galia iš telefono naudojimo atvejų. Kita vertus, akiniai turi savo didelės talpos akumuliatorių, didelio našumo SoC ir pagal užsakymą "Meta" sukurtą dirbtinio intelekto koprocesorių, optimizuotą "Orion"."

Žinoma, ritulys nebuvo sukurtas per vieną naktį. Reikėjo kelerių metų iteracinio darbo.

"Nežinojome, kaip žmonės norėtų sąveikauti su "Orion" įvesties požiūriu - nebuvo nieko, kuo galėtume remtis rinkoje", - sako produkto vadybininkas Mattas Resmanas. "Jei pažvelgtumėte į ankstyvuosius akinių prototipus, tai buvo didžiulės ausinės, kurios svėrė tris ar keturis kilogramus. O kai bandote sukurti produktą, labai sunku suprasti naudotojo patirtį, jei neturite tinkamo formos faktoriaus. Naudodamiesi peteliške, galėjome labai greitai sukurti prototipą ir pradėti suprasti, kaip žmonės juo naudosis."

Iš pradžių "Omega" kodiniu pavadinimu, tuometinė "Oculus Research" iš pradžių numatė, kad tai bus Ω formos juosta, kuri bus uždedama ant naudotojo kaklo ir prijungiama prie akinių...

... kol "Reality Labs" belaidžio ryšio komanda, be kita ko, įdiegė keletą naujovių, kurios leido jiems nutraukti laidą. Taip atsirado daugiau galimybių naudoti nešiojamąjį arba kišeninį / krepšyje esantį įrenginį, o tai atvėrė daug galimybių.

"Tuo metu skambinimas iš papildytosios realybės vis dar buvo pagrindinis naudojimo atvejis", - aiškina Van Kleivas. "Pukelis buvo ta vieta, kur buvo tvirtinami holografiniai vaizdo įrašai. Jį padėdavote ant stalo, jutiklio suolelis būdavo nukreiptas į jus, vaizdas būdavo rodomas, o tada nuo rutulio paviršiaus būdavo projektuojama, su kuo kalbate, kad būtų galima skambinti."

"Orion" siekia sujungti žmones ir mus suvienyti, - sako Resmanas. "Viena iš pradinių puko koncepcijų buvo padėti sukurti buvimo su kitais žmonėmis jausmą ir suteikti galimybę bendrauti turtingesne forma."

"Tai nepanašu į nieką, ką kada nors esate matę, - prietaisas gali sukurti tikrai smagią ir unikalią sąveiką", - priduria pramoninis dizaineris Emronas Henry. "Vartotojo patirtis šiek tiek primena džiną iš butelio, kai hologramos sklandžiai atsiranda iš prietaiso ir vėl jame ištirpsta."

Kaip jau tikriausiai supratote, puke slypi daugiau galimybių nei tai, kas galiausiai buvo įjungta kaip funkcija. Be jutiklių ir kamerų, kurie būtų naudojami AR skambučiams, rutulys turi haptiką ir 6DOF jutiklius, kurie leistų jį naudoti kaip sekimo valdiklį, kad būtų galima pasirinkti ir valdyti virtualius objektus bei žaisti AR žaidimus. Komanda taip pat išnagrinėjo talpinę ir jėgos jutiklinę įvestį, kad laikant ritę portreto ir kraštovaizdžio režimu ji galėtų būti naudojama kaip žaidimų blokas.

"Kalbėjome apie būtinybę nešiotis šį papildomą daiktą", - sako Van Klivas. "Kaip jį padaryti naudingesnį? Buvo visa darbo grupė. Vienu metu buvo iškelta hipotezė, kad AR žaidimai bus pagrindinis naudojimo atvejis."

Jau pačioje pradžioje žinojome, kad turime ištirti galimybes, kaip su riedlente atlikti tai, ko negalima atlikti telefonais. Galiausiai nusprendėme naudoti akių žvilgsnį, EMG ir rankos sekimą AR žaidimams, pavyzdžiui, "Stargazer" ir "Pong", tačiau "Orion" kūrimo pradžioje sukūrėme įvairių demonstracijų ir žaidimų, kuriuose ritulį naudojome kaip valdiklį, prototipus.

Atvaizduoti ritulio kaip 6DOF valdiklio, skirto AR žaidimams, pavyzdžiui, "Pong", tyrimai.

"Kadangi tai nėra telefonas, turėjome daug laisvės kuriant dizainą", - priduria Prasadas. "Jis gali būti storesnis, galiu jį labiau suapvalinti, kad patogiai tilptų rankoje kaip valdiklis. Gana neįtikėtina, kad iš tikrųjų šis pultelis yra mažesnis už vidutinį telefoną, tačiau jis yra galingesnis už telefoną, nes turi "Meta" sukurtą dirbtinio intelekto ir mašininio suvokimo koprocesorių."

Komanda gilinosi į tai, kuo kokybiškas AR žaidimas gali skirtis nuo MR ar konsolinio žaidimo. Tam reikėjo ištirti įvairias AR žaidimų valdiklio galimybes, įskaitant vairalazdes, fizinių mygtukų išdėstymą, paleidimo mygtukus ir kt.

"Galiausiai iš tikrųjų nepadarėme nė vieno iš tų dalykų", - pastebi Van Klivas. "Mes sukūrėme prototipą, bet niekada nesukūrėme jo iki galo. Norėjome, kad viskas būtų paprasta. Norėjome sukurti šias minkštas sąsajas, bet ne fizinius, mechaninius mygtukus."

Nors jutikliai ir haptika nebuvo įjungti galutiniame gaminio prototipe, jie atliko neatsiejamą funkciją kūrimo metu - komandos galėjo pateikti klaidų pranešimus, tiesiog kelis kartus bakstelėjus į prietaiso viršų, kad būtų pranešta apie klaidą.

Kai dirbtinis intelektas tapo pagrindiniu naudojimo atveju, vis daugiau dėmesio buvo skiriama skaičiavimams. Galiausiai, "Orion" belaidis ryšys, skaičiavimo galia ir akumuliatoriaus talpa - didžiulis techninis pasiekimas - yra "Orion" rutulio pagrindas, o visa tai padeda sumažinti akinių svorį ir formos faktorių, kartu dėl paviršiaus ploto išsklaidant daug daugiau šilumos.

Per visą žaidimo evoliuciją vienas dalykas išliko nepakitęs: ritulys yra daugiau, nei atrodo neįgudusiai akiai. Netradicinių idėjų priėmimas leido mūsų komandoms tyrinėti, plėsti ribas ir kurti ateitį.

"Mes apibrėžiame kategoriją, kuri dar neegzistuoja", - pažymi Henry. "Kaip ir galima tikėtis, vykdant mokslinius tyrimus ir plėtrą, kelyje buvo pradžia ir sustojimas. Kaip vartotojai tikėsis sąveikauti su hologramomis? Ar jie norėtų naudoti AR nuotolinio valdymo pultelį, ar įvesties įvedimui pakanka rankos sekimo, akių žvilgsnio ir EMG? Kas yra intuityvu, mažai trinties, pažįstama ir naudinga?"

"Užuot žvelgę į puodą kaip į paprastą akmenį, klausėme savęs, ką dar galėtume pasiūlyti, kad jis dar labiau skirtųsi nuo telefonų ir pagrįstų, kodėl norėtumėte jį nešiotis", - pripažįsta Resmanas. "Ar jo neapdorota skaičiavimo galia ir praktiškas dizainas - kuris padėjo atskleisti akinių, kuriuos realiai galite nešioti visą dieną, formos faktorių - galiausiai suteikia pakankamai vertės? Mūsų darbas - padėti atsakyti į šiuos klausimus."

"Pradžioje perjungėme pavaras ir sutelkėme dėmesį į tai, ką galime padaryti, ko negali padaryti telefonas", - priduria Van Kleivas. "Telefonuose turi būti ekranas, tam tikras fizinis mygtukų išdėstymas, kurio tikisi naudotojai. Mes neturime šių apribojimų. Mūsų skaičiavimo pūkas gali būti toks, kokio norime."