Autor: Kristián Ivančo

In 2017, Reality Labs Chief Scientist Michael Abrash, backed by Meta Founder & CEO Mark Zuckerberg, established a new, secret team within what was then Oculus Research to build the foundation of the next computing platform. Their herculean task: Create a custom silicon solution that could support the unique demands of future augmented reality glasses—a technical feat that required reimagining every component for an all-day wearable AR glasses form factor that simply didn’t exist yet.

Orion AR-prillide prototüübi esiotsanurk.

Kompaktne vormifaktor, märkimisväärne probleemiruum

Growing from just a few researchers to hundreds of people on the product side, the custom silicon team was built on the premise that AR glasses couldn’t rely on the silicon available in today’s smartphones. And it’s a premise borne out by the several custom chips inside Orion, our first true AR glasses product prototype.

"Laeva ehitamine sadamast väljumise ajal - see oli täpselt see, mida me tegime," ütleb kõrgtehnoloogiate strateegiadirektor Jeremy Snodgrass. "Me pidime oma tagasihoidlikku meeskonda suurendama ja samal ajal neid kiipe ehitama. Oli põnev näha, kuidas juhtkond tõi uusi töötajaid pardale, arendades samal ajal kultuuri, mis väärtustab paindlikkust. Mitte miski ei olnud kellegi teise probleem. Sa võtsid sõru kätte ja hakkasid sõudma, isegi kui see ei olnud täpselt see, milleks sind palgati. See oli väga, väga põnev aeg."

"Peaaegu kõik Orionis oli paljuski uus," nõustub Display Architecture'i tehniline direktor Mike Yee. "Mõned ideed olid juba olemas, kuid keegi ei olnud võtnud ette uurimisprojekti, et ehitada tegelikult kogu päeva kantavad AR-prillid."

Meeskond pidi pakkuma veenvat AR-kogemust võimalikult vähese energiatarbimisega. Prillide vormifaktor suudab hajutada vaid teatud hulga soojust ja mahutab vaid teatud koguse akut. Selle tulemusena sõltuvad prillidega pakutavad kogemused täielikult ränist. Teisisõnu, kui hoida soojus- ja aku mahtu konstantsena, on ainus võimalus pakkuda konkreetset kogemust räni optimeerimine.

“Designing a new architecture for Orion required the team to not only push existing technologies like wireless and displays aggressively but also to take risks on new technologies,” says Director of Product Management Neeraj Choubey. “For instance, the team developed a machine learning (ML) accelerator without a clear use case at the time, driven by the strong conviction that ML would become increasingly important in Meta’s products. On Orion, every ML accelerator is utilized, and in some cases, they’re oversubscribed, serving functions such as eye tracking and hand tracking. Similarly, the team developed custom compression protocols to reduce bandwidth and power consumption as data moved from the compute puck to the display. Developing custom silicon to achieve Orion’s form factor goals required both a tolerance for high ambiguity and meticulous attention to detail to deliver an incredibly complex system architecture.”

"Meie suurim väljakutse oli 3D-maailmaga lukustatud renderdatud graafika ja ruumilise heli esitamine, mis on renderdatud nii, et see näib lähtuvat virtuaalsest objektist," märgib Snodgrass. "Me pidime mahutama kogu selle elektroonika soojusmahutavuse ja füüsilise ruumi sisse ning seejärel ajama seda aku abil, et see ei läheks liiga kuumaks. Ja me pidime seda kõike tegema tegelikus prillide vormifaktoris - mitte suures visiiris, mida tavaliselt näeb selles kategoorias."

"Me teadsime, kuidas pakkuda vajalikku arvutusvõimsust, et viia ellu meie nägemus Orionist, kuid meil oli ees hirmutav ülesanne: vähendada energiatarbimist 100 korda," ütleb SoC-lahenduste direktor Robert Shearer. "See nõudis meilt ränidisaini piiride avardamist, võttes kasutusele metoodikaid tööstuse erinevatest nurkadest - alates asjade internetist kuni suure jõudlusega arvutamiseni - ja leiutades uusi lähenemisviise, et ületada lüngad. Meie tööstuspartnerid pidasid meid hulluks ja võib-olla nad ei eksinudki täielikult. Kuid just seda oli vaja: valmisolekut seada kahtluse alla tavapärane tarkus ja mõelda kõik ümber. Virtuaalset ja füüsilist maailma sujuvalt ühendava arvuti ehitamine nõuab põhjalikku arusaamist kontekstist, mis ületab kaugelt seda, mida olemasolevad arvutiplatvormid suudavad pakkuda. Sisuliselt leiutasime uuesti selle, kuidas arvutid inimestega suhtlevad, mis tähendas, et me mõtlesime ümber, kuidas me silikooni algusest peale ehitame."

Orioni väliskomponendid.

MicroLEDide maagia

Oli hetki, mil asjad jäid ajakavast maha või tekkis ületamatuna näiv tehniline probleem, mil oli raske säilitada hoogu ja moraali. Kuid meeskond oli vastupidav, leides võimalusi takistuste vältimiseks - või lihtsalt lükkas need ümber.

Võtame näiteks Orioni ekraani. Silikoonimeeskond vastutas räni eest prillide nurkades asuva kuvariprojektori räni eest.

"Nende projektorite puhul oli lahtine küsimus, kas me saame mikroLED-lampe piisavalt suure tõhususe ja heledusega massiivi, et kasutada laia vaateväljaga ekraani," ütleb Snodgrass. "Oli suur kahtlus, kas me suudame seda teha - et see on võimalik selle aja jooksul, mida me kaalusime -, sest see oli väga uus tehnoloogia."

"Me mõistsime väga varakult, et peame ümber mõtlema paljud tootearenduse paradigmad," lisab Yee. "Valguse hulk, mida on vaja kasutatava ekraani loomiseks, on AR-prillide puhul üsna palju heledam, sest kantava ekraanina konkureerid sa päikesega. Seega vajame energiataset, mis konkureerib sellega - või vähemalt see on eesmärk. Me ei ole veel päris valmis, kuid see on suur osa sellest. Ja see tähendab, et ekraanile on vaja valgusallikaid, mis suudavad seda teha, ja te vajate vooluahelaid, mis suudavad seda kontrollida. Ja samal ajal on vaja teha see tillukeseks."

Orioni µLEDide juhtimiseks kasutatav kohandatud räni.

Kuigi mikroLEDid tundusid projektorite jaoks kõige sobivam valgusallikas, aitas räni nende potentsiaali avada.

"Ekraanide puhul räägime pikslite sammudest, mis on kõrvuti asetsevate pikslite keskpunktide vaheline kaugus," selgitab Yee. "Telerite puhul on need vahemaad sajad mikronid. Telefoni puhul on see palju, palju kümneid mikroneid. Me pidime selle vähendama ühekohalise arvu võrra. Ainus teadaolev pooljuhtide tootmisviis, millega seda saavutada, oli räni."

Tööd raskendas asjaolu, et ekraani tagumine pind pidi olema ränist ja keegi maailmas ei olnud veel mikroLEDide jaoks räni projekteerinud.

"Tol ajal olid kõik uurimisrühmad, kes olid seal väljas, kasutasid mikroLEDide jaoks ümber ränikristallkuvarid," ütleb Yee. "Keegi ei olnud varem mikroLEDide jaoks taustaplaati projekteerinud. Ja me seisime silmitsi üsna ainulaadse väljakutsega, sest tegemist on optilise komponendiga. See peab olema lame. Seda ei saa kriimustada. Sellel peavad olema kõik need omadused, sest kui te vaatate läbi lainejuhtide, läbi prožektorite, siis vaatate sõna otseses mõttes ränitüki pealispinda."

Silikoonimeeskond töötas nende mikroLED-ekraanide jaoks välja kompleksse rea testiplatvorme, mis hõlmas tihedat koostööd meie ülemaailmsete tarnijatega. MikroLED-ekraanidel on ülemaailmne jalajälg, mis on pärit ühest kohast ja seejärel viidud teise kohta, kus need asetati vahvlile. Seejärel saadeti vahvlid edasi, et neid lõigata konkreetsesse vormi, seejärel sõideti USAsse, kus neid ühendati teise vahvliga, ning seejärel saadeti tagasi üle maailma, et moodulit ehitada ja testida. See oli väga keeruline protsess ja räni meeskond töötas välja katsesõidukid, et iga sammu tõestada.

Meeskond pidi leidma ka viisi, kuidas anda mikroLED-ekraanidele energiat prillide nurkades asuvas pisikeses ruumis. Meie analoogimeeskond töötas välja kohandatud toitejuhtimise kiibi, mis sobis selle mahu sisse.

"Toitevarustus on ülioluline selliste väikeste kantavate seadmete puhul, kus aku suurus on piiratud ja ruumi on vähe," märgib analoog- ja segasignaalisüsteemide direktor Jihong Ren. "Meie kohandatud Power Management IC lahendus kasutab tipptasemel tehnoloogiaid, et optimeerida energiatõhusust meie konkreetse töökoormuse jaoks süsteemi tasandil, sobides samal ajal olemasoleva ruumi piiridesse. Selle optimaalse lahenduse saavutamine nõudis tihedat interdistsiplinaarset koostööd meie mehaanika-, elektri-, SoC-, μLED- ja soojusmeeskondadega, tagades kõigi komponentide tõrgeteta integreerimise ja üldise jõudluse maksimeerimise."

"See oli hämmastav saavutus mitte ainult inseneri, vaid ka organisatsioonilise juhtimise osas: meeskonna kokku toomine, töötamine üle ajavööndite ja kõigi nende erinevate tarnijatega," lisab Snodgrass. "Mõnes mõttes oli kogu selle korralduslik juhtimine sama suur väljakutse kui tehniliste spetsifikatsioonide täitmine."

"Mitte ainult disain ei ole kohandatud, vaid ka kogu tootmisprotsess on kohandatud," lisab Yee. "Meil on vedanud, et meil on mõned suurepärased partnerid tööstuses, kes aitasid seda teha. Nad näevad AR-ekraanides tervikuna pikaajalist potentsiaali ja kindlasti ka Meta nägemust sellest. Nii et nad on olnud valmis meiega koostööd tegema, et need kohandused ja optimeerimised toimuksid selle ekraani võimaldamiseks."

Orion AR prillid.

Iteratsioon kohtub kiirendusega

Silikoonimeeskonna ja Reality Labs Researchi ja XR Techi geniaalsete vaimude vahel, kes arendasid algoritme, oli tihe tagasiside. Viimati nimetatud meeskonnad esitasid need algoritmid, mille esimene neist tõlkis riistvarasse, kõrvaldades üldotstarbelise CPU-ga töötava tarkvara koormuse. See tähendas, et algoritmid töötavad väiksema võimsusega, kuid see tähendas ka seda, et räni meeskonnal oli kindel positsioon. Kui algoritmid olid karastatud, ei saanud nad enam muudatusi teha.

"Ütleme, et XR Tech arendas algoritmiliselt teatavat distsipliini," selgitab Silicon Accelerators arhitektuuri ja algoritmide direktor Ohad Meitav. "Neile kuulub algoritmihunnik ja selle jõudlus. Minu meeskond otsustaks siis koostöös nendega, kuidas kiirendada algoritmi, kuidas kõvendada algoritmi osi ja kuidas panna see tegelikult riistvarasse nii, et see töötaks ülitõhusalt. Seejärel kohandaks XR Tech oma tarkvarapaketti, et võtta arvesse riistvara. See on väga iteratiivne protsess."

Teine edulugu on räni meeskonna koostöö Reality Labs Researchiga, et töötada välja uudne reprojektsioonialgoritm.

"Meil oli vaja, et reprojektsioonialgoritm toetaks erinevaid moonutusi ja korrektsioone," märgib Silicon Architect Steve Clohset. "Algoritmi, mille RL-R töötas välja ja mida me lõpuks kasutasime, ei kasutata üldises arvutustehnikas. Ja tänaseks on see osutunud üsna võimsaks tööriistaks."

Kui algoritmid olid karastatud ja riistvara optimeeritud, pani silikoonistamise meeskond kohandatud kiibid proovile.

"Orioni kohandatud räni kiibistik on täis keerukust," ütleb lõppsüsteemi ja infrastruktuuri vanemdirektor Liping Guo. "Iseseisvate kiipide ja nende koostalitlusvõime lühikese aja jooksul kasutusele võtmine ja valideerimine on uskumatult keeruline. Õnneks tegutseme vertikaalselt integreeritud keskkonnas, kus Reality Labs omab kogu korpust - alates ränist ja madalast püsivara tasemest kuni operatsioonisüsteemi, tarkvara ja ülemise kihi kogemusteni. Me kasutasime seda täielikult ära, tehes tihedat koostööd oma valdkonnaüleste partneritega, ja vahetasime oma räni valideerimise etapis ränivõrgustiku integratsiooni. Orion oli meie katseprojekt selle metoodika jaoks - me arendasime oma shift-left-muskleid ja lõime tugeva aluse, et Reality Labs saaks tulevikus kasutada kõiki kohandatud räni eeliseid."

Ja pärast käivitamist oli aeg optimeerida tarkvara.

"See on iteratiivne protsess, kus alustatakse täiesti optimeerimata tarkvarapakiga, et kõik käivitada ja käivitada," ütleb Snodgrass. "Seejärel käiakse ükshaaval läbi allsüsteemid ja hakatakse tarkvara optimeerima konkreetse riistvara jaoks - sealhulgas vähendatakse tarkvara kasutatava mälu hulka. Riistvara võib olla suurepäraselt disainitud, kuid te ei saavuta teoreetilist energiatõhusust, kui te ei investeeri sama palju või rohkem aega, et tarkvara saaks riistvara täielikult ära kasutada. Niisiis, see on Orioni lugu: riistvara ja tarkvara on optimeeritud lõpuni. Ei jäta ühtegi pikojouli ega millivatti maha."

Ja kuigi Orion võib olla prototüüp, on sellega tehtud töö potentsiaal, mis võib mõjutada Meta teekaarti.

"Me vaatame räni IP-dele, mida me ehitame, kui platvormidele selles mõttes, et need on hinnatud IP-d, mida me täiustame ühest põlvkonnast või ühest tootest teise," lisab Meitav. "Kõik arvutinägemise ja graafika algoritmid ei ole loodud ainult Orioni jaoks. Need lähevad edasi tulevaste toodete jaoks."

Meie ränitöö hõlmab uudsete lahenduste loomist, tehes samal ajal tihedat koostööd partneritega. Tegelikult ulatub ränimeeskonna mõju Orionist kaugemale, nii Ray-Ban Meta prillid and Meta Quest headsets today—even though they both use third-party chips. The silicon team regularly shares their work with the mixed reality team, showing what’s possible in terms of power efficiency. The MR team then shares those findings with partners like Qualcomm to help inform future chip designs. And because the silicon team uses the same off-the-shelf digital signal processors (DSPs) as Ray-Ban Meta glasses, they’ve been able to share lessons learned and best practices when implementing and writing code for those DSPs to help improve the audio experiences available on our AI glasses.

And that knowledge sharing goes both ways: The MR team has given the silicon team insights on things like Asynchronous TimeWarp and Application SpaceWarp in production.

"See, mida inimene teeb tootmises, on palju huvitavam kui see, mida me saaksime teha prototüübiga," ütleb Clohset. "Me püüdsime integreerida seda, mida nad teevad lõimingutega, nii palju kui võimalik."

Mitmetähenduslikkus < Ambitsioon

Kuna Orion oli tõesti null üheni, pidid asjaomased meeskonnad paratamatult tegelema ülemäärase hulga ebaselgusega.

"Orioni puhul ei oska ma üle hinnata, kui keeruliseks muutis mitmetähenduslikkus asjad," ütleb Clohset. "Kui teete näiteks arvutit, siis on teil üldiselt hea ettekujutus sellest, milline saab olema ekraan. Aga me ei teadnud, milline on lõpuks lainejuht, nii et pidime proovima erinevaid lainejuhte ja mõtlema välja mehhanismi, mis suudaks halvima stsenaariumiga toime tulla, sest me ei teadnud, kuhu asjad maanduvad. Üks optimeerimine siin kääriks kokku kõigi nende teiste valikutega ja teil oleks lõpuks see maatriks nagu kõik need erinevad asjad, mida teil oli toetusena ja püüdsid valideerida, sest te ei teadnud, kuhu toode kuue kuu pärast maandub."

It’s important to note that Orion isn’t just a pair of AR glasses—it’s a three-part constellation of hardware. A lot of the processing happens on the compute puck, which necessitates a strong connection between it and the glasses. Add the surface EMG wristband into the loop, and the system architecture becomes even more complicated.

"See oli meeskondade jaoks tohutult keeruline lahendada, ja kõik see lihtsalt töötab," ütleb Snodgrass. "See oli hämmastav koostöö silikoonimeeskonna, traadita meeskonna ja tarkvarameeskondade vahel kogu organisatsioonis."

Orioni arvutuskäik.

"Orioniga moodustasime terve meeskonna, mis koosnes väga erinevatest inseneridest, ja nad suutsid projekteerida täiesti uue torujuhtme," lisab Clohset. "See on torujuhe, mis tegeleb objektide kuue vabadusastmega liikumisega 3D-ruumis. See kasutab omaenda kohandatud ekraanijuhtimist. Me pidime tegema tõesti unikaalseid pildikvaliteedi parandusi. Ja ma arvan, et meie jaoks oli väljakutse see, et kuna see oli null-ühele projekt, ei olnud olemasolevaid spetsifikatsioone, mida parandada. Kõik siin on täiesti uus, nii et meil oli vabadus kõike teha."

Much like the puck has some dormant features hidden beneath the surface, the custom silicon punches above its weight, too. While Orion doesn’t allow the user to take photos with its RGB cameras, the silicon is capable of supporting it, as well as codec avatars. And just as the puck helped unlock a true glasses form factor by offloading much of the compute, Orion’s custom silicon proved a necessary piece of the AR puzzle.

"Selleks, et selline null-ühele kogemus nagu AR-prillid ellu viia, on vaja kohandatud silikoonist täielikku stoppi," selgitab Snodgrass. "Aja jooksul, kui on olemas turg, siis arendavad räni müüjad tooteid, mis vastavad nõudlusele. Kuid nullist üks-üheni puhul ei saa lihtsalt võtta midagi, mis on olemas riiulilt, mis on mõeldud teise toote jaoks, ja seda uude vormi sobitada. Tuleb investeerida millessegi, mis on kohandatud. Ja nende null-ühele kogemuste ellu viimiseks on vaja laiaulatuslikku koostööd tarkvarapartnerite, tööstusdisainerite, mehaanikainseneride ja teiste vahel."

"Vabanedes traditsioonilistest mõttemudelitest, oleme loonud midagi tõeliselt tähelepanuväärset," lisab Shearer. "Me usume, et see arvutiplatvorm esindab tehnoloogia tulevikku, mis muudab revolutsiooniliselt meie elu, töö ja omavahelise suhtlemise. Oleme põnevil, et saame olla selle innovatsiooni esirinnas, nihutada võimaluste piire ja aidata kaasa ajaloo kujunemisele."

When we first began giving demos of Orion early this year I was reminded of a line that you hear a lot at Meta—in fact it was even in our first letter to prospective shareholders back in 2012: Code wins arguments. We probably learned as much about this product space from a few months of real-life demos than we did from the years of work it took to make them. There is just no substitute for actually building something, putting it in people’s hands, and learning from how they react to it.

Orion wasn’t our only example of that this year. Our mixed reality hardware and AI glasses have both reached a new level of quality and accessibility. The stability of those platforms allows our software developers to move much faster on everything from operating systems to new AI features. This is how I see the metaverse starting to come into greater focus and why I’m so confident that the coming year will be the most important one in the history of Reality Labs.

2024 oli aasta, mil tehisintellekti prillid saavutasid oma edu. Kui me 2021. aastal esimest korda alustasime nutiprillide valmistamist, arvasime, et need võiksid olla esimene samm AR-prillide suunas, mida me lõpuks tahtsime ehitada. Kuigi segareaalsuse peakomplektid on muutumas üldotstarbeliseks arvutiplatvormiks sarnaselt tänastele arvutitele, nägime prille kui tänaste mobiilsete arvutiplatvormide loomulikku edasiarendust. Seega tahtsime võimalikult kiiresti alustada reaalsest maailmast õppimist.

The biggest thing we’ve learned is that glasses are by far the best form factor for a truly AI-native device. In fact they might be the first hardware category to be completely defined by AI from the beginning. For many people, glasses are the place where an AI assistant makes the most sense, especially when it’s a multimodal system that can truly understand the world around you.

We’re right at the beginning of the S-curve for this entire product category, and there are endless opportunities ahead. One of the things I’m most excited about for 2025 is the evolution of AI assistants into tools that don’t just respond to a prompt when you ask for help but can become a proactive helper as you go about your day. At Connect we showed how Live AI on glasses can become more of a real-time participant when you’re getting things done. As this feature begins rolling out in early access this month we’ll see the first step toward a new kind of personalized AI assistant.

It won’t be the last. We’re currently in the middle of an industry-wide push to make AI-native hardware. You’re seeing phone and PC makers scramble to rebuild their products to put AI assistants at their core. But I think a much bigger opportunity is to make devices that are AI-native from the start, and I’m confident that glasses are going to be the first to get there. Meta’s Chief Research Scientist Michael Abrash has been talking about the potential of a personalized, context-aware AI assistant on glasses for many years, and building the technologies that make it possible has been a huge focus of our research teams.

Segatud reaalsus has been another place where having the right product in the hands of a lot of people has been a major accelerant for progress. We’ve seen Meta Quest 3 get better month after month as we continue to iterate on the core system passthrough, multitasking, spatial user interfaces, and more. All these gains extended to Quest 3S the moment it launched. This meant the $299 Quest 3S was in many respects a better headset on day 1 than the $499 Quest 3 was when it first launched in 2023. And the entire Quest 3 family keeps getting better with every update.

In 2025 we’ll see the next iteration of this as Quest 3S brings a lot more people into mixed reality for the first time. While Quest 3 has been a hit among people excited to own the very best device on the market, Quest 3S is expected to be heavily gifted in 2024. Sales were strong over the Black Friday weekend, and we’re expecting a surge of people activating their new headsets over the holiday break.

See jätkab viimase aasta jooksul kujunenud suundumust: uute kasutajate arvu suurenemine, kes otsivad oma peakomplektidega rohkem võimalusi. Me tahame, et need uued kasutajad näeksid MR-i võlu ja jääksid pikemaks ajaks, mistõttu rahastame arendajaid, et nad saaksid luua uut tüüpi rakendusi ja mänge, mida nad otsivad.

Eelkõige nooremad inimesed on märkimisväärselt kasvanud ja nad on hakanud eelistama sotsiaalseid ja konkurentsivõimelisi mitmikmängumänge ning tasuta sisu. Ja sellised mängud nagu Skydance'i BEHEMOTH, Batman: Arkham Shadow (mis võitis just parima AR/VR-mängu auhinna The Game Awards'il!) ja Metro Awakening näitas taas kord, et mõned parimad uued mängud, mida meie tööstus toodab, on nüüd võimalik ainult tänapäeva peakomplektidega.

As the number of people in MR grows, the quality of the social experience it can deliver is growing in tandem. This is at the heart of what Meta is trying to achieve with Reality Labs and where the greatest potential of the metaverse will be unlocked: “the chance to create the most social platform ever” is how we described it when we first began working on it. We took two steps forward on this front in 2024: first with a broad set of improvements to Horizon Worlds including its expansion to mobile, and second with the next-generation Meta Avatars system that lets people represent themselves across our apps and headsets. And as the visual quality and overall experience with these systems improve, more people are getting their first glimpse of a social metaverse. We’re seeing similar trends with new Quest 3S users spending more time in Horizon Worlds, making it a Top 3 immersive app for Quest 3S, and people continue creating new Meta Avatars across mobile and MR.

Segareaalsuse jõudmine peavoolu on aidanud selgitada, mis saab edasi. Üks esimesi suundumusi, mida me avastasime pärast Quest 3 käivitamist eelmisel aastal, oli see, et inimesed kasutavad segareaalsust videote vaatamiseks, samal ajal kui nad teevad kodus mitu ülesannet - teevad nõusid või tolmuimejad oma elutoas. See oli varajane märk sellest, et inimestele meeldib suur virtuaalne ekraan, mida saab võtta ükskõik kuhu ja paigutada füüsilisse maailma enda ümber. Me oleme näinud, kuidas see trend levib ja kõikvõimalikud meelelahutuskogemused kasvavad kiiresti kogu Quest 3 perekonnas. Uued funktsioonid nagu YouTube Co-Watch näitavad, kui palju potentsiaali on täiesti uut tüüpi sotsiaalse meelelahutuse kogemuse loomiseks metaversioonis.

That’s why James Cameron, one of the most technologically innovative storytellers of our lifetimes, is now working to help more filmmakers and creators produce great 3D content for Meta Quest. While 3D films have been produced for decades, there’s never been a way to view them that’s quite as good as an MR headset, and next year more people will own a headset than ever before. “We’re at a true, historic inflection point,"Jim said when we launched our new partnership this month.

This is happening alongside a larger shift Mark Rabkin shared at Connect this year: Our vision for Horizon OS is to build a new kind of general purpose computing platform capable of running every kind of software, supporting every kind of user, and open to every kind of creator and developer. Our recent releases for 2D/3D multi-tasking, panel positioning, better hand tracking, Windows Remote Desktop integration, and Open Store have started to build momentum along this new path. Horizon OS is on track to be the first platform that supports the full spectrum of experiences from immersive VR to 2D screens, mobile apps, and virtual desktops—and the developer community is central to that success.

Järgmine suur samm metaversiooni suunas kombineerib tehisintellektiprillid sellise tõelise liitreaalsuse kogemusega, mille me sel aastal Orioniga avalikustasime. Ei juhtu tihti, et saad pilguheitu tulevikku ja näed täiesti uut tehnoloogiat, mis näitab, kuhu asjad liiguvad. Inimesed, kes Orioni nägid, mõistsid kohe, mida see tuleviku jaoks tähendab, nagu inimesed, kes nägid 1970ndatel Xerox PARCis esimesi personaalarvuteid kujunemas ("kümne minuti jooksul oli mulle selge, et kõik arvutid töötavad ühel päeval niimoodi," ütles Steve Jobs hiljem oma 1979. aasta Xerox Alto demo kohta).

Võimalus panna inimesed ajamasinasse ja näidata neile, kuidas järgmine arvutiplatvorm välja näeb, oli 2024. aasta - ja minu senise karjääri - tipphetk. Kuid Orioni tegelik mõju seisneb toodetes, mida me järgmisena tarnime, ja selles, kuidas see aitab meil paremini mõista, mis inimestele AR-prillide juures meeldib ja mida on vaja parandada. Töötasime aastaid kasutajauuringute, tooteplaneerimise ja eksperimentaaluuringute kallal, et mõista, kuidas AR-prillid peaksid toimima, ning see töö võimaldas meil Orioni ehitada. Kuid nüüd, kui meil on olemas reaalne toode, mille ümber me oma intuitsiooni üles ehitada, on edusammud palju kiiremad.

This has been the lesson time and again over the last decade at Reality Labs. The most important thing you can do when you’re trying to invent the future is to ship things and learn from how real people use them. They won’t always be immediate smash hits, but they’ll always teach you something. And when you land on things that really hit the mark, like mixed reality on Quest 3 or AI on glasses, that’s when you put your foot on the gas. This is what will make 2025 such a special year: With the right devices on the market, people experiencing them for the first time, and developers discovering all the opportunities ahead, it’s time to accelerate.

Welcome back for another episode of Boz To The Future, a podcast from Reality Labs. In today’s episode, our host, Meta CTO and Head of Reality Labs Andrew “Boz” Bosworth, is joined by Meta’s VP of Wearables Alex Himel.

Himeli meeskond töötab tööstuse kõige keerulisemate tehniliste probleemide kallal, et aidata kaasa järgmise arvutiplatvormi loomisele. Nagu Bosworth, on ka Himel Meta pikaajaline juht, kes on oma enam kui 15 aasta jooksul ettevõttes täitnud mitmeid juhtivaid rolle.

Bosworth ja Himel käsitlevad erinevaid teemasid, sealhulgas kantavad seadmed, laiendatud reaalsus ja see, kuidas tehisintellekt kiirendab ja parandab selliseid kogemusi, mis on integreeritud Ray-Ban Meta prillid ja tulevased tooted.

They go deep on Orion and the positive reception it’s received since Mark Zuckerberg announced it at Connect. Just as Steve Jobs recognized the Alto as a turning point in computing, Bosworth asserted that, while we may disagree about the details, it’s hard to argue against this as the future. Himel and Bosworth go on to talk about the tremendous value of prototyping and building, saying how much more they’ve learned about Orion and its input paradigms in the three weeks of using it compared to the years spent building it.

Nad rääkisid ka tehisintellekti olulisest rollist kantavates seadmetes ja sellest, kuidas see muutub igapäevaelus üha kasulikumaks - eriti nüüd, kui sa saad Meta AI-lt küsida asju, mida sa näed, ja kasutada seda visuaalsete meeldetuletuste seadmiseks.

Himel räägib ka oma sügavatest kogemustest teistsuguse virna puhul: võileivad. Seitsme aasta jooksul on ta töötanud kuulsas Lange's Little Store'is Chappaquas, NY, kus ta üles kasvas, ning Himel ja Bosworth räägivad sellest, mis teeb suurepärase võileiva, kuhu tomatid tegelikult lähevad ja milline leib on parem.

Saate häälestada Boz tulevikku on Apple Podcasts, Spotify, and wherever you listen to podcasts.

You can follow Himel on Threads. You can follow Bosworth on Instagram, Twitter/X, and Threads @boztank.

Back in 2019, the Orion team prepared an important demo for Meta Founder & CEO Mark Zuckerberg, showcasing potential waveguides for augmented reality glasses—a pivotal moment when theoretical calculations on paper were brought to life. And it was a demo that changed everything.

“Wearing the glasses with glass-based waveguides and multiple plates, it felt like you were in a disco,” recalls Optical Scientist Pasqual Rivera. “There were rainbows everywhere, and it was so distracting—you weren’t even looking at the AR content. Then, you put on the glasses with silicon carbide waveguides, and it was like you were at the symphony listening to a quiet, classical piece. You could actually pay attention to the full experience of what we were building. It was a total game changer.”

Yet as clear (pun intended) as the choice of silicon carbide as a substrate seems today, when we first started down the road to AR glasses a decade ago, it was anything but.

"Ränikarbiid on tavaliselt tugevalt lämmastikuga doteeritud," ütleb Rivera. "See on roheline ja kui see muutub piisavalt paksuks, näeb see välja must. Sellest ei saa kuidagi optilist läätse teha. See on elektrooniline materjal. Sellel on põhjus, miks see on sellist värvi, ja seda elektrooniliste omaduste tõttu."

"Ränikarbiid on materjalina kasutusel olnud juba pikka aega," nõustub AR Waveguides'i tehniline juht Giuseppe Calafiore. "Selle peamine kasutusala on suure võimsusega elektroonika. Võtame näiteks elektrisõidukid: Kõik elektriautod vajavad kiipi - kuid see kiip peab olema võimeline ka väga suurt võimsust andma, rattaid liigutama ja seda asja ajama. Tuleb välja, et seda ei saa teha tavalise ränisubstraadiga, millest tehakse kiibid, mida me kasutame oma arvutites ja elektroonikas. Vaja on platvormi, mis võimaldab läbida suuri voolusid, suurt võimsust, ja see materjal on ränikarbiid."

Kuni üsna hiljutiste arutelude elavnemisele taastuvate energiaallikate üle ei olnud nende suure võimsusega kiibistikute turg kaugeltki nii suur kui tarbeelektroonika kiipide turg. Ränikarbiid on alati olnud kallis ja kulude alandamiseks ei olnud suurt stiimulit, sest sellise suurusega kiibi puhul, mida tehakse auto jaoks, oli põhimiku hind talutav.

"Kuid selgub, et ränikarbiidil on ka mõned omadused, mida me vajame lainejuhtide ja optika jaoks," ütleb Calafiore. "Murdumisnäitaja on peamine omadus, mis meid huvitab. Ja ränikarbiidil on kõrge murdumisnäitaja, mis tähendab, et see on võimeline kanaliseerima ja väljastama suure hulga optilisi andmeid. Võite mõelda sellest kui optilisest ribalaiusest - täpselt nagu interneti jaoks on olemas ribalaius ja te soovite, et see oleks piisavalt suur, et saaksite selle kanali kaudu saata suuri andmemahte. Sama kehtib ka optiliste seadmete kohta."

The higher a material’s refractive index, the higher its étendue, so you can send more optical data through that channel.

"Meie puhul on kanal meie lainejuht ja suurem étendue tähendab suuremat vaatevälja," selgitab Calafiore. "Mida suurem on materjali murdumisnäitaja, seda suuremat vaatevälja suudab ekraan toetada."

Tee õige murdumisnäitajani

Kui Calafiore esimest korda 2016. aastal Oculus Researchiga liitus, oli meeskonna käsutuses kõrgeim murdumisnäitaja 1,8, mis nõudis soovitud vaatevälja saavutamiseks mitme plaadi virnastamist. Soovimatuid optilisi artefakte kõrvale jättes muutus kokkupanek üha keerulisemaks, kuna kaks esimest lainejuhti pidid olema ideaalselt joondatud ja seejärel pidi see virnas olema ideaalselt joondatud kolmanda lainejuhiga.

"See ei olnud mitte ainult kallis, vaid oli ka kohe selge, et prillide puhul ei saa olla kolm klaasi ühe klaasi kohta," meenutab Calafiore. "Need olid liiga rasked ja paksus oli lubamatult suur ja kole - keegi ei ostaks seda. Seega läksime tagasi alguspunkti: püüdsime suurendada põhimiku murdumisnäitajat, et vähendada vajalike plaatide arvu."

The first material the team looked into was lithium niobate, which has a refractive index of roughly 2.3—quite a bit higher than the glass at 1.8.

"Me mõistsime, et meil piisab kahe plaadi virnastamisest ja võib-olla saaksime isegi ühe plaadiga hakkama, et katta ikkagi vaatevälja," ütleb Calafiore. "Peaaegu paralleelselt hakkasime uurima teisi materjale - nii saime 2019. aastal koos oma tarnijatega teada, et ränikarbiid on oma puhtal kujul tegelikult väga läbipaistev. Samuti juhtub, et sellel on kõrgeim optilise rakenduse jaoks teadaolev murdumisnäitaja, mis on 2,7."

See on 17,4% kasv võrreldes liitiumniobaadiga ja 50% kasv võrreldes klaasiga, kui te kodus arvestust peate.

"Mõne muudatusega samadel seadmetel, mida tööstuses juba kasutati, oli võimalik saada läbipaistvat ränikarbiidi," ütleb Calafiore. "Võis lihtsalt muuta protsessi, olla palju hoolikam ja optimeerida elektrooniliste omaduste asemel optilisi omadusi: läbipaistvust, ühtlast murdumisnäitajat jne."

Kompromisside potentsiaalne hind

Reality Labs'i meeskond oli toona esimene, kes üritas isegi läbipaistmatult ränikarbiidplaatidelt läbipaistvatele plaatidele üle minna. Ja kuna ränikarbiid on üks kõvemaid teadaolevaid materjale, on selle lõikamiseks või lihvimiseks sisuliselt vaja teemantist tööriistu. Selle tulemusena olid ühekordsed insenerikulud väga suured, nii et saadud põhimik oli üsna kallis.

Kuigi on olemas kuluefektiivsemad alternatiivid, nagu iga tehnoloogia puhul, on neil kõigil kompromissid. Ja kui vaateväli suureneb Orioni tööstusharu juhtiva vaatevälja (umbes 70 kraadi) suunas, tekivad uued probleemid, nagu kummituskujutised ja vikerkaared.

"Optimaalse lahenduse leidmine laia vaateväljaga AR-ekraanile on seotud kompromissidega jõudluse ja kulude vahel," selgitab teadusdirektor Barry Silverstein. "Kulusid saab sageli vähendada, kuid kui jõudlus ei ole piisav, ei ole kulud lõppkokkuvõttes olulised."

Kummituskujutised on nagu ekraanile projitseeritava esmase kujutise visuaalne kaja. Vihmakaared on värvilised valgusvihud, mis tekivad siis, kui ümbritsev valgus peegeldub lainejuhilt. "Ütleme, et te sõidate öösel, kui teie ümber on liikuvad autotuled," ütleb Silverstein. "Siis tekivad ka vikerkaared, mis liiguvad. Või kui sa oled rannas võrkpalli mängimas ja päike paistab, siis saad sa vikerkaarevihma, mis liigub koos sinuga ja sa jääd oma löögist ilma. Ja üks ränikarbiidi imelisi omadusi on see, et ta vabaneb neist vikerkaartest."

"Ränikarbiidi teine eelis, mida ükski teine materjal ei oma, on soojusjuhtivus," lisab Calafiore. "Plast on kohutav isolaator. Klaas, liitiumniobaat, sama asi. Ränikarbiid on läbipaistev, näeb välja nagu klaas ja arvake ära: see juhib soojust."

Seega otsustas meeskond 2020. aasta juulis, et ränikarbiid on optimaalne valik kolmel peamisel põhjusel: See andis parema vormifaktori, sest vajas ainult ühte plaati ja väiksemaid kinnitusstruktuure, sellel olid paremad optilised omadused ja see oli kergem kui kahe plaadiga klaas.

Slant Etch'i saladus

Kui materjal oli meeles, oli järgmine pähkel, mida pidi murdma, lainejuhtide valmistamine - ja eriti ebatraditsiooniline võre tehnika, mida nimetatakse kaldlõikamiseks.

"Võre on nanostruktuur, mis ühendab ja lahutab läätse valguse," selgitab Calafiore. "Ja et ränikarbiid toimiks, peab võre olema kaldlõikega. Selle asemel, et olla vertikaalne, tahate, et võrega jooned oleksid diagonaalselt kaldu."

"Me olime esimesed, kes tegid otse seadmetele kaldsöövitust," ütleb teadusjuht Nihar Mohanty. "Kogu tööstus tugines varem nanoprindile, mis ei toimi nii suure murdumisnäitajaga substraatide puhul. Seetõttu ei olnud keegi teine maailmas mõelnud ränikarbiidi tegemise peale."

Kuid kuna kaldsöövitus on ebaküps tehnoloogia, puuduvad enamikul pooljuhtkiipide tarnijatel ja tehastel vajalikud tööriistad.

"2019. aastal asutasime koos oma toonase juhi Matt Colburniga oma rajatise, sest maailmas ei olnud midagi, mis oleks suutnud valmistada söövitatud ränikarbiidist lainejuhte ja kus me oleksime saanud tõestada, et tehnoloogia on väljaspool laboratooriumi," selgitab Mohanty. "See oli tohutu investeering ja me rajasime seal kogu torujuhtme. Meie partnerid valmistasid meie jaoks eritellimusena tööriistad ja protsessi arendasime välja Meta ettevõttes, kuigi meie süsteemid on teadusuuringute tasemel, sest tootmisotstarbelisi süsteeme ei olnud olemas. Töötasime koos tootmispartneriga, et arendada välja tootmiskvaliteediga kaldsöövituse tööriistad ja protsessid. Ja nüüd, kui oleme näidanud, mis on ränikarbiidiga võimalik, tahame, et teised tööstusharu esindajad hakkaksid ise tööriistu valmistama."

Mida rohkem ettevõtteid investeerivad optilise kvaliteediga ränikarbiidi ja arendavad seadmeid, seda tugevamaks muutub tarbijate AR-prillide kategooria.

Enam ei jaga vihmaussid

While technological inevitability is a myth, the stars certainly seem to be aligning in silicon carbide’s favor. And although the team continues to investigate alternatives, there’s a strong sense that the right people have come together at the right time under the right market conditions to build AR glasses using this material.

"Orion tõestas, et ränikarbiid on elujõuline võimalus AR-prillide jaoks," ütleb Silverstein, "ja nüüd näeme huvi kogu tarneahelas kolmel erineval kontinendil, kus seda võimalust tõsiselt otsitakse. Ränikarbiid tuleb võitjaks. Minu arvates on see vaid aja küsimus."

Ja selle aja jooksul võib palju juhtuda - nii nagu on muutunud ka see, kui me kasvatasime esimesed selged ränikarbiidkristallid.

"Kõik need ränikarbiiditootjad olid vastuseks oodatavale EV-buumile pakkumist tohutult suurendanud," märgib Calafiore. "Praegu valitseb ülevõimsus, mida ei olnud olemas, kui me Orioni ehitasime. Nüüd, kus pakkumine on suur ja nõudlus väike, on põhimiku hind hakanud langema."

"Tarnijad on väga põnevil uue võimaluse üle toota optilise kvaliteediga ränikarbiidi - iga lainejuhtlääts kujutab endast ju suurt materjali kogust võrreldes elektroonilise kiibiga ning kõik nende olemasolevad võimalused kehtivad ka selles uues valdkonnas," lisab Silverstein. "Oma tehase täitmine on hädavajalik ja tehase skaleerimine on unistus. Ka vahvli suurus on oluline: Mida suurem on vaabel, seda väiksemad on kulud, kuid ka protsessi keerukus suureneb. See tähendab, et oleme näinud tarnijaid, kes on liikunud neljatolliselt vahvlilt kaheksatollisele ning mõned töötavad 12-tollise vahvli eelkäijatega, mis annaks eksponentsiaalselt rohkem AR-prille."

Need edusammud peaksid aitama kulusid jätkuvalt vähendada. Praegu on veel vara, kuid tulevik on jõudmas fookusesse.

"Iga uue tehnoloogilise revolutsiooni alguses proovitakse palju asju," ütleb Calafiore. "Vaadake näiteks televisiooni: Alustasime katoodkiiretorudega, siis läksime üle LED-plasmatelerite ja nüüd mikro LED-ide juurde. Me käisime läbi mitu erinevat tehnoloogiat ja arhitektuuri. Kui te otsite teed, siis paljud teed ei lõpe kuhugi, kuid on mõned, mille juurde te ikka ja jälle tagasi tulete, sest need on kõige paljutõotavamad. Me ei ole tee lõpus ja me ei saa seda üksi teha, kuid ränikarbiid on imematerjal, mis on investeeringut väärt."

"Maailm on nüüd ärkvel," lisab Silverstein. "Oleme edukalt näidanud, et ränikarbiid võib painduda elektroonika ja fotoonika valdkonnas. See on materjal, millel võib tulevikus olla rakendusi kvantarvutites. Ja me näeme märke, et on võimalik kulusid oluliselt vähendada. Palju tööd on veel teha, kuid potentsiaalne kasu on tohutu."

TL;DR:

• Today at Connect, Mark Zuckerberg unveiled Orion—our first pair of true AR glasses, previously codenamed Project Nazare.
• With an industry-leading field of view, silicon carbide lenses, intricate waveguides, uLED projectors, and more, Orion is our most advanced and most polished product prototype to date.
• Nüüd jätkame toote optimeerimist ja kulude vähendamist, et jõuda skaleeritava tarbijaseadme väljatöötamiseni, mis muudab revolutsiooniliselt inimeste suhtlemise maailma.

---

"Me ehitame AR-prille."

Five simple words, spoken five years ago. With them, we planted a flag on our vision of a future where we no longer have to make the false choice between a world of information at our fingertips and the physical world all around us.

Ja nüüd, viis aastat hiljem, veel viis sõna, mis võivad taas kord mängu muuta:

Oleme ehitanud AR-prillid.

Meta missioon on lihtne: anda inimestele võimalus luua kogukonda ja lähendada maailma. Reality Labsis ehitame vahendeid, mis aitavad inimestel end igal ajal ja igal pool ühendada. Seepärast töötame selle nimel, et luua järgmine arvutiplatvorm, mis asetab inimesed keskmesse, et nad saaksid olla maailmas rohkem kohal, ühendatud ja võimekamad.

Ray-Ban Meta prillid on näidanud, et inimestele on võimalik anda füüsilisest elust käed-vabad juurdepääs oma digitaalse elu olulistele osadele. Me saame rääkida nutika tehisintellekti assistendiga, suhelda sõpradega ja jäädvustada olulisi hetki - ja seda kõike ilma, et peaksime telefoni välja võtma. Need stiilsed prillid sobivad sujuvalt meie igapäevaellu ja inimesed armastavad neid absoluutselt.

Kuigi Ray-Ban Meta avas täiesti uue kategooria ekraanita prillidest, mis on tehisintellekti abil ülelaaditud, on XR-tööstus juba ammu unistanud tõelistest AR-prillidest - tootest, mis ühendab suure holograafilise ekraani ja personaalse tehisintellekti abi mugavas, stiilses ja kogu päeva kantavas vormis.

And today, we’ve pushed that dream closer to reality with the unveiling of Orion, which we believe is the most advanced pair of AR glasses ever made. In fact, it might be the most challenging consumer electronics device produced since the smartphone. Orion is the result of breakthrough inventions in virtually every field of modern computing—building on the work we’ve been doing at Reality Labs for the last decade. It’s packed with entirely new technologies, including the most advanced AR display ever assembled and custom silicon that enables powerful AR experiences to run on a pair of glasses using a fraction of the power and weight of an MR headset.

Orion’s input system seamlessly combines voice, eye gaze, and hand tracking with an EMG wristband that lets you swipe, click, and scroll while keeping your arm resting comfortably by your side, letting you stay present in the world and with the people around you as you interact with rich digital content.

Alates tänasest Connectist ja kogu aasta jooksul avame juurdepääsu meie Orioni tooteprototüübile Meta töötajatele ja valitud väliskülastajatele, et meie arendusmeeskond saaks õppida, täiustada ja arendada oma tarbijatele mõeldud AR-prillide tootesarja, mida plaanime lähitulevikus tarnida.

Miks AR prillid?

On kolm peamist põhjust, miks AR-prillid on võtmetähtsusega järgmise suure hüppe avamisel inimsõbraliku arvutitehnika vallas.

1. Need võimaldavad digitaalseid kogemusi, mida ei piira nutitelefoni ekraani piirid. Suurte holograafiliste kuvarite abil saate kasutada füüsilist maailma oma lõuendina, paigutades 2D- ja 3D-sisu ja elamusi kõikjale, kuhu soovite.
2. Nad integreerivad sujuvalt kontekstipõhise tehisintellekti, mis suudab tajuda ja mõista teid ümbritsevat maailma, et ennetada ja ennetavalt tegeleda teie vajadustega.
3. Need on kerged ja sobivad suurepäraselt nii sise- kui ka välitingimustes kasutamiseks - ning võimaldavad inimestel näha üksteise tõelist nägu, tõelisi silmi ja tõelisi väljendeid.

See on põhjatäht, mille poole meie tööstus on liikunud: toode, mis ühendab endas kantavate seadmete mugavuse ja vahetuse, suure ekraani, suure ribalaiusega sisendi ja kontekstipõhise tehisintellekti sellises vormis, mida inimesed tunnevad end igapäevaelus mugavalt kandes.

Kompaktne vormifaktor, keerulised väljakutsed

Aastaid oleme seisnud valede valikute ees - kas virtuaal- ja segareaalsuse peakomplektid, mis võimaldavad sügavaid, kaasahaaravaid elamusi mahukas vormifaktoris, või prillid, mis on ideaalsed kogu päeva kasutamiseks, kuid ei paku suure ekraani ja vastava arvutusvõimsuse puudumise tõttu rikkalikke visuaalseid rakendusi ja kogemusi.

Aga me tahame seda kõike, ilma kompromissideta. Oleme aastaid töötanud selle nimel, et võtta VR- ja MR-peakettide pakutavad uskumatud ruumilised elamused ja miniatuuristada nende elamuste pakkumiseks vajalik tehnoloogia kergetesse ja stiilsetesse prillidesse. Vormifaktori saavutamine, holograafiliste ekraanide pakkumine, köitvate AR-kogemuste arendamine ja uute inim-arvuti interaktsiooni (HCI) paradigmade loomine - ja seda kõike ühes ühtses tootes - on üks kõige raskemaid väljakutseid, millega meie tööstus on kunagi silmitsi seisnud. See oli nii keeruline, et me arvasime, et meil on vähem kui 10% võimalus seda edukalt ellu viia.

Seni.

Murranguline ekraan võrratu vormifaktori juures

Orionil on ligikaudu 70-kraadine vaateväli, mis on seni väikseima AR-prillide vormifaktori juures suurim. See vaateväli avab Orionile tõeliselt kaasahaaravad kasutusviisid, alates multitasking-akendest ja suure ekraaniga meelelahutusest kuni elusuuruses inimeste hologrammideni - kogu digitaalne sisu, mis võib sujuvalt sulanduda teie füüsilise maailma vaatega.

Orioni jaoks oli vaateväli meie püha graal. Me põrkasime vastu füüsikaseadusi ja pidime painutama valguskiirte viisil, mida nad looduslikult ei painuta - ja me pidime seda tegema millivattides mõõdetava võimsuse piires.

Instead of glass, we made the lenses from silicon carbide—a novel application for AR glasses. Silicon carbide is incredibly lightweight, it doesn’t result in optical artifacts or stray light, and it has a high refractive index—all optical properties that are key to a large field of view. The waveguides themselves have really intricate and complex nano-scale 3D structures to diffract or spread light in the ways necessary to achieve this field of view. And the projectors are uLEDs—a new type of display technology that’s super small and extremely power efficient.

Orion on eksimatult prillid nii välimuse kui ka tunnetuse poolest - koos läbipaistvate läätsedega. Erinevalt MR-kõrvaklappidest või teistest tänapäevastest AR-prillidest näete siiski üksteise tõelisi silmi ja nägusid, nii et saate olla kohal ja jagada kogemust ümbritsevate inimestega. Tööstusliku disaini viimiseks kaasaegse prillide vormifaktorini, mida oleks mugav kanda iga päev, oli vaja kümneid uuendusi. Orion on miniatuursuse saavutus - komponendid on pakitud kuni millimeetri murdosani. Ja meil õnnestus raami servadesse paigutada seitse pisikest kaamerat ja andurit.

Me pidime säilitama optilise täpsuse kümnendiku inimjuuksekarva paksuse juures. Ja süsteem suudab tuvastada pisikesi liikumisi - näiteks raamide laienemist või kokkutõmbumist erinevatel ruumitemperatuuridel - ning seejärel korrigeerida digitaalselt vajalikku optilist joondamist, ja seda kõike millisekundite jooksul. Valmistasime raamid magneesiumist - samast materjalist, mida kasutatakse F1 võidusõiduautodes ja kosmosesõidukites -, sest see on kerge ja samas jäik, nii et see hoiab optilised elemendid joondatuna ja juhib tõhusalt soojust ära.

Küte ja jahutus

Kui me olime ekraani lahti mõtestanud (ilma sõnamänguta) ja füüsikaprobleemid ületanud, tuli meil lahendada väljakutse, mis seisnes väga võimsate arvutuste ja väga madala energiatarbimise ning soojuse hajutamise vajaduse vahel. Erinevalt tänapäevastest MR-peakomplektidest ei saa prillidesse ventilaatorit torgata. Seega pidime olema loomingulised. Paljud Orioni jahutusmaterjalid on sarnased nendega, mida NASA kasutab kosmoses olevate satelliitide jahutamiseks.

We built highly specialized custom silicon that’s extremely power efficient and optimized for our AI, machine perception, and graphics algorithms. We built multiple custom chips and dozens of highly custom silicon IP blocks inside those chips. That lets us take the algorithms necessary for hand and eye tracking as well as simultaneous localization and mapping (SLAM) technology that normally takes hundreds of milliwatts of power—and thus generates a corresponding amount of heat—and shrink it down to just a few dozen milliwatts.

Ja jah, kohandatud räni mängib Reality Labs'i tootearenduses jätkuvalt olulist rolli, hoolimata sellest, mida te võib-olla olete mujalt lugenud. 😎

Mugeldamatu EMG

Every new computing platform brings with it a paradigm shift in the way we interact with our devices. The invention of the mouse helped pave the way for the graphical user interfaces (GUIs) that dominate our world today, and smartphones didn’t start to really gain traction until the advent of the touch screen. And the same rule holds true for wearables.

We’ve spoken about our work with electromyography, or EMG, for years, driven by our belief that input for AR glasses needs to be fast, convenient, reliable, subtle, and socially acceptable. And now, that work is ready for prime time.

Orioni sisend- ja interaktsioonisüsteem ühendab sujuvalt hääle, pilgu ja käe jälgimise EMG-randmikuga, mis võimaldab teil hõlpsasti pühkida, klõpsata ja kerida.

It works—and feels—like magic. Imagine taking a photo on your morning jog with a simple tap of your fingertips or navigating menus with barely perceptible movements of your hands. Our wristband combines a high-performance textile with embedded EMG sensors to detect the electrical signals generated by even the tiniest muscle movements. An on-device ML processor then interprets those EMG signals to produce input events that are transmitted wirelessly to the glasses. The system adapts to you, so it gets better and more capable at recognizing the most subtle gestures over time. And today, we’re sharing more about our support for external research focused on expanding the equity and accessibility potential of EMG wristbands.

Tutvuge juhtmevaba arvutipuckiga

True AR glasses must be wireless, and they must also be small.So we built a wireless compute puck for Orion. It takes some of the load off of the glasses, enabling longer battery life and a better form factor complete with low latency.

Prillid kasutavad kõiki käe jälgimise, silmade jälgimise, SLAMi ja spetsiaalse AR-maailma lukustava graafika algoritme, samal ajal kui rakenduse loogika töötab plaadil, et hoida prillid võimalikult kerged ja kompaktsed.

Puckil on kaks protsessorit, sealhulgas üks siinsamas Meta juures loodud, ja see pakub madala latentsusega graafika renderdamiseks, tehisintellekti ja mõningate täiendavate masinate tajumiseks vajalikku arvutusvõimsust.

Ja kuna see on väike ja peenike, saate selle mugavalt kotti või taskusse visata ja oma asjadega edasi minna - ei mingeid kohustusi.

AR-kogemused

Loomulikult, nagu iga riistvara puhul, on see ainult nii hea kui asjad, mida saab do sellega. Ja kuigi see on alles algusjärgus, annavad Orioni pakutavad kogemused põneva ettekujutuse sellest, mis on veel tulemas.

We’ve got our smart assistant, Meta AI, running on Orion. It understands what you’re looking at in the physical world and can help you with useful visualizations. Orion uses the same Llama model that powers AI experiences running on Ray-Ban Meta smart glasses today, plus custom research models to demonstrate potential use cases for future wearables development.

Saate sõprade ja pereliikmetega reaalajas suhtlemiseks käed-vabad videokõnesid pidada ning saate sõnumeid vaadata ja saata WhatsAppis ja Messengeris. Pole vaja telefoni välja võtta, avada see, leida õige rakendus ja anda sõbrale teada, et oled õhtusöögile hiljaks jäänud - seda kõike saab teha läbi prillide.

Saate mängida ühiseid AR-mänge koos perekonnaga teisel pool riiki või oma sõbraga teisel pool diivanit. Ja Orioni suur ekraan võimaldab teil mitme aknaga multitööd teha, ilma et peaksite sülearvutit kaasas tassima.

Täna Orionil saadaval olevad kogemused aitavad kaardistada meie tulevaste AR-prillide tarbijaliini tegevuskava. Meie meeskonnad jätkavad koos meie arenduspartneritega uute kaasahaaravate sotsiaalsete kogemuste loomist ja me ei jõua ära oodata, et jagada seda, mis tuleb järgmiseks.

Sihtotstarbeline toote prototüüp

Kuigi Orion ei jõua tarbijate kätte, ei saa teha ühtegi viga: See on mitte uurimisprototüüp. See on kõige viimistletum toote prototüüp, mille oleme kunagi välja töötanud - ja see esindab tõepoolest midagi, mida võiks tarbijale saata. Selle asemel, et kiirustada selle riiulitele toomist, otsustasime esmalt keskenduda sisemisele arendusele, mis tähendab, et saame jätkata kiiret ehitamist ning jätkata tehnoloogia ja kogemuste piiride avardamist.

Ja see tähendab, et me jõuame veelgi kiiremini veelgi parema tarbekaubani.

Mis saab edasi

Kaks peamist takistust on pikka aega seisnud peavoolu tarbijaklassi AR-prillide teel: tehnoloogilised läbimurded, mis on vajalikud suure ekraani pakkumiseks kompaktses prillide vormifaktoris, ning vajadus kasulike ja veenvate AR-kogemuste järele, mida saaks nendes prillides kasutada. Orion on suur verstapost, mis pakub esmakordselt tõelisi AR-kogemusi, mis toimivad mõistlikult stiilsel riistvaral.

Nüüd, kui me oleme Orioni maailmale tutvustanud, oleme keskendunud mõnele asjale:

• AR-ekraani kvaliteedi häälestamine, et muuta visuaalid veelgi teravamaks
• Optimeerimine, kus iganes me saame, et muuta vormifaktor veelgi väiksemaks
• Mastaapne ehitamine, et muuta need taskukohasemaks

In the next few years, you can expect to see new devices from us that build on our R&D efforts. And a number of Orion’s innovations have been extended to our current consumer products today as well as our future product roadmap. We’ve optimized some of our spatial perception algorithms, which are running on both Meta Quest 3S and Orion. While the eye gaze and subtle gestural input system was originally designed for Orion, we plan to use it in future products. And we’re exploring the use of EMG wristbands across future consumer products as well.

Orion ei ole lihtsalt aken tulevikku - see on pilk väga reaalsetele võimalustele, mis on juba praegu käeulatuses. Me ehitasime selle, et teha seda, mida me kõige paremini oskame: aidata inimestel luua sidemeid. Alates Ray-Ban Meta prillidest kuni Orionini oleme näinud, kui hea on see, kui inimesed saavad füüsilises maailmas rohkem kohal olla ja rohkem võimalusi kasutada, isegi kui nad saavad kasutada kõiki digitaalse maailma pakutavaid lisavõimalusi.

Me usume, et te ei peaks nende kahe vahel valima. Ja järgmise arvutiplatvormiga ei pea te seda tegema.

Last year at Connect, we unveiled Orion—our first true pair of AR glasses. The culmination of our work at Reality Labs over the last decade, Orion combines the benefits of a large holographic display and personalized AI assistance in a comfortable, all-day wearable form factor. It got some attention for its industry-leading field of view, silicon carbide waveguides, uLED projectors, and more. But today, we’re turning our attention to an unsung hero of Orion: the compute puck.

Puck on loodud nii, et see mahub hõlpsasti taskusse või kotti, nii et saate seda oma päeva jooksul peaaegu kõikjale kaasa võtta, ning see vabastab Orioni töötlemisvõimsuse rakendusloogika käivitamiseks ja võimaldab prillide veenvamat, väiksemat vormifaktorit. See ühendub juhtmevabalt prillidega ja EMG-randmepaelaga, et tagada sujuv kogemus.

Seadke see ja unustage see, eks ole?

Kuid selle plaadi taustalugu - isegi prototüübina - on seotud dramaatilise kaarega, mida selle välimuse põhjal ei oskaks iialgi arvata.

"Kui sa ehitad midagi sellist, siis hakkad füüsika piiridesse jõudma," selgitab tootejuhtimise direktor Rahul Prasad. "Viimase 50 aasta jooksul on Moore'i seadus muutnud kõik väiksemaks, kiiremaks ja energiatõhusamaks. Probleem seisneb selles, et nüüd hakkad jõudma piiridesse, kui palju soojust saad hajutada, kui palju akut saad kokku suruda ja kui palju antenni jõudlust saad teatud suurusega objekti sisse mahutada."

Kuigi tagantjärele võib olla 20/20, ei olnud selle plaadi potentsiaal kohe ilmne. Kui sa oled esimene, kes midagi ehitab, pead sa uurima kõiki võimalusi - ei jäta ühtegi kivi maha. Kuidas ehitada midagi, mida mõned võivad pidada pigem ebasoovitavaks lisaseadmeks kui paketi oluliseks osaks?

"Me teadsime, et puck on lisaseadme, mida me palume inimestel kaasas kanda," märgib tootekujundusjuht Jared Van Cleave, "seega uurisime, kuidas muuta see viga funktsiooniks."

Lõppkokkuvõttes tasus see eetos end ära, kuna see puck pigistab palju arvutusvõimsust (ja veelgi rohkem Meta poolt loodud kohandatud räni AI ja masintaju jaoks) väikesesse suurusesse. See aitas Orionil ulme vallast tegelikkuseks saada.

"Kui sul poleks seda plaati, ei oleks sul võimalik saada kogemusi, mida Orion oma vormifaktoriga pakub," ütleb Prasad. "Hea AR-kogemus nõuab väga suurt jõudlust: kõrget kaadrisagedust, äärmiselt madalat latentsust, peensusteni välja töötatud traadita side- ja energiahaldust jne. Puck ja prillid peavad olema ühiselt disainitud, et nad töötaksid väga tihedalt koos, mitte ainult rakenduse tasandil, vaid ka operatsioonisüsteemi, püsivara ja riistvara tasandil. Ja isegi kui nutitelefon kavandataks koos AR-prillidega, tühjendaksid nõudlikud jõudlusnõuded telefoni akut ja võtaksid arvutusvõimsuse ära telefoni kasutusjuhtumite arvutusmahust. Seevastu on puckil oma suure võimsusega aku, suure jõudlusega SoC ja kohandatud Meta poolt disainitud ja Orioni jaoks optimeeritud tehisintellekti kaasprotsessor."

Loomulikult ei loodud see ketas üleöö. See nõudis aastatepikkust iteratiivset tööd.

"Me ei teadnud, kuidas inimesed tahaksid Orioniga suhelda sisendi seisukohast - me ei saanud turul midagi ette valmistada," ütleb tootejuht Matt Resman. "Kui te vaatate meie varaseid prillide prototüüpe, siis need olid massiivsed kõrvaklapid, mis kaalusid kolm või neli kilo. Ja kui sa üritad toodet luua, siis on väga raske mõista kasutajakogemust, kui sa ei ole õiges vormifaktoris. Pucki puhul saime väga kiiresti prototüüpe luua, et mõista, kuidas inimesed seda kasutaksid."

Alguses kandis Oculus Research esialgu koodnimetust Omega, mis oli tollase Oculus Researchi poolt ette nähtud Ω-kujulise rihmana, mis käiks kasutaja kaela ümber ja oleks prillidega ühendatud....

... kuni Reality Labs'i traadita side meeskonna mõned uued uuendused võimaldasid neil muu hulgas kaabli katkestada. See võimaldas rohkem pihuarvuti või taskusse / kotti paigutatavat vormi, mis avas palju võimalusi.

"Sel hetkel oli liitreaalsuse helistamine veel esmane kasutusviis," selgitab Van Cleave. "Pakk oli see, kuhu holograafilised videod ankurdati. Paneksite selle lauale, sensorpink teie poole, kujutaks teid ja siis projitseeriksite kõne jaoks selle, kellega te räägite korvi pinnalt."

"Orioni eesmärk on ühendada inimesi ja tuua meid kokku," ütleb Resman. "Üks esialgsetest kontseptsioonidest oli aidata luua seda kohaloleku tunnet teiste inimestega ja võimaldada seda rikkalikumat suhtlemisvormi."

"See on erinev kõigest, mida te olete kunagi näinud - seadmel on potentsiaali luua tõeliselt lõbusaid ja unikaalseid interaktsioone," lisab tööstusdisainer Emron Henry. "Kasutajakogemus on natuke nagu džinni vabastamine pudelist, kus hologrammid tekivad sujuvalt seadmest välja ja lahustuvad sinna tagasi."

Nagu nüüdseks ilmselt juba aru saad, on puckis rohkem potentsiaali kui see, mis lõpuks funktsioonina sisse lülitati. Lisaks anduritele ja kaameratele, mida oleks kasutatud AR-kõne jaoks, on puckil haptika ja 6DOF-andurid, mis võimaldaksid seda kasutada jälgitava kontrollerina virtuaalsete objektide valimiseks ja nendega manipuleerimiseks ning AR-mängude mängimiseks. Meeskond uuris ka mahtuvus- ja jõupuute sisendit, nii et puck võiks olla mängupadina, kui seda hoitakse nii portree- kui ka maastikurežiimil.

"Rääkisime sellest, et seda lisa asja on vaja kaasas kanda," ütleb Van Cleave. "Kuidas me selle kasulikumaks teeme? Selle ümber oli terve töövoog. Ja ühel hetkel oli hüpotees, et AR-mängudest saab see peamine kasutusviis."

Juba varakult teadsime, et peame uurima võimalusi, mida telefonid ei saa teha. Lõpuks jõudsime silma pilgu, EMG ja käe jälgimise kasutamiseni AR-mängudes, nagu Stargazer ja Pong, kuid Orioni algusaegadel prototüüpisime mitmesuguseid demosid ja mänge, milles kasutasime puck'i kontrollerina.

Renderdatud uurimused puckist kui 6DOF kontrollerist AR-mängude, näiteks Pongi jaoks.

"Kuna tegemist ei ole telefoniga, andis see meile palju vabadust disainis," lisab Prasad. "See võib olla paksem, ma võin selle teha ümaramaks, et see sobiks mugavalt käes kui kontroller. See on päris uskumatu, et puck on tegelikult väiksem kui keskmine telefon, kuid see on võimsam kui telefon, sest sellel on Meta poolt loodud kaasprotsessor tehisintellekti ja masintaju jaoks."

Meeskond uuris, kuidas kvaliteetne AR-mäng võiks erineda MR- või konsoolimängust. See tähendas AR-mängu kontrolleri erinevate võimaluste, sealhulgas joystickide, füüsiliste nuppude paigutuse, päästikunuppude ja muude võimaluste uurimist.

"Me ei hakanud tegelikult midagi sellist ehitama," märgib Van Cleave. "Me prototüüpisime seda, kuid me ei hakanud seda kunagi täielikult ehitama. Me tahtsime hoida asja lihtsana. Tahtsime teha neid pehmeid liideseid, kuid mitte teha füüsilisi, mehaanilisi nuppe."

Ja kuigi andurid ja haptika ei olnud valmis toote prototüübis sisse lülitatud, oli neil arenduse ajal oluline funktsioon, võimaldades meeskondadel esitada vigu, koputades lihtsalt paar korda seadme ülaosa, et käivitada veateade.

Kui tehisintellekt hakkas peamise kasutusviisina esile tõusma, muutus arvutamine üha teravamaks. Lõpuks on Orioni juhtmevaba ühenduvus, arvutusvõimsus ja aku mahtuvus - iseenesest suur tehniline saavutus -, mis kõik aitab vähendada prillide kaalu ja vormifaktorit, hajutades samal ajal tänu oma pindalale palju rohkem soojust.

Kogu selle arengu vältel on üks asi jäänud samaks: puckis on rohkem, kui treenimata silmale paistab. Ebakonventsionaalsete ideede omaksvõtmine võimaldas meie meeskondadel uurida, ületada piire ja ehitada tulevikku.

"Me määratleme kategooriat, mida veel ei ole päris olemas," märgib Henry. "Nagu uurimis- ja arendustegevuse puhul võib eeldada, oli teel algusi ja peatusi. Kuidas ootavad kasutajad hologrammidega suhtlemist? Kas nad eelistavad kasutada AR-pulti või piisab käe jälgimisest, pilgupildist ja EMG-st? Mis tundub intuitiivne, vähese hõõrdumisega, tuttavlik ja kasulik?"

"Selle asemel, et vaadata puck'i kui pelgalt kivi, küsisime endalt, mida võiksime veel pakkuda, et seda telefonidest veelgi enam eristada ja põhjendada, miks sa seda kaasas kanda tahad," tunnistab Resman. "Kas selle toores arvutusvõimsus ja praktiline disain - mis aitas avada prillide vormifaktori, mida saab reaalselt kogu päeva kaasas kanda - pakub lõpuks piisavalt väärtust? Meie ülesanne on aidata neile küsimustele vastata."

"Varakult nihutasime käike, et keskenduda sellele, mida me saame teha, mida telefon ei saa teha," lisab Van Cleave. "Telefonidel peab olema ekraan, neil peab olema teatud füüsiline nupu paigutus, mida kasutajad ootavad. Meil ei ole neid piiranguid. Meie arvutipuute saab olla selline, nagu me tahame."