Avtor: Kristián Ivančo

In 2017, Reality Labs Chief Scientist Michael Abrash, backed by Meta Founder & CEO Mark Zuckerberg, established a new, secret team within what was then Oculus Research to build the foundation of the next computing platform. Their herculean task: Create a custom silicon solution that could support the unique demands of future augmented reality glasses—a technical feat that required reimagining every component for an all-day wearable AR glasses form factor that simply didn’t exist yet.

Sprednji kot prototipa očal Orion AR.

Kompaktna oblika, veliko prostora za težave

Growing from just a few researchers to hundreds of people on the product side, the custom silicon team was built on the premise that AR glasses couldn’t rely on the silicon available in today’s smartphones. And it’s a premise borne out by the several custom chips inside Orion, our first true AR glasses product prototype.

"Gradnja ladje, ko izpluje iz pristanišča, je bilo točno to, kar smo počeli," pravi direktor strategije naprednih tehnologij Jeremy Snodgrass. "Morali smo povečati tedaj skromno ekipo in hkrati graditi te čipe. Bilo je zanimivo opazovati, kako je vodstvo privedlo nove zaposlene in hkrati razvijalo kulturo, ki ceni agilnost. Nič ni bil problem nekoga drugega. Vzel si veslo in začel veslati, tudi če to ni bilo točno to, za kar so te najeli. To je bil zelo, zelo vznemirljiv čas."

"Skoraj vse v Orionu je bilo na veliko načinov novo," se strinja tehnični direktor arhitekture zaslona Mike Yee. "Nekatere zamisli so že obstajale, vendar se nihče ni lotil raziskovalnega projekta, da bi dejansko izdelal očala za celodnevno nošenje AR."

Ekipa je morala zagotoviti prepričljivo izkušnjo AR s čim manjšo porabo energije. Oblika očal lahko odvaja le toliko toplote in sprejme le toliko zmogljivosti baterije. Zato so izkušnje, ki jih je mogoče zagotoviti na očalih, popolnoma odvisne od silicija. Z drugimi besedami, če ohranimo nespremenjene toplotne in baterijske zmogljivosti, je edini način, da zagotovimo določeno izkušnjo, optimizacija silicija.

“Designing a new architecture for Orion required the team to not only push existing technologies like wireless and displays aggressively but also to take risks on new technologies,” says Director of Product Management Neeraj Choubey. “For instance, the team developed a machine learning (ML) accelerator without a clear use case at the time, driven by the strong conviction that ML would become increasingly important in Meta’s products. On Orion, every ML accelerator is utilized, and in some cases, they’re oversubscribed, serving functions such as eye tracking and hand tracking. Similarly, the team developed custom compression protocols to reduce bandwidth and power consumption as data moved from the compute puck to the display. Developing custom silicon to achieve Orion’s form factor goals required both a tolerance for high ambiguity and meticulous attention to detail to deliver an incredibly complex system architecture.”

"Največji izziv smo imeli pri zagotavljanju 3D grafike, ki je zaklenjena v svet, skupaj s prostorskim zvokom, ki je upodobljen tako, da se zdi, da izhaja iz virtualnega predmeta," ugotavlja Snodgrass. "Vso to elektroniko smo morali umestiti v toplotno zmogljivost in fizični prostor, nato pa jo pognati na baterijo, da se ne bi preveč segrela. In vse to smo morali narediti v dejanski obliki očal - ne v velikem vizirju, kot ga običajno vidimo v tej kategoriji."

"Vedeli smo, kako zagotoviti potrebno računsko moč za uresničitev naše vizije za Orion, vendar smo se soočili z zahtevno nalogo: zmanjšati porabo energije za faktor 100," pravi direktor za rešitve SoC Robert Shearer. "To je od nas zahtevalo, da premaknemo meje oblikovanja silicija, pri čemer smo sprejeli metodologije z različnih koncev industrije - od interneta stvari do visokozmogljivega računalništva - in izumili nove pristope za premostitev vrzeli. Naši industrijski partnerji so mislili, da smo nori, in morda se niso povsem motili. Vendar je bilo potrebno prav to: pripravljenost izpodbijati konvencionalno modrost in premisliti vse na novo. Izdelava računalnika, ki brezhibno združuje virtualni in fizični svet, zahteva temeljito razumevanje konteksta, ki daleč presega to, kar lahko ponudijo obstoječe računalniške platforme. V bistvu smo na novo izumili način, kako računalniki sodelujejo z ljudmi, kar je pomenilo, da smo si od temeljev na novo zamislili, kako gradimo silicij."

Zunanji sestavni deli sistema Orion.

Čarobnost mikrosvetlobnih diod

Bili so trenutki, ko so stvari zaostajale za načrtom ali se je pojavil na videz nepremostljiv tehnični izziv, ko je bilo težko ohraniti zagon in moralo. Toda ekipa je bila odporna in je našla poti mimo ovir ali pa jih preprosto zrušila.

Vzemimo na primer Orionov zaslon. Ekipa za silicij je bila odgovorna za silicij v projektorju zaslona, ki je nameščen v vogalih očal.

"Pri teh projektorjih je bilo odprto vprašanje, ali lahko mikrosijalke LED v polju dobimo z dovolj visoko učinkovitostjo in svetlostjo, da lahko uporabimo zaslon s širokim vidnim poljem," pravi Snodgrass. "Obstajal je velik dvom, da bi to lahko storili - da bi bilo to mogoče v časovnem okviru, ki smo ga obravnavali -, saj je bila to zelo nova tehnologija."

"Že zelo zgodaj smo ugotovili, da moramo na novo premisliti o številnih paradigmah razvoja izdelkov," dodaja Yee. "Količina svetlobe, ki jo potrebujete za uporaben zaslon, je pri očalih za razširjeno resničnost precej večja, saj kot nosljivi zaslon tekmujete s soncem. Zato potrebujemo raven energije, ki mu konkurira - ali pa je to vsaj cilj. Tega še nismo dosegli, vendar je to velik del naloge. To pomeni, da za zaslon potrebujemo svetlobne vire, ki so tega sposobni, in vezje, ki lahko to nadzoruje. Hkrati pa je treba poskrbeti, da je zaslon majhen."

Silicij po meri, ki poganja Orionove µLED.

Čeprav so se mikroLED zdele najprimernejši vir svetlobe za projektorje, je silicij pomagal sprostiti njihov potencial.

"Pri zaslonih govorimo o razdaljah med piksli, ki so razdalje med središčnimi točkami sosednjih pikslov," pojasnjuje Yee. "Pri televizorjih so te razdalje več sto mikronov. V vašem telefonu so razdalje veliko, veliko deset mikronov. In to smo morali zmanjšati na enomestne številke. Edina znana proizvodnja polprevodnikov, ki je to lahko dosegla, je bila iz silicija."

Delo je oteževalo dejstvo, da je morala biti zadnja površina zaslona kos silicija, nihče na svetu pa še ni oblikoval silicija za mikrosijalke LED.

"Takrat so vse raziskovalne ekipe, ki so bile na voljo, uporabljale tekoče kristale na silicijevih zaslonih, da bi nanje namestile mikroLED," pravi Yee. "Nihče še ni zasnoval osnovne plošče za mikrosijalke. Soočili smo se s precej edinstvenim izzivom, saj gre za optično komponento. Biti mora ravna. Ne morete je opraskati. Imeti mora vse te lastnosti, saj ko gledate skozi valovode ali projektorje, gledate dobesedno zgornjo površino kosa silicija."

Ekipa za silicij je razvila zapletene testne platforme za te zaslone microLED, pri čemer se je tesno usklajevala z našimi globalnimi dobavitelji. Zasloni microLED imajo globalni odtis, saj so nastali na enem mestu in bili nato preneseni na drugo mesto, kjer so jih namestili na rezino. Plošče so bile nato poslane na razrez v določeno obliko, nato pa so potovale v ZDA, kjer so bile zlepljene z drugo ploščo, nato pa so bile poslane nazaj po vsem svetu, kjer je bil izdelan in preizkušen dejanski modul. To je bil izjemno zapleten postopek, zato je ekipa za silicij razvila testna vozila, s katerimi je preverjala vsak korak.

Ekipa je morala najti tudi način za napajanje zaslonov microLED v majhnem prostoru vogalov očal. Naša analogna ekipa je razvila čip za upravljanje napajanja po meri, ki se je prilegal temu volumnu.

"Oskrba z energijo je ključnega pomena za tako majhne nosljive naprave, pri katerih je velikost baterije omejena, prostor pa omejen," ugotavlja direktor analognih in mešanih signalnih sistemov Jihong Ren. "Naša prilagojena rešitev IC za upravljanje napajanja uporablja najsodobnejše tehnologije za optimizacijo energetske učinkovitosti za našo specifično delovno obremenitev na sistemski ravni, pri čemer se prilagaja razpoložljivim prostorskim omejitvam. Doseganje te optimalne rešitve je zahtevalo tesno interdisciplinarno sodelovanje z našimi ekipami za mehaniko, elektriko, SoC, μLED in toploto, kar je zagotovilo nemoteno integracijo vseh komponent in kar največjo splošno učinkovitost."

"To je bil neverjeten dosežek ne le inženiringa, temveč tudi organizacijskega vodenja: združiti ekipo, delati v različnih časovnih pasovih in z različnimi dobavitelji," dodaja Snodgrass. "Na neki način je bilo organizacijsko obvladovanje vsega tega prav tako velik izziv kot izpolnjevanje tehničnih specifikacij."

"Ne samo, da je zasnova po meri, tudi celoten postopek izdelave je prilagojen," dodaja Yee. "Imamo srečo, da imamo nekaj čudovitih partnerjev v industriji, ki so nam to pomagali uresničiti. V prikazovalnikih AR kot celoti vidijo dolgoročni potencial in zagotovo tudi Metino vizijo za to področje. Zato so bili pripravljeni sodelovati z nami pri izvedbi teh prilagoditev in optimizacij, da bi omogočili ta zaslon."

Očala Orion AR.

Iteracija se sreča s pospeševanjem

Med ekipo za silicij in briljantnimi možgani v Reality Labs Research in XR Tech, ki so razvijali algoritme, je obstajala tesna povratna zanka. Slednje ekipe so zagotavljale te algoritme, ki jih je prva ekipa prenesla v strojno opremo, s čimer je bila odpravljena režijska obremenitev programske opreme, ki jo poganjajo splošni procesorji. To je pomenilo, da bodo algoritmi delovali z manjšo porabo energije, hkrati pa je to pomenilo, da je bila ekipa za silicij omejena. Ko so bili algoritmi utrjeni, jih ni bilo več mogoče spreminjati.

"Recimo XR Tech je algoritmično razvijal določeno disciplino," pojasnjuje Ohad Meitav, direktor arhitekture in algoritmov Silicon Accelerators. "V lasti imajo algoritmični niz in njegovo zmogljivost. Moja ekipa bi se v sodelovanju z njimi odločila, kako pospešiti algoritem, kako utrditi dele algoritma in kako ga dejansko vgraditi v strojno opremo tako, da bi deloval izjemno učinkovito. Nato bi podjetje XR Tech prilagodilo svojo programsko opremo, da bi upoštevalo strojno opremo. To je zelo ponavljajoč se proces."

Druga zgodba o uspehu je sodelovanje ekipe za silicij s podjetjem Reality Labs Research pri oblikovanju novega algoritma za reprojekcijo.

"Algoritem za reprojekcijo je moral podpirati različna popačenja in popravke," je povedal Silicijev arhitekt Steve Clohset. "Algoritem, ki ga je razvil RL-R in smo ga na koncu uporabili, se ne uporablja v splošnem računalništvu. A še danes se je izkazal za zelo zmogljivo orodje."

Ko so bili algoritmi izboljšani in strojna oprema optimizirana, je ekipa za uvajanje silicija preizkusila prilagojene čipe.

"Orionov silicijev čipovski nabor po meri je zelo zapleten," pravi Liping Guo, višji direktor za sistem in infrastrukturo od konca do konca. "Vzpostavitev in potrditev samostojnih čipov ter interoperabilnosti med njimi v kratkem času je izjemno zahtevna. Na srečo delujemo v vertikalno integriranem okolju, kjer ima podjetje Reality Labs v lasti celoten sklop - od silicija in nizko nivojske strojne programske opreme do operacijskega sistema, programske opreme in izkušenj zgornjega sloja. To smo v celoti izkoristili, tesno sodelovali z našimi medfunkcijskimi partnerji in v fazi potrjevanja silicija preusmerili integracijo med skladi. Orion je bil naša pilotna faza te metodologije - okrepili smo svoje mišice in ustvarili trdne temelje za podjetje Reality Labs, da bo lahko v prihodnosti v celoti izkoristilo prednosti silicija po meri."

Po vzpostavitvi je bil čas za optimizacijo programske opreme.

"Gre za ponavljajoči se postopek, v katerem začnete s popolnoma neoptimiziranim skladom programske opreme, samo da se vse zažene in začne delovati," pravi Snodgrass. "Nato pa enega za drugim pregledate podsisteme in začnete optimizirati programsko opremo za določeno strojno opremo - vključno z zmanjšanjem količine pomnilnika, ki ga programska oprema uporablja. Strojna oprema je lahko odlično zasnovana, vendar ne boste dosegli teoretične energetske učinkovitosti, če ne boste vložili toliko ali več časa v to, da bi programska oprema v celoti izkoristila prednosti strojne opreme. To je zgodba o Orionu: strojna in programska oprema sta optimizirani do potankosti. Ne pustite nobenega pikojoula ali miliwata za seboj."

Čeprav je Orion morda le prototip, lahko delo, ki je bilo vloženo vanj, pomembno vpliva na načrt podjetja Meta.

"Na silicijeve IP, ki jih gradimo, gledamo kot na platforme v smislu, da so to cenjeni IP, ki jih bomo izboljševali iz generacije v generacijo ali iz enega izdelka v drugega," dodaja Meitav. "Vsi algoritmi za računalniški vid in grafiko niso narejeni samo za Orion. Uporabljali se bodo tudi v prihodnjih izdelkih."

Naše delo s silicijem vključuje ustvarjanje novih rešitev in tesno sodelovanje s partnerji. Vpliv ekipe za silicij sega tudi onkraj Oriona, in sicer na Očala Ray-Ban Meta and Meta Quest headsets today—even though they both use third-party chips. The silicon team regularly shares their work with the mixed reality team, showing what’s possible in terms of power efficiency. The MR team then shares those findings with partners like Qualcomm to help inform future chip designs. And because the silicon team uses the same off-the-shelf digital signal processors (DSPs) as Ray-Ban Meta glasses, they’ve been able to share lessons learned and best practices when implementing and writing code for those DSPs to help improve the audio experiences available on our AI glasses.

And that knowledge sharing goes both ways: The MR team has given the silicon team insights on things like Asynchronous TimeWarp and Application SpaceWarp in production.

"To, kar človek naredi v proizvodnji, je veliko bolj zanimivo kot nekaj, kar bi lahko naredili s prototipom," pravi Clohset. "Poskušali smo čim bolj vključiti to, kar so počeli z osnovami."

Dvoumnost < Ambicija

Ker je bil Orion resnično nič proti ena, so se morale sodelujoče ekipe po nujnosti spoprijeti s preveliko količino dvoumnosti.

"Pri Orionu ne morem preceniti, kako zapletene so bile stvari zaradi dvoumnosti," pravi Clohset. "Ko na primer izdeluješ računalnik, imaš običajno dobro predstavo o tem, kakšen bo zaslon. Nismo pa vedeli, kakšen bo na koncu valovod, zato smo morali vzorčiti različne valovode in si zamisliti mehanizem, ki bi bil kos najslabšemu možnemu scenariju, saj nismo vedeli, kje bodo stvari pristale. Ena optimizacija bi se povezala z vsemi drugimi možnostmi in na koncu bi dobili matriko vseh teh različnih stvari, ki bi jih morali podpreti in potrditi, ker nismo vedeli, kje bo izdelek pristal čez šest mesecev."

It’s important to note that Orion isn’t just a pair of AR glasses—it’s a three-part constellation of hardware. A lot of the processing happens on the compute puck, which necessitates a strong connection between it and the glasses. Add the surface EMG wristband into the loop, and the system architecture becomes even more complicated.

"To je bil za ekipe velik izziv, ki so ga morale rešiti, in vse to preprosto deluje," pravi Snodgrass. "To je bilo neverjetno sodelovanje med ekipo za silicij, ekipo za brezžično omrežje in ekipami za programsko opremo po vsej organizaciji."

Orionov računski plošček.

"Z družbo Orion smo sestavili celotno ekipo s široko paleto inženirjev, ki so lahko zasnovali popolnoma nov cevovod," dodaja Clohset. "To je cevovod, ki omogoča gibanje predmetov v 3D-prostoru s šestimi stopnjami svobode. Uporablja lasten gonilnik za prikaz po meri. Opraviti smo morali res edinstvene popravke kakovosti slike. Mislim, da je bil naš izziv v tem, da ker je šlo za projekt nič na en mah, ni bilo obstoječe specifikacije, ki bi jo lahko prilagodili in izboljšali. Tu je vse popolnoma novo, zato smo lahko naredili vse."

Much like the puck has some dormant features hidden beneath the surface, the custom silicon punches above its weight, too. While Orion doesn’t allow the user to take photos with its RGB cameras, the silicon is capable of supporting it, as well as codec avatars. And just as the puck helped unlock a true glasses form factor by offloading much of the compute, Orion’s custom silicon proved a necessary piece of the AR puzzle.

"Za uresničitev doživetja "nič do enega", kot so očala AR, potrebujete silicij po meri - popolno ustavitev," pojasnjuje Snodgrass. "Če bo trg obstajal, bodo prodajalci silicija sčasoma razvili izdelke, ki bodo zadovoljili povpraševanje. Toda za "zero-to-one" ne morete preprosto vzeti nečesa, kar obstaja na polici in je namenjeno drugemu izdelku, ter to vgraditi v nov kalup. Investirati morate v nekaj po meri. Za uresničitev teh izkušenj zero-to-one pa potrebujete široko sodelovanje med partnerji programske opreme, industrijskimi oblikovalci, strojnimi inženirji in drugimi."

"S tem, ko smo se osvobodili tradicionalnih miselnih modelov, smo ustvarili nekaj resnično izjemnega," dodaja Shearer. "Verjamemo, da ta računalniška platforma predstavlja prihodnost tehnologije, ki bo revolucionarno spremenila način, kako živimo, delamo in komuniciramo drug z drugim. Navdušeni smo, da smo v ospredju te inovacije, da premikamo meje mogočega in pomagamo oblikovati tok zgodovine."

When we first began giving demos of Orion early this year I was reminded of a line that you hear a lot at Meta—in fact it was even in our first letter to prospective shareholders back in 2012: Code wins arguments. We probably learned as much about this product space from a few months of real-life demos than we did from the years of work it took to make them. There is just no substitute for actually building something, putting it in people’s hands, and learning from how they react to it.

Orion wasn’t our only example of that this year. Our mixed reality hardware and AI glasses have both reached a new level of quality and accessibility. The stability of those platforms allows our software developers to move much faster on everything from operating systems to new AI features. This is how I see the metaverse starting to come into greater focus and why I’m so confident that the coming year will be the most important one in the history of Reality Labs.

Leto 2024 je bilo leto, ko so očala z umetno inteligenco dosegla svoj vrhunec. Ko smo leta 2021 začeli izdelovati pametna očala, smo menili, da bi lahko bila dober prvi korak k očalom AR, ki smo jih sčasoma želeli izdelati. Medtem ko so slušalke za mešano resničnost na dobri poti, da postanejo splošna računalniška platforma, podobno kot današnji osebni računalniki, smo očala videli kot naravni razvoj današnjih mobilnih računalniških platform. Zato smo se želeli čim prej začeti učiti iz resničnega sveta.

The biggest thing we’ve learned is that glasses are by far the best form factor for a truly AI-native device. In fact they might be the first hardware category to be completely defined by AI from the beginning. For many people, glasses are the place where an AI assistant makes the most sense, especially when it’s a multimodal system that can truly understand the world around you.

We’re right at the beginning of the S-curve for this entire product category, and there are endless opportunities ahead. One of the things I’m most excited about for 2025 is the evolution of AI assistants into tools that don’t just respond to a prompt when you ask for help but can become a proactive helper as you go about your day. At Connect we showed how Live AI on glasses can become more of a real-time participant when you’re getting things done. As this feature begins rolling out in early access this month we’ll see the first step toward a new kind of personalized AI assistant.

It won’t be the last. We’re currently in the middle of an industry-wide push to make AI-native hardware. You’re seeing phone and PC makers scramble to rebuild their products to put AI assistants at their core. But I think a much bigger opportunity is to make devices that are AI-native from the start, and I’m confident that glasses are going to be the first to get there. Meta’s Chief Research Scientist Michael Abrash has been talking about the potential of a personalized, context-aware AI assistant on glasses for many years, and building the technologies that make it possible has been a huge focus of our research teams.

Mešana resničnost has been another place where having the right product in the hands of a lot of people has been a major accelerant for progress. We’ve seen Meta Quest 3 get better month after month as we continue to iterate on the core system passthrough, multitasking, spatial user interfaces, and more. All these gains extended to Quest 3S the moment it launched. This meant the $299 Quest 3S was in many respects a better headset on day 1 than the $499 Quest 3 was when it first launched in 2023. And the entire Quest 3 family keeps getting better with every update.

In 2025 we’ll see the next iteration of this as Quest 3S brings a lot more people into mixed reality for the first time. While Quest 3 has been a hit among people excited to own the very best device on the market, Quest 3S is expected to be heavily gifted in 2024. Sales were strong over the Black Friday weekend, and we’re expecting a surge of people activating their new headsets over the holiday break.

S tem se bo nadaljeval trend, ki se je oblikoval v zadnjem letu: rast števila novih uporabnikov, ki s svojimi slušalkami iščejo širši nabor opravil. Želimo, da ti novi uporabniki spoznajo čare sistema MR in ostanejo z nami na dolgi rok, zato financiramo razvijalce, da ustvarijo nove vrste aplikacij in iger, ki jih iščejo.

Zlasti mlajši ljudje so se močno razširili in se nagibajo k družabnim in tekmovalnim večigralskim igram ter brezplačnim vsebinam. In naslovi, kot so BEHEMOTH družbe Skydance, Batman: Arkham Shadow (ki je pravkar prejela nagrado za najboljšo AR/VR igro na podelitvi nagrad The Game Awards!) in Prebujanje podzemne železnice ponovno pokazal, da so nekatere najboljše nove igre, ki jih proizvaja naša industrija, zdaj mogoče samo z današnjimi slušalkami.

As the number of people in MR grows, the quality of the social experience it can deliver is growing in tandem. This is at the heart of what Meta is trying to achieve with Reality Labs and where the greatest potential of the metaverse will be unlocked: “the chance to create the most social platform ever” is how we described it when we first began working on it. We took two steps forward on this front in 2024: first with a broad set of improvements to Horizon Worlds including its expansion to mobile, and second with the next-generation Meta Avatars system that lets people represent themselves across our apps and headsets. And as the visual quality and overall experience with these systems improve, more people are getting their first glimpse of a social metaverse. We’re seeing similar trends with new Quest 3S users spending more time in Horizon Worlds, making it a Top 3 immersive app for Quest 3S, and people continue creating new Meta Avatars across mobile and MR.

Uveljavljanje mešane resničnosti v splošnem toku je pomagalo osvetliti, kaj bo sledilo. Eden prvih trendov, ki smo jih odkrili po lanski predstavitvi naprave Quest 3, je bil, da ljudje uporabljajo mešano resničnost za gledanje videoposnetkov, medtem ko opravljajo več nalog doma - pomivajo posodo ali sesajo dnevno sobo. To je bil zgodnji znak, da imajo ljudje radi velik virtualni zaslon, ki ga lahko vzamejo kamor koli in ga postavijo v fizični svet okoli sebe. Videli smo, da se je ta trend razmahnil z vsemi vrstami zabavnih izkušenj, ki se hitro širijo v celotni družini Quest 3. Nove funkcije, kot je YouTube Co-Watch kažejo, kako veliko možnosti je za povsem novo vrsto družabne zabave v metaverseju.

That’s why James Cameron, one of the most technologically innovative storytellers of our lifetimes, is now working to help more filmmakers and creators produce great 3D content for Meta Quest. While 3D films have been produced for decades, there’s never been a way to view them that’s quite as good as an MR headset, and next year more people will own a headset than ever before. “We’re at a true, historic inflection point,"Jim said when we launched our new partnership this month.

This is happening alongside a larger shift Mark Rabkin shared at Connect this year: Our vision for Horizon OS is to build a new kind of general purpose computing platform capable of running every kind of software, supporting every kind of user, and open to every kind of creator and developer. Our recent releases for 2D/3D multi-tasking, panel positioning, better hand tracking, Windows Remote Desktop integration, and Open Store have started to build momentum along this new path. Horizon OS is on track to be the first platform that supports the full spectrum of experiences from immersive VR to 2D screens, mobile apps, and virtual desktops—and the developer community is central to that success.

Naslednji velik korak k metaverseju bo združil očala z umetno inteligenco z izkušnjo prave obogatene resničnosti, ki smo jo razkrili letos z Orionom. Ne zgodi se pogosto, da bi imeli vpogled v prihodnost in videli popolnoma novo tehnologijo, ki vam pokaže, kam gredo stvari. Ljudje, ki so videli Orion, so takoj razumeli, kaj to pomeni za prihodnost, podobno kot ljudje, ki so v sedemdesetih letih prejšnjega stoletja v Xerox PARC-u videli nastajati prve osebne računalnike ("v desetih minutah mi je bilo jasno, da bodo nekoč vsi računalniki delovali tako," je kasneje dejal Steve Jobs o svoji predstavitvi Xerox Alto leta 1979).

To, da sem lahko ljudi posadil v časovni stroj in jim pokazal, kako bo videti naslednja računalniška platforma, je bil vrhunec leta 2024 in moje dosedanje kariere. Toda pravi učinek Oriona bo v naslednjih izdelkih, ki jih bomo poslali, in načinih, kako nam bo pomagal bolje razumeti, kaj imajo ljudje radi pri očalih AR in kaj je treba še izboljšati. Več let smo se ukvarjali z raziskavami uporabnikov, načrtovanjem izdelkov in eksperimentalnimi študijami, da bi razumeli, kako naj bi očala AR delovala, in to delo nam je omogočilo, da smo ustvarili Orion. Vendar bo napredek od zdaj naprej veliko hitrejši, saj imamo pravi izdelek, na katerem lahko gradimo svojo intuicijo.

This has been the lesson time and again over the last decade at Reality Labs. The most important thing you can do when you’re trying to invent the future is to ship things and learn from how real people use them. They won’t always be immediate smash hits, but they’ll always teach you something. And when you land on things that really hit the mark, like mixed reality on Quest 3 or AI on glasses, that’s when you put your foot on the gas. This is what will make 2025 such a special year: With the right devices on the market, people experiencing them for the first time, and developers discovering all the opportunities ahead, it’s time to accelerate.

Welcome back for another episode of Boz To The Future, a podcast from Reality Labs. In today’s episode, our host, Meta CTO and Head of Reality Labs Andrew “Boz” Bosworth, is joined by Meta’s VP of Wearables Alex Himel.

Himelova ekipa se ukvarja z najtežjimi tehničnimi problemi v industriji, vse to pa je namenjeno ustvarjanju naslednje računalniške platforme. Tako kot Bosworth je tudi Himel dolgoletni vodja v podjetju Meta, saj je v več kot 15 letih opravljal številne vodstvene funkcije v podjetju.

Bosworth in Himel obravnavata številne teme, vključno z nosljivimi napravami, razširjeno resničnostjo in tem, kako umetna inteligenca pospešuje in izboljšuje vrste izkušenj, vgrajenih v Očala Ray-Ban Meta in prihodnje izdelke.

They go deep on Orion and the positive reception it’s received since Mark Zuckerberg announced it at Connect. Just as Steve Jobs recognized the Alto as a turning point in computing, Bosworth asserted that, while we may disagree about the details, it’s hard to argue against this as the future. Himel and Bosworth go on to talk about the tremendous value of prototyping and building, saying how much more they’ve learned about Orion and its input paradigms in the three weeks of using it compared to the years spent building it.

Govorili so tudi o ključni vlogi umetne inteligence v nosljivih napravah in o tem, kako postaja vse bolj uporabna v vsakdanjem življenju - še posebej zdaj, ko lahko Meta AI sprašujete o stvareh, ki jih vidite, in jo uporabljate za nastavljanje vizualnih opomnikov.

Himel govori tudi o svojih bogatih izkušnjah z drugačno vrsto kupov: sendviči. Himel in Bosworth, ki je sedem let delal v znameniti trgovini Lange's Little Store v Chappaqui v New Yorku, kjer je odraščal, se pogovarjata o tem, kaj naredi odličen sendvič, kam se resnično poda paradižnik in kateri kruh je najboljši.

Prilagodite se lahko Boz v prihodnost on Apple Podcasts, Spotify, and wherever you listen to podcasts.

You can follow Himel on Threads. You can follow Bosworth on Instagram, Twitter/X, and Threads @boztank.

Back in 2019, the Orion team prepared an important demo for Meta Founder & CEO Mark Zuckerberg, showcasing potential waveguides for augmented reality glasses—a pivotal moment when theoretical calculations on paper were brought to life. And it was a demo that changed everything.

“Wearing the glasses with glass-based waveguides and multiple plates, it felt like you were in a disco,” recalls Optical Scientist Pasqual Rivera. “There were rainbows everywhere, and it was so distracting—you weren’t even looking at the AR content. Then, you put on the glasses with silicon carbide waveguides, and it was like you were at the symphony listening to a quiet, classical piece. You could actually pay attention to the full experience of what we were building. It was a total game changer.”

Yet as clear (pun intended) as the choice of silicon carbide as a substrate seems today, when we first started down the road to AR glasses a decade ago, it was anything but.

"Silicijev karbid je običajno močno dopiran z dušikom," pravi Rivera. "Je zelene barve, in če je dovolj debel, je videti črn. Iz njega ni mogoče narediti optične leče. To je elektronski material. Ne brez razloga ima takšno barvo, in sicer zaradi elektronskih lastnosti."

"Silicijev karbid je že dolgo časa material," se strinja Giuseppe Calafiore, tehnični vodja družbe AR Waveguides. "Njegova glavna uporaba je visokozmogljiva elektronika. Vzemimo za primer električna vozila: Vsa električna vozila potrebujejo čip - vendar mora biti ta čip zmožen tudi zelo visoke moči, premikati kolesa in poganjati to stvar. Izkazalo se je, da tega ne morete storiti z običajnim silicijevim substratom, iz katerega so narejeni čipi, ki jih uporabljamo v naših računalnikih in elektroniki. Potrebuješ platformo, ki omogoča visoke tokove in visoko moč, in ta material je silicijev karbid."

Do nedavnega, ko so se začele razprave o obnovljivih virih energije, trg teh visokozmogljivih čipov ni bil niti približno tako velik kot trg čipov za potrošniško elektroniko. Silicijev karbid je bil vedno drag in ni bilo veliko spodbud za zniževanje stroškov, saj je bila cena substrata sprejemljiva za velikost čipa, ki se izdeluje za avtomobil.

"Vendar se je izkazalo, da ima silicijev karbid tudi nekatere lastnosti, ki jih potrebujemo za valovode in optiko," pravi Calafiore. "Ključna lastnost, ki nas zanima, je lomni količnik. Silicijev karbid ima visok lomni količnik, kar pomeni, da lahko prevaja in oddaja veliko količino optičnih podatkov. To si lahko predstavljamo kot optično pasovno širino - tako kot imate pasovno širino za internet in želite, da je dovolj velika, da lahko po tem kanalu pošiljate velike količine podatkov. Enako velja za optične naprave."

The higher a material’s refractive index, the higher its étendue, so you can send more optical data through that channel.

"Kanal je v našem primeru valovod, večji etendue pa pomeni večje vidno polje," pojasnjuje Calafiore. "Večji kot je lomni količnik materiala, večje vidno polje lahko zaslon podpira."

Pot do pravega lomnega količnika

Ko se je Calafiore leta 2016 prvič pridružil takratni ekipi Oculus Research, je bil najvišji lomni količnik stekla, ki ga je imela ekipa na voljo, 1,8, kar je zahtevalo zlaganje več plošč, da bi dosegli želeno vidno polje. Poleg nezaželenih optičnih artefaktov je montažna linija postajala vse bolj zapletena, saj sta morala biti prva dva valovoda popolnoma poravnana, nato pa je moral biti ta kup popolnoma poravnan s tretjim valovodom.

"Ne samo, da je bilo to drago, takoj je bilo tudi jasno, da v paru očal ne morete imeti treh kosov stekla na lečo," se spominja Calafiore. "Bila so pretežka, debelina je bila prevelika in grda - nihče jih ne bi kupil. Zato smo se vrnili na začetek: poskušali smo povečati lomni količnik podlage, da bi zmanjšali število potrebnih plošč."

The first material the team looked into was lithium niobate, which has a refractive index of roughly 2.3—quite a bit higher than the glass at 1.8.

"Ugotovili smo, da bi morali zložiti le dve plošči in da bi lahko morda celo z eno ploščo pokrili vidno polje," pravi Calafiore. "Skoraj vzporedno smo začeli preučevati druge materiale - tako smo skupaj z našimi dobavitelji leta 2019 ugotovili, da je silicijev karbid v svoji najčistejši obliki dejansko zelo prozoren. Prav tako ima največji lomni količnik, ki je znan za optično uporabo, in sicer 2,7."

To je 17,4% več kot pri litijevem niobatu in 50% več kot pri steklu, za tiste, ki doma vodijo račun.

"Z nekaj spremembami iste opreme, ki se je že uporabljala v industriji, je bilo mogoče pridobiti prozoren silicijev karbid," pravi Calafiore. "Lahko bi samo spremenili postopek, bili veliko bolj previdni in namesto za elektronske lastnosti bi optimizirali za optične lastnosti: preglednost, enakomernost lomnega količnika itd."

Potencialni stroški kompromisa

Takrat je bila ekipa Reality Labs prva, ki je sploh poskusila preiti z neprozornih silicijevokarbidnih ploščic na prozorne. Ker je silicijev karbid eden najtrših znanih materialov, je za njegovo rezanje ali poliranje v bistvu potrebno diamantno orodje. Zaradi tega so bili enkratni inženirski stroški zelo visoki, zato je bila nastala podlaga precej draga.

Čeprav obstajajo stroškovno učinkovitejše alternative, pa imajo tako kot pri vsaki tehnologiji tudi te svoje kompromise. Z večanjem vidnega polja v smeri Orionovega najboljšega vidnega polja v panogi, ki znaša približno 70 stopinj, se pojavijo nove težave, kot so slike duhov in mavrice.

"Pri iskanju optimalne rešitve za zaslon AR s širokim vidnim poljem je treba iskati kompromise med zmogljivostjo in stroški," pojasnjuje Barry Silverstein, direktor znanstvenih raziskav. "Stroške je pogosto mogoče znižati, vendar če zmogljivost ne bo zadostovala, stroški na koncu ne bodo pomembni."

Slike duhov so kot vizualni odmev primarne slike, ki se projicira na zaslon. Mavrice so barvni svetlobni prameni, ki nastanejo, ko se svetloba iz okolice odbije od valovoda. "Recimo, da se vozite ponoči in okoli vas se premikajo avtomobilske luči," pravi Silverstein. "Tudi mavrice se bodo premikale. Ali če igrate odbojko na plaži in sije sonce, boste dobili mavrično črto, ki se premika skupaj z vami, in boste zgrešili strel. Ena od čudežnih lastnosti silicijevega karbida je, da se znebi teh mavric."

"Druga prednost silicijevega karbida, ki je nima noben drug material, je toplotna prevodnost," dodaja Calafiore. "Plastika je grozen izolator. Steklo, litijev niobat, enako. Silicijev karbid je prozoren, videti je kot steklo in uganite kaj: prevaja toploto."

Julija 2020 je ekipa ugotovila, da je silicijev karbid optimalna izbira zaradi treh glavnih razlogov: Ker zahteva le eno ploščo in manjše montažne strukture, ima boljše optične lastnosti in je lažji od stekla z dvema ploščama, je omogočil izboljšano obliko.

Skrivnost poševnega jedkanja

Ko je bil material pripravljen, je bilo treba razvozlati še izdelavo valovodov - in sicer z nekonvencionalno tehniko jedkanja rešetk, imenovano poševno jedkanje.

"Rešetka je nanostruktura, ki povezuje in razvezuje svetlobo iz leče," pojasnjuje Calafiore. "Da bi silicijev karbid deloval, je treba rešetko poševno jedkati. Namesto da bi bile navpične, morajo biti linije rešetke nagnjene poševno."

"Bili smo prvi, ki smo izvedli poševno jedkanje neposredno na napravah," pravi vodja raziskav Nihar Mohanty. "Celotna industrija se je prej zanašala na nanotisk, ki pa ni primeren za podlage s tako visokim lomnim količnikom. Zato še nihče na svetu ni razmišljal o silicijevem karbidu."

Ker pa je poševno jedkanje nezrela tehnologija, večina dobaviteljev in tovarn polprevodniških čipov nima potrebnih orodij.

"Leta 2019 sva s takratnim vodjo Mattom Colburnom ustanovila lasten obrat, saj na svetu ni bilo ničesar, kar bi lahko izdelovalo jedkane valovode iz silicijevega karbida in kjer bi lahko preizkusili tehnologijo zunaj laboratorijskih mer," pojasnjuje Mohanty. "To je bila velika naložba, v kateri smo vzpostavili celoten cevovod. Orodja so nam po meri izdelali naši partnerji, postopek pa smo razvili v podjetju Meta, čeprav so naši sistemi raziskovalni, ker ni bilo sistemov za proizvodnjo. Pri razvoju orodij in procesov za poševno jedkanje, primernih za proizvodnjo, smo sodelovali s proizvodnim partnerjem. In zdaj, ko smo pokazali, kaj je mogoče s silicijevim karbidom, želimo, da bi tudi drugi v industriji začeli izdelovati lastna orodja."

Več podjetij, ki vlagajo v silicijev karbid optične kakovosti in razvijajo opremo, bo okrepilo kategorijo potrošniških očal AR.

Nič več v lovu za mavrico

While technological inevitability is a myth, the stars certainly seem to be aligning in silicon carbide’s favor. And although the team continues to investigate alternatives, there’s a strong sense that the right people have come together at the right time under the right market conditions to build AR glasses using this material.

"Orion je dokazal, da je silicijev karbid izvedljiva možnost za očala AR," pravi Silverstein, "in zdaj opažamo zanimanje v dobavni verigi na treh različnih celinah, kjer to priložnost intenzivno iščejo. Silicijev karbid bo na vrhu. Po mojem mnenju je to samo vprašanje časa."

V tem času se lahko zgodi marsikaj - podobno kot se je obrnilo dogajanje, odkar smo vzgojili prve kristale čistega silicijevega karbida.

"Vsi ti proizvajalci silicijevega karbida so zaradi pričakovanega razcveta električnih vozil močno povečali ponudbo," ugotavlja Calafiore. "Zdaj je presežek zmogljivosti, ki ga ni bilo, ko smo gradili Orion. Ker je ponudba velika, povpraševanje pa majhno, se je cena substrata začela zniževati."

"Dobavitelji so zelo navdušeni nad novo možnostjo proizvodnje optičnega silicijevega karbida - navsezadnje vsaka valovodna leča predstavlja veliko količino materiala v primerjavi z elektronskim čipom in vse njihove obstoječe zmogljivosti veljajo za ta novi prostor," dodaja Silverstein. "Zapolnitev tovarne je bistvenega pomena, razširitev tovarne pa so sanje. Pomembna je tudi velikost rezin: Večja kot je ploščica, nižji so stroški, vendar se poveča tudi zapletenost postopka. Kljub temu smo videli, da dobavitelji prehajajo s štiri- in osempalčnih na osempalčne rezine, nekateri pa delajo na predhodnikih 12-palčnih rezin, kar bi omogočilo eksponentno več parov očal AR."

Ti dosežki naj bi pripomogli k nadaljnjemu zniževanju stroškov. Še vedno je zgodaj, vendar se prihodnost že izrisuje.

"Na začetku vsake nove tehnološke revolucije preizkusite več stvari," pravi Calafiore. "Poglejte televizijo: Začeli smo s katodnimi cevmi, nato smo prešli na plazemske televizorje LED in zdaj na mikroLED. Šli smo skozi več različnih tehnologij in arhitektur. Pri iskanju poti se veliko poti ne konča nikjer, vendar se k nekaterim vedno znova vračamo kot k najbolj obetavnim. Nismo na koncu poti in tega ne moremo storiti sami, vendar je silicijev karbid čudovit material, v katerega je vredno vlagati."

"Svet se je prebudil," dodaja Silverstein. "Uspešno smo pokazali, da se silicijev karbid lahko upogne v elektroniki in fotoniki. To je material, ki bi se lahko v prihodnosti uporabljal pri kvantnem računalništvu. Vidimo tudi znake, da je mogoče znatno znižati stroške. Pred nami je še veliko dela, vendar je potencialna prednost tega področja ogromna."

TL;DR:

• Today at Connect, Mark Zuckerberg unveiled Orion—our first pair of true AR glasses, previously codenamed Project Nazare.
• With an industry-leading field of view, silicon carbide lenses, intricate waveguides, uLED projectors, and more, Orion is our most advanced and most polished product prototype to date.
• Zdaj nadaljujemo z optimizacijo izdelkov in zniževanjem stroškov, da bi ustvarili razširljivo potrošniško napravo, ki bo revolucionarno spremenila način, kako ljudje komunicirajo s svetom.

---

"Izdelujemo očala AR."

Five simple words, spoken five years ago. With them, we planted a flag on our vision of a future where we no longer have to make the false choice between a world of information at our fingertips and the physical world all around us.

In zdaj, pet let pozneje, še pet besed, ki bodo ponovno spremenile igro:

Izdelali smo očala AR.

Naše poslanstvo v družbi Meta je preprosto: dati ljudem moč, da gradijo skupnost in zbližujejo svet. V Reality Labs pa ustvarjamo orodja, ki ljudem pomagajo, da se počutijo povezane kadar koli in kjer koli. Zato si prizadevamo ustvariti naslednjo računalniško platformo, ki bo v središče postavila ljudi, da bodo lahko v svetu bolj prisotni, povezani in opolnomočeni.

Očala Ray-Ban Meta so dokazali, da lahko ljudje prostoročno dostopajo do ključnih delov svojega digitalnega življenja iz fizičnega življenja. Pogovarjamo se lahko s pametnim pomočnikom z umetno inteligenco, se povežemo s prijatelji in zajamemo pomembne trenutke - vse to, ne da bi nam bilo treba izvleči telefon. Ta elegantna očala se brez težav vključijo v naš vsakdan, ljudje pa jih naravnost obožujejo.

Medtem ko je Ray-Ban Meta odprl povsem novo kategorijo očal brez zaslona, ki jih je nadgradila umetna inteligenca, pa industrija XR že dolgo sanja o pravih očalih AR - izdelku, ki združuje prednosti velikega holografskega zaslona in prilagojene pomoči umetne inteligence v udobni, elegantni in celodnevno nosljivi obliki.

And today, we’ve pushed that dream closer to reality with the unveiling of Orion, which we believe is the most advanced pair of AR glasses ever made. In fact, it might be the most challenging consumer electronics device produced since the smartphone. Orion is the result of breakthrough inventions in virtually every field of modern computing—building on the work we’ve been doing at Reality Labs for the last decade. It’s packed with entirely new technologies, including the most advanced AR display ever assembled and custom silicon that enables powerful AR experiences to run on a pair of glasses using a fraction of the power and weight of an MR headset.

Orion’s input system seamlessly combines voice, eye gaze, and hand tracking with an EMG wristband that lets you swipe, click, and scroll while keeping your arm resting comfortably by your side, letting you stay present in the world and with the people around you as you interact with rich digital content.

Z današnjim dnem na konferenci Connect in še naprej skozi vse leto odpiramo dostop do prototipa izdelka Orion za zaposlene v podjetju Meta in izbrano zunanje občinstvo, da se lahko naša razvojna ekipa uči, izboljšuje in gradi na liniji izdelkov AR očal za potrošnike, ki jih nameravamo začeti dobavljati v bližnji prihodnosti.

Zakaj očala AR?

Obstajajo trije glavni razlogi, zakaj so očala AR ključna za sprostitev naslednjega velikega preskoka na področju računalništva, usmerjenega v človeka.

1. Omogočajo digitalne izkušnje, ki jih ne omejujejo omejitve zaslona pametnega telefona. Z velikimi holografskimi zasloni lahko fizični svet uporabljate kot platno in 2D- in 3D-vsebine ter doživetja postavite kamor koli želite.
2. V njih je brezhibno vključena kontekstualna umetna inteligenca, ki zaznava in razume svet okoli vas ter tako predvideva in proaktivno obravnava vaše potrebe.
3. So lahki in primerni za uporabo tako v zaprtih prostorih kot na prostem, poleg tega pa omogočajo, da ljudje vidijo pravi obraz, prave oči in prave izraze drug drugega.

To je severna zvezda, h kateri je naša industrija stremela: izdelek, ki združuje priročnost in neposrednost nosljivih naprav z velikim zaslonom, vnosom visoke pasovne širine in kontekstualizirano umetno inteligenco v obliki, ki jo ljudje z veseljem nosijo v vsakdanjem življenju.

Kompaktna oblika, zapleteni izzivi

Že leta se soočamo z napačno izbiro - ali slušalke za navidezno in mešano resničnost, ki omogočajo globoke in potopitvene izkušnje v okorni obliki, ali očala, ki so idealna za celodnevno uporabo, vendar zaradi pomanjkanja velikega zaslona in ustrezne računske moči ne ponujajo bogatih vizualnih aplikacij in izkušenj.

Vendar želimo vse, brez kompromisov. Že več let se trudimo, da bi neverjetne prostorske izkušnje, ki jih omogočajo slušalke za navidezno resničnost in magnetno resonanco, prenesli v par lahkih in elegantnih očal ter miniaturizirali tehnologijo, ki je potrebna za zagotavljanje teh izkušenj. Ujemanje oblike, zagotavljanje holografskih zaslonov, razvijanje prepričljivih izkušenj AR in ustvarjanje novih paradigem interakcije med človekom in računalnikom (HCI) - in vse to v enem celovitem izdelku - je eden najtežjih izzivov, s katerimi se je naša industrija kdajkoli soočila. Bil je tako zahteven, da smo menili, da imamo manj kot 10 odstotkov možnosti, da ga uspešno izpeljemo.

Do zdaj.

Prelomni zaslon v neprekosljivem ohišju

Orion ima s približno 70 stopinjami največje vidno polje v najmanjši obliki očal AR doslej. To vidno polje omogoča za Orion resnično potopitvene primere uporabe, od večopravilnih oken in zabave na velikem zaslonu do hologramov ljudi v naravni velikosti - vse digitalne vsebine, ki se lahko brez težav zlijejo z vašim pogledom na fizični svet.

Za Orion je bilo vidno polje naš sveti gral. Pri tem smo trčili ob zakone fizike in morali smo upogibati svetlobne žarke na načine, ki niso naravni, in to smo morali narediti v okviru moči, ki se meri v milivatih.

Instead of glass, we made the lenses from silicon carbide—a novel application for AR glasses. Silicon carbide is incredibly lightweight, it doesn’t result in optical artifacts or stray light, and it has a high refractive index—all optical properties that are key to a large field of view. The waveguides themselves have really intricate and complex nano-scale 3D structures to diffract or spread light in the ways necessary to achieve this field of view. And the projectors are uLEDs—a new type of display technology that’s super small and extremely power efficient.

Orion je tako po videzu kot po otipu nedvomno par očal - s prozornimi lečami. Za razliko od slušalk MR ali drugih očal AR lahko še vedno vidite resnične oči in izraze drugih, zato ste lahko prisotni in izkušnjo delite z ljudmi okoli sebe. Da bi industrijsko zasnovo približali sodobni obliki očal, ki bi jo lahko udobno nosili vsak dan, je bilo potrebnih na desetine inovacij. Orion je dosežek miniaturizacije - komponente so zapakirane do delčka milimetra. V obrobe okvirja nam je uspelo vgraditi sedem majhnih kamer in senzorjev.

Optično natančnost smo morali ohraniti na eni desetini debeline človeškega lasa. Sistem lahko zazna drobne premike, kot je širjenje ali krčenje okvirjev pri različnih temperaturah v prostoru, in nato digitalno popravi potrebno optično poravnavo, vse v milisekundah. Okvirje smo izdelali iz magnezija - istega materiala, ki se uporablja v dirkalnih avtomobilih F1 in vesoljskih plovilih -, ker je lahek, a tog, zato ohranja optične elemente v ravnovesju in učinkovito odvaja toploto.

Ogrevanje in hlajenje

Ko smo razvozlali zaslon (brez besedne igre) in premagali fizikalne težave, smo se morali spopasti z izzivom res zmogljivega računanja ob res nizki porabi energije in potrebi po odvajanju toplote. V nasprotju z današnjimi naglavnimi slušalkami za magnetno resonanco v očala ne morete vstaviti ventilatorja. Zato smo morali biti ustvarjalni. Veliko materialov, uporabljenih za hlajenje Oriona, je podobnih tistim, ki jih NASA uporablja za hlajenje satelitov v vesolju.

We built highly specialized custom silicon that’s extremely power efficient and optimized for our AI, machine perception, and graphics algorithms. We built multiple custom chips and dozens of highly custom silicon IP blocks inside those chips. That lets us take the algorithms necessary for hand and eye tracking as well as simultaneous localization and mapping (SLAM) technology that normally takes hundreds of milliwatts of power—and thus generates a corresponding amount of heat—and shrink it down to just a few dozen milliwatts.

In da, kljub temu, da ste morda prebrali kje drugje, ima silicij po meri pri razvoju izdelkov v podjetju Reality Labs še vedno ključno vlogo. 😎

EMG brez težav

Every new computing platform brings with it a paradigm shift in the way we interact with our devices. The invention of the mouse helped pave the way for the graphical user interfaces (GUIs) that dominate our world today, and smartphones didn’t start to really gain traction until the advent of the touch screen. And the same rule holds true for wearables.

We’ve spoken about our work with electromyography, or EMG, for years, driven by our belief that input for AR glasses needs to be fast, convenient, reliable, subtle, and socially acceptable. And now, that work is ready for prime time.

Orionov sistem za vnos in interakcijo brezhibno združuje glas, pogled oči in sledenje roke z zapestnico EMG, ki omogoča enostavno podrsavanje, klikanje in pomikanje.

It works—and feels—like magic. Imagine taking a photo on your morning jog with a simple tap of your fingertips or navigating menus with barely perceptible movements of your hands. Our wristband combines a high-performance textile with embedded EMG sensors to detect the electrical signals generated by even the tiniest muscle movements. An on-device ML processor then interprets those EMG signals to produce input events that are transmitted wirelessly to the glasses. The system adapts to you, so it gets better and more capable at recognizing the most subtle gestures over time. And today, we’re sharing more about our support for external research focused on expanding the equity and accessibility potential of EMG wristbands.

Spoznajte brezžični računalniški priključek

True AR glasses must be wireless, and they must also be small.So we built a wireless compute puck for Orion. It takes some of the load off of the glasses, enabling longer battery life and a better form factor complete with low latency.

V očalih se izvajajo vsi algoritmi za sledenje rokam, sledenje očem, SLAM in specializirani grafični algoritmi za zaklepanje sveta AR, medtem ko se logika aplikacije izvaja na ploščku, da so očala čim lažja in kompaktnejša.

Puk ima dva procesorja, vključno z enim, ki je bil po meri zasnovan tukaj v podjetju Meta, in zagotavlja računsko moč, ki je potrebna za grafično upodabljanje z nizko zakasnitvijo, umetno inteligenco in nekatere dodatne strojne zaznave.

Ker je majhen in eleganten, ga lahko udobno pospravite v torbo ali žep in se odpravite na delo - brez kakršnih koli težav.

Izkušnje AR

Seveda je tako kot vsaka strojna oprema tudi ta dobra le toliko, kolikor lahko z njo narediti z njim. In čeprav je še zgodaj, so izkušnje, ki jih omogoča Orion, vznemirljiv vpogled v to, kar se bo zgodilo.

We’ve got our smart assistant, Meta AI, running on Orion. It understands what you’re looking at in the physical world and can help you with useful visualizations. Orion uses the same Llama model that powers AI experiences running on Ray-Ban Meta smart glasses today, plus custom research models to demonstrate potential use cases for future wearables development.

Na poti lahko opravite videoklic brez uporabe rok in se v realnem času pogovarjate s prijatelji in družino ter ostanete povezani v aplikacijah WhatsApp in Messenger, kjer lahko pregledujete in pošiljate sporočila. Ni vam treba izvleči telefona, ga odkleniti, poiskati prave aplikacije in sporočiti prijatelju, da zamujate na večerjo - vse to lahko storite prek očal.

Igre AR lahko igrate v skupni rabi z družino na drugem koncu države ali s prijateljem na drugi strani kavča. Orionov velik zaslon vam omogoča večopravilnost z več okni, tako da lahko opravljate stvari, ne da bi morali s seboj nositi prenosni računalnik.

Izkušnje, ki so danes na voljo na Orionu, bodo pomagale začrtati načrt za našo linijo očal AR za potrošnike v prihodnosti. Naše ekipe bodo skupaj s partnerji razvijalci še naprej izpopolnjevale in ustvarjale nove potopitvene družbene izkušnje, zato komaj čakamo, da z vami delimo, kaj bo sledilo.

Namenski prototip izdelka

Čeprav Orion ne bo prišel v roke potrošnikov, se ne smete zmotiti: To je ne raziskovalni prototip. To je najbolj izpopolnjen prototip izdelka, kar smo jih kdajkoli razvili - in je resnično predstavnik nečesa, kar lahko pošiljanje potrošnikom. Namesto da bi hiteli z dajanjem na prodajne police, smo se odločili, da se najprej osredotočimo na notranji razvoj, kar pomeni, da lahko hitro gradimo in še naprej premikamo meje tehnologije in izkušenj.

To pomeni, da bomo hitreje prišli do še boljšega potrošniškega izdelka.

Kaj sledi

Na poti do očal AR za široko potrošnjo sta že dolgo dve glavni oviri: tehnološki preboj, ki je potreben za zagotovitev velikega zaslona v kompaktni obliki očal, ter potreba po uporabnih in privlačnih izkušnjah AR, ki jih je mogoče zagnati na teh očalih. Orion je velik mejnik, saj prvič zagotavlja prave izkušnje AR, ki se izvajajo na razumno elegantni strojni opremi.

Zdaj, ko smo Orion predstavili svetu, se osredotočamo na nekaj stvari:

• prilagajanje kakovosti zaslona AR za še bolj ostre slike
• Optimiziramo vse, kar je mogoče, da bi še zmanjšali velikost ohišja
• Gradnja v večjem obsegu, da bodo cenovno dostopnejše.

In the next few years, you can expect to see new devices from us that build on our R&D efforts. And a number of Orion’s innovations have been extended to our current consumer products today as well as our future product roadmap. We’ve optimized some of our spatial perception algorithms, which are running on both Meta Quest 3S and Orion. While the eye gaze and subtle gestural input system was originally designed for Orion, we plan to use it in future products. And we’re exploring the use of EMG wristbands across future consumer products as well.

Orion ni le okno v prihodnost - je pogled na zelo realne možnosti, ki so dosegljive že danes. Ustvarili smo ga v prizadevanju za to, kar znamo najbolje: pomagati ljudem, da se povežejo. Od očal Ray-Ban Meta do Oriona - videli smo, kako dobro je, če ljudem omogočimo, da ostanejo bolj prisotni in opolnomočeni v fizičnem svetu, čeprav se hkrati poslužujejo vsega dodatnega bogastva, ki ga ponuja digitalni svet.

Menimo, da vam ne bi smelo biti treba izbirati med njima. Z naslednjo računalniško platformo vam tega ne bo treba storiti.

Last year at Connect, we unveiled Orion—our first true pair of AR glasses. The culmination of our work at Reality Labs over the last decade, Orion combines the benefits of a large holographic display and personalized AI assistance in a comfortable, all-day wearable form factor. It got some attention for its industry-leading field of view, silicon carbide waveguides, uLED projectors, and more. But today, we’re turning our attention to an unsung hero of Orion: the compute puck.

Puk, ki je zasnovan tako, da ga zlahka spravite v žep ali torbo in ga lahko vzamete s seboj skoraj kamor koli, ko se odpravljate na delo, razbremeni Orionovo procesno moč za izvajanje logike aplikacij in omogoča bolj privlačno, manjšo obliko očal. Z očali in zapestnico EMG se brezžično poveže, kar zagotavlja brezhibno izkušnjo.

Nastavite in pozabite, kajne?

Vendar pa je zgodba o ozadju ploščka - tudi kot prototip - zelo zanimiva in ima dramaturški lok, ki ga na podlagi videza ne bi nikoli uganili.

"Ko gradite nekaj takega, začnete presegati meje fizike," pojasnjuje direktor za upravljanje izdelkov Rahul Prasad. "V zadnjih 50 letih je zaradi Moorovega zakona vse postalo manjše, hitrejše in manj zmogljivo. Težava je v tem, da zdaj začenjate naleteti na meje, koliko toplote lahko odvedete, koliko baterije lahko stisnete in koliko zmogljivosti antene lahko spravite v predmet določene velikosti."

Čeprav je pogled nazaj morda 20/20, potencial ploščka ni bil takoj očiten. Ko ste prvi, ki nekaj ustvarite, morate raziskati vse možnosti in ne pustiti kamna na kamnu. Kako izdelati nekaj, kar bi lahko nekateri imeli za nezaželen dodatek in ne za ključni del paketa?

"Vedeli smo, da je ploščica dodatna naprava, ki jo morajo ljudje nositi s seboj," pravi Jared Van Cleave, vodja inženiringa oblikovanja izdelkov, "zato smo preučili, kako bi napako spremenili v funkcijo."

Na koncu se je ta etična usmeritev zelo obrestovala, saj je v puk vgrajeno veliko računskih zmogljivosti (in še več po meri izdelanega silicija za umetno inteligenco in strojno zaznavanje) v majhnih merah. To je bilo ključnega pomena za to, da je Orion iz znanstvene fantastike prešel v resničnost.

"Če ne bi imeli ploščka, ne bi mogli doživeti izkušenj, ki jih ponuja Orion v svoji obliki," pravi Prasad. "Dobra izkušnja AR zahteva resnično visoko zmogljivost: visoke hitrosti sličic, izjemno nizke zakasnitve, natančno upravljanje brezžičnega omrežja in energije itd. Puk in očala morajo biti zasnovana tako, da tesno sodelujejo, ne le na ravni aplikacij, temveč tudi na ravni operacijskega sistema, vdelane programske opreme in strojne opreme. Tudi če bi pametni telefon sooblikovali za delo z očali za razširjeno resničnost, bi zahtevne zahteve glede zmogljivosti izčrpale baterijo telefona in odvzele računsko zmogljivost primerom uporabe telefona. Po drugi strani pa ima očala lastno baterijo z visoko zmogljivostjo, visoko zmogljiv SoC in po meri zasnovan koprocesor umetne inteligence, optimiziran za Orion."

Seveda ploščica ni bila zasnovana čez noč. Zahteval je več let ponavljajočega se dela.

"Nismo vedeli, kako bi ljudje želeli sodelovati z Orionom z vidika vnosa - na trgu nismo imeli ničesar, na kar bi se lahko oprli," pravi produktni vodja Matt Resman. "Če pogledate naše prve prototipe očal, so bile to ogromne slušalke, ki so tehtale tri ali štiri kilograme. In ko poskušate ustvariti izdelek, je zelo težko razumeti uporabniško izkušnjo, če nimate prave oblike. S puckom smo lahko zelo hitro izdelali prototip in začeli razumeti, kako ga bodo ljudje uporabljali."

Takratna družba Oculus Research je puck s kodnim imenom Omega sprva zasnovala kot trak v obliki Ω, ki bi ga uporabnik obesil okoli vratu in bi bil trdno povezan z očali...

... dokler jim niso nekatere nove inovacije brezžične ekipe Reality Labs med drugim omogočile, da prekinejo povezavo. To je omogočilo bolj ročno ali žepno obliko, kar je odprlo veliko možnosti.

"Takrat je bilo klicanje v razširjeni resničnosti še vedno glavni primer uporabe," pojasnjuje Van Cleave. "Na ploščku so bili zasidrani holografski videoposnetki. Položili bi ga na mizo, pri čemer bi bila klop s senzorjem obrnjena proti vam, vas slikala, nato pa bi s površine krožnika projicirala osebo, s katero bi govorili za klic."

"Orion povezuje ljudi in nas združuje," pravi Resman. "Ena od začetnih zamisli za puk je bila pomagati ustvariti ta občutek prisotnosti z drugimi ljudmi in omogočiti bogatejšo obliko komunikacije."

"To je nekaj, česar še niste videli - z napravo lahko ustvarite resnično zabavne in edinstvene interakcije," dodaja industrijski oblikovalec Emron Henry. "Uporabniška izkušnja je nekoliko podobna izpustitvi džina iz steklenice, saj se hologrami brezhibno pojavljajo iz naprave in se v njej raztopijo."

Kot ste verjetno že ugotovili, je v ploščku več potenciala, kot ga je bilo na koncu vključenega v funkcijo. Poleg senzorjev in kamer, ki bi se uporabljali za klicanje AR, ima puck tudi haptične senzorje in senzorje 6DOF, ki bi ga lahko uporabljali kot sledilni krmilnik za izbiro in upravljanje virtualnih predmetov ter igranje iger AR. Ekipa je raziskala tudi kapacitivni vhod in vhod na dotik, tako da bi lahko plošček služil kot igralna ploščica, če bi ga držali v pokončnem in ležečem načinu.

"Pogovarjali smo se o tem, da je treba nositi to dodatno stvar," pravi Van Cleave. "Kako jo narediti bolj uporabno? Okoli tega je bil celoten delovni tok. V nekem trenutku je bila hipoteza, da bo igranje iger z razširjeno resničnostjo ubijalski primer uporabe."

Že na začetku smo vedeli, da moramo raziskati možnosti, da bi plošček počel stvari, ki jih telefoni ne morejo. Sčasoma smo se odločili za uporabo sledenja pogledu oči, EMG in rok za igre AR, kot sta Stargazer in Pong, vendar smo v zgodnjih dneh projekta Orion izdelali prototipe različnih demonstracij in iger, v katerih je bil plošček uporabljen kot krmilnik.

Renderirane raziskave ploščka kot krmilnika 6DOF za igre AR, kot je Pong.

"Ker ne gre za telefon, smo imeli veliko svobode pri oblikovanju," dodaja Prasad. "Lahko je debelejši, lahko ga naredim bolj zaobljenega, da se kot krmilnik udobno prilega v roko. Precej neverjetno je, da je plošček dejansko manjši od povprečnega telefona, vendar je zmogljivejši od telefona, saj ima koprocesor za umetno inteligenco in strojno zaznavanje, ki ga je zasnovala Meta."

Ekipa se je ukvarjala z vprašanjem, v čem se kakovostna igra AR razlikuje od igre za MR ali konzolo. To je pomenilo raziskovanje različnih možnosti krmilnika za igre AR, vključno s krmilniki, razporeditvijo fizičnih gumbov, sprožilnimi gumbi in drugimi možnostmi.

"Na koncu nismo zgradili ničesar od tega," ugotavlja Van Cleave. "Izdelali smo prototip, vendar ga nismo nikoli v celoti zgradili. Želeli smo ostati preprosti. Želeli smo narediti te mehke vmesnike, vendar ne fizičnih, mehanskih gumbov."

Senzorji in haptika sicer niso bili vklopljeni v prototipu končnega izdelka, vendar so med razvojem opravljali pomembno funkcijo, saj so ekipe lahko prijavljale napake tako, da so se nekajkrat dotaknile zgornjega dela naprave in tako sprožile prijavo napake.

Ko se je umetna inteligenca začela uveljavljati kot ključni primer uporabe, se je vse bolj izostril tudi računski vidik. Na koncu je v puku nameščena Orionova brezžična povezljivost, računska moč in zmogljivost baterije - kar je že samo po sebi velik tehnični dosežek - vse to pomaga zmanjšati težo in obliko očal, hkrati pa zaradi svoje površine odvaja veliko več toplote.

V celotnem razvoju je ostalo nekaj nespremenjeno: v ploščku se skriva več, kot je videti na prvi pogled. Sprejemanje nekonvencionalnih idej je našim ekipam omogočilo raziskovanje, premikanje meja in gradnjo prihodnosti.

"Opredeljujemo kategorijo, ki še ne obstaja," ugotavlja Henry. "Kot je pričakovati pri raziskavah in razvoju, so bili na tej poti začetki in postanki. Kako bodo uporabniki pričakovali interakcijo s hologrami? Ali bi raje uporabljali daljinski upravljalnik AR ali pa za vnos zadostujejo sledenje roke, pogled oči in EMG? Kaj se zdi intuitivno, brez trenja, znano in uporabno?"

"Namesto da bi na ploščico gledali kot na kamen, smo se vprašali, kaj lahko še ponudimo, da bi se še bolj razlikovala od telefonov in utemeljila, zakaj bi jo želeli nositi s seboj," priznava Resman. "Ali njegova surova računska moč in praktična zasnova - ki je pomagala odkriti obliko očal, ki jih lahko realno nosite ves dan - navsezadnje ponujata dovolj vrednosti? Naša naloga je, da pomagamo odgovoriti na ta vprašanja."

"Na začetku smo se osredotočili na to, kaj lahko naredimo, česar telefon ne more," dodaja Van Cleave. "Telefoni morajo imeti zaslon, določeno fizično postavitev gumbov, ki jo uporabniki pričakujejo. Mi pa teh omejitev nimamo. Naš računalniški plošček je lahko, karkoli želimo."