Autor Kristián Ivančo

In 2017, Reality Labs Chief Scientist Michael Abrash, backed by Meta Founder & CEO Mark Zuckerberg, established a new, secret team within what was then Oculus Research to build the foundation of the next computing platform. Their herculean task: Create a custom silicon solution that could support the unique demands of future augmented reality glasses—a technical feat that required reimagining every component for an all-day wearable AR glasses form factor that simply didn’t exist yet.

Predný uhol prototypu okuliarov Orion AR.

Kompaktný tvar, značný problémový priestor

Growing from just a few researchers to hundreds of people on the product side, the custom silicon team was built on the premise that AR glasses couldn’t rely on the silicon available in today’s smartphones. And it’s a premise borne out by the several custom chips inside Orion, our first true AR glasses product prototype.

"Stavba lode, ktorá vypláva z prístavu - to bolo presne to, čo sme robili," hovorí riaditeľ pre stratégiu pokročilých technológií Jeremy Snodgrass. "Museli sme zväčšiť pôvodne skromný tím a zároveň vybudovať tieto čipy. Bolo fascinujúce sledovať, ako vedenie privádza na palubu nových zamestnancov a zároveň rozvíja kultúru, ktorá si cení agilitu. Nič nebolo problémom niekoho iného. Vzali ste veslo a začali veslovať, aj keď to nebolo presne to, na čo vás najali. Bolo to veľmi, veľmi vzrušujúce obdobie."

"Takmer všetko v Orione bolo v mnohých ohľadoch nové," súhlasí technický riaditeľ Display Architecture Mike Yee. "Niektoré nápady tu už boli, ale nikto sa nepustil do výskumného projektu, aby skutočne vytvoril celodenné nositeľné okuliare rozšírenej reality."

Tím musel poskytnúť presvedčivý zážitok z rozšírenej reality s čo najnižšou spotrebou energie. Formát okuliarov môže odvádzať len toľko tepla a môže pojať len toľko kapacity batérie. Výsledkom je, že zážitky, ktoré je možné na okuliaroch poskytnúť, sú úplne závislé od kremíka. Inými slovami, ak udržíte konštantnú tepelnú kapacitu a kapacitu batérie, jediný spôsob, ako poskytnúť daný zážitok, je optimalizovať kremík.

“Designing a new architecture for Orion required the team to not only push existing technologies like wireless and displays aggressively but also to take risks on new technologies,” says Director of Product Management Neeraj Choubey. “For instance, the team developed a machine learning (ML) accelerator without a clear use case at the time, driven by the strong conviction that ML would become increasingly important in Meta’s products. On Orion, every ML accelerator is utilized, and in some cases, they’re oversubscribed, serving functions such as eye tracking and hand tracking. Similarly, the team developed custom compression protocols to reduce bandwidth and power consumption as data moved from the compute puck to the display. Developing custom silicon to achieve Orion’s form factor goals required both a tolerance for high ambiguity and meticulous attention to detail to deliver an incredibly complex system architecture.”

"Najväčšou výzvou pre nás bolo dodať 3D grafiku s vykresľovaním sveta spolu s priestorovým zvukom, ktorý je vykreslený tak, že sa zdá, že vychádza z virtuálneho objektu," poznamenáva Snodgrass. "Museli sme všetku túto elektroniku vtesnať do tepelnej kapacity a fyzického priestoru a potom ju prevádzkovať na batériu, aby sa príliš nezahrievala. A to všetko sme museli urobiť v skutočnom tvare okuliarov - nie vo veľkom hľadáčiku, aký sa zvyčajne používa v tejto kategórii."

"Vedeli sme, ako dodať potrebný výpočtový výkon na realizáciu našej vízie pre Orion, ale stáli sme pred náročnou úlohou: znížiť spotrebu energie stonásobne," hovorí riaditeľ SoC Solutions Robert Shearer. "To si vyžadovalo, aby sme posunuli hranice návrhu kremíka, prijali metodiky z rôznych kútov priemyslu - od internetu vecí po vysoko výkonné výpočty - a vymysleli nové prístupy na preklenutie rozdielov. Naši partneri z odvetvia si mysleli, že sme sa zbláznili, a možno sa celkom nemýlili. Ale presne to bolo potrebné: ochota spochybniť zaužívané názory a všetko prehodnotiť. Vytvorenie počítača, ktorý hladko spája virtuálny a fyzický svet, si vyžaduje hlboké pochopenie súvislostí, ktoré ďaleko presahujú to, čo môžu ponúknuť existujúce výpočtové platformy. V podstate sme nanovo vynašli spôsob, akým počítače komunikujú s ľuďmi, čo znamenalo, že sme od základov zmenili spôsob, akým vytvárame kremík."

Vonkajšie komponenty Orion.

Kúzlo MicroLED

Boli chvíle, keď veci zaostávali za plánom alebo sa objavili zdanlivo neprekonateľné technické problémy, keď bolo ťažké udržať si dynamiku a morálku. Tím bol však odolný a našiel si cestu, ako prekážky obísť - alebo ich jednoducho zlikvidovať.

Vezmite si napríklad displej Orionu. Kremíkový tím bol zodpovedný za kremík v projektore displeja, ktorý sa nachádza v rohoch okuliarov.

"Pri týchto projektoroch bola otvorená otázka, či dokážeme získať mikroLED v poli s dostatočne vysokou účinnosťou a jasom na nasadenie displeja so širokým zorným poľom," hovorí Snodgrass. "Boli obrovské pochybnosti, či to dokážeme - či je to možné v časovom rámci, ktorý sme zvažovali - pretože to bola veľmi nová technológia."

"Veľmi skoro sme si uvedomili, že musíme prehodnotiť mnohé paradigmy vývoja produktov," dodáva Yee. "Množstvo svetla, ktoré potrebujete na vytvorenie použiteľného displeja, je v prípade okuliarov na rozšírenú realitu o dosť väčšie, pretože ako nositeľný displej súťažíte so slnkom. Takže potrebujeme také úrovne energie, ktoré mu budú konkurovať - alebo to je aspoň cieľom. Ešte sme sa k tomu nedostali, ale je to veľká časť. A to znamená, že potrebujete zdroje svetla pre displej, ktoré sú toho schopné, a potrebujete obvody, ktoré to dokážu ovládať. A zároveň je potrebné, aby to bolo malé."

Vlastný kremík poháňajúci µLED diódy Orion.

Hoci sa mikroLED zdali byť najvhodnejším zdrojom svetla pre projektory, kremík pomohol odhaliť ich potenciál.

"Pri displejoch hovoríme o rozstupoch pixelov, čo sú vzdialenosti medzi stredmi susedných pixelov," vysvetľuje Yee. "Pri televízoroch sú tieto vzdialenosti stovky mikrónov. V telefóne je to mnoho, mnoho desiatok mikrónov. A my sme to potrebovali znížiť na jednociferné hodnoty. Jediná známa výroba polovodičov, ktorá to dokázala, bol kremík."

Prácu komplikovala skutočnosť, že zadný povrch displeja musel byť z kremíka a nikto na svete kremík pre microLED nenavrhoval.

"Všetky výskumné tímy, ktoré v tom čase pracovali, používali tekuté kryštály na kremíkových displejoch, aby na ne mohli umiestniť microLED," hovorí Yee. "Nikto predtým nenavrhol základnú dosku pre microLED. A my sme čelili celkom jedinečnej výzve, pretože ide o optický komponent. Musí byť plochá. Nemôžete ju poškriabať. Musí mať všetky tieto vlastnosti, pretože keď sa pozeráte cez vlnovody, cez projektory, doslova sa pozeráte na horný povrch kúska kremíka."

Kremíkový tím vyvinul komplexnú sériu testovacích platforiem pre tieto displeje microLED, ktoré si vyžadovali úzku koordináciu s našimi globálnymi dodávateľmi. MikroLED majú globálnu stopu, vznikajú na jednom mieste a potom sa prenášajú na iné miesto, kde boli umiestnené na doštičku. Tieto doštičky sa potom odoslali na rezanie do určitého tvaru, po ktorom nasledovala cesta do USA, kde sa spojili s ďalšou doštičkou, a potom sa odoslali späť na druhý koniec sveta, aby sa mohol zostaviť a otestovať skutočný modul. Bol to nesmierne komplikovaný proces a kremíkový tím vyvinul testovacie vozidlá na overenie každého kroku.

Tím tiež musel nájsť spôsob, ako dodať energiu displejom microLED v malom objeme rohov okuliarov. Náš analógový tím vyvinul vlastný čip na správu napájania, ktorý sa zmestil do tohto objemu.

"Dodávka energie je kľúčová pre takéto nositeľné zariadenia s malými rozmermi, kde je veľkosť batérie obmedzená a priestor je vzácny," poznamenáva riaditeľ oddelenia analógových a zmiešaných signálov Jihong Ren. "Naše prispôsobené riešenie IC pre správu napájania využíva najmodernejšie technológie na optimalizáciu energetickej účinnosti pre našu špecifickú pracovnú záťaž na úrovni systému, pričom sa zmestí do dostupného priestoru. Dosiahnutie tohto optimálneho riešenia si vyžadovalo úzku interdisciplinárnu spoluprácu s našimi tímami pre mechaniku, elektrotechniku, SoC, μLED a tepelnú techniku, čo zabezpečilo bezproblémovú integráciu všetkých komponentov a maximalizáciu celkového výkonu."

"Bol to úžasný výkon nielen v oblasti inžinierstva, ale aj organizačného riadenia: spojiť tím, pracovať v rôznych časových pásmach a so všetkými týmito rôznymi dodávateľmi," dodáva Snodgrass. "V istom zmysle bolo organizačné riadenie toho všetkého rovnakou výzvou ako splnenie technických špecifikácií."

"Na mieru je prispôsobený nielen dizajn, ale aj celý výrobný proces," dodáva Yee. "Máme šťastie, že máme v tomto odvetví niekoľko skvelých partnerov, ktorí nám pomohli to zrealizovať. V displejoch AR ako celku vidia dlhodobý potenciál a určite aj víziu spoločnosti Meta. Preto boli ochotní spolupracovať s nami pri realizácii týchto prispôsobení a optimalizácií, ktoré umožnia tento displej."

Okuliare Orion AR.

Iterácia sa stretáva so zrýchlením

Medzi kremíkovým tímom a brilantnými mozgami v Reality Labs Research a XR Tech, ktoré vyvíjali algoritmy, existovala úzka spätná väzba. Tieto tímy poskytovali tieto algoritmy, ktoré tímy v oblasti technológií prekladali do hardvéru, čím sa odstránili režijné náklady na softvér, ktorý využíval univerzálny procesor. To znamenalo, že algoritmy by fungovali pri nižšej spotrebe, ale tiež to znamenalo, že kremíkový tím bol uzamknutý. Keď boli algoritmy hardvérovo upravené, nemohli už vykonávať zmeny.

"Povedzme, že spoločnosť XR Tech vyvíjala určitú disciplínu algoritmicky," vysvetľuje riaditeľ pre architektúru a algoritmy spoločnosti Silicon Accelerators Ohad Meitav. "Vlastnia algoritmický zásobník a jeho výkon. Môj tím by potom v spolupráci s nimi rozhodol, ako algoritmus urýchliť, ako spevniť časti algoritmu a ako ho vlastne umiestniť do hardvéru tak, aby fungoval super efektívne. Potom by spoločnosť XR Tech prispôsobila svoj softvérový zásobník tak, aby zohľadňoval hardvér. Je to veľmi opakujúci sa proces."

Ďalším úspechom je spolupráca kremíkového tímu so spoločnosťou Reality Labs Research, ktorá prišla s novým algoritmom reprojekcie.

"Potrebovali sme, aby algoritmus reprojekcie podporoval rôzne skreslenia a korekcie," poznamenáva architekt spoločnosti Silicon Steve Clohset. "Algoritmus, ktorý vyvinula spoločnosť RL-R a ktorý sme nakoniec použili, sa vo všeobecných výpočtoch nepoužíva. A dodnes sa ukazuje, že je to dosť výkonný nástroj."

Keď boli algoritmy vyladené a hardvér optimalizovaný, tím pre zavádzanie kremíka vyskúšal vlastné čipy.

"Vlastná kremíková čipová súprava Orion je veľmi zložitá," hovorí Liping Guo, senior riaditeľ oddelenia End-to-End System and Infrastructure. "Zavedenie a overenie samostatných čipov a ich vzájomnej interoperability v krátkom čase je neuveriteľne náročné. Našťastie pracujeme vo vertikálne integrovanom prostredí, kde Reality Labs vlastní celý zásobník - od kremíka a nízkoúrovňového firmvéru až po operačný systém, softvér a skúsenosti z vyššej vrstvy. To sme naplno využili, úzko sme spolupracovali s našimi multifunkčnými partnermi a posunuli sme našu integráciu naprieč zásobníkom vo fáze validácie kremíka. Orion bol našou pilotnou prevádzkou tejto metodiky - vybudovali sme si svaly shift-left a vytvorili silný základ pre Reality Labs, aby sme v budúcnosti mohli naplno využívať výhody vlastného kremíka."

Po uvedení do prevádzky prišiel čas na optimalizáciu softvéru.

"Je to iteračný proces, v ktorom začínate s úplne neoptimalizovaným softvérovým zásobníkom, len aby ste všetko spustili a spustili," hovorí Snodgrass. "A potom postupne prechádzate subsystémy a začínate optimalizovať softvér pre konkrétny hardvér - vrátane zníženia množstva pamäte, ktorú softvér využíva. Hardvér môže byť krásne navrhnutý, ale nedosiahnete teoretickú energetickú účinnosť, ak neinvestujete toľko alebo viac času do toho, aby softvér naplno využil hardvér. Taký je teda príbeh Orionu: hardvér a softvér optimalizovaný do posledného detailu. Nenechajte za sebou žiadny pikojoul ani miliwatt."

Hoci je Orion len prototypom, práca, ktorá sa na ňom vykonala, má značný potenciál ovplyvniť plán spoločnosti Meta.

"Na kremíkové IP, ktoré vytvárame, sa pozeráme ako na platformy v tom zmysle, že ide o hodnotné IP, ktoré budeme zlepšovať od jednej generácie alebo jedného produktu k druhému," dodáva Meitav. "Všetky algoritmy počítačového videnia a grafiky nie sú vytvorené len pre Orion. Budú sa používať v budúcich produktoch."

Naša kremíková práca zahŕňa vytváranie nových riešení a zároveň úzku spoluprácu s partnermi. Vplyv kremíkového tímu v skutočnosti presahuje rámec Orionu a týka sa aj Okuliare Ray-Ban Meta and Meta Quest headsets today—even though they both use third-party chips. The silicon team regularly shares their work with the mixed reality team, showing what’s possible in terms of power efficiency. The MR team then shares those findings with partners like Qualcomm to help inform future chip designs. And because the silicon team uses the same off-the-shelf digital signal processors (DSPs) as Ray-Ban Meta glasses, they’ve been able to share lessons learned and best practices when implementing and writing code for those DSPs to help improve the audio experiences available on our AI glasses.

And that knowledge sharing goes both ways: The MR team has given the silicon team insights on things like Asynchronous TimeWarp and Application SpaceWarp in production.

"To, čo človek robí vo výrobe, je oveľa zaujímavejšie ako niečo, čo by sme mohli urobiť s prototypom," hovorí Clohset. "Snažili sme sa čo najviac integrovať to, čo robili s osnovami."

Nejednoznačnosť < Ambície

Keďže Orion bol skutočne nula k jednej, zúčastnené tímy sa museli nevyhnutne vysporiadať s nadmerným množstvom nejasností.

"V prípade Orionu si neviem vynachváliť, ako sa veci skomplikovali kvôli nejednoznačnosti," hovorí Clohset. "Keď napríklad vyrábate počítač, zvyčajne máte dobrú predstavu o tom, aký bude displej. Ale my sme nevedeli, aký bude nakoniec vlnovod, takže sme museli vyskúšať rôzne vlnovody a vymyslieť mechanizmus, ktorý by zvládol najhorší možný scenár, pretože sme nevedeli, kam veci dopadnú. Jedna optimalizácia by sa tu zmiešala so všetkými ostatnými možnosťami a skončili by ste s maticou všetkých týchto rôznych vecí, ktoré ste mali ako podporu a snažili sa ich overiť, pretože ste nevedeli, kde výrobok pristane za šesť mesiacov."

It’s important to note that Orion isn’t just a pair of AR glasses—it’s a three-part constellation of hardware. A lot of the processing happens on the compute puck, which necessitates a strong connection between it and the glasses. Add the surface EMG wristband into the loop, and the system architecture becomes even more complicated.

"To bolo pre tímy nesmierne náročné vyriešiť a všetko to jednoducho funguje," hovorí Snodgrass. "Bola to úžasná spolupráca medzi tímom pre kremík, tímom pre bezdrôtové pripojenie a softvérovými tímami v rámci celej organizácie."

Počítačový puk Orion.

"So spoločnosťou Orion sme vytvorili celý tím so širokou škálou inžinierov, ktorí boli schopní navrhnúť úplne nové potrubie," dodáva Clohset. "Je to potrubie, ktoré zvláda pohyb objektov v 3D priestore so šiestimi stupňami voľnosti. Používa vlastný ovládač displeja. Museli sme urobiť naozaj jedinečné korekcie kvality obrazu. A myslím, že výzvou pre nás bolo, že keďže išlo o projekt nula k jednej, neexistovala žiadna existujúca špecifikácia, ktorú by sme mohli upraviť a vylepšiť. Všetko je tu úplne nové, takže sme mali voľnosť v rozhodovaní."

Much like the puck has some dormant features hidden beneath the surface, the custom silicon punches above its weight, too. While Orion doesn’t allow the user to take photos with its RGB cameras, the silicon is capable of supporting it, as well as codec avatars. And just as the puck helped unlock a true glasses form factor by offloading much of the compute, Orion’s custom silicon proved a necessary piece of the AR puzzle.

"Na to, aby ste dokázali oživiť zážitok zero-to-one, ako sú okuliare rozšírenej reality, potrebujete vlastný kremík s úplnou zastávkou," vysvetľuje Snodgrass. "Ak bude časom existovať trh, dodávatelia kremíka vyvinú produkty, ktoré uspokoja dopyt. Ale pre zero-to-one nemôžete len tak vziať niečo, čo existuje z regálu a je určené pre iný produkt, a vložiť to do novej formy. Musíte investovať do niečoho na mieru. A na to, aby ste tieto zero-to-one skúsenosti uviedli do života, potrebujete širokú spoluprácu medzi softvérovými partnermi, priemyselnými dizajnérmi, strojnými inžiniermi a ďalšími."

"Tým, že sme sa oslobodili od tradičných mentálnych modelov, sme vytvorili niečo skutočne pozoruhodné," dodáva Shearer. "Veríme, že táto počítačová platforma predstavuje budúcnosť technológií - takú, ktorá spôsobí revolúciu v spôsobe, akým žijeme, pracujeme a komunikujeme medzi sebou. Sme nadšení, že môžeme byť na čele tejto inovácie, posúvať hranice možného a pomáhať formovať chod dejín."

When we first began giving demos of Orion early this year I was reminded of a line that you hear a lot at Meta—in fact it was even in our first letter to prospective shareholders back in 2012: Code wins arguments. We probably learned as much about this product space from a few months of real-life demos than we did from the years of work it took to make them. There is just no substitute for actually building something, putting it in people’s hands, and learning from how they react to it.

Orion wasn’t our only example of that this year. Our mixed reality hardware and AI glasses have both reached a new level of quality and accessibility. The stability of those platforms allows our software developers to move much faster on everything from operating systems to new AI features. This is how I see the metaverse starting to come into greater focus and why I’m so confident that the coming year will be the most important one in the history of Reality Labs.

Rok 2024 bol rokom, keď okuliare s umelou inteligenciou dosiahli svoj vrchol. Keď sme v roku 2021 začali vyrábať inteligentné okuliare, mysleli sme si, že by mohli byť pekným prvým krokom k okuliarom rozšírenej reality, ktoré sme nakoniec chceli vytvoriť. Zatiaľ čo náhlavné súpravy pre zmiešanú realitu sú na najlepšej ceste stať sa všeobecnou počítačovou platformou podobne ako dnešné počítače, my sme okuliare považovali za prirodzený vývoj dnešných mobilných počítačových platforiem. Preto sme sa chceli čo najskôr začať učiť z reálneho sveta.

The biggest thing we’ve learned is that glasses are by far the best form factor for a truly AI-native device. In fact they might be the first hardware category to be completely defined by AI from the beginning. For many people, glasses are the place where an AI assistant makes the most sense, especially when it’s a multimodal system that can truly understand the world around you.

We’re right at the beginning of the S-curve for this entire product category, and there are endless opportunities ahead. One of the things I’m most excited about for 2025 is the evolution of AI assistants into tools that don’t just respond to a prompt when you ask for help but can become a proactive helper as you go about your day. At Connect we showed how Live AI on glasses can become more of a real-time participant when you’re getting things done. As this feature begins rolling out in early access this month we’ll see the first step toward a new kind of personalized AI assistant.

It won’t be the last. We’re currently in the middle of an industry-wide push to make AI-native hardware. You’re seeing phone and PC makers scramble to rebuild their products to put AI assistants at their core. But I think a much bigger opportunity is to make devices that are AI-native from the start, and I’m confident that glasses are going to be the first to get there. Meta’s Chief Research Scientist Michael Abrash has been talking about the potential of a personalized, context-aware AI assistant on glasses for many years, and building the technologies that make it possible has been a huge focus of our research teams.

Zmiešaná realita has been another place where having the right product in the hands of a lot of people has been a major accelerant for progress. We’ve seen Meta Quest 3 get better month after month as we continue to iterate on the core system passthrough, multitasking, spatial user interfaces, and more. All these gains extended to Quest 3S the moment it launched. This meant the $299 Quest 3S was in many respects a better headset on day 1 than the $499 Quest 3 was when it first launched in 2023. And the entire Quest 3 family keeps getting better with every update.

In 2025 we’ll see the next iteration of this as Quest 3S brings a lot more people into mixed reality for the first time. While Quest 3 has been a hit among people excited to own the very best device on the market, Quest 3S is expected to be heavily gifted in 2024. Sales were strong over the Black Friday weekend, and we’re expecting a surge of people activating their new headsets over the holiday break.

Pokračuje tak trend, ktorý sa prejavil v minulom roku: nárast počtu nových používateľov, ktorí hľadajú širšiu škálu možností, čo robiť so svojimi slúchadlami. Chceme, aby títo noví používatelia spoznali čaro MR a zostali s nami dlhodobo, a preto financujeme vývojárov, aby vytvárali nové typy aplikácií a hier, ktoré hľadajú.

Výrazný prílev zaznamenali najmä mladší ľudia, ktorí sa orientujú na spoločenské a súťažné hry pre viacerých hráčov, ako aj na bezplatný obsah. A tituly ako napr. BEHEMOTH spoločnosti Skydance, Batman: Arkham Shadow (ktorá práve získala cenu za najlepšiu AR/VR hru na The Game Awards!) a Metro Awakening opäť ukázali, že niektoré z najlepších nových hier, ktoré naše odvetvie produkuje, sú teraz možné len na dnešných náhlavných súpravách.

As the number of people in MR grows, the quality of the social experience it can deliver is growing in tandem. This is at the heart of what Meta is trying to achieve with Reality Labs and where the greatest potential of the metaverse will be unlocked: “the chance to create the most social platform ever” is how we described it when we first began working on it. We took two steps forward on this front in 2024: first with a broad set of improvements to Horizon Worlds including its expansion to mobile, and second with the next-generation Meta Avatars system that lets people represent themselves across our apps and headsets. And as the visual quality and overall experience with these systems improve, more people are getting their first glimpse of a social metaverse. We’re seeing similar trends with new Quest 3S users spending more time in Horizon Worlds, making it a Top 3 immersive app for Quest 3S, and people continue creating new Meta Avatars across mobile and MR.

Presadenie zmiešanej reality do hlavného prúdu pomohlo objasniť, čo bude nasledovať. Jedným z prvých trendov, ktoré sme objavili po uvedení Questu 3 na trh minulý rok, bolo, že ľudia používajú zmiešanú realitu na sledovanie videí pri multitaskingu v domácnosti - umývaní riadu alebo vysávaní obývačky. Bol to prvý signál, že ľudia milujú veľkú virtuálnu obrazovku, ktorú si môžete vziať kamkoľvek a umiestniť ju do fyzického sveta okolo seba. Videli sme, že tento trend sa rýchlo rozbieha a v celej rodine zariadení Quest 3 pribúdajú najrôznejšie druhy zábavy. Nové funkcie, ako napríklad YouTube Co-Watch ukazujú, aký veľký potenciál má úplne nový druh spoločenskej zábavy v metaverse.

That’s why James Cameron, one of the most technologically innovative storytellers of our lifetimes, is now working to help more filmmakers and creators produce great 3D content for Meta Quest. While 3D films have been produced for decades, there’s never been a way to view them that’s quite as good as an MR headset, and next year more people will own a headset than ever before. “We’re at a true, historic inflection point,"Jim said when we launched our new partnership this month.

This is happening alongside a larger shift Mark Rabkin shared at Connect this year: Our vision for Horizon OS is to build a new kind of general purpose computing platform capable of running every kind of software, supporting every kind of user, and open to every kind of creator and developer. Our recent releases for 2D/3D multi-tasking, panel positioning, better hand tracking, Windows Remote Desktop integration, and Open Store have started to build momentum along this new path. Horizon OS is on track to be the first platform that supports the full spectrum of experiences from immersive VR to 2D screens, mobile apps, and virtual desktops—and the developer community is central to that success.

Ďalší veľký krok smerom k metaverse bude kombinovať okuliare s umelou inteligenciou a skutočnú rozšírenú realitu, ktorú sme tento rok odhalili v aplikácii Orion. Nestáva sa často, aby ste mali možnosť nahliadnuť do budúcnosti a vidieť úplne novú technológiu, ktorá vám ukáže, kam veci smerujú. Ľudia, ktorí videli Orion, okamžite pochopili, čo to znamená pre budúcnosť, podobne ako ľudia, ktorí videli prvé osobné počítače, ako sa formovali v Xerox PARC v 70. rokoch minulého storočia ("v priebehu desiatich minút mi bolo jasné, že raz budú všetky počítače fungovať takto," povedal neskôr Steve Jobs o svojej demonštrácii Xerox Alto v roku 1979).

Možnosť posadiť ľudí do stroja času a ukázať im, ako bude vyzerať ďalšia počítačová platforma, bola vrcholom roku 2024 a mojej doterajšej kariéry. Skutočný vplyv Orionu však bude v produktoch, ktoré budeme dodávať ďalej, a v spôsoboch, ako nám pomôže lepšie pochopiť, čo ľudia na okuliaroch AR milujú a čo treba zlepšiť. Roky sme pracovali na výskume používateľov, plánovaní produktov a experimentálnych štúdiách, aby sme pochopili, ako by mali okuliare AR fungovať, a práve táto práca nám umožnila vytvoriť Orion. Odteraz však bude tempo pokroku oveľa rýchlejšie, keď už máme skutočný produkt, na ktorom môžeme budovať svoju intuíciu.

This has been the lesson time and again over the last decade at Reality Labs. The most important thing you can do when you’re trying to invent the future is to ship things and learn from how real people use them. They won’t always be immediate smash hits, but they’ll always teach you something. And when you land on things that really hit the mark, like mixed reality on Quest 3 or AI on glasses, that’s when you put your foot on the gas. This is what will make 2025 such a special year: With the right devices on the market, people experiencing them for the first time, and developers discovering all the opportunities ahead, it’s time to accelerate.

Welcome back for another episode of Boz To The Future, a podcast from Reality Labs. In today’s episode, our host, Meta CTO and Head of Reality Labs Andrew “Boz” Bosworth, is joined by Meta’s VP of Wearables Alex Himel.

Himelov tím pracuje na najťažších technických problémoch v priemysle, a to všetko s cieľom pomôcť vytvoriť ďalšiu počítačovú platformu. Podobne ako Bosworth, aj Himel je dlhoročným vedúcim pracovníkom spoločnosti Meta, ktorý počas viac ako 15 rokov pôsobenia v spoločnosti zastával mnohé vedúce funkcie v rámci celého podniku.

Bosworth a Himel sa zaoberajú celým radom tém vrátane nositeľných zariadení, rozšírenej reality a toho, ako umelá inteligencia urýchľuje a zlepšuje druhy zážitkov zabudovaných do Okuliare Ray-Ban Meta a budúce produkty.

They go deep on Orion and the positive reception it’s received since Mark Zuckerberg announced it at Connect. Just as Steve Jobs recognized the Alto as a turning point in computing, Bosworth asserted that, while we may disagree about the details, it’s hard to argue against this as the future. Himel and Bosworth go on to talk about the tremendous value of prototyping and building, saying how much more they’ve learned about Orion and its input paradigms in the three weeks of using it compared to the years spent building it.

Hovorili aj o kľúčovej úlohe umelej inteligencie v nositeľných zariadeniach a o tom, ako sa stáva čoraz užitočnejšou v každodennom živote - najmä teraz, keď sa môžete pýtať Meta AI na veci, ktoré vidíte, a používať ju na nastavenie vizuálnych pripomienok.

Himel hovorí aj o svojich bohatých skúsenostiach s iným druhom zásobníkov: sendvičmi. Himel a Bosworth, ktorý má za sebou sedem rokov práce v slávnom obchode Lange's Little Store v Chappaqua v New Yorku, kde vyrastal, sa venujú tomu, čo robí sendvič skvelým, kam naozaj patria paradajky a ktorý chlieb je lepší.

Môžete si naladiť Boz do budúcnosti on Apple Podcasts, Spotify, and wherever you listen to podcasts.

You can follow Himel on Threads. You can follow Bosworth on Instagram, Twitter/X, and Threads @boztank.

Back in 2019, the Orion team prepared an important demo for Meta Founder & CEO Mark Zuckerberg, showcasing potential waveguides for augmented reality glasses—a pivotal moment when theoretical calculations on paper were brought to life. And it was a demo that changed everything.

“Wearing the glasses with glass-based waveguides and multiple plates, it felt like you were in a disco,” recalls Optical Scientist Pasqual Rivera. “There were rainbows everywhere, and it was so distracting—you weren’t even looking at the AR content. Then, you put on the glasses with silicon carbide waveguides, and it was like you were at the symphony listening to a quiet, classical piece. You could actually pay attention to the full experience of what we were building. It was a total game changer.”

Yet as clear (pun intended) as the choice of silicon carbide as a substrate seems today, when we first started down the road to AR glasses a decade ago, it was anything but.

"Karbid kremíka je zvyčajne silne dopovaný dusíkom," hovorí Rivera. "Je zelený, a ak je dostatočne hrubý, vyzerá čierny. Nie je možné z neho vyrobiť optickú šošovku. Je to elektronický materiál. Existuje dôvod, prečo má takúto farbu, a to kvôli elektronickým vlastnostiam."

"Karbid kremíka je ako materiál známy už dlho," súhlasí Giuseppe Calafiore, technický vedúci spoločnosti AR Waveguides. "Jeho hlavnou aplikáciou je výkonná elektronika. Vezmite si napríklad elektrické vozidlá: Všetky elektromobily vyžadujú čip - ale tento čip musí byť schopný aj veľmi vysokého výkonu, pohybovať kolesami a poháňať túto vec. Ukázalo sa, že s bežným kremíkovým substrátom, z ktorého sa vyrábajú čipy, ktoré používame v našich počítačoch a elektronike, sa to nedá. Potrebujete platformu, ktorá vám umožní prechádzať vysokými prúdmi, vysokým výkonom, a tým materiálom je karbid kremíka."

Až do nedávnej diskusie o obnoviteľných zdrojoch energie, ktorá sa začala rozprúdiť, sa trh s týmito vysoko výkonnými čipmi ani zďaleka nepribližoval veľkosti trhu s čipmi pre spotrebnú elektroniku. Karbid kremíka bol vždy drahý a neexistovala veľká motivácia znižovať náklady, pretože pri veľkosti čipu, ktorý sa vyrába pre auto, bola cena substrátu únosná.

"Ukázalo sa však, že karbid kremíka má aj niektoré vlastnosti, ktoré potrebujeme pre vlnovody a optiku," hovorí Calafiore. "Kľúčovou vlastnosťou, ktorá nás zaujíma, je index lomu. A karbid kremíka má vysoký index lomu, čo znamená, že je schopný kanalizovať a vysielať veľké množstvo optických dát. Môžete si to predstaviť ako optickú šírku pásma - podobne ako máte šírku pásma pre internet a chcete, aby bola dostatočne veľká, aby ste mohli cez tento kanál posielať obrovské množstvo dát. To isté platí aj pre optické zariadenia."

The higher a material’s refractive index, the higher its étendue, so you can send more optical data through that channel.

"Kanálom je v našom prípade vlnovod a väčší étendue znamená väčšie zorné pole," vysvetľuje Calafiore. "Čím väčší je index lomu materiálu, tým väčšie zorné pole môže displej podporovať."

Cesta k správnemu indexu lomu

Keď sa Calafiore v roku 2016 prvýkrát pripojil k vtedajšej spoločnosti Oculus Research, najvyšší index lomu skla, ktorý mal tím k dispozícii, bol 1,8 - čo si vyžadovalo stohovanie viacerých dosiek na dosiahnutie požadovaného zorného poľa. Odhliadnuc od nežiaducich optických artefaktov sa montážna linka stávala čoraz komplikovanejšou, pretože prvé dva vlnovody museli byť dokonale zarovnané a potom musel byť tento stoh dokonale zarovnaný s tretím vlnovodom.

"Nielenže to bolo drahé, ale hneď bolo jasné, že v okuliaroch nemôžu byť tri kusy skla na šošovku," spomína Calafiore. "Boli príliš ťažké a ich hrúbka bola neúnosne veľká a škaredá - nikto by si ich nekúpil. Takže sme sa vrátili na začiatok: snažili sme sa zvýšiť index lomu substrátu, aby sme znížili počet potrebných doštičiek."

The first material the team looked into was lithium niobate, which has a refractive index of roughly 2.3—quite a bit higher than the glass at 1.8.

"Uvedomili sme si, že nám stačia dve dosky a možno by sme si vystačili aj s jednou doskou, aby sme stále pokryli zorné pole," hovorí Calafiore. "Takmer paralelne sme začali skúmať iné materiály - a tak sme v roku 2019 spolu s našimi dodávateľmi zistili, že karbid kremíka je vo svojej najčistejšej forme vlastne veľmi priehľadný. Zhodou okolností má tiež najvyšší známy index lomu pre optické aplikácie, ktorý je 2,7."

To je nárast o 17,4% oproti niobátu lítia a o 50% oproti sklu, pre tých, ktorí si doma vedú skóre.

"S niekoľkými úpravami toho istého zariadenia, ktoré sa už v priemysle používalo, bolo možné získať priehľadný karbid kremíka," hovorí Calafiore. "Stačilo zmeniť proces, byť oveľa opatrnejší a namiesto optimalizácie pre elektronické vlastnosti optimalizovať pre optické vlastnosti: priehľadnosť, rovnomernosť indexu lomu atď."

Potenciálne náklady na kompromis

V tom čase bol tím Reality Labs vôbec prvým, ktorý sa pokúsil prejsť z nepriehľadných kremíkovo-karbidových doštičiek na priehľadné. A keďže karbid kremíka je jedným z najtvrdších známych materiálov, na jeho rezanie alebo leštenie sú v podstate potrebné diamantové nástroje. V dôsledku toho boli jednorazové technické náklady veľmi vysoké, takže výsledný substrát bol pomerne drahý.

Hoci existujú aj nákladovo efektívnejšie alternatívy, ako pri každej technológii, každá z nich má svoje kompromisy. A keď sa zorné pole zväčšuje smerom k špičkovému zornému poľu Orion, ktoré je približne 70 stupňov, vznikajú nové problémy, ako napríklad duchovité obrazy a dúhy.

"Hľadanie optimálneho riešenia pre široký zorný uhol displeja rozšírenej reality je spojené s kompromismi medzi výkonom a nákladmi," vysvetľuje riaditeľ vedeckého výskumu Barry Silverstein. "Náklady sa často dajú znížiť, ale ak sa výkon nezníži, na nákladoch nakoniec nezáleží."

Obrazy duchov sú ako vizuálne ozveny primárneho obrazu premietaného na displej. Dúhy sú farebné svetelné pruhy, ktoré vznikajú pri odraze okolitého svetla od vlnovodu. "Povedzme, že jazdíte v noci a okolo vás sa pohybujú svetlá áut," hovorí Silverstein. "Budete mať dúhy, ktoré sa tiež pohybujú. Alebo ak ste na pláži a hráte volejbal a svieti slnko, budete mať dúhový pruh, ktorý sa pohybuje spolu s vami a vy miniete svoj záber. A jednou zo zázračných vlastností karbidu kremíka je, že sa týchto dúh zbaví."

"Ďalšou výhodou karbidu kremíka, ktorú nemá žiadny z ostatných materiálov, je tepelná vodivosť," dodáva Calafiore. "Plast je hrozný izolant. Sklo, niobát lítia, to isté. Keď prejdete na karbid kremíka, je priehľadný, vyzerá ako sklo a hádajte čo: vedie teplo."

V júli 2020 preto tím rozhodol, že karbid kremíka je optimálnou voľbou z troch hlavných dôvodov: Viedol k lepšiemu tvarovému faktoru, pretože vyžadoval len jednu dosku a menšie montážne štruktúry, mal lepšie optické vlastnosti a bol ľahší ako dvojdoskové sklo.

Tajomstvo šikmého leptania

Keď už sme mali materiál v hlave, ďalším orieškom bola výroba vlnovodov - konkrétne netradičná technika leptania mriežok nazývaná šikmé leptanie.

"Mriežka je nanoštruktúra, ktorá spája a oddeľuje svetlo zo šošovky," vysvetľuje Calafiore. "Aby karbid kremíka fungoval, musí byť mriežka šikmo leptaná. Namiesto vertikálnych línií chcete, aby boli línie mriežky šikmé."

"Boli sme prví, ktorí robili šikmé leptanie priamo na zariadeniach," hovorí vedúci výskumu Nihar Mohanty. "Celé odvetvie sa spoliehalo na nanotlač, ktorá nefunguje na substrátoch s takým vysokým indexom lomu. To je dôvod, prečo nikto iný na svete nepomyslel na to, že by mohol robiť karbid kremíka."

Keďže je však šikmé leptanie nezrelá technológia, väčšina dodávateľov a tovární na výrobu polovodičových čipov nemá potrebné nástroje.

"V roku 2019 sme s mojím vtedajším manažérom Mattom Colburnom založili vlastné zariadenie, pretože na svete neexistovalo nič, čo by dokázalo vyrábať leptané vlnovody z karbidu kremíka a kde by sme mohli overiť technológiu nad rámec laboratórneho meradla," vysvetľuje Mohanty. "Bola to obrovská investícia a vytvorili sme tam celé potrubie. Nástroje pre nás vyrobili naši partneri na zákazku a proces bol vyvinutý priamo v Mete, hoci naše systémy sú výskumné, pretože neexistovali žiadne výrobné systémy. Spolupracovali sme s výrobným partnerom na vývoji nástrojov a procesov na šikmé leptanie na výrobnej úrovni. A teraz, keď sme ukázali, čo je možné s karbidom kremíka, chceme, aby aj ostatní v tomto odvetví začali vyrábať vlastné nástroje."

Čím viac spoločností bude investovať do karbidu kremíka optickej kvality a vyvíjať zariadenia, tým silnejšia bude kategória spotrebiteľských okuliarov AR.

Už nie naháňať dúhy

While technological inevitability is a myth, the stars certainly seem to be aligning in silicon carbide’s favor. And although the team continues to investigate alternatives, there’s a strong sense that the right people have come together at the right time under the right market conditions to build AR glasses using this material.

"Spoločnosť Orion dokázala, že karbid kremíka je životaschopnou možnosťou pre okuliare na rozšírenú realitu," hovorí Silverstein, "a teraz vidíme záujem v celom dodávateľskom reťazci na troch rôznych kontinentoch, kde sa o to intenzívne zaujímajú. Karbid kremíka sa dostane na vrchol. Podľa mňa je to len otázka času."

A za ten čas sa môže stať veľa vecí - podobne ako sa otočili karty, odkedy sme vypestovali prvé kryštály číreho karbidu kremíka.

"Všetci títo výrobcovia karbidu kremíka masívne zvýšili dodávky v reakcii na očakávaný rozmach elektrických vozidiel," poznamenáva Calafiore. "Teraz je tu nadbytok kapacít, ktorý neexistoval, keď sme stavali Orion. Takže teraz, keď je ponuka vysoká a dopyt nízky, cena substrátu začala klesať."

"Dodávatelia sú veľmi nadšení novou príležitosťou výroby karbidu kremíka optickej kvality - veď každá vlnovodná šošovka predstavuje veľké množstvo materiálu v porovnaní s elektronickým čipom a všetky ich existujúce schopnosti sa vzťahujú na tento nový priestor," dodáva Silverstein. "Naplnenie továrne je nevyhnutné a zväčšenie továrne je sen. Dôležitá je aj veľkosť plátku: Čím väčší je wafer, tým nižšie sú náklady, ale zvyšuje sa aj zložitosť procesu. Napriek tomu sme videli, že dodávatelia prechádzajú zo štvorpalcových na osempalcové plátky a niektorí pracujú na predchodcoch 12-palcových plátkov, čo by prinieslo exponenciálne viac párov okuliarov na rozšírenú realitu."

Tieto pokroky by mali prispieť k ďalšiemu znižovaniu nákladov. Je ešte len začiatok, ale budúcnosť sa už čoraz viac približuje.

"Na začiatku každej novej technologickej revolúcie vyskúšate niekoľko vecí," hovorí Calafiore. "Pozrite sa na televíziu: Začali sme s katódovými trubicami, potom sme prešli na plazmové televízory LED a teraz na mikroLED. Prešli sme niekoľkými rôznymi technológiami a architektúrami. Keď hľadáte cestu, veľa ciest sa nikam nedostane, ale k niektorým sa stále vraciate ako k najsľubnejším. Nie sme na konci cesty a sami to nedokážeme, ale karbid kremíka je zázračný materiál, do ktorého sa oplatí investovať."

"Svet sa teraz zobudil," dodáva Silverstein. "Úspešne sme ukázali, že karbid kremíka sa môže ohýbať v elektronike a fotonike. Je to materiál, ktorý by sa v budúcnosti mohol uplatniť v kvantových počítačoch. A vidíme náznaky, že je možné výrazne znížiť náklady. Zostáva ešte veľa práce, ale potenciálny prínos je tu obrovský."

TL;DR:

• Today at Connect, Mark Zuckerberg unveiled Orion—our first pair of true AR glasses, previously codenamed Project Nazare.
• With an industry-leading field of view, silicon carbide lenses, intricate waveguides, uLED projectors, and more, Orion is our most advanced and most polished product prototype to date.
• Teraz pokračujeme v optimalizácii produktov a znižovaní nákladov, pretože sa snažíme vytvoriť škálovateľné spotrebiteľské zariadenie, ktoré spôsobí revolúciu v interakcii ľudí so svetom.

---

"Vyrábame okuliare rozšírenej reality."

Five simple words, spoken five years ago. With them, we planted a flag on our vision of a future where we no longer have to make the false choice between a world of information at our fingertips and the physical world all around us.

A teraz, o päť rokov neskôr, ďalších päť slov, ktoré môžu opäť zmeniť hru:

Vytvorili sme okuliare rozšírenej reality.

V spoločnosti Meta je naše poslanie jednoduché: dať ľuďom silu budovať komunitu a zbližovať svet. A v Reality Labs vytvárame nástroje, ktoré pomáhajú ľuďom cítiť sa prepojení kedykoľvek a kdekoľvek. Preto pracujeme na vytvorení ďalšej počítačovej platformy, ktorá postaví ľudí do centra pozornosti, aby mohli byť vo svete viac prítomní, prepojení a posilnení.

Okuliare Ray-Ban Meta ukázali, že je možné poskytnúť ľuďom hands-free prístup ku kľúčovým častiam ich digitálneho života z ich fyzického života. Môžeme sa rozprávať s inteligentným asistentom s umelou inteligenciou, spojiť sa s priateľmi a zachytiť dôležité momenty - a to všetko bez toho, aby sme museli vytiahnuť telefón. Tieto štýlové okuliare bez problémov zapadajú do nášho každodenného života a ľudia ich absolútne milujú.

Zatiaľ čo Ray-Ban Meta otvorila úplne novú kategóriu okuliarov bez displeja, ktoré sú nabité umelou inteligenciou, odvetvie XR už dlho sníva o skutočných okuliaroch s rozšírenou realitou - produkte, ktorý kombinuje výhody veľkého holografického displeja a personalizovanej asistencie umelej inteligencie v pohodlnej, štýlovej a celodennej podobe.

And today, we’ve pushed that dream closer to reality with the unveiling of Orion, which we believe is the most advanced pair of AR glasses ever made. In fact, it might be the most challenging consumer electronics device produced since the smartphone. Orion is the result of breakthrough inventions in virtually every field of modern computing—building on the work we’ve been doing at Reality Labs for the last decade. It’s packed with entirely new technologies, including the most advanced AR display ever assembled and custom silicon that enables powerful AR experiences to run on a pair of glasses using a fraction of the power and weight of an MR headset.

Orion’s input system seamlessly combines voice, eye gaze, and hand tracking with an EMG wristband that lets you swipe, click, and scroll while keeping your arm resting comfortably by your side, letting you stay present in the world and with the people around you as you interact with rich digital content.

Počnúc dnešným dňom na veľtrhu Connect a pokračujúc počas celého roka otvárame prístup k prototypu nášho produktu Orion pre zamestnancov spoločnosti Meta a vybrané externé publikum, aby sa náš vývojový tím mohol učiť, vylepšovať a budovať náš produktový rad okuliarov AR pre spotrebiteľov, ktorý plánujeme začať dodávať v blízkej budúcnosti.

Prečo okuliare AR?

Existujú tri hlavné dôvody, prečo sú okuliare rozšírenej reality kľúčom k odomknutiu ďalšieho veľkého skoku v oblasti počítačov orientovaných na človeka.

1. Umožňujú digitálne zážitky, ktoré nie sú obmedzené limitmi obrazovky smartfónu. Vďaka veľkým holografickým displejom môžete používať fyzický svet ako plátno a umiestniť 2D a 3D obsah a zážitky kamkoľvek chcete.
2. Bez problémov integrujú kontextovú umelú inteligenciu, ktorá dokáže vnímať a chápať svet okolo vás s cieľom predvídať a proaktívne riešiť vaše potreby.
3. Sú ľahké a skvelé na použitie v interiéri aj exteriéri - a umožňujú ľuďom vidieť skutočnú tvár, skutočné oči a skutočné výrazy.

To je severná hviezda, ku ktorej naše odvetvie smeruje: produkt kombinujúci pohodlie a bezprostrednosť nositeľných zariadení s veľkým displejom, vstupom s vysokou šírkou pásma a kontextualizovanou umelou inteligenciou vo formáte, ktorý ľudia pohodlne nosia v každodennom živote.

Kompaktný tvar, zložité výzvy

Roky sme stáli pred falošnou voľbou - buď náhlavné súpravy pre virtuálnu a zmiešanú realitu, ktoré umožňujú hlboké, pohlcujúce zážitky v objemnom formáte, alebo okuliare, ktoré sú ideálne na celodenné používanie, ale neponúkajú bohaté vizuálne aplikácie a zážitky vzhľadom na nedostatok veľkého displeja a zodpovedajúceho výpočtového výkonu.

Chceme však všetko bez kompromisov. Už roky tvrdo pracujeme na tom, aby sme do páru ľahkých a štýlových okuliarov preniesli neuveriteľné priestorové zážitky, ktoré poskytujú náhlavné súpravy VR a MR, a miniaturizovali technológiu potrebnú na poskytovanie týchto zážitkov. Vyladenie tvarového faktora, holografických displejov, vývoj presvedčivých zážitkov s rozšírenou realitou a vytvorenie nových paradigiem interakcie človeka s počítačom (HCI) - a to všetko v jednom ucelenom produkte - je jednou z najťažších výziev, akej kedy naše odvetvie čelilo. Bola to taká výzva, že sme si mysleli, že máme menej ako 10-percentnú šancu na jej úspešné zvládnutie.

Až doteraz.

Prelomový displej v bezkonkurenčnom formáte

Orion má približne 70° zorné pole v doteraz najmenšom formáte okuliarov AR. Toto zorné pole umožňuje skutočne pohlcujúce prípady použitia Orionu, od multitaskingových okien a veľkoplošnej zábavy až po hologramy ľudí v životnej veľkosti - všetok digitálny obsah, ktorý sa môže plynulo prelínať s vaším pohľadom na fyzický svet.

Pre Orion bolo zorné pole naším svätým grálom. Narážali sme na fyzikálne zákony a museli sme ohýbať svetelné lúče tak, ako sa prirodzene neohýbajú - a museli sme to robiť v rámci výkonovej obálky meranej v miliwattoch.

Instead of glass, we made the lenses from silicon carbide—a novel application for AR glasses. Silicon carbide is incredibly lightweight, it doesn’t result in optical artifacts or stray light, and it has a high refractive index—all optical properties that are key to a large field of view. The waveguides themselves have really intricate and complex nano-scale 3D structures to diffract or spread light in the ways necessary to achieve this field of view. And the projectors are uLEDs—a new type of display technology that’s super small and extremely power efficient.

Orion je nezameniteľný pár okuliarov na pohľad aj na dotyk - s priehľadnými šošovkami. Na rozdiel od dnešných náhlavných súprav MR alebo iných okuliarov AR stále vidíte skutočné oči a výrazy druhých, takže môžete byť prítomní a zdieľať zážitok s ľuďmi okolo seba. Na to, aby sa priemyselný dizajn dostal do podoby moderných okuliarov, ktoré by sa vám pohodlne nosili každý deň, boli potrebné desiatky inovácií. Orion je výdobytkom miniaturizácie - komponenty sú zbalené do zlomku milimetra. A do obruby rámu sa nám podarilo zabudovať sedem malých kamier a senzorov.

Museli sme zachovať optickú presnosť na úrovni jednej desatiny hrúbky ľudského vlasu. Systém dokáže rozpoznať nepatrné pohyby, ako napríklad rozťahovanie alebo zmršťovanie rámov pri rôznych teplotách v miestnosti, a potom digitálne korigovať potrebné optické zarovnanie, a to všetko v priebehu milisekúnd. Rámy sme vyrobili z horčíka - rovnakého materiálu, aký sa používa v pretekárskych autách F1 a vesmírnych lodiach - pretože je ľahký a zároveň tuhý, takže udržiava optické prvky v správnej polohe a účinne odvádza teplo.

Vykurovanie a chladenie

Keď sme rozlúskli displej (bez slovnej hračky) a prekonali problémy s fyzikou, museli sme sa vyrovnať s výzvou skutočne výkonného počítača a zároveň s naozaj nízkou spotrebou energie a potrebou odvádzania tepla. Na rozdiel od dnešných MR headsetov nemôžete do okuliarov vložiť ventilátor. Takže sme museli byť kreatívni. Mnohé materiály použité na chladenie Orionu sú podobné tým, ktoré používa NASA na chladenie satelitov vo vesmíre.

We built highly specialized custom silicon that’s extremely power efficient and optimized for our AI, machine perception, and graphics algorithms. We built multiple custom chips and dozens of highly custom silicon IP blocks inside those chips. That lets us take the algorithms necessary for hand and eye tracking as well as simultaneous localization and mapping (SLAM) technology that normally takes hundreds of milliwatts of power—and thus generates a corresponding amount of heat—and shrink it down to just a few dozen milliwatts.

A áno, napriek tomu, čo ste sa možno dočítali inde, vlastný kremík naďalej zohráva kľúčovú úlohu pri vývoji produktov v spoločnosti Reality Labs. 😎

Bez námahy EMG

Every new computing platform brings with it a paradigm shift in the way we interact with our devices. The invention of the mouse helped pave the way for the graphical user interfaces (GUIs) that dominate our world today, and smartphones didn’t start to really gain traction until the advent of the touch screen. And the same rule holds true for wearables.

We’ve spoken about our work with electromyography, or EMG, for years, driven by our belief that input for AR glasses needs to be fast, convenient, reliable, subtle, and socially acceptable. And now, that work is ready for prime time.

Vstupný a interakčný systém Orion hladko kombinuje hlas, pohľad očí a sledovanie ruky s EMG náramkom, ktorý vám umožní ľahko posúvať, klikať a rolovať.

It works—and feels—like magic. Imagine taking a photo on your morning jog with a simple tap of your fingertips or navigating menus with barely perceptible movements of your hands. Our wristband combines a high-performance textile with embedded EMG sensors to detect the electrical signals generated by even the tiniest muscle movements. An on-device ML processor then interprets those EMG signals to produce input events that are transmitted wirelessly to the glasses. The system adapts to you, so it gets better and more capable at recognizing the most subtle gestures over time. And today, we’re sharing more about our support for external research focused on expanding the equity and accessibility potential of EMG wristbands.

Zoznámte sa s bezdrôtovým výpočtovým zariadením Puck

True AR glasses must be wireless, and they must also be small.So we built a wireless compute puck for Orion. It takes some of the load off of the glasses, enabling longer battery life and a better form factor complete with low latency.

Na okuliaroch bežia všetky algoritmy na sledovanie rúk, očí, SLAM a špecializované grafické algoritmy na uzamknutie sveta AR, zatiaľ čo logika aplikácie beží na puku, aby boli okuliare čo najľahšie a najkompaktnejšie.

Puk má dva procesory, vrátane jedného navrhnutého priamo v spoločnosti Meta, a poskytuje výpočtový výkon potrebný na vykresľovanie grafiky s nízkou latenciou, umelú inteligenciu a niektoré ďalšie strojové vnímanie.

Keďže je malý a elegantný, môžete si ho pohodlne hodiť do tašky alebo do vrecka a pokračovať v práci - bez akýchkoľvek prekážok.

Skúsenosti s rozšírenou realitou

Samozrejme, ako každý hardvér, aj tento je taký dobrý, ako veci, ktoré môžete do s ním. A hoci je to ešte len začiatok, skúsenosti, ktoré Orion poskytuje, sú vzrušujúcim zábleskom toho, čo príde.

We’ve got our smart assistant, Meta AI, running on Orion. It understands what you’re looking at in the physical world and can help you with useful visualizations. Orion uses the same Llama model that powers AI experiences running on Ray-Ban Meta smart glasses today, plus custom research models to demonstrate potential use cases for future wearables development.

Na cestách môžete uskutočniť videohovor bez použitia rúk, aby ste sa v reálnom čase spojili s priateľmi a rodinou, a môžete zostať v spojení v aplikáciách WhatsApp a Messenger a zobrazovať a odosielať správy. Nemusíte vyťahovať telefón, odomykať ho, hľadať správnu aplikáciu a oznamovať priateľovi, že meškáte na večeru - to všetko môžete urobiť cez okuliare.

Spoločné hry s rozšírenou realitou môžete hrať s rodinou na druhom konci krajiny alebo s priateľom na druhej strane gauča. A veľký displej Orionu vám umožní multitasking s viacerými oknami, aby ste mohli robiť veci bez toho, aby ste so sebou museli nosiť notebook.

Skúsenosti, ktoré sú dnes k dispozícii na Orione, pomôžu načrtnúť plán pre našu budúcu líniu okuliarov AR pre spotrebiteľov. Naše tímy budú spolu s našimi partnermi z radov vývojárov pokračovať vo vylepšovaní a vytváraní nových pohlcujúcich sociálnych zážitkov a my sa už nevieme dočkať, kedy sa s vami podelíme o to, čo príde.

Účelný prototyp výrobku

Hoci sa Orion nedostane do rúk spotrebiteľov, nenechajte sa mýliť: Toto je nie výskumný prototyp. Je to najdokonalejší prototyp produktu, aký sme kedy vyvinuli - a je skutočne reprezentatívny. mohol dodávať spotrebiteľom. Namiesto toho, aby sme sa ponáhľali s uvedením na pulty, sme sa rozhodli zamerať sa najprv na interný vývoj, čo znamená, že môžeme pokračovať v rýchlom budovaní a naďalej posúvať hranice technológie a zážitkov.

A to znamená, že rýchlejšie dosiahneme ešte lepší spotrebiteľský produkt.

Čo bude nasledovať

Dve hlavné prekážky dlho stáli v ceste bežnej spotrebiteľskej triede okuliarov AR: technologický prielom potrebný na zabezpečenie veľkého displeja v kompaktnom tvare okuliarov a potreba užitočných a presvedčivých zážitkov AR, ktoré by sa dali na týchto okuliaroch spustiť. Orion je obrovským míľnikom, ktorý po prvýkrát prináša skutočné zážitky s rozšírenou realitou na primerane štýlovom hardvéri.

Teraz, keď sme sa o Orion podelili so svetom, sme sa zamerali na niekoľko vecí:

• Vyladenie kvality zobrazenia rozšírenej reality, aby bol obraz ešte ostrejší
• Optimalizácia všade, kde sa dá, s cieľom ešte viac zmenšiť rozmery
• Výstavba vo väčšom rozsahu, aby boli cenovo dostupnejšie

In the next few years, you can expect to see new devices from us that build on our R&D efforts. And a number of Orion’s innovations have been extended to our current consumer products today as well as our future product roadmap. We’ve optimized some of our spatial perception algorithms, which are running on both Meta Quest 3S and Orion. While the eye gaze and subtle gestural input system was originally designed for Orion, we plan to use it in future products. And we’re exploring the use of EMG wristbands across future consumer products as well.

Orion nie je len oknom do budúcnosti - je to pohľad na veľmi reálne možnosti, ktoré sú dnes na dosah. Vytvorili sme ho v snahe o to, čo robíme najlepšie: pomáhame ľuďom spájať sa. Od okuliarov Ray-Ban Meta až po Orion sme videli, čo dobré môže priniesť to, že ľudia môžu zostať viac prítomní a mať viac možností vo fyzickom svete, aj keď využívajú všetko bohatstvo, ktoré ponúka digitálny svet.

Veríme, že by ste si nemali vyberať medzi týmito dvoma možnosťami. A s ďalšou počítačovou platformou už nebudete musieť.

Last year at Connect, we unveiled Orion—our first true pair of AR glasses. The culmination of our work at Reality Labs over the last decade, Orion combines the benefits of a large holographic display and personalized AI assistance in a comfortable, all-day wearable form factor. It got some attention for its industry-leading field of view, silicon carbide waveguides, uLED projectors, and more. But today, we’re turning our attention to an unsung hero of Orion: the compute puck.

Puk je navrhnutý tak, aby sa dal ľahko vložiť do vrecka alebo tašky, takže ho môžete mať pri každodenných činnostiach takmer kdekoľvek, a odľahčuje výpočtový výkon Orionu na spúšťanie aplikačnej logiky a umožňuje vytvoriť presvedčivejší, menší tvar okuliarov. S okuliarmi a náramkom EMG sa spája bezdrôtovo, čím sa dosiahne bezproblémový zážitok.

Nastaviť a zabudnúť, však?

Príbeh puku - dokonca aj ako prototypu - je však zaujímavý a má dramatický oblúk, ktorý by ste z jeho vzhľadu nikdy neuhádli.

"Keď vytvárate niečo také, začínate sa dostávať na hranice fyziky," vysvetľuje riaditeľ produktového manažmentu Rahul Prasad. "Za posledných 50 rokov sa vďaka Moorovmu zákonu všetko zmenšilo, zrýchlilo a znížila sa spotreba. Problémom je, že teraz začínate narážať na limity, koľko tepla môžete rozptýliť, koľko batérie môžete stlačiť a aký výkon antény môžete vtesnať do objektu určitej veľkosti."

Hoci pohľad späť môže byť 20/20, potenciál puku nebol zrejmý okamžite. Keď ste prvý, kto niečo vytvorí, musíte preskúmať všetky možnosti - a nenechať kameň na kameni. Ako vytvoriť niečo, čo by niektorí mohli považovať za nežiaduci doplnok, a nie za dôležitú súčasť balíka?

"Vedeli sme, že puk je zariadenie navyše, ktoré od ľudí vyžadujeme," poznamenáva Jared Van Cleave, manažér pre dizajn produktov, "preto sme skúmali, ako túto chybu premeniť na funkciu."

Nakoniec sa tento princíp vyplatil, pretože puk vtesnal do malých rozmerov veľa výpočtovej kapacity (a ešte viac kremíka navrhnutého spoločnosťou Meta na mieru pre umelú inteligenciu a strojové vnímanie). To pomohlo Orionu dostať sa z ríše sci-fi do reality.

"Ak by ste nemali puk, nemohli by ste mať také zážitky, aké ponúka Orion vo svojej podobe," hovorí Prasad. "Dobrý zážitok z rozšírenej reality si vyžaduje naozaj vysoký výkon: vysoké snímkové frekvencie, extrémne nízku latenciu, jemné riadenie bezdrôtových sietí a napájania atď. Puk a okuliare musia byť navrhnuté tak, aby naozaj úzko spolupracovali, a to nielen na úrovni aplikácií, ale aj na úrovni operačného systému, firmvéru a hardvéru. A aj keby sa podarilo navrhnúť smartfón tak, aby spolupracoval s okuliarmi rozšírenej reality, náročné požiadavky na výkon by vyčerpali batériu telefónu a odčerpali by výpočtovú kapacitu z prípadov používania telefónu. Na druhej strane, puk má vlastnú vysokokapacitnú batériu, vysoko výkonný SoC a vlastný koprocesor AI navrhnutý spoločnosťou Meta a optimalizovaný pre Orion."

Samozrejme, puk nebol navrhnutý zo dňa na deň. Vyžadoval si roky opakovanej práce.

"Nevedeli sme, ako by ľudia chceli komunikovať s Orionom z hľadiska vstupov - na trhu sme nemali nič, čo by sme mohli navrhnúť," hovorí produktový manažér Matt Resman. "Ak sa pozriete na naše prvé prototypy okuliarov, boli to masívne náhlavné súpravy, ktoré vážili tri alebo štyri kilogramy. A keď sa snažíte vytvoriť produkt, je naozaj ťažké pochopiť používateľskú skúsenosť, ak nemáte správny tvarový faktor. S pukom sme mohli veľmi rýchlo vytvoriť prototyp a začať chápať, ako ho ľudia budú používať."

Puk s kódovým označením Omega bol pôvodne predstavený vtedajšou spoločnosťou Oculus Research ako pás v tvare Ω, ktorý by sa dal umiestniť na krk používateľa a bol by pevne spojený s okuliarmi...

... až do chvíle, keď im niektoré nové inovácie bezdrôtového tímu Reality Labs okrem iného umožnili prerušiť spojenie. To umožnilo vytvoriť vreckové alebo vreckové zariadenie, čo otvorilo veľa možností.

"V tom čase bolo volanie v rozšírenej realite stále primárnym prípadom použitia," vysvetľuje Van Cleave. "Puk bol miestom, kde sa ukotvovali holografické videá. Položili by ste ho na stôl, lavička so snímačom by bola otočená k vám, zobrazovala by vás a potom by sa z povrchu puku premietalo, s kým hovoríte, aby ste mohli volať."

"Orion spája ľudí a spája nás," hovorí Resman. "Jedným z pôvodných konceptov puku bolo pomôcť vytvoriť tento pocit prítomnosti s inými ľuďmi a umožniť túto bohatšiu formu komunikácie."

"Je to niečo iné, ako ste kedy videli - zariadenie má potenciál vytvárať skutočne zábavné a jedinečné interakcie," dodáva priemyselný dizajnér Emron Henry. "Používateľský zážitok je trochu ako vypustenie džina z fľaše, kde sa hologramy plynule objavujú a rozpúšťajú späť do zariadenia."

Ako už asi tušíte, v puku sa skrýva väčší potenciál, než aký bol nakoniec zapnutý ako funkcia. Okrem senzorov a kamier, ktoré by sa použili na volanie AR, má puk haptiku a senzory 6DOF, ktoré by ho mohli umožniť používať ako sledovaný ovládač na výber a manipuláciu s virtuálnymi objektmi a hranie hier AR. Tím skúmal aj kapacitný a silový dotykový vstup, takže puk by mohol slúžiť ako gamepad pri držaní na výšku aj na šírku.

"Hovorili sme o potrebe nosiť túto ďalšiu vec," hovorí Van Cleave. "Ako ju urobíme užitočnejšou? Bol okolo toho celý pracovný prúd. A v istom momente bola hypotéza, že hry s rozšírenou realitou budú týmto kľúčovým prípadom použitia."

Už na začiatku sme vedeli, že musíme preskúmať možnosti puku, ktorý dokáže veci, ktoré telefóny nedokážu. Nakoniec sme sa rozhodli používať pohľad očí, EMG a sledovanie rúk v hrách AR, ako sú Stargazer a Pong, ale v začiatkoch Orionu sme vytvorili prototypy rôznych ukážok a hier, ktoré používali puk ako ovládač.

Renderované skúmanie puku ako ovládača 6DOF pre AR hry, ako je Pong.

"Keďže nejde o telefón, mali sme veľkú voľnosť pri navrhovaní," dodáva Prasad. "Môže byť hrubší, môžem ho viac zaobliť, aby sa pohodlne držal v ruke ako ovládač. Je celkom neuveriteľné, že puk je v skutočnosti menší ako priemerný telefón, ale je výkonnejší ako telefón, pretože má koprocesor navrhnutý spoločnosťou Meta pre umelú inteligenciu a strojové vnímanie."

Tím sa zaoberal otázkou, ako sa môže kvalitná hra na rozšírenú realitu líšiť od hry na MR alebo konzolu. To znamenalo preskúmať rôzne možnosti herného ovládača AR vrátane joystickov, fyzického rozloženia tlačidiel, spúšťacích tlačidiel a ďalších.

"Nakoniec sme nič z toho nepostavili," poznamenáva Van Cleave. "Vyrobili sme prototyp, ale nikdy sme sa nepustili do úplnej stavby. Chceli sme, aby to bolo jednoduché. Chceli sme urobiť tieto mäkké rozhrania, ale nie fyzické, mechanické tlačidlá."

Senzory a haptika síce neboli zapnuté v prototype hotového produktu, ale počas vývoja plnili svoju neoddeliteľnú funkciu a umožňovali tímom nahlasovať chyby jednoduchým niekoľkonásobným poklepaním na hornú časť zariadenia, čím sa spustila správa o chybe.

Keď sa umelá inteligencia začala dostávať do popredia ako kľúčový prípad použitia, výpočetná technika sa dostávala do čoraz väčšej pozornosti. Nakoniec je puk domovom bezdrôtového pripojenia Orion, výpočtového výkonu a kapacity batérie - čo je samo o sebe obrovský technický výkon - a to všetko pomáha znížiť hmotnosť a tvar okuliarov, pričom vďaka svojej ploche rozptyľuje oveľa viac tepla.

Počas celého vývoja sa nezmenila jedna vec: puk v sebe skrýva viac, než sa na prvý pohľad zdá. Prijímanie netradičných nápadov umožnilo našim tímom skúmať, posúvať hranice a budovať budúcnosť.

"Definujeme kategóriu, ktorá ešte celkom neexistuje," poznamenáva Henry. "Ako sa dá očakávať pri výskume a vývoji, na ceste sme sa stretli so začiatkami a zastávkami. Ako budú používatelia očakávať interakciu s hologramami? Budú radšej používať diaľkový ovládač AR, alebo im na zadávanie údajov postačí sledovanie rúk, pohľad očí a EMG? Čo sa im zdá intuitívne, málo trecie, známe a užitočné?"

"Namiesto toho, aby sme sa na puk pozerali len ako na kameň, sme sa pýtali, čo ďalšie by sme mohli poskytnúť, aby sme ho ešte viac odlíšili od telefónov a zdôvodnili, prečo by ste ho chceli nosiť so sebou," priznáva Resman. "Ponúka jeho hrubý výpočtový výkon a praktický dizajn - ktorý pomohol odomknúť tvar okuliarov, ktoré môžete reálne nosiť celý deň - nakoniec dostatočnú hodnotu? Našou úlohou je pomôcť odpovedať na tieto otázky."

"Na začiatku sme sa zamerali na to, čo dokážeme urobiť, čo telefón nedokáže," dodáva Van Cleave. "Telefóny musia mať obrazovku, musia mať určité fyzické rozloženie tlačidiel, ktoré používatelia očakávajú. A my tieto obmedzenia nemáme. Náš výpočtový puk môže byť, aký len chceme."