Autor: Kristián Ivančo

In 2017, Reality Labs Chief Scientist Michael Abrash, backed by Meta Founder & CEO Mark Zuckerberg, established a new, secret team within what was then Oculus Research to build the foundation of the next computing platform. Their herculean task: Create a custom silicon solution that could support the unique demands of future augmented reality glasses—a technical feat that required reimagining every component for an all-day wearable AR glasses form factor that simply didn’t exist yet.

Přední úhel prototypu brýlí Orion AR.

Kompaktní tvar, značný problémový prostor

Growing from just a few researchers to hundreds of people on the product side, the custom silicon team was built on the premise that AR glasses couldn’t rely on the silicon available in today’s smartphones. And it’s a premise borne out by the several custom chips inside Orion, our first true AR glasses product prototype.

"Stavba lodi při vyplouvání z přístavu - to bylo přesně to, co jsme dělali," říká ředitel pro strategii pokročilých technologií Jeremy Snodgrass. "Museli jsme zvětšit skromný tým a zároveň postavit tyto čipy. Bylo fascinující sledovat, jak vedení přivádí na palubu nové zaměstnance a zároveň rozvíjí kulturu, která si cení agility. Nic nebylo problémem někoho jiného. Vzali jste veslo a začali veslovat, i když to nebylo přesně to, na co jste byli najati. Byla to velmi, velmi vzrušující doba."

"Téměř všechno v Orionu bylo v mnoha ohledech nové," souhlasí technický ředitel Display Architecture Mike Yee. "Některé nápady už tu byly, ale nikdo se nepustil do výzkumného projektu, aby skutečně vytvořil brýle pro celodenní nošení rozšířené reality."

Tým musel poskytnout přesvědčivý zážitek z rozšířené reality s co nejmenší spotřebou energie. Brýle mohou odvádět jen tolik tepla a mohou pojmout jen tolik kapacity baterie. Výsledkem je, že zážitky, které je možné na brýlích poskytnout, jsou zcela závislé na křemíku. Jinými slovy, pokud udržíte konstantní tepelnou kapacitu a kapacitu baterie, jediným způsobem, jak poskytnout daný zážitek, je optimalizovat křemík.

“Designing a new architecture for Orion required the team to not only push existing technologies like wireless and displays aggressively but also to take risks on new technologies,” says Director of Product Management Neeraj Choubey. “For instance, the team developed a machine learning (ML) accelerator without a clear use case at the time, driven by the strong conviction that ML would become increasingly important in Meta’s products. On Orion, every ML accelerator is utilized, and in some cases, they’re oversubscribed, serving functions such as eye tracking and hand tracking. Similarly, the team developed custom compression protocols to reduce bandwidth and power consumption as data moved from the compute puck to the display. Developing custom silicon to achieve Orion’s form factor goals required both a tolerance for high ambiguity and meticulous attention to detail to deliver an incredibly complex system architecture.”

"Největší výzvou pro nás bylo dodat 3D grafiku s vykreslením světa a prostorový zvuk, který je vykreslen tak, že vypadá, jako by vycházel z virtuálního objektu," poznamenává Snodgrass. "Museli jsme veškerou tuto elektroniku vměstnat do tepelné kapacity a fyzického prostoru a pak ji provozovat na baterii, aby se příliš nezahřívala. A to všechno jsme museli udělat ve skutečném tvaru brýlí - ne ve velkém hledí, jaké je v této kategorii běžně k vidění."

"Věděli jsme, jak zajistit potřebný výpočetní výkon, abychom mohli realizovat naši vizi Orionu, ale stáli jsme před nelehkým úkolem: snížit spotřebu energie stonásobně," říká ředitel SoC Solutions Robert Shearer. "To od nás vyžadovalo, abychom posunuli hranice návrhu křemíku, přijali metodiky z různých koutů průmyslu - od internetu věcí po vysoce výkonné výpočty - a vymysleli nové přístupy k překlenutí mezer. Naši partneři z oboru si mysleli, že jsme se zbláznili, a možná se úplně nemýlili. Ale přesně to bylo potřeba: ochota zpochybnit konvenční moudrost a vše přehodnotit. Vytvoření počítače, který hladce spojuje virtuální a fyzický svět, vyžaduje hluboké pochopení souvislostí, které dalece přesahuje možnosti stávajících výpočetních platforem. V podstatě jsme znovu vynalezli způsob, jakým počítače komunikují s lidmi, což znamenalo, že jsme od základu přehodnotili způsob, jakým vytváříme křemík."

Exteriérové komponenty Orion.

Kouzlo mikroLED diod

Byly chvíle, kdy se věci zpozdily nebo se objevil zdánlivě nepřekonatelný technický problém, kdy bylo těžké udržet dynamiku a morálku. Tým byl ale odolný a našel si cestu, jak překážky obejít - nebo je jednoduše srazil k zemi.

Vezměme si například displej Orionu. Křemíkový tým byl zodpovědný za křemík v projektoru displeje, který je umístěn v rozích brýlí.

"U těchto projektorů byla otevřená otázka, zda se nám podaří získat mikroLED v poli s dostatečně vysokou účinností a jasem, abychom mohli nasadit displej s širokým zorným polem," říká Snodgrass. "Existovaly obrovské pochybnosti, zda to dokážeme - zda je to možné v časovém rámci, který jsme zvažovali - protože se jednalo o velmi začínající technologii."

"Velmi brzy jsme si uvědomili, že musíme přehodnotit mnoho paradigmat vývoje produktů," dodává Yee. "Množství světla, které potřebujete k tomu, aby byl displej použitelný, je u brýlí pro rozšířenou realitu o dost větší, protože jako nositelný displej soupeříte se sluncem. Potřebujeme tedy takovou úroveň energie, která mu bude konkurovat - nebo to je alespoň cílem. Ještě tam nejsme, ale je to velký kus práce. A to znamená, že potřebujete světelné zdroje pro displej, které jsou toho schopné, a potřebujete obvody, které to dokážou řídit. A zároveň je potřeba, aby to bylo malé."

Vlastní křemík pohánějící diody µLED společnosti Orion.

I když se mikroLED zdály být nejvhodnějším zdrojem světla pro projektory, křemík pomohl odhalit jejich potenciál.

"U displejů hovoříme o rozteči pixelů, což jsou vzdálenosti mezi středy sousedních pixelů," vysvětluje Yee. "U televizorů jsou tyto vzdálenosti stovky mikronů. V telefonu je to mnoho, mnoho desítek mikronů. A my jsme potřebovali snížit tuto hodnotu na jednociferné číslo. Jediná známá výroba polovodičů, která to dokázala, byl křemík."

Práci komplikovala skutečnost, že zadní plocha displeje musela být tvořena kusem křemíku a nikdo na světě dosud křemík pro microLED nenavrhoval.

"V té době všechny výzkumné týmy používaly tekuté krystaly na křemíkových displejích, aby na ně mohly umístit mikroLED," říká Yee. "Nikdo předtím nenavrhl základní desku pro microLED. A my jsme stáli před docela unikátní výzvou, protože se jedná o optickou součástku. Musí být plochá. Nemůžete ji poškrábat. Musí mít všechny tyto vlastnosti, protože když se díváte skrz vlnovody, skrz projektory, díváte se doslova na horní povrch kusu křemíku."

Křemíkový tým vyvinul pro tyto displeje microLED komplexní řadu testovacích platforem, které vyžadovaly úzkou koordinaci s našimi globálními dodavateli. Displeje microLED mají globální stopu, vznikají na jednom místě a poté jsou přeneseny na jiné místo, kde byly umístěny na destičku. Poté byly destičky odeslány k nařezání do určitého tvaru, následovala cesta do USA, kde byly spojeny s další destičkou, a poté odeslány zpět přes celý svět, aby byl sestaven a otestován vlastní modul. Byl to nesmírně komplikovaný proces a křemíkový tým vyvinul testovací vozidla, která měla ověřit každý krok.

Tým také musel najít způsob, jak dodat energii displejům microLED v malém objemu rohů brýlí. Náš analogový tým vyvinul vlastní čip pro správu napájení, který se do tohoto objemu vešel.

"Dodávka energie je klíčová pro tak malá nositelná zařízení, kde je velikost baterie omezená a kde je třeba šetřit místem," poznamenává ředitel divize analogových a smíšených signálových systémů Jihong Ren. "Naše přizpůsobené řešení pro správu napájení využívá nejmodernější technologie k optimalizaci energetické účinnosti pro naši specifickou pracovní zátěž na úrovni systému, a to vše při současném přizpůsobení se dostupným prostorovým omezením. Dosažení tohoto optimálního řešení vyžadovalo úzkou mezioborovou spolupráci s našimi mechanickými, elektrickými, SoC, μLED a tepelnými týmy, což zajistilo bezproblémovou integraci všech komponent a maximalizaci celkového výkonu."

"Byl to úžasný výkon nejen v oblasti inženýrství, ale také v oblasti organizačního řízení: stmelit tým, pracovat v různých časových pásmech a se všemi těmito různými dodavateli," dodává Snodgrass. "V některých ohledech bylo organizační zvládnutí toho všeho stejnou výzvou jako splnění technických specifikací."

"Na míru je přizpůsoben nejen design, ale i celý výrobní proces," dodává Yee. "Máme to štěstí, že máme v oboru několik skvělých partnerů, kteří nám pomohli to uskutečnit. Ti vidí dlouhodobý potenciál v displejích AR jako celku a určitě i v Metině vizi. Proto byli ochotni s námi spolupracovat, aby se tyto úpravy a optimalizace uskutečnily a umožnily takový displej."

Brýle Orion AR.

Iterace se setkává se zrychlením

Mezi křemíkovým týmem a geniálními mozky ve výzkumných laboratořích Reality Labs a XR Tech, které vyvíjely algoritmy, existovala úzká zpětná vazba. Tyto týmy poskytovaly tyto algoritmy, které první tým převáděl do hardwaru, čímž se odstranila režie softwaru běžícího na univerzálním procesoru. To znamenalo, že algoritmy poběží při nižší spotřebě, ale také to znamenalo, že křemíkový tým byl uzamčen. Jakmile byly algoritmy zpevněny, nemohly se již měnit.

"Řekněme, že společnost XR Tech vyvíjela určitý obor algoritmicky," vysvětluje ředitel pro architekturu a algoritmy společnosti Silicon Accelerators Ohad Meitav. "Vlastní algoritmický stack a jeho výkon. Můj tým by pak ve spolupráci s nimi rozhodl, jak algoritmus akcelerovat, jak části algoritmu zpevnit a jak jej skutečně umístit do hardwaru tak, aby běžel super efektivně. Společnost XR Tech by pak přizpůsobila svůj softwarový stack tak, aby zohledňoval hardware. Je to velmi iterativní proces."

Dalším úspěchem je spolupráce křemíkového týmu se společností Reality Labs Research, která přišla s novým algoritmem reprojekce.

"Potřebovali jsme, aby algoritmus reprojekce podporoval různá zkreslení a korekce," poznamenává architekt společnosti Silicon Steve Clohset. "Algoritmus vyvinutý společností RL-R, který jsme nakonec použili, se v obecné výpočetní technice nepoužívá. A dodnes se ukazuje, že je to docela mocný nástroj."

Jakmile byly algoritmy vyladěny a hardware optimalizován, tým pro zavádění křemíku vyzkoušel vlastní čipy.

"Vlastní křemíková čipová sada společnosti Orion je velmi složitá," říká Liping Guo, vedoucí ředitel divize End-to-End System and Infrastructure. "Zavedení a ověření samostatných čipů a jejich vzájemné interoperability v krátkém časovém období je neuvěřitelně náročné. Naštěstí pracujeme ve vertikálně integrovaném prostředí, kde Reality Labs vlastní celý stack - od křemíku a nízkoúrovňového firmwaru až po operační systém, software a zkušenosti z horní vrstvy. Toho jsme plně využili, úzce spolupracovali s našimi multifunkčními partnery a ve fázi validace křemíku jsme posunuli integraci napříč celým stackem. Orion byl naším pilotním provozem této metodiky - vybudovali jsme si svaly pro shift-left a vytvořili silný základ pro Reality Labs, abychom mohli v budoucnu plně využívat výhod vlastního křemíku."

Po uvedení do provozu přišla na řadu optimalizace softwaru.

"Je to iterační proces, kdy začínáte s naprosto neoptimalizovaným softwarovým zásobníkem, jen abyste vše rozběhli a zprovoznili," říká Snodgrass. "A pak postupně procházíte jednotlivé subsystémy a začínáte optimalizovat software pro daný hardware - včetně snížení množství paměti, kterou software využívá. Hardware může být skvěle navržen, ale nedosáhnete teoretické energetické účinnosti, pokud neinvestujete tolik nebo více času do toho, aby software plně využíval výhody hardwaru. To je tedy příběh Orionu: hardware a software optimalizovaný do posledního detailu. Žádný pikojoule ani miliwatt nenechte za sebou."

A přestože je Orion pouze prototypem, práce, která na něm byla odvedena, má značný potenciál ovlivnit plán společnosti Meta.

"Na křemíkové IP, které vytváříme, se díváme jako na platformy v tom smyslu, že se jedná o ceněné IP, které budeme vylepšovat od jedné generace nebo od jednoho produktu k druhému," dodává Meitav. "Všechny algoritmy počítačového vidění a grafiky nejsou vytvářeny pouze pro Orion. Budou se dále používat v budoucích produktech."

Naše křemíková práce zahrnuje vytváření nových řešení a zároveň úzkou spolupráci s partnery. Vliv křemíkového týmu přesahuje rámec Orionu a týká se jak Brýle Ray-Ban Meta and Meta Quest headsets today—even though they both use third-party chips. The silicon team regularly shares their work with the mixed reality team, showing what’s possible in terms of power efficiency. The MR team then shares those findings with partners like Qualcomm to help inform future chip designs. And because the silicon team uses the same off-the-shelf digital signal processors (DSPs) as Ray-Ban Meta glasses, they’ve been able to share lessons learned and best practices when implementing and writing code for those DSPs to help improve the audio experiences available on our AI glasses.

And that knowledge sharing goes both ways: The MR team has given the silicon team insights on things like Asynchronous TimeWarp and Application SpaceWarp in production.

"To, co člověk dělá ve výrobě, je mnohem zajímavější než něco, co bychom mohli udělat s prototypem," říká Clohset. "Snažili jsme se co nejvíce integrovat to, co dělají s osnovami."

Nejednoznačnost < Ambice

Vzhledem k tomu, že Orion byl skutečně nula ku jedné, musely se zúčastněné týmy z nutnosti vypořádat s nadměrným množstvím nejasností.

"V případě Orionu nemohu přecenit, jak moc se věci kvůli nejednoznačnosti zkomplikovaly," říká Clohset. "Když například vyrábíte počítač, máte obvykle dobrou představu o tom, jaký bude mít displej. Ale my jsme nevěděli, jaký bude nakonec vlnovod, takže jsme museli zkoušet různé vlnovody a vymýšlet mechanismus, který by zvládl i ten nejhorší scénář, protože jsme nevěděli, kam co dopadne. Jedna optimalizace by se tu snoubila se všemi ostatními možnostmi a nakonec byste měli matici všech těch různých věcí, které jste měli jako podporu a snažili se je ověřit, protože jste nevěděli, kam výrobek za půl roku dopadne."

It’s important to note that Orion isn’t just a pair of AR glasses—it’s a three-part constellation of hardware. A lot of the processing happens on the compute puck, which necessitates a strong connection between it and the glasses. Add the surface EMG wristband into the loop, and the system architecture becomes even more complicated.

"To bylo pro týmy nesmírně náročné vyřešit a všechno to prostě funguje," říká Snodgrass. "Byla to úžasná spolupráce mezi křemíkovým týmem, bezdrátovým týmem a softwarovými týmy napříč celou organizací."

Výpočetní puk Orion.

"Se společností Orion jsme vytvořili celý tým inženýrů, kteří byli schopni navrhnout zcela nové potrubí," dodává Clohset. "Je to pipeline, která zvládá pohyb objektů v 3D prostoru v šesti stupních volnosti. Používá vlastní ovladač displeje. Museli jsme provést opravdu unikátní korekce kvality obrazu. A myslím, že výzvou pro nás bylo, že protože se jednalo o projekt nula k jedné, neexistovala žádná existující specifikace, kterou bychom mohli upravit a vylepšit. Všechno je tu úplně nové, takže jsme měli volnost v tom, co všechno můžeme udělat."

Much like the puck has some dormant features hidden beneath the surface, the custom silicon punches above its weight, too. While Orion doesn’t allow the user to take photos with its RGB cameras, the silicon is capable of supporting it, as well as codec avatars. And just as the puck helped unlock a true glasses form factor by offloading much of the compute, Orion’s custom silicon proved a necessary piece of the AR puzzle.

"Abyste mohli uvést do života zážitky typu zero-to-one, jako jsou brýle rozšířené reality, potřebujete vlastní silikon - úplnou zastávku," vysvětluje Snodgrass. "Pokud bude časem existovat trh, budou dodavatelé křemíku vyvíjet produkty, které uspokojí poptávku. Ale pro zero-to-one nemůžete jen tak vzít něco, co existuje z regálu a je určeno pro jiný produkt, a napasovat to do nové formy. Musíte investovat do něčeho na míru. A abyste tyto zero-to-one zkušenosti uvedli v život, potřebujete širokou spolupráci mezi softwarovými partnery, průmyslovými designéry, strojními inženýry a dalšími."

"Tím, že jsme se oprostili od tradičních mentálních modelů, jsme vytvořili něco skutečně pozoruhodného," dodává Shearer. "Jsme přesvědčeni, že tato počítačová platforma představuje budoucnost technologií - takovou, která způsobí revoluci ve způsobu, jakým žijeme, pracujeme a vzájemně komunikujeme. Jsme nadšeni, že můžeme být v čele této inovace, posouvat hranice možného a pomáhat utvářet běh dějin."

When we first began giving demos of Orion early this year I was reminded of a line that you hear a lot at Meta—in fact it was even in our first letter to prospective shareholders back in 2012: Code wins arguments. We probably learned as much about this product space from a few months of real-life demos than we did from the years of work it took to make them. There is just no substitute for actually building something, putting it in people’s hands, and learning from how they react to it.

Orion wasn’t our only example of that this year. Our mixed reality hardware and AI glasses have both reached a new level of quality and accessibility. The stability of those platforms allows our software developers to move much faster on everything from operating systems to new AI features. This is how I see the metaverse starting to come into greater focus and why I’m so confident that the coming year will be the most important one in the history of Reality Labs.

Rok 2024 byl rokem, kdy brýle s umělou inteligencí dosáhly svého vrcholu. Když jsme v roce 2021 začali vyrábět chytré brýle, mysleli jsme si, že by mohly být dobrým prvním krokem k brýlím rozšířené reality, které jsme nakonec chtěli vytvořit. Zatímco náhlavní soupravy pro smíšenou realitu jsou na nejlepší cestě stát se univerzální výpočetní platformou podobně jako dnešní počítače, my jsme brýle považovali za přirozený vývoj dnešních mobilních výpočetních platforem. Proto jsme se chtěli co nejdříve začít učit z reálného světa.

The biggest thing we’ve learned is that glasses are by far the best form factor for a truly AI-native device. In fact they might be the first hardware category to be completely defined by AI from the beginning. For many people, glasses are the place where an AI assistant makes the most sense, especially when it’s a multimodal system that can truly understand the world around you.

We’re right at the beginning of the S-curve for this entire product category, and there are endless opportunities ahead. One of the things I’m most excited about for 2025 is the evolution of AI assistants into tools that don’t just respond to a prompt when you ask for help but can become a proactive helper as you go about your day. At Connect we showed how Live AI on glasses can become more of a real-time participant when you’re getting things done. As this feature begins rolling out in early access this month we’ll see the first step toward a new kind of personalized AI assistant.

It won’t be the last. We’re currently in the middle of an industry-wide push to make AI-native hardware. You’re seeing phone and PC makers scramble to rebuild their products to put AI assistants at their core. But I think a much bigger opportunity is to make devices that are AI-native from the start, and I’m confident that glasses are going to be the first to get there. Meta’s Chief Research Scientist Michael Abrash has been talking about the potential of a personalized, context-aware AI assistant on glasses for many years, and building the technologies that make it possible has been a huge focus of our research teams.

Smíšená realita has been another place where having the right product in the hands of a lot of people has been a major accelerant for progress. We’ve seen Meta Quest 3 get better month after month as we continue to iterate on the core system passthrough, multitasking, spatial user interfaces, and more. All these gains extended to Quest 3S the moment it launched. This meant the $299 Quest 3S was in many respects a better headset on day 1 than the $499 Quest 3 was when it first launched in 2023. And the entire Quest 3 family keeps getting better with every update.

In 2025 we’ll see the next iteration of this as Quest 3S brings a lot more people into mixed reality for the first time. While Quest 3 has been a hit among people excited to own the very best device on the market, Quest 3S is expected to be heavily gifted in 2024. Sales were strong over the Black Friday weekend, and we’re expecting a surge of people activating their new headsets over the holiday break.

Pokračuje tak trend, který se projevil v minulém roce: nárůst nových uživatelů, kteří hledají širší spektrum možností, jak se svými sluchátky pracovat. Chceme, aby tito noví uživatelé poznali kouzlo MR a zůstali s námi dlouhodobě, proto financujeme vývojáře, aby vytvářeli nové typy aplikací a her, které hledají.

Zejména mladší lidé zaznamenali výrazný příliv a přiklánějí se k sociálním a kompetitivním hrám pro více hráčů a také k obsahu, který se platí zdarma. A tituly jako např. BEHEMOTH společnosti Skydance, Batman: Arkham Shadow (která právě získala cenu za nejlepší AR/VR hru na The Game Awards!) a Metro Awakening opět ukázal, že některé z nejlepších nových her, které náš průmysl produkuje, jsou nyní možné pouze na dnešních náhlavních soupravách.

As the number of people in MR grows, the quality of the social experience it can deliver is growing in tandem. This is at the heart of what Meta is trying to achieve with Reality Labs and where the greatest potential of the metaverse will be unlocked: “the chance to create the most social platform ever” is how we described it when we first began working on it. We took two steps forward on this front in 2024: first with a broad set of improvements to Horizon Worlds including its expansion to mobile, and second with the next-generation Meta Avatars system that lets people represent themselves across our apps and headsets. And as the visual quality and overall experience with these systems improve, more people are getting their first glimpse of a social metaverse. We’re seeing similar trends with new Quest 3S users spending more time in Horizon Worlds, making it a Top 3 immersive app for Quest 3S, and people continue creating new Meta Avatars across mobile and MR.

Vstup smíšené reality do hlavního proudu pomohl osvětlit, co bude následovat. Jedním z prvních trendů, které jsme objevili po loňském uvedení Questu 3, bylo, že lidé používají smíšenou realitu ke sledování videí a zároveň se věnují více činnostem v domácnosti - myjí nádobí nebo vysávají obývací pokoj. To byl první signál, že se lidem líbí mít velkou virtuální obrazovku, kterou si můžete vzít kamkoli a umístit ji do fyzického světa kolem sebe. Viděli jsme, že tento trend se rychle rozjíždí a nejrůznější druhy zábavy rostou v celé rodině zařízení Quest 3. Nové funkce, jako je YouTube Co-Watch ukazují, jak velký je potenciál pro zcela nový druh společenské zábavy v metaverzu.

That’s why James Cameron, one of the most technologically innovative storytellers of our lifetimes, is now working to help more filmmakers and creators produce great 3D content for Meta Quest. While 3D films have been produced for decades, there’s never been a way to view them that’s quite as good as an MR headset, and next year more people will own a headset than ever before. “We’re at a true, historic inflection point,"Jim said when we launched our new partnership this month.

This is happening alongside a larger shift Mark Rabkin shared at Connect this year: Our vision for Horizon OS is to build a new kind of general purpose computing platform capable of running every kind of software, supporting every kind of user, and open to every kind of creator and developer. Our recent releases for 2D/3D multi-tasking, panel positioning, better hand tracking, Windows Remote Desktop integration, and Open Store have started to build momentum along this new path. Horizon OS is on track to be the first platform that supports the full spectrum of experiences from immersive VR to 2D screens, mobile apps, and virtual desktops—and the developer community is central to that success.

Další velký krok k metaverzu bude kombinovat brýle s umělou inteligencí a skutečnou rozšířenou realitou, kterou jsme letos odhalili v aplikaci Orion. Nestává se často, abyste nahlédli do budoucnosti a viděli zcela novou technologii, která vám ukáže, kam věci směřují. Lidé, kteří viděli Orion, okamžitě pochopili, co znamená pro budoucnost, podobně jako lidé, kteří viděli první osobní počítače, jak se formují v Xerox PARC v 70. letech ("během deseti minut mi bylo jasné, že všechny počítače budou jednou fungovat takhle," řekl později Steve Jobs o své ukázce Xerox Alto v roce 1979).

Možnost posadit lidi do stroje času a ukázat jim, jak bude vypadat příští počítačová platforma, byla vrcholem roku 2024 i mé dosavadní kariéry. Ale skutečný dopad Orionu bude v produktech, které budeme dodávat příště, a ve způsobech, jak nám pomůže lépe pochopit, co lidé na brýlích pro rozšířenou realitu milují a co je třeba zlepšit. Roky jsme pracovali na uživatelském výzkumu, plánování produktů a experimentálních studiích, abychom pochopili, jak by měly brýle AR fungovat, a právě tato práce nám umožnila vytvořit Orion. Od této chvíle však bude tempo pokroku mnohem rychlejší, protože máme skutečný produkt, na kterém můžeme stavět svou intuici.

This has been the lesson time and again over the last decade at Reality Labs. The most important thing you can do when you’re trying to invent the future is to ship things and learn from how real people use them. They won’t always be immediate smash hits, but they’ll always teach you something. And when you land on things that really hit the mark, like mixed reality on Quest 3 or AI on glasses, that’s when you put your foot on the gas. This is what will make 2025 such a special year: With the right devices on the market, people experiencing them for the first time, and developers discovering all the opportunities ahead, it’s time to accelerate.

Welcome back for another episode of Boz To The Future, a podcast from Reality Labs. In today’s episode, our host, Meta CTO and Head of Reality Labs Andrew “Boz” Bosworth, is joined by Meta’s VP of Wearables Alex Himel.

Himelův tým pracuje na nejtěžších technických problémech v oboru, aby pomohl vytvořit novou počítačovou platformu. Stejně jako Bosworth je ve společnosti Meta dlouholetým vedoucím pracovníkem, který za více než 15 let svého působení ve firmě zastával řadu vedoucích funkcí napříč celou společností.

Bosworth a Himel se věnují celé řadě témat, včetně nositelných zařízení, rozšířené reality a toho, jak umělá inteligence urychluje a zlepšuje druhy zážitků, které jsou zabudovány do Brýle Ray-Ban Meta a budoucí produkty.

They go deep on Orion and the positive reception it’s received since Mark Zuckerberg announced it at Connect. Just as Steve Jobs recognized the Alto as a turning point in computing, Bosworth asserted that, while we may disagree about the details, it’s hard to argue against this as the future. Himel and Bosworth go on to talk about the tremendous value of prototyping and building, saying how much more they’ve learned about Orion and its input paradigms in the three weeks of using it compared to the years spent building it.

Hovořili také o zásadní roli umělé inteligence v nositelných zařízeních a o tom, jak se stává stále užitečnější v každodenním životě - zejména nyní, když se můžete zeptat Meta AI na věci, které vidíte, a použít ji k nastavení vizuálních připomínek.

Himel také hovoří o svých hlubokých zkušenostech s jiným druhem zásobníků: sendviči. Himel a Bosworth, který má za sebou sedm let práce ve slavném Lange's Little Store v newyorském městě Chappaqua, kde vyrostl, se zabývají tím, co dělá skvělý sendvič skvělým, kam se opravdu hodí rajčata a který chléb je lepší.

Můžete si naladit Boz do budoucnosti on Apple Podcasts, Spotify, and wherever you listen to podcasts.

You can follow Himel on Threads. You can follow Bosworth on Instagram, Twitter/X, and Threads @boztank.

Back in 2019, the Orion team prepared an important demo for Meta Founder & CEO Mark Zuckerberg, showcasing potential waveguides for augmented reality glasses—a pivotal moment when theoretical calculations on paper were brought to life. And it was a demo that changed everything.

“Wearing the glasses with glass-based waveguides and multiple plates, it felt like you were in a disco,” recalls Optical Scientist Pasqual Rivera. “There were rainbows everywhere, and it was so distracting—you weren’t even looking at the AR content. Then, you put on the glasses with silicon carbide waveguides, and it was like you were at the symphony listening to a quiet, classical piece. You could actually pay attention to the full experience of what we were building. It was a total game changer.”

Yet as clear (pun intended) as the choice of silicon carbide as a substrate seems today, when we first started down the road to AR glasses a decade ago, it was anything but.

"Karbid křemíku je obvykle silně dopován dusíkem," říká Rivera. "Je zelený, a pokud je dostatečně silný, vypadá černý. Není možné z něj vyrobit optickou čočku. Je to elektronický materiál. Existuje důvod, proč má takovou barvu, a to kvůli elektronickým vlastnostem."

"Karbid křemíku je jako materiál známý již dlouhou dobu," souhlasí Giuseppe Calafiore, technický ředitel společnosti AR Waveguides. "Jeho hlavní aplikací je výkonná elektronika. Vezměte si například elektrická vozidla: Všechny elektromobily vyžadují čip - ale tento čip musí být také schopen velmi vysokého výkonu, pohybovat koly a pohánět tuto věc. Ukázalo se, že to nelze udělat s běžným křemíkovým substrátem, z něhož se vyrábějí čipy, které používáme v počítačích a elektronice. Potřebujete platformu, která vám umožní procházet vysokými proudy, vysokým výkonem, a tím materiálem je karbid křemíku."

Dokud se v poslední době nezačaly rozbíhat diskuse o obnovitelných zdrojích energie, trh s těmito vysoce výkonnými čipovými sadami zdaleka nedosahoval velikosti trhu s čipy pro spotřební elektroniku. Karbid křemíku byl vždy drahý a neexistovala velká motivace ke snižování nákladů, protože pro velikost čipu, který se vyrábí pro automobil, byla cena substrátu přijatelná.

"Ukázalo se však, že karbid křemíku má také některé vlastnosti, které potřebujeme pro vlnovody a optiku," říká Calafiore. "Klíčovou vlastností, která nás zajímá, je index lomu. A karbid křemíku má vysoký index lomu, což znamená, že je schopen přivádět a odvádět velké množství optických dat. Můžete si to představit jako optickou šířku pásma - stejně jako máte šířku pásma pro internet a chcete, aby byla dostatečně velká, abyste mohli tímto kanálem posílat obrovské množství dat. Totéž platí pro optická zařízení."

The higher a material’s refractive index, the higher its étendue, so you can send more optical data through that channel.

"Kanál je v našem případě vlnovod a větší étendue znamená větší zorné pole," vysvětluje Calafiore. "Čím větší je index lomu materiálu, tím větší zorné pole může displej podporovat."

Cesta ke správnému indexu lomu

Když se Calafiore v roce 2016 poprvé připojil k tehdejší společnosti Oculus Research, měl tým k dispozici sklo s nejvyšším indexem lomu 1,8, což vyžadovalo skládání několika desek na sebe, aby bylo dosaženo požadovaného zorného pole. Nehledě na nežádoucí optické artefakty se montážní linka stávala stále komplikovanější, protože první dva vlnovody musely být dokonale zarovnané a poté musel být tento stoh dokonale zarovnaný s třetím vlnovodem.

"Nejenže to bylo drahé, ale také bylo okamžitě jasné, že v brýlích nemohou být tři skla na čočku," vzpomíná Calafiore. "Byly příliš těžké a jejich tloušťka byla neúnosně velká a ošklivá - nikdo by si je nekoupil. Takže jsme se vrátili na začátek: snažili jsme se zvýšit index lomu substrátu, abychom snížili počet potřebných destiček."

The first material the team looked into was lithium niobate, which has a refractive index of roughly 2.3—quite a bit higher than the glass at 1.8.

"Uvědomili jsme si, že nám stačí naskládat dvě desky a možná bychom si vystačili i s jednou deskou, abychom stále pokryli zorné pole," říká Calafiore. "Téměř souběžně jsme se začali zabývat dalšími materiály - a tak jsme v roce 2019 spolu s našimi dodavateli zjistili, že karbid křemíku je ve své nejčistší formě vlastně velmi průhledný. Shodou okolností má také nejvyšší známý index lomu pro optické aplikace, který je 2,7."

To je o 17,4% více než u niobátu lithia a o 50% více než u skla, pokud si to doma pamatujete.

"Po několika úpravách stejného zařízení, které se již v průmyslu používalo, bylo možné získat průhledný karbid křemíku," říká Calafiore. "Stačilo změnit proces, být mnohem opatrnější a místo optimalizace pro elektronické vlastnosti optimalizovat pro optické vlastnosti: průhlednost, rovnoměrnost indexu lomu atd."

Potenciální náklady na kompromis

Tým Reality Labs byl v té době vůbec prvním, kdo se pokusil přejít z neprůhledných destiček karbidu křemíku na průhledné. A protože karbid křemíku je jedním z nejtvrdších známých materiálů, k jeho řezání nebo leštění jsou v podstatě zapotřebí diamantové nástroje. V důsledku toho byly jednorázové technické náklady velmi vysoké, takže výsledný substrát byl poměrně drahý.

Existují sice nákladově efektivnější alternativy, ale stejně jako u každé technologie i zde existují kompromisy. S rostoucím zorným polem, které se blíží špičkovému zornému poli Orionu, tedy přibližně 70 stupňům, se objevují nové problémy, jako jsou duchové a duhy.

"Hledání optimálního řešení pro zobrazení rozšířené reality se širokým zorným polem je plné kompromisů mezi výkonem a náklady," vysvětluje ředitel vědeckého výzkumu Barry Silverstein. "Náklady lze často snížit, ale pokud se výkon nesníží, na nákladech nakonec nezáleží."

Obrazy duchů jsou jako vizuální ozvěny primárního obrazu promítaného na displej. Duhy jsou barevné světelné pruhy, které vznikají při odrazu okolního světla od vlnovodu. "Řekněme, že jedete v noci a kolem vás se pohybují světla aut," říká Silverstein. "Budete mít duhu, která se také pohybuje. Nebo když budete na pláži hrát volejbal a bude svítit slunce, vznikne duhový pruh, který se bude pohybovat s vámi a vy se netrefíte. A jednou ze zázračných vlastností karbidu křemíku je, že se těchto duh zbaví."

"Další výhodou karbidu křemíku, kterou žádný z ostatních materiálů nemá, je tepelná vodivost," dodává Calafiore. "Plast je hrozný izolant. Sklo, niobát lithia, to samé. Když přejdete na karbid křemíku, je průhledný, vypadá jako sklo a hádejte co: vede teplo."

V červenci 2020 proto tým rozhodl, že karbid křemíku je optimální volbou ze tří hlavních důvodů: Křemík je lepší než sklo se dvěma deskami, protože vyžaduje pouze jednu desku a menší montážní struktury, má lepší optické vlastnosti a je lehčí než sklo se dvěma deskami.

Tajemství šikmého leptání

S tímto materiálem bylo třeba rozlousknout další oříšek, a to výrobu vlnovodů - konkrétně netradiční techniku leptání mřížek zvanou slant etch.

"Mřížka je nanostruktura, která spojuje a odpojuje světlo z čočky," vysvětluje Calafiore. "A aby karbid křemíku fungoval, musí být mřížka šikmo leptaná. Namísto svislého leptání je třeba, aby linie mřížky byly šikmé."

"Jako první jsme provedli šikmé leptání přímo na zařízeních," říká vedoucí výzkumu Nihar Mohanty. "Celé odvětví se dříve spoléhalo na nanootisk, který u substrátů s tak vysokým indexem lomu nefunguje. Proto nikoho jiného na světě nenapadlo dělat to na karbidu křemíku."

Protože je však šikmé leptání nezralou technologií, většina dodavatelů polovodičových čipů a továren nemá potřebné nástroje.

"V roce 2019 jsme s mým tehdejším manažerem Mattem Colburnem založili vlastní zařízení, protože na světě neexistovalo nic, co by dokázalo vyrábět leptané vlnovody z karbidu křemíku a kde bychom mohli tuto technologii vyzkoušet nad rámec laboratorního měřítka," vysvětluje Mohanty. "Byla to obrovská investice a my jsme tam vytvořili celý provoz. Nástroje pro nás vyrobili naši partneři na zakázku a proces byl vyvinut přímo v Metě, i když naše systémy jsou výzkumné, protože tam nebyly žádné systémy pro výrobu. Spolupracovali jsme s výrobním partnerem na vývoji nástrojů a procesů pro šikmé leptání na výrobní úrovni. A nyní, když jsme ukázali, co je s karbidem křemíku možné, chceme, aby i ostatní v oboru začali vyrábět vlastní nástroje."

Čím více společností bude investovat do karbidu křemíku optické kvality a vyvíjet zařízení, tím silnější bude kategorie spotřebitelských brýlí rozšířené reality.

Už se nehoníme za duhou

While technological inevitability is a myth, the stars certainly seem to be aligning in silicon carbide’s favor. And although the team continues to investigate alternatives, there’s a strong sense that the right people have come together at the right time under the right market conditions to build AR glasses using this material.

"Společnost Orion dokázala, že karbid křemíku je pro brýle rozšířené reality životaschopnou variantou," říká Silverstein, "a my nyní pozorujeme zájem napříč dodavatelským řetězcem na třech různých kontinentech, kde se o tuto příležitost intenzivně zajímají. Karbid křemíku se dostane na vrchol. Podle mě je to jen otázka času."

A za tu dobu se toho může stát hodně - podobně jako se obrátily karty od doby, kdy jsme vypěstovali první krystaly čirého karbidu křemíku.

"Všichni tito výrobci karbidu křemíku v reakci na očekávaný boom elektrických vozidel masivně zvýšili dodávky," poznamenává Calafiore. "Nyní je zde nadbytek kapacit, který v době, kdy jsme stavěli Orion, neexistoval. Protože je nyní nabídka vysoká a poptávka nízká, cena substrátu začala klesat."

"Dodavatelé jsou velmi nadšeni novou příležitostí vyrábět optický karbid křemíku - vždyť každá vlnovodná čočka představuje velké množství materiálu v porovnání s elektronickým čipem a všechny jejich stávající schopnosti se vztahují na tento nový prostor," dodává Silverstein. "Naplnění továrny je zásadní a rozšíření továrny je snem. Záleží také na velikosti destičky: Čím větší je wafer, tím nižší jsou náklady, ale také se zvyšuje složitost procesu. Přesto jsme viděli, že dodavatelé přecházejí od čtyřpalcových k osmipalcovým destičkám, a někteří pracují na předstupních k dvanáctipalcovým destičkám, což by přineslo exponenciálně více párů brýlí pro rozšířenou realitu."

Tyto pokroky by měly přispět k dalšímu snižování nákladů. Zatím je ještě brzy, ale budoucnost se rýsuje.

"Na začátku každé nové technologické revoluce se zkouší spousta věcí," říká Calafiore. "Podívejte se na televizi: Začali jsme s katodovými trubicemi, pak jsme přešli k plazmovým televizorům s LED diodami a nyní k mikroLED diodám. Prošli jsme několika různými technologiemi a architekturami. Když hledáte cestu, spousta cest nikam nevede, ale k některým se stále vracíte jako k těm nejslibnějším. Nejsme na konci cesty a sami to nezvládneme, ale karbid křemíku je zázračný materiál, do kterého se vyplatí investovat."

"Svět se probudil," dodává Silverstein. "Úspěšně jsme ukázali, že karbid křemíku může být flexibilní v elektronice a fotonice. Je to materiál, který by mohl mít v budoucnu uplatnění v kvantové výpočetní technice. A vidíme známky toho, že je možné výrazně snížit náklady. Zbývá ještě hodně práce, ale potenciál je zde obrovský."

TL;DR:

• Today at Connect, Mark Zuckerberg unveiled Orion—our first pair of true AR glasses, previously codenamed Project Nazare.
• With an industry-leading field of view, silicon carbide lenses, intricate waveguides, uLED projectors, and more, Orion is our most advanced and most polished product prototype to date.
• Nyní pokračujeme v optimalizaci produktů a snižování nákladů, protože se snažíme vytvořit škálovatelné spotřebitelské zařízení, které způsobí revoluci ve způsobu, jakým lidé komunikují se světem.

---

"Vyrábíme brýle rozšířené reality."

Five simple words, spoken five years ago. With them, we planted a flag on our vision of a future where we no longer have to make the false choice between a world of information at our fingertips and the physical world all around us.

A nyní, o pět let později, dalších pět slov, která mohou opět změnit pravidla hry:

Vytvořili jsme brýle rozšířené reality.

Naše poslání ve společnosti Meta je jednoduché: dát lidem sílu budovat komunitu a sbližovat svět. A v Reality Labs vytváříme nástroje, které lidem pomáhají cítit se ve spojení kdykoli a kdekoli. Proto pracujeme na vytvoření další počítačové platformy, která postaví lidi do centra pozornosti, aby mohli být ve světě více přítomni, propojeni a posíleni.

Brýle Ray-Ban Meta ukázaly, jakou sílu má možnost poskytnout lidem volný přístup ke klíčovým částem jejich digitálního života z jejich fyzického života. Můžeme mluvit s chytrým asistentem s umělou inteligencí, spojit se s přáteli a zachytit důležité okamžiky - to vše, aniž bychom museli vytáhnout telefon. Tyto stylové brýle bez problémů zapadají do našeho každodenního života a lidé si je naprosto zamilovali.

Zatímco společnost Ray-Ban Meta otevřela zcela novou kategorii brýlí bez displeje s umělou inteligencí, odvětví XR již dlouho sní o skutečných brýlích s rozšířenou realitou - produktu, který kombinuje výhody velkého holografického displeje a personalizované asistence umělé inteligence v pohodlném, stylovém a celodenně nositelném provedení.

And today, we’ve pushed that dream closer to reality with the unveiling of Orion, which we believe is the most advanced pair of AR glasses ever made. In fact, it might be the most challenging consumer electronics device produced since the smartphone. Orion is the result of breakthrough inventions in virtually every field of modern computing—building on the work we’ve been doing at Reality Labs for the last decade. It’s packed with entirely new technologies, including the most advanced AR display ever assembled and custom silicon that enables powerful AR experiences to run on a pair of glasses using a fraction of the power and weight of an MR headset.

Orion’s input system seamlessly combines voice, eye gaze, and hand tracking with an EMG wristband that lets you swipe, click, and scroll while keeping your arm resting comfortably by your side, letting you stay present in the world and with the people around you as you interact with rich digital content.

Počínaje dnešním dnem na konferenci Connect a pokračujíc v průběhu celého roku zpřístupňujeme prototyp produktu Orion zaměstnancům společnosti Meta a vybraným externím zájemcům, aby se náš vývojový tým mohl učit, vylepšovat a budovat naši produktovou řadu brýlí pro rozšířenou realitu pro spotřebitele, kterou plánujeme začít dodávat v blízké budoucnosti.

Proč brýle rozšířené reality?

Existují tři hlavní důvody, proč jsou brýle pro rozšířenou realitu klíčem k odemknutí dalšího velkého skoku v oblasti počítačů orientovaných na člověka.

1. Umožňují digitální zážitky, které nejsou omezeny hranicemi obrazovky chytrého telefonu. Díky velkým holografickým displejům můžete používat fyzický svět jako plátno a umístit 2D a 3D obsah a zážitky kamkoli chcete.
2. Bez problémů integrují kontextovou umělou inteligenci, která dokáže vnímat a chápat svět kolem vás, aby předvídala a proaktivně řešila vaše potřeby.
3. Jsou lehké a skvěle se hodí pro vnitřní i venkovní použití - a umožňují lidem vidět si navzájem skutečnou tvář, skutečné oči a skutečné výrazy.

To je severní hvězda, ke které naše odvětví směřuje: produkt kombinující pohodlí a bezprostřednost nositelných zařízení s velkým displejem, širokopásmovým vstupem a kontextualizovanou umělou inteligencí v podobě, kterou lidé pohodlně nosí v každodenním životě.

Kompaktní formát, složité výzvy

Po léta jsme stáli před falešnou volbou - buď náhlavní soupravy pro virtuální a smíšenou realitu, které umožňují hluboké a pohlcující zážitky v objemném provedení, nebo brýle, které jsou ideální pro celodenní používání, ale nenabízejí bohaté vizuální aplikace a zážitky, protože nemají velký displej a odpovídající výpočetní výkon.

Chceme ale všechno a bez kompromisů. Již několik let usilovně pracujeme na tom, abychom do lehkých a stylových brýlí vložili neuvěřitelné prostorové zážitky, které poskytují náhlavní soupravy VR a MR, a miniaturizovali technologii potřebnou k jejich zprostředkování. Vyladění tvaru, holografických displejů, vývoj přesvědčivých zážitků s rozšířenou realitou a vytvoření nových paradigmat interakce člověka s počítačem (HCI) - a to vše v jednom uceleném produktu - je jednou z nejtěžších výzev, které kdy naše odvětví čelilo. Byla to taková výzva, že jsme si mysleli, že máme méně než desetiprocentní šanci ji úspěšně zvládnout.

Až dosud.

Přelomový displej v bezkonkurenčním provedení

S úhlem záběru přibližně 70 stupňů má Orion dosud největší zorné pole v nejmenším provedení brýlí AR. Toto zorné pole umožňuje skutečně pohlcující případy použití brýlí Orion, od multitaskingových oken a zábavy na velké obrazovce až po hologramy lidí v životní velikosti - veškerý digitální obsah se může plynule prolínat s vaším pohledem na fyzický svět.

Pro Orion bylo zorné pole naším svatým grálem. Naráželi jsme na fyzikální zákony a museli jsme ohýbat světelné paprsky způsobem, který není přirozený - a museli jsme to udělat ve výkonové obálce měřené v miliwattech.

Instead of glass, we made the lenses from silicon carbide—a novel application for AR glasses. Silicon carbide is incredibly lightweight, it doesn’t result in optical artifacts or stray light, and it has a high refractive index—all optical properties that are key to a large field of view. The waveguides themselves have really intricate and complex nano-scale 3D structures to diffract or spread light in the ways necessary to achieve this field of view. And the projectors are uLEDs—a new type of display technology that’s super small and extremely power efficient.

Orion jsou vzhledově i na dotek nezaměnitelné brýle s průhlednými skly. Na rozdíl od náhlavních souprav pro magnetickou rezonanci nebo jiných dnešních brýlí pro rozšířenou realitu stále vidíte skutečné oči a výrazy druhých, takže můžete být přítomni a sdílet zážitek s lidmi kolem sebe. Bylo zapotřebí desítek inovací, aby se průmyslový design dostal do podoby moderních brýlí, které budete pohodlně nosit každý den. Orion je výdobytkem miniaturizace - komponenty jsou zabaleny do zlomku milimetru. A do obrouček se nám podařilo zabudovat sedm malých kamer a senzorů.

Museli jsme zachovat optickou přesnost na tloušťce jedné desetiny lidského vlasu. Systém dokáže detekovat nepatrné pohyby, jako je rozpínání nebo smršťování rámečků při různých teplotách v místnosti, a následně digitálně korigovat potřebné optické vyrovnání, a to vše v řádu milisekund. Rámy jsme vyrobili z hořčíku - stejného materiálu, který se používá v závodních vozech F1 a vesmírných lodích - protože je lehký a zároveň tuhý, takže udržuje optické prvky v jedné rovině a účinně odvádí teplo.

Vytápění a chlazení

Jakmile jsme rozlouskli displej (bez slovní hříčky) a překonali problémy s fyzikou, museli jsme se vypořádat s výzvou opravdu výkonných počítačů a zároveň s opravdu nízkou spotřebou energie a potřebou odvádět teplo. Na rozdíl od dnešních náhlavních souprav pro magnetickou rezonanci nemůžete do brýlí nacpat ventilátor. Takže jsme museli být kreativní. Mnoho materiálů použitých k chlazení Orionu je podobných těm, které NASA používá k chlazení satelitů ve vesmíru.

We built highly specialized custom silicon that’s extremely power efficient and optimized for our AI, machine perception, and graphics algorithms. We built multiple custom chips and dozens of highly custom silicon IP blocks inside those chips. That lets us take the algorithms necessary for hand and eye tracking as well as simultaneous localization and mapping (SLAM) technology that normally takes hundreds of milliwatts of power—and thus generates a corresponding amount of heat—and shrink it down to just a few dozen milliwatts.

A ano, navzdory tomu, co jste se mohli dočíst jinde, vlastní křemík hraje ve společnosti Reality Labs při vývoji produktů i nadále zásadní roli. 😎

EMG bez námahy

Every new computing platform brings with it a paradigm shift in the way we interact with our devices. The invention of the mouse helped pave the way for the graphical user interfaces (GUIs) that dominate our world today, and smartphones didn’t start to really gain traction until the advent of the touch screen. And the same rule holds true for wearables.

We’ve spoken about our work with electromyography, or EMG, for years, driven by our belief that input for AR glasses needs to be fast, convenient, reliable, subtle, and socially acceptable. And now, that work is ready for prime time.

Vstupní a interakční systém Orion hladce kombinuje hlas, pohled očí a sledování ruky s EMG náramkem, který umožňuje snadné posouvání, klikání a rolování.

It works—and feels—like magic. Imagine taking a photo on your morning jog with a simple tap of your fingertips or navigating menus with barely perceptible movements of your hands. Our wristband combines a high-performance textile with embedded EMG sensors to detect the electrical signals generated by even the tiniest muscle movements. An on-device ML processor then interprets those EMG signals to produce input events that are transmitted wirelessly to the glasses. The system adapts to you, so it gets better and more capable at recognizing the most subtle gestures over time. And today, we’re sharing more about our support for external research focused on expanding the equity and accessibility potential of EMG wristbands.

Seznamte se s bezdrátovým výpočetním modulem Puck

True AR glasses must be wireless, and they must also be small.So we built a wireless compute puck for Orion. It takes some of the load off of the glasses, enabling longer battery life and a better form factor complete with low latency.

Na brýlích běží všechny algoritmy pro sledování rukou, očí, SLAM a specializované grafické algoritmy pro uzamčení světa AR, zatímco logika aplikace běží na puku, aby byly brýle co nejlehčí a nejkompaktnější.

Puk má dva procesory, z nichž jeden byl navržen na zakázku přímo ve společnosti Meta, a poskytuje výpočetní výkon potřebný pro vykreslování grafiky s nízkou latencí, umělou inteligenci a další strojové vnímání.

Jelikož je malý a elegantní, můžete si ho pohodlně hodit do tašky nebo do kapsy a jít si po svých - bez jakýchkoli závazků.

Zkušenosti s rozšířenou realitou

Samozřejmě, stejně jako u jakéhokoli jiného hardwaru platí, že je tak dobrý, jak dobré jsou věci, které můžete použít. do s ním. A přestože je na to ještě brzy, zkušenosti, které Orion nabízí, jsou vzrušujícím zábleskem toho, co přijde.

We’ve got our smart assistant, Meta AI, running on Orion. It understands what you’re looking at in the physical world and can help you with useful visualizations. Orion uses the same Llama model that powers AI experiences running on Ray-Ban Meta smart glasses today, plus custom research models to demonstrate potential use cases for future wearables development.

Na cestách můžete uskutečnit videohovor handsfree, abyste se v reálném čase setkali s přáteli a rodinou, a můžete zůstat ve spojení v aplikacích WhatsApp a Messenger a prohlížet a posílat zprávy. Nemusíte vytahovat telefon, odemykat ho, hledat správnou aplikaci a oznamovat kamarádovi, že máte zpoždění na večeři - to vše můžete udělat přes brýle.

Sdílené hry rozšířené reality můžete hrát s rodinou na druhém konci země nebo s kamarádem na druhé straně gauče. A velký displej Orionu vám umožní multitasking s více okny, abyste mohli dělat různé věci, aniž byste s sebou museli tahat notebook.

Zkušenosti, které jsou dnes k dispozici na Orionu, pomohou v budoucnu nastínit plán pro naši řadu brýlí pro rozšířenou realitu pro spotřebitele. Naše týmy budou spolu s partnery z řad vývojářů pokračovat v iteracích a vytváření nových pohlcujících sociálních zážitků a my se nemůžeme dočkat, až se s vámi podělíme o to, co přijde příště.

Účelný prototyp výrobku

I když se Orion nedostane do rukou spotřebitelů, nenechte se mýlit: Tohle je ne výzkumný prototyp. Je to nejpropracovanější prototyp produktu, jaký jsme kdy vytvořili - a je to skutečně reprezentativní vzorek něčeho. mohl dodávat spotřebitelům. Než abychom spěchali s uvedením na pulty, rozhodli jsme se nejprve zaměřit na interní vývoj, což znamená, že můžeme pokračovat v rychlém budování a nadále posouvat hranice technologie a zážitků.

A to znamená, že rychleji dosáhneme ještě lepšího spotřebitelského produktu.

Co bude následovat

Dvě hlavní překážky dlouho stály v cestě brýlím pro rozšířenou realitu pro běžné spotřebitele: technologický průlom nutný k dosažení velkého displeje v kompaktním provedení brýlí a nutnost užitečných a přesvědčivých zážitků s rozšířenou realitou, které by bylo možné na těchto brýlích spustit. Orion je obrovským milníkem, který poprvé přináší skutečné zážitky z rozšířené reality běžící na přiměřeně stylovém hardwaru.

Teď, když jsme se o Orion podělili se světem, jsme se zaměřili na několik věcí:

• Vyladění kvality zobrazení rozšířené reality, aby byl obraz ještě ostřejší.
• Optimalizace všude, kde to jde, aby se tvar ještě zmenšil.
• Budování ve velkém měřítku, aby byly cenově dostupnější

In the next few years, you can expect to see new devices from us that build on our R&D efforts. And a number of Orion’s innovations have been extended to our current consumer products today as well as our future product roadmap. We’ve optimized some of our spatial perception algorithms, which are running on both Meta Quest 3S and Orion. While the eye gaze and subtle gestural input system was originally designed for Orion, we plan to use it in future products. And we’re exploring the use of EMG wristbands across future consumer products as well.

Orion není jen oknem do budoucnosti - je to pohled na velmi reálné možnosti, které jsou dnes na dosah. Vytvořili jsme jej v rámci naší snahy o to, co umíme nejlépe: pomáhat lidem spojovat se. Od brýlí Ray-Ban Meta až po Orion jsme viděli, co dobrého může přinést, když lidem umožníme zůstat více přítomní a posílit jejich postavení ve fyzickém světě, a to i při využití veškerého dalšího bohatství, které nabízí digitální svět.

Věříme, že byste si neměli vybírat mezi těmito dvěma možnostmi. A s příští výpočetní platformou už nebudete muset.

Last year at Connect, we unveiled Orion—our first true pair of AR glasses. The culmination of our work at Reality Labs over the last decade, Orion combines the benefits of a large holographic display and personalized AI assistance in a comfortable, all-day wearable form factor. It got some attention for its industry-leading field of view, silicon carbide waveguides, uLED projectors, and more. But today, we’re turning our attention to an unsung hero of Orion: the compute puck.

Puk je navržen tak, aby se snadno vešel do kapsy nebo tašky, takže si jej můžete vzít s sebou kamkoli, když jdete po svých, a přenáší výpočetní výkon Orionu na logiku aplikací a umožňuje atraktivnější a menší tvar brýlí. K brýlím a náramku EMG se připojuje bezdrátově, aby bylo dosaženo bezproblémového zážitku.

Nastavit a zapomenout, že?

Ale příběh puku - dokonce i jako prototypu - je zajímavý a má dramatický oblouk, který byste z jeho vzhledu nikdy neuhodli.

"Když stavíte něco takového, začínáte se dostávat na hranice fyziky," vysvětluje ředitel produktového managementu Rahul Prasad. "Za posledních 50 let se díky Moorovu zákonu vše zmenšilo, zrychlilo a snížila se spotřeba. Problém je, že nyní začínáte narážet na limity, kolik tepla můžete odvést, kolik baterie můžete stlačit a kolik výkonu antény můžete vměstnat do objektu určité velikosti."

Ačkoli zpětný pohled může být 20/20, potenciál puku nebyl zřejmý okamžitě. Když jste první, kdo něco staví, musíte prozkoumat všechny možnosti - a nenechat kámen na kameni. Jak postavit něco, co by někteří mohli považovat za nežádoucí doplněk, a ne za důležitou součást balení?

"Věděli jsme, že puk je další zařízení, které po lidech chceme, aby nosili s sebou," poznamenává Jared Van Cleave, manažer produktového designu, "a tak jsme zkoumali, jak tuto chybu proměnit ve funkci."

Tento přístup se nakonec vyplatil, protože puk vtěsnal do malých rozměrů velké množství výpočetní techniky (a ještě více křemíku navrženého společností Meta na míru pro umělou inteligenci a strojové vnímání). To pomohlo Orionu přejít z říše sci-fi do reality.

"Kdybyste neměli puk, nemohli byste mít zážitky, které Orion ve své podobě nabízí," říká Prasad. "Dobrý zážitek z rozšířené reality vyžaduje opravdu vysoký výkon: vysoké snímkové frekvence, extrémně nízkou latenci, jemnou správu bezdrátových sítí a napájení atd. Puk a brýle musí být navrženy tak, aby spolu opravdu úzce spolupracovaly, a to nejen na úrovni aplikací, ale také na úrovni operačního systému, firmwaru a hardwaru. A i kdyby se podařilo navrhnout smartphone tak, aby spolupracoval s brýlemi pro rozšířenou realitu, náročné požadavky na výkon by vyčerpaly baterii telefonu a odčerpaly by výpočetní kapacitu z případů použití telefonu. Na druhou stranu má puk vlastní vysokokapacitní baterii, vysoce výkonný SoC a vlastní koprocesor AI navržený společností Meta a optimalizovaný pro Orion."

Puk samozřejmě nebyl navržen ze dne na den. Vyžadoval roky opakované práce.

"Nevěděli jsme, jak by lidé chtěli s Orionem pracovat z hlediska vstupů - neměli jsme nic, co bychom mohli na trhu navrhnout," říká produktový manažer Matt Resman. "Když se podíváte na naše první prototypy brýlí, byly to masivní náhlavní soupravy, které vážily tři nebo čtyři kila. A když se snažíte vytvořit produkt, je opravdu těžké pochopit uživatelskou zkušenost, pokud nemáte správnou formu. S pukem jsme byli schopni velmi rychle vytvořit prototyp a začít chápat, jak jej lidé budou používat."

Puk s kódovým označením Omega byl původně zamýšlen tehdejší společností Oculus Research jako pásek ve tvaru Ω, který by se obepínal kolem krku uživatele a byl pevně spojen s brýlemi...

... dokud jim některé nové inovace týmu Reality Labs pro bezdrátové připojení neumožnily mimo jiné přerušit kabel. To umožnilo vytvořit kapesní nebo kapesní / brašnový formát, který otevřel mnoho možností.

"V té době bylo volání v rozšířené realitě stále ještě hlavním případem použití," vysvětluje Van Cleave. "Puk byl místem, kde se ukotvovala holografická videa. Položili byste ho na stůl, lavička se senzory by byla otočená směrem k vám, zobrazovala by vás a z povrchu puku by se promítalo, s kým mluvíte, abyste mohli volat."

"Orion je o propojování lidí a sbližování," říká Resman. "Jedním z původních konceptů puku bylo pomoci vytvořit pocit přítomnosti s ostatními lidmi a umožnit tuto bohatší formu komunikace."

"Je to něco jiného, než co jste kdy viděli - zařízení má potenciál vytvářet opravdu zábavné a jedinečné interakce," dodává průmyslový designér Emron Henry. "Uživatelský zážitek působí trochu jako vypuštění džina z láhve, kdy se hologramy plynule vynořují ze zařízení a zase se v něm rozpouštějí."

Jak už asi tušíte, v puku se skrývá větší potenciál, než jaký se nakonec objevil jako funkce. Kromě senzorů a kamer, které by byly použity pro volání AR, má puk haptické senzory a senzory 6DOF, které by mohly umožnit jeho použití jako sledovaného ovladače pro výběr a manipulaci s virtuálními objekty a hraní AR her. Tým také zkoumal kapacitní a silový dotykový vstup, takže puk by mohl sloužit jako gamepad při držení na výšku i na šířku.

"Mluvili jsme o tom, že je potřeba mít u sebe něco navíc," říká Van Cleave. "Jak to uděláme, aby to bylo užitečnější? Byl kolem toho celý pracovní proud. A v jednu chvíli se objevila hypotéza, že hraní rozšířené reality bude tím nejzajímavějším případem použití."

Již na začátku jsme věděli, že musíme prozkoumat možnosti, které puk nedokáže využít v telefonech. Nakonec jsme se zaměřili na používání pohledu očí, EMG a sledování rukou pro hry rozšířené reality, jako je Stargazer a Pong, ale v počátcích Orionu jsme vytvořili prototypy různých dem a her, které puk používaly jako ovladač.

Renderované zkoumání puku jako ovladače 6DOF pro hry rozšířené reality, jako je Pong.

"Protože se nejedná o telefon, měli jsme velkou volnost při navrhování," dodává Prasad. "Může být tlustší, mohu ho udělat zaoblenější, aby se pohodlně držel v ruce jako ovladač. Je docela neuvěřitelné, že puk je ve skutečnosti menší než průměrný telefon, ale je výkonnější než telefon, protože má koprocesor navržený společností Meta pro umělou inteligenci a strojové vnímání."

Tým se zabýval otázkou, jak se může kvalitní hra pro rozšířenou realitu lišit od hry pro MR nebo konzole. To znamenalo prozkoumat různé možnosti herního ovladače AR, včetně joysticků, fyzického rozložení tlačítek, spouštěcích tlačítek a dalších.

"Nic z toho jsme nakonec nepostavili," poznamenává Van Cleave. "Vytvořili jsme prototypy, ale nikdy jsme se nepustili do kompletní stavby. Chtěli jsme, aby to bylo jednoduché. Chtěli jsme udělat tato měkká rozhraní, ale nedělat fyzická, mechanická tlačítka."

A přestože senzory a haptika nebyly v prototypu hotového produktu zapnuty, během vývoje plnily svou nedílnou funkci a umožňovaly týmům nahlásit chyby jednoduchým několikerým poklepáním na horní část zařízení.

S tím, jak se umělá inteligence začala dostávat do popředí jako klíčový případ použití, se výpočetní technika dostávala do stále většího popředí. Nakonec je puk domovem bezdrátové konektivity, výpočetního výkonu a kapacity baterie Orionu - což je samo o sobě obrovský technický výkon - a to vše pomáhá snížit hmotnost a tvarový faktor brýlí, přičemž díky své ploše odvádí mnohem více tepla.

Po celou dobu vývoje zůstává jedna věc stejná: puk v sobě skrývá víc, než se na první pohled zdá. Přijetí netradičních nápadů umožnilo našim týmům zkoumat, posouvat hranice a budovat budoucnost.

"Definujeme kategorii, která ještě neexistuje," poznamenává Henry. "Jak se dá u výzkumu a vývoje očekávat, na cestě jsme měli začátky a zastávky. Jak budou uživatelé očekávat interakci s hologramy? Budou raději používat dálkový ovladač AR, nebo jim k zadávání údajů postačí sledování rukou, pohled očí a EMG? Co je intuitivní, málo třecí, známé a užitečné?"

"Místo toho, abychom se na puk dívali jako na pouhý kámen, jsme si položili otázku, co dalšího bychom mohli nabídnout, abychom jej ještě více odlišili od telefonů a zdůvodnili, proč byste jej měli chtít nosit u sebe," přiznává Resman. "Nabízí jeho hrubý výpočetní výkon a praktický design - který pomohl odemknout tvar brýlí, které můžete reálně nosit celý den - nakonec dostatečnou hodnotu? Naším úkolem je pomoci na tyto otázky odpovědět."

"Na začátku jsme se zaměřili na to, co můžeme udělat, co telefon neumí," dodává Van Cleave. "Telefony musí mít obrazovku, musí mít určité fyzické rozložení tlačítek, které uživatelé očekávají. A my tato omezení nemáme. Náš výpočetní puk může být, jaký chceme."