V roce 2017 vedoucí vědecký pracovník společnosti Reality Labs Michael Abrash, podporovaná zakladatelem a generálním ředitelem společnosti Meta Markem Zuckerbergem, založila v rámci tehdejšího výzkumu Oculus Research nový tajný tým, který měl vytvořit základy příští počítačové platformy. Jejich herkulovský úkol: Vytvořit vlastní křemíkové řešení, které by podporovalo jedinečné požadavky budoucích počítačů. brýle pro rozšířenou realitu-technický výkon, který vyžadoval přepracování každé součásti pro celodenní nošení. Brýle rozšířené reality který dosud prostě neexistoval.

Přední úhel prototypu brýlí Orion AR.

Kompaktní tvar, značný problémový prostor

Tým pro vlastní křemík, který se rozrostl z několika výzkumníků na stovky lidí na straně produktů, vycházel z předpokladu, že brýle pro rozšířenou realitu nemohou spoléhat na křemík dostupný v dnešních chytrých telefonech. A tento předpoklad potvrzuje i několik vlastních čipů uvnitř Orion, náš první skutečný prototyp brýlí pro rozšířenou realitu.

"Stavba lodi při vyplouvání z přístavu - to bylo přesně to, co jsme dělali," říká ředitel pro strategii pokročilých technologií Jeremy Snodgrass. "Museli jsme zvětšit skromný tým a zároveň postavit tyto čipy. Bylo fascinující sledovat, jak vedení přivádí na palubu nové zaměstnance a zároveň rozvíjí kulturu, která si cení agility. Nic nebylo problémem někoho jiného. Vzali jste veslo a začali veslovat, i když to nebylo přesně to, na co jste byli najati. Byla to velmi, velmi vzrušující doba."

"Téměř všechno v Orionu bylo v mnoha ohledech nové," souhlasí technický ředitel Display Architecture Mike Yee. "Některé nápady už tu byly, ale nikdo se nepustil do výzkumného projektu, aby skutečně vytvořil brýle pro celodenní nošení rozšířené reality."

Tým musel poskytnout přesvědčivý zážitek z rozšířené reality s co nejmenší spotřebou energie. Brýle mohou odvádět jen tolik tepla a mohou pojmout jen tolik kapacity baterie. Výsledkem je, že zážitky, které je možné na brýlích poskytnout, jsou zcela závislé na křemíku. Jinými slovy, pokud udržíte konstantní tepelnou kapacitu a kapacitu baterie, jediným způsobem, jak poskytnout daný zážitek, je optimalizovat křemík.

"Návrh nové architektury pro Orion vyžadoval, aby tým nejen intenzivně prosazoval stávající technologie, jako jsou bezdrátové připojení a displeje, ale také riskoval v oblasti nových technologií," říká ředitel produktového managementu Neeraj Choubey. "Tým například vyvinul akcelerátor strojového učení (ML), aniž by v té době měl jasný případ použití, veden pevným přesvědčením, že ML bude v produktech Meta stále důležitější. V systému Orion je každý akcelerátor ML využíván a v některých případech je nadměrně využíván, protože slouží funkcím, jako je sledování očí a rukou. Stejně tak tým vyvinul vlastní kompresní protokoly, aby snížil šířku pásma a spotřebu energie, když se data přesouvala z výpočet puku na displej. Vývoj vlastního křemíku pro dosažení cílů společnosti Orion v oblasti tvarového faktoru vyžadoval jak toleranci k vysoké nejednoznačnosti, tak pečlivou pozornost věnovanou detailům, aby bylo možné vytvořit neuvěřitelně komplexní systémovou architekturu."

"Největší výzvou pro nás bylo dodat 3D grafiku s vykreslením světa a prostorový zvuk, který je vykreslen tak, že vypadá, jako by vycházel z virtuálního objektu," poznamenává Snodgrass. "Museli jsme veškerou tuto elektroniku vměstnat do tepelné kapacity a fyzického prostoru a pak ji provozovat na baterii, aby se příliš nezahřívala. A to všechno jsme museli udělat ve skutečném tvaru brýlí - ne ve velkém hledí, jaké je v této kategorii běžně k vidění."

"Věděli jsme, jak zajistit potřebný výpočetní výkon, abychom mohli realizovat naši vizi Orionu, ale stáli jsme před nelehkým úkolem: snížit spotřebu energie stonásobně," říká ředitel SoC Solutions Robert Shearer. "To od nás vyžadovalo, abychom posunuli hranice návrhu křemíku, přijali metodiky z různých koutů průmyslu - od internetu věcí po vysoce výkonné výpočty - a vymysleli nové přístupy k překlenutí mezer. Naši partneři z oboru si mysleli, že jsme se zbláznili, a možná se úplně nemýlili. Ale přesně to bylo potřeba: ochota zpochybnit konvenční moudrost a vše přehodnotit. Vytvoření počítače, který hladce spojuje virtuální a fyzický svět, vyžaduje hluboké pochopení souvislostí, které dalece přesahuje možnosti stávajících výpočetních platforem. V podstatě jsme znovu vynalezli způsob, jakým počítače komunikují s lidmi, což znamenalo, že jsme od základu přehodnotili způsob, jakým vytváříme křemík."

Exteriérové komponenty Orion.

Kouzlo mikroLED diod

Byly chvíle, kdy se věci zpozdily nebo se objevil zdánlivě nepřekonatelný technický problém, kdy bylo těžké udržet dynamiku a morálku. Tým byl ale odolný a našel si cestu, jak překážky obejít - nebo je jednoduše srazil k zemi.

Vezměme si například displej Orionu. Křemíkový tým byl zodpovědný za křemík v projektoru displeje, který je umístěn v rozích brýlí.

"U těchto projektorů byla otevřená otázka, zda se nám podaří získat mikroLED v poli s dostatečně vysokou účinností a jasem, abychom mohli nasadit displej s širokým zorným polem," říká Snodgrass. "Existovaly obrovské pochybnosti, zda to dokážeme - zda je to možné v časovém rámci, který jsme zvažovali - protože se jednalo o velmi začínající technologii."

"Velmi brzy jsme si uvědomili, že musíme přehodnotit mnoho paradigmat vývoje produktů," dodává Yee. "Množství světla, které potřebujete k tomu, aby byl displej použitelný, je u brýlí pro rozšířenou realitu o dost větší, protože jako nositelný displej soupeříte se sluncem. Potřebujeme tedy takovou úroveň energie, která mu bude konkurovat - nebo to je alespoň cílem. Ještě tam nejsme, ale je to velký kus práce. A to znamená, že potřebujete světelné zdroje pro displej, které jsou toho schopné, a potřebujete obvody, které to dokážou řídit. A zároveň je potřeba, aby to bylo malé."

Vlastní křemík pohánějící diody µLED společnosti Orion.

I když se mikroLED zdály být nejvhodnějším zdrojem světla pro projektory, křemík pomohl odhalit jejich potenciál.

"U displejů hovoříme o rozteči pixelů, což jsou vzdálenosti mezi středy sousedních pixelů," vysvětluje Yee. "U televizorů jsou tyto vzdálenosti stovky mikronů. V telefonu je to mnoho, mnoho desítek mikronů. A my jsme potřebovali snížit tuto hodnotu na jednociferné číslo. Jediná známá výroba polovodičů, která to dokázala, byl křemík."

Práci komplikovala skutečnost, že zadní plocha displeje musela být tvořena kusem křemíku a nikdo na světě dosud křemík pro microLED nenavrhoval.

"V té době všechny výzkumné týmy používaly tekuté krystaly na křemíkových displejích, aby na ně mohly umístit mikroLED," říká Yee. "Nikdo předtím nenavrhl základní desku pro microLED. A my jsme stáli před docela unikátní výzvou, protože se jedná o optickou součástku. Musí být plochá. Nemůžete ji poškrábat. Musí mít všechny tyto vlastnosti, protože když se díváte skrz vlnovody, skrz projektory, díváte se doslova na horní povrch kusu křemíku."

Křemíkový tým vyvinul pro tyto displeje microLED komplexní řadu testovacích platforem, které vyžadovaly úzkou koordinaci s našimi globálními dodavateli. Displeje microLED mají globální stopu, vznikají na jednom místě a poté jsou přeneseny na jiné místo, kde byly umístěny na destičku. Poté byly destičky odeslány k nařezání do určitého tvaru, následovala cesta do USA, kde byly spojeny s další destičkou, a poté odeslány zpět přes celý svět, aby byl sestaven a otestován vlastní modul. Byl to nesmírně komplikovaný proces a křemíkový tým vyvinul testovací vozidla, která měla ověřit každý krok.

Tým také musel najít způsob, jak dodat energii displejům microLED v malém objemu rohů brýlí. Náš analogový tým vyvinul vlastní čip pro správu napájení, který se do tohoto objemu vešel.

"Dodávka energie je klíčová pro tak malá nositelná zařízení, kde je velikost baterie omezená a kde je třeba šetřit místem," poznamenává ředitel divize analogových a smíšených signálových systémů Jihong Ren. "Naše přizpůsobené řešení pro správu napájení využívá nejmodernější technologie k optimalizaci energetické účinnosti pro naši specifickou pracovní zátěž na úrovni systému, a to vše při současném přizpůsobení se dostupným prostorovým omezením. Dosažení tohoto optimálního řešení vyžadovalo úzkou mezioborovou spolupráci s našimi mechanickými, elektrickými, SoC, μLED a tepelnými týmy, což zajistilo bezproblémovou integraci všech komponent a maximalizaci celkového výkonu."

"Byl to úžasný výkon nejen v oblasti inženýrství, ale také v oblasti organizačního řízení: stmelit tým, pracovat v různých časových pásmech a se všemi těmito různými dodavateli," dodává Snodgrass. "V některých ohledech bylo organizační zvládnutí toho všeho stejnou výzvou jako splnění technických specifikací."

"Na míru je přizpůsoben nejen design, ale i celý výrobní proces," dodává Yee. "Máme to štěstí, že máme v oboru několik skvělých partnerů, kteří nám pomohli to uskutečnit. Ti vidí dlouhodobý potenciál v displejích AR jako celku a určitě i v Metině vizi. Proto byli ochotni s námi spolupracovat, aby se tyto úpravy a optimalizace uskutečnily a umožnily takový displej."

Brýle Orion AR.

Iterace se setkává se zrychlením

Mezi křemíkovým týmem a geniálními mozky ve výzkumných laboratořích Reality Labs a XR Tech, které vyvíjely algoritmy, existovala úzká zpětná vazba. Tyto týmy poskytovaly tyto algoritmy, které první tým převáděl do hardwaru, čímž se odstranila režie softwaru běžícího na univerzálním procesoru. To znamenalo, že algoritmy poběží při nižší spotřebě, ale také to znamenalo, že křemíkový tým byl uzamčen. Jakmile byly algoritmy zpevněny, nemohly se již měnit.

"Řekněme, že společnost XR Tech vyvíjela určitý obor algoritmicky," vysvětluje ředitel pro architekturu a algoritmy společnosti Silicon Accelerators Ohad Meitav. "Vlastní algoritmický stack a jeho výkon. Můj tým by pak ve spolupráci s nimi rozhodl, jak algoritmus akcelerovat, jak části algoritmu zpevnit a jak jej skutečně umístit do hardwaru tak, aby běžel super efektivně. Společnost XR Tech by pak přizpůsobila svůj softwarový stack tak, aby zohledňoval hardware. Je to velmi iterativní proces."

Dalším úspěchem je spolupráce křemíkového týmu se společností Reality Labs Research, která přišla s novým algoritmem reprojekce.

"Potřebovali jsme, aby algoritmus reprojekce podporoval různá zkreslení a korekce," poznamenává architekt společnosti Silicon Steve Clohset. "Algoritmus vyvinutý společností RL-R, který jsme nakonec použili, se v obecné výpočetní technice nepoužívá. A dodnes se ukazuje, že je to docela mocný nástroj."

Jakmile byly algoritmy vyladěny a hardware optimalizován, tým pro zavádění křemíku vyzkoušel vlastní čipy.

"Vlastní křemíková čipová sada společnosti Orion je velmi složitá," říká Liping Guo, vedoucí ředitel divize End-to-End System and Infrastructure. "Zavedení a ověření samostatných čipů a jejich vzájemné interoperability v krátkém časovém období je neuvěřitelně náročné. Naštěstí pracujeme ve vertikálně integrovaném prostředí, kde Reality Labs vlastní celý stack - od křemíku a nízkoúrovňového firmwaru až po operační systém, software a zkušenosti z horní vrstvy. Toho jsme plně využili, úzce spolupracovali s našimi multifunkčními partnery a ve fázi validace křemíku jsme posunuli integraci napříč celým stackem. Orion byl naším pilotním provozem této metodiky - vybudovali jsme si svaly pro shift-left a vytvořili silný základ pro Reality Labs, abychom mohli v budoucnu plně využívat výhod vlastního křemíku."

Po uvedení do provozu přišla na řadu optimalizace softwaru.

"Je to iterační proces, kdy začínáte s naprosto neoptimalizovaným softwarovým zásobníkem, jen abyste vše rozběhli a zprovoznili," říká Snodgrass. "A pak postupně procházíte jednotlivé subsystémy a začínáte optimalizovat software pro daný hardware - včetně snížení množství paměti, kterou software využívá. Hardware může být skvěle navržen, ale nedosáhnete teoretické energetické účinnosti, pokud neinvestujete tolik nebo více času do toho, aby software plně využíval výhody hardwaru. To je tedy příběh Orionu: hardware a software optimalizovaný do posledního detailu. Žádný pikojoule ani miliwatt nenechte za sebou."

A přestože je Orion pouze prototypem, práce, která na něm byla odvedena, má značný potenciál ovlivnit plán společnosti Meta.

"Na křemíkové IP, které vytváříme, se díváme jako na platformy v tom smyslu, že se jedná o ceněné IP, které budeme vylepšovat od jedné generace nebo od jednoho produktu k druhému," dodává Meitav. "Všechny algoritmy počítačového vidění a grafiky nejsou vytvářeny pouze pro Orion. Budou se dále používat v budoucích produktech."

Naše křemíková práce zahrnuje vytváření nových řešení a zároveň úzkou spolupráci s partnery. Vliv křemíkového týmu přesahuje rámec Orionu a týká se jak Brýle Ray-Ban Meta a Sluchátka Meta Quest i když oba používají čipy třetích stran. Křemíkový tým pravidelně sdílí svou práci s týmem pro smíšenou realitu a ukazuje, co je možné z hlediska energetické účinnosti. Tým MR pak sdílí tyto poznatky s partnery, jako je např. Qualcomm a pomohou tak získat informace o budoucích návrzích čipů. A protože křemíkový tým používá stejné hotové digitální signálové procesory (DSP) jako brýle Ray-Ban Meta, mohl se podělit o získané zkušenosti a osvědčené postupy při implementaci a psaní kódu pro tyto DSP, aby pomohl zlepšit zvukové zážitky dostupné v našich brýlích s umělou inteligencí.

A sdílení znalostí probíhá oběma směry: Tým MR poskytl křemíkovému týmu poznatky o věcech, jako je například Asynchronní TimeWarp a Aplikace SpaceWarp ve výrobě.

"To, co člověk dělá ve výrobě, je mnohem zajímavější než něco, co bychom mohli udělat s prototypem," říká Clohset. "Snažili jsme se co nejvíce integrovat to, co dělají s osnovami."

Nejednoznačnost < Ambice

Vzhledem k tomu, že Orion byl skutečně nula ku jedné, musely se zúčastněné týmy z nutnosti vypořádat s nadměrným množstvím nejasností.

"V případě Orionu nemohu přecenit, jak moc se věci kvůli nejednoznačnosti zkomplikovaly," říká Clohset. "Když například vyrábíte počítač, máte obvykle dobrou představu o tom, jaký bude mít displej. Ale my jsme nevěděli, jaký bude nakonec vlnovod, takže jsme museli zkoušet různé vlnovody a vymýšlet mechanismus, který by zvládl i ten nejhorší scénář, protože jsme nevěděli, kam co dopadne. Jedna optimalizace by se tu snoubila se všemi ostatními možnostmi a nakonec byste měli matici všech těch různých věcí, které jste měli jako podporu a snažili se je ověřit, protože jste nevěděli, kam výrobek za půl roku dopadne."

Je důležité si uvědomit, že Orion nejsou jen brýle pro rozšířenou realitu - je to soustava tří částí hardwaru. Velká část zpracování se odehrává na výpočet puku, což vyžaduje silné spojení mezi ním a brýlemi. Přidejte povrchový EMG náramek do smyčky a architektura systému se stává ještě složitější.

"To bylo pro týmy nesmírně náročné vyřešit a všechno to prostě funguje," říká Snodgrass. "Byla to úžasná spolupráce mezi křemíkovým týmem, bezdrátovým týmem a softwarovými týmy napříč celou organizací."

Výpočetní puk Orion.

"Se společností Orion jsme vytvořili celý tým inženýrů, kteří byli schopni navrhnout zcela nové potrubí," dodává Clohset. "Je to pipeline, která zvládá pohyb objektů v 3D prostoru v šesti stupních volnosti. Používá vlastní ovladač displeje. Museli jsme provést opravdu unikátní korekce kvality obrazu. A myslím, že výzvou pro nás bylo, že protože se jednalo o projekt nula k jedné, neexistovala žádná existující specifikace, kterou bychom mohli upravit a vylepšit. Všechno je tu úplně nové, takže jsme měli volnost v tom, co všechno můžeme udělat."

Stejně jako puk má některé neaktivní funkce skryté pod povrchem, vlastní křemík je také nad jeho síly. I když Orion neumožňuje uživateli pořizovat fotografie pomocí RGB kamer, křemík je schopen to podporovat, stejně jako avatary kodeků. Stejně jako puk pomohl odemknout skutečnou podobu brýlí tím, že odlehčil velkou část výpočetního výkonu, ukázal se vlastní křemík společnosti Orion jako nezbytný prvek skládačky rozšířené reality.

"Abyste mohli uvést do života zážitky typu zero-to-one, jako jsou brýle rozšířené reality, potřebujete vlastní silikon - úplnou zastávku," vysvětluje Snodgrass. "Pokud bude časem existovat trh, budou dodavatelé křemíku vyvíjet produkty, které uspokojí poptávku. Ale pro zero-to-one nemůžete jen tak vzít něco, co existuje z regálu a je určeno pro jiný produkt, a napasovat to do nové formy. Musíte investovat do něčeho na míru. A abyste tyto zero-to-one zkušenosti uvedli v život, potřebujete širokou spolupráci mezi softwarovými partnery, průmyslovými designéry, strojními inženýry a dalšími."

"Tím, že jsme se oprostili od tradičních mentálních modelů, jsme vytvořili něco skutečně pozoruhodného," dodává Shearer. "Jsme přesvědčeni, že tato počítačová platforma představuje budoucnost technologií - takovou, která způsobí revoluci ve způsobu, jakým žijeme, pracujeme a vzájemně komunikujeme. Jsme nadšeni, že můžeme být v čele této inovace, posouvat hranice možného a pomáhat utvářet běh dějin."

---

Další informace o společnosti Orion najdete v těchto příspěvcích na blogu:

• Křišťálově čisté: naše vlnovody z karbidu křemíku a cesta k velkému zornému poli Orionu
• Orion's Compute Puck: Příběh zařízení, které nám pomohlo vytvořit brýle pro rozšířenou realitu

Když jsme poprvé začali předvádět Orion začátkem letošního roku jsem si vzpomněl na větu, kterou v Metě slýcháte často - ve skutečnosti byla dokonce v našem prvním dopise potenciálním akcionářům v roce 2012: Kód vyhrává argumenty. Za několik měsíců reálných ukázek jsme se o tomto produktu dozvěděli pravděpodobně tolik, co za roky práce, kterou jsme museli vynaložit na jejich vytvoření. Nic prostě nenahradí to, když něco skutečně vytvoříte, dáte to lidem do rukou a učíte se z toho, jak na to reagují.

Orion nebyl jediným příkladem tohoto roku. Naše stránky hardware pro smíšenou realitu a Brýle s umělou inteligencí dosáhly nové úrovně kvality a dostupnosti. Stabilita těchto platforem umožňuje našim softwarovým vývojářům mnohem rychlejší postup ve všech oblastech, od operačních systémů až po nové funkce umělé inteligence. Takto vidím, že se metaverze začíná více soustředit, a proto jsem přesvědčen, že nadcházející rok bude nejdůležitějším v historii Reality Labs.

https://youtube.com/watch?v=xwMNZb6UE1o%3F%26controls%3D0%3Fautoplay%3D0%26color%3Dwhite%26cc_lang_pref%3Den%26cc_load_policy%3D0%26enablejsapi%3D1%26frameborder%3D0%26hl%3Den%26rel%3D0%26origin%3Dhttps%253A%252F%252Fwww.meta.com

Rok 2024 byl rokem, kdy brýle s umělou inteligencí dosáhly svého vrcholu. Když jsme v roce 2021 začali vyrábět chytré brýle, mysleli jsme si, že by mohly být dobrým prvním krokem k brýlím rozšířené reality, které jsme nakonec chtěli vytvořit. Zatímco náhlavní soupravy pro smíšenou realitu jsou na nejlepší cestě stát se univerzální výpočetní platformou podobně jako dnešní počítače, my jsme brýle považovali za přirozený vývoj dnešních mobilních výpočetních platforem. Proto jsme se chtěli co nejdříve začít učit z reálného světa.

Největší poznatek je, že brýle jsou zdaleka nejlepším tvarovým faktorem pro zařízení s umělou inteligencí. Ve skutečnosti by to mohla být první kategorie hardwaru, která bude od počátku zcela definována umělou inteligencí. Pro mnoho lidí jsou brýle místem, kde má asistent s umělou inteligencí největší smysl, zejména pokud se jedná o multimodální systém který dokáže skutečně porozumět světu kolem vás.

Jsme na začátku S-křivky celé této kategorie produktů a před námi je nekonečné množství příležitostí. Jednou z věcí, ze které se pro rok 2025 těším nejvíce, je vývoj asistentů s umělou inteligencí do podoby nástrojů, které nebudou reagovat pouze na výzvu, když je požádáte o pomoc, ale mohou se stát proaktivním pomocníkem během vašeho dne. Na veletrhu Connect jsme ukázali, jak se Live AI na brýlích může stát více účastníkem v reálném čase, když vyřizujete věci. Protože tato funkce začíná tento měsíc v předběžném přístupu uvidíme první krok k novému druhu personalizovaného asistenta s umělou inteligencí.

Nebude to poslední. V současné době se nacházíme uprostřed celosvětového úsilí o vytvoření hardwaru s umělou inteligencí. Vidíte, jak se výrobci telefonů a počítačů předhánějí v přestavbě svých produktů tak, aby jejich jádrem byli asistenti s umělou inteligencí. Myslím si však, že mnohem větší příležitostí je vyrábět zařízení, která jsou od počátku nativní pro AI, a jsem přesvědčen, že brýle budou první, kdo se k tomu dostane. Hlavní vědecký pracovník společnosti Meta Michael Abrash hovořil o potenciálu personalizovaného asistenta AI s kontextovým povědomím v brýlích. po mnoho let, a vytváření technologií, které to umožňují, bylo velkým cílem našich výzkumných týmů.

Smíšená realita je dalším místem, kde byl správný produkt v rukou mnoha lidí velkým urychlením pokroku. Byli jsme svědky Meta Quest 3 se měsíc od měsíce zlepšuje, protože pokračujeme ve vylepšování průchodu jádrem systému, multitaskingu, prostorových uživatelských rozhraní a dalších funkcí. Všechny tyto zisky se rozšířily na Quest 3S v okamžiku, kdy byl spuštěn. To znamená, že $299 Quest 3S byla v mnoha ohledech lepší náhlavní souprava v první den než $499 Quest 3 při svém prvním uvedení na trh v roce 2023. A celá rodina Quest 3 se stále zlepšuje. každá aktualizace.

V roce 2025 se dočkáme další iterace, protože Quest 3S poprvé přivede do smíšené reality mnohem více lidí. Zatímco Quest 3 se stal hitem mezi lidmi, kteří se těší na vlastnictví toho nejlepšího zařízení na trhu, očekává se, že Quest 3S bude silně nadané v roce 2024. Během černého pátku byly prodeje vysoké a očekáváme, že během prázdnin si lidé aktivují svá nová sluchátka.

Pokračuje tak trend, který se projevil v minulém roce: nárůst nových uživatelů, kteří hledají širší spektrum možností, jak se svými sluchátky pracovat. Chceme, aby tito noví uživatelé poznali kouzlo MR a zůstali s námi dlouhodobě, proto financujeme vývojáře, aby vytvářeli nové typy aplikací a her, které hledají.

Zejména mladší lidé zaznamenali výrazný příliv a přiklánějí se k sociálním a kompetitivním hrám pro více hráčů a také k obsahu, který se platí zdarma. A tituly jako např. BEHEMOTH společnosti Skydance, Batman: Arkham Shadow (která právě získala cenu za nejlepší AR/VR hru na The Game Awards!) a Metro Awakening opět ukázal, že některé z nejlepších nových her, které náš průmysl produkuje, jsou nyní možné pouze na dnešních náhlavních soupravách.

S rostoucím počtem lidí v MR roste i kvalita společenských zážitků, které může poskytovat. To je jádrem toho, čeho se Meta snaží dosáhnout prostřednictvím Reality Labs a kde se uvolní největší potenciál metaversa: "šance vytvořit nejsociálnější platformu všech dob" - tak jsme to popsali, když jsme na něm poprvé začal pracovat. V roce 2024 jsme v tomto směru učinili dva kroky vpřed: jednak jsme provedli řadu vylepšení ve hře Horizon Worlds, včetně jejího rozšíření na mobilní zařízení, a jednak jsme zavedli novou generaci systému Meta Avatars, který lidem umožňuje představovat se v našich aplikacích a náhlavních soupravách. A jak se zlepšuje vizuální kvalita a celkový zážitek z těchto systémů, stále více lidí poprvé nahlédne do sociálního metaverza. Podobné trendy pozorujeme i u nových uživatelů Quest 3S, kteří tráví více času v Horizon Worlds, díky čemuž se tato aplikace dostala do Top 3 imerzivních aplikací pro Quest 3S, a lidé nadále vytvářejí nové Meta Avatary napříč mobilními zařízeními a MR.

Vstup smíšené reality do hlavního proudu pomohl osvětlit, co bude následovat. Jedním z prvních trendů, které jsme objevili po loňském uvedení Questu 3, bylo, že lidé používají smíšenou realitu ke sledování videí a zároveň se věnují více činnostem v domácnosti - myjí nádobí nebo vysávají obývací pokoj. To byl první signál, že se lidem líbí mít velkou virtuální obrazovku, kterou si můžete vzít kamkoli a umístit ji do fyzického světa kolem sebe. Viděli jsme, že tento trend se rychle rozjíždí a nejrůznější druhy zábavy rostou v celé rodině zařízení Quest 3. Nové funkce, jako je YouTube Co-Watch ukazují, jak velký je potenciál pro zcela nový druh společenské zábavy v metaverzu.

Proto James Cameron, jeden z technologicky nejinovativnějších vypravěčů našich životů, nyní pracuje na tom, aby pomohl více filmařům a tvůrcům. vytvářet skvělý 3D obsah pro Meta Quest. Ačkoli se 3D filmy produkují již desítky let, nikdy neexistoval způsob jejich sledování, který by byl tak dobrý jako náhlavní souprava MR, a příští rok bude mít náhlavní soupravu více lidí než kdykoli předtím. "Nacházíme se ve skutečném historickém bodu zlomu,"Jim řekl když jsme zahájila naše nové partnerství tento měsíc.

K tomu dochází současně s větším posunem Mark Rabkin sdílené na letošní konferenci Connect: Naší vizí pro Horizon OS je vytvořit nový druh univerzální počítačové platformy, která bude schopna provozovat všechny druhy softwaru, podporovat všechny druhy uživatelů a bude otevřená všem druhům tvůrců a vývojářů. Naše nedávné verze pro 2D/3D multi-tasking, polohování panelů, lepší sledování rukou, integraci vzdálené plochy Windows a otevřený obchod začaly budovat dynamiku na této nové cestě. Horizon OS je na dobré cestě stát se první platformou, která podporuje celé spektrum zážitků od pohlcující VR po 2D obrazovky, mobilní aplikace a virtuální plochy - a komunita vývojářů je pro tento úspěch klíčová.

Další velký krok k metaverzu bude kombinovat brýle s umělou inteligencí a skutečnou rozšířenou realitou, kterou jsme letos odhalili v aplikaci Orion. Nestává se často, abyste nahlédli do budoucnosti a viděli zcela novou technologii, která vám ukáže, kam věci směřují. Lidé, kteří viděli Orion, okamžitě pochopili, co znamená pro budoucnost, podobně jako lidé, kteří viděli první osobní počítače, jak se formují v Xerox PARC v 70. letech ("během deseti minut mi bylo jasné, že všechny počítače budou jednou fungovat takhle," řekl později Steve Jobs o své ukázce Xerox Alto v roce 1979).

Možnost posadit lidi do stroje času a ukázat jim, jak bude vypadat příští počítačová platforma, byla vrcholem roku 2024 i mé dosavadní kariéry. Ale skutečný dopad Orionu bude v produktech, které budeme dodávat příště, a ve způsobech, jak nám pomůže lépe pochopit, co lidé na brýlích pro rozšířenou realitu milují a co je třeba zlepšit. Roky jsme pracovali na uživatelském výzkumu, plánování produktů a experimentálních studiích, abychom pochopili, jak by měly brýle AR fungovat, a právě tato práce nám umožnila vytvořit Orion. Od této chvíle však bude tempo pokroku mnohem rychlejší, protože máme skutečný produkt, na kterém můžeme stavět svou intuici.

Z toho plyne opakované poučení za posledních deset let v laboratořích Reality Labs.. Nejdůležitější věc, kterou můžete udělat, když se snažíte vymyslet budoucnost, je dodávat věci a učit se z toho, jak je používají skuteční lidé. Nebudou to vždy okamžité hity, ale vždy vás něco naučí. A když se dostanete k věcem, které jsou opravdu trefou do černého, jako je smíšená realita v Questu 3 nebo umělá inteligence v brýlích, tak v tu chvíli šlápnete na plyn. Právě díky tomu bude rok 2025 tak výjimečný: Jelikož jsou na trhu správná zařízení, lidé si je poprvé vyzkoušejí a vývojáři objeví všechny příležitosti, které jsou před nimi, je čas zrychlit.

Vítejte zpět u dalšího dílu Boz do budoucnosti, podcast společnosti Reality Labs. Na adrese dnešní epizoda, se k našemu hostiteli, technickému řediteli společnosti Meta a vedoucímu oddělení Reality Labs Andrewovi "Bozovi" Bosworthovi, připojí viceprezident společnosti Meta pro nositelná zařízení Alex Himel.

Himelův tým pracuje na nejtěžších technických problémech v oboru, aby pomohl vytvořit novou počítačovou platformu. Stejně jako Bosworth je ve společnosti Meta dlouholetým vedoucím pracovníkem, který za více než 15 let svého působení ve firmě zastával řadu vedoucích funkcí napříč celou společností.

Bosworth a Himel se věnují celé řadě témat, včetně nositelných zařízení, rozšířené reality a toho, jak umělá inteligence urychluje a zlepšuje druhy zážitků, které jsou zabudovány do Brýle Ray-Ban Meta a budoucí produkty.

Jdou do hloubky Orion a pozitivní přijetí, kterého se jí dostalo od chvíle, kdy ji Mark Zuckerberg oznámil na konferenci Připojení. Stejně jako Steve Jobs uznal Alto za zlomový bod v oblasti počítačů, Bosworth tvrdí, že ačkoli se můžeme neshodnout na detailech, je těžké argumentovat proti tomu, že se jedná o budoucnost. Himel a Bosworth dále hovoří o obrovské hodnotě prototypování a budování a říkají, o kolik více se o Orionu a jeho vstupních paradigmatech dozvěděli za tři týdny používání ve srovnání s roky strávenými jeho budováním.

Hovořili také o zásadní roli umělé inteligence v nositelných zařízeních a o tom, jak se stává stále užitečnější v každodenním životě - zejména nyní, když se můžete zeptat Meta AI na věci, které vidíte, a použít ji k nastavení vizuálních připomínek.

Himel také hovoří o svých hlubokých zkušenostech s jiným druhem zásobníků: sendviči. Himel a Bosworth, který má za sebou sedm let práce ve slavném Lange's Little Store v newyorském městě Chappaqua, kde vyrostl, se zabývají tím, co dělá skvělý sendvič skvělým, kam se opravdu hodí rajčata a který chléb je lepší.

Můžete si naladit Boz do budoucnosti na adrese Apple Podcasty, Spotifya kdekoli, kde posloucháte podcasty.

Společnost Himel můžete sledovat na Vlákna. Společnost Bosworth můžete sledovat na Instagram, Twitter/Xa Vlákna @boztank.

0:00 / 0:00

V roce 2019 Orion tým připravil důležitou ukázku pro zakladatele a generálního ředitele společnosti Meta Marka Zuckerberga, kde předvedl potenciální vlnovody pro brýle pro rozšířenou realitu-zásadní okamžik, kdy se teoretické výpočty na papíře staly skutečností. A byla to ukázka, která změnila vše.

"Když jste nosili brýle se skleněnými vlnovody a několika destičkami, připadali jste si jako na diskotéce," vzpomíná optický vědec Pasqual Rivera. "Všude byly duhy a bylo to tak rozptylující - ani jste se nedívali na obsah rozšířené reality. Pak jste si nasadili brýle s karbid křemíku vlnovody a bylo to, jako byste byli na symfonii a poslouchali tichou klasickou skladbu. Mohli jste skutečně věnovat pozornost plnému prožitku z toho, co jsme stavěli. Byla to naprostá změna."

Jakkoli se dnes zdá volba karbidu křemíku jako substrátu jasná (slovní hříčka), když jsme se poprvé vydali po cestě cesta k AR brýlím před deseti lety, bylo to něco jiného.

"Karbid křemíku je obvykle silně dopován dusíkem," říká Rivera. "Je zelený, a pokud je dostatečně silný, vypadá černý. Není možné z něj vyrobit optickou čočku. Je to elektronický materiál. Existuje důvod, proč má takovou barvu, a to kvůli elektronickým vlastnostem."

"Karbid křemíku je jako materiál známý již dlouhou dobu," souhlasí Giuseppe Calafiore, technický ředitel společnosti AR Waveguides. "Jeho hlavní aplikací je výkonná elektronika. Vezměte si například elektrická vozidla: Všechny elektromobily vyžadují čip - ale tento čip musí být také schopen velmi vysokého výkonu, pohybovat koly a pohánět tuto věc. Ukázalo se, že to nelze udělat s běžným křemíkovým substrátem, z něhož se vyrábějí čipy, které používáme v počítačích a elektronice. Potřebujete platformu, která vám umožní procházet vysokými proudy, vysokým výkonem, a tím materiálem je karbid křemíku."

Dokud se v poslední době nezačaly rozbíhat diskuse o obnovitelných zdrojích energie, trh s těmito vysoce výkonnými čipovými sadami zdaleka nedosahoval velikosti trhu s čipy pro spotřební elektroniku. Karbid křemíku byl vždy drahý a neexistovala velká motivace ke snižování nákladů, protože pro velikost čipu, který se vyrábí pro automobil, byla cena substrátu přijatelná.

"Ukázalo se však, že karbid křemíku má také některé vlastnosti, které potřebujeme pro vlnovody a optiku," říká Calafiore. "Klíčovou vlastností, která nás zajímá, je index lomu. A karbid křemíku má vysoký index lomu, což znamená, že je schopen přivádět a odvádět velké množství optických dat. Můžete si to představit jako optickou šířku pásma - stejně jako máte šířku pásma pro internet a chcete, aby byla dostatečně velká, abyste mohli tímto kanálem posílat obrovské množství dat. Totéž platí pro optická zařízení."

Čím vyšší je index lomu materiálu, tím vyšší je jeho index lomu. étendue, takže tímto kanálem můžete posílat více optických dat.

"Kanál je v našem případě vlnovod a větší étendue znamená větší zorné pole," vysvětluje Calafiore. "Čím větší je index lomu materiálu, tím větší zorné pole může displej podporovat."

Cesta ke správnému indexu lomu

Když se Calafiore v roce 2016 poprvé připojil k tehdejší společnosti Oculus Research, měl tým k dispozici sklo s nejvyšším indexem lomu 1,8, což vyžadovalo skládání několika desek na sebe, aby bylo dosaženo požadovaného zorného pole. Nehledě na nežádoucí optické artefakty se montážní linka stávala stále komplikovanější, protože první dva vlnovody musely být dokonale zarovnané a poté musel být tento stoh dokonale zarovnaný s třetím vlnovodem.

"Nejenže to bylo drahé, ale také bylo okamžitě jasné, že v brýlích nemohou být tři skla na čočku," vzpomíná Calafiore. "Byly příliš těžké a jejich tloušťka byla neúnosně velká a ošklivá - nikdo by si je nekoupil. Takže jsme se vrátili na začátek: snažili jsme se zvýšit index lomu substrátu, abychom snížili počet potřebných destiček."

První materiál, který tým zkoumal, byl niobát lithný, jehož index lomu je zhruba 2,3, což je o něco více než u skla, které má index lomu 1,8.

"Uvědomili jsme si, že nám stačí naskládat dvě desky a možná bychom si vystačili i s jednou deskou, abychom stále pokryli zorné pole," říká Calafiore. "Téměř souběžně jsme se začali zabývat dalšími materiály - a tak jsme v roce 2019 spolu s našimi dodavateli zjistili, že karbid křemíku je ve své nejčistší formě vlastně velmi průhledný. Shodou okolností má také nejvyšší známý index lomu pro optické aplikace, který je 2,7."

To je o 17,4% více než u niobátu lithia a o 50% více než u skla, pokud si to doma pamatujete.

"Po několika úpravách stejného zařízení, které se již v průmyslu používalo, bylo možné získat průhledný karbid křemíku," říká Calafiore. "Stačilo změnit proces, být mnohem opatrnější a místo optimalizace pro elektronické vlastnosti optimalizovat pro optické vlastnosti: průhlednost, rovnoměrnost indexu lomu atd."

Potenciální náklady na kompromis

Tým Reality Labs byl v té době vůbec prvním, kdo se pokusil přejít z neprůhledných destiček karbidu křemíku na průhledné. A protože karbid křemíku je jedním z nejtvrdších známých materiálů, k jeho řezání nebo leštění jsou v podstatě zapotřebí diamantové nástroje. V důsledku toho byly jednorázové technické náklady velmi vysoké, takže výsledný substrát byl poměrně drahý.

Existují sice nákladově efektivnější alternativy, ale stejně jako u každé technologie i zde existují kompromisy. S rostoucím zorným polem, které se blíží špičkovému zornému poli Orionu, tedy přibližně 70 stupňům, se objevují nové problémy, jako jsou duchové a duhy.

"Hledání optimálního řešení pro zobrazení rozšířené reality se širokým zorným polem je plné kompromisů mezi výkonem a náklady," vysvětluje ředitel vědeckého výzkumu Barry Silverstein. "Náklady lze často snížit, ale pokud se výkon nesníží, na nákladech nakonec nezáleží."

Obrazy duchů jsou jako vizuální ozvěny primárního obrazu promítaného na displej. Duhy jsou barevné světelné pruhy, které vznikají při odrazu okolního světla od vlnovodu. "Řekněme, že jedete v noci a kolem vás se pohybují světla aut," říká Silverstein. "Budete mít duhu, která se také pohybuje. Nebo když budete na pláži hrát volejbal a bude svítit slunce, vznikne duhový pruh, který se bude pohybovat s vámi a vy se netrefíte. A jednou ze zázračných vlastností karbidu křemíku je, že se těchto duh zbaví."

"Další výhodou karbidu křemíku, kterou žádný z ostatních materiálů nemá, je tepelná vodivost," dodává Calafiore. "Plast je hrozný izolant. Sklo, niobát lithia, to samé. Když přejdete na karbid křemíku, je průhledný, vypadá jako sklo a hádejte co: vede teplo."

V červenci 2020 proto tým rozhodl, že karbid křemíku je optimální volbou ze tří hlavních důvodů: Křemík je lepší než sklo se dvěma deskami, protože vyžaduje pouze jednu desku a menší montážní struktury, má lepší optické vlastnosti a je lehčí než sklo se dvěma deskami.

Tajemství šikmého leptání

S tímto materiálem bylo třeba rozlousknout další oříšek, a to výrobu vlnovodů - konkrétně netradiční techniku leptání mřížek zvanou slant etch.

"Mřížka je nanostruktura, která spojuje a odpojuje světlo z čočky," vysvětluje Calafiore. "A aby karbid křemíku fungoval, musí být mřížka šikmo leptaná. Namísto svislého leptání je třeba, aby linie mřížky byly šikmé."

"Jako první jsme provedli šikmé leptání přímo na zařízeních," říká vedoucí výzkumu Nihar Mohanty. "Celé odvětví se dříve spoléhalo na nanootisk, který u substrátů s tak vysokým indexem lomu nefunguje. Proto nikoho jiného na světě nenapadlo dělat to na karbidu křemíku."

Protože je však šikmé leptání nezralou technologií, většina dodavatelů polovodičových čipů a továren nemá potřebné nástroje.

"V roce 2019 jsme s mým tehdejším manažerem Mattem Colburnem založili vlastní zařízení, protože na světě neexistovalo nic, co by dokázalo vyrábět leptané vlnovody z karbidu křemíku a kde bychom mohli tuto technologii vyzkoušet nad rámec laboratorního měřítka," vysvětluje Mohanty. "Byla to obrovská investice a my jsme tam vytvořili celý provoz. Nástroje pro nás vyrobili naši partneři na zakázku a proces byl vyvinut přímo v Metě, i když naše systémy jsou výzkumné, protože tam nebyly žádné systémy pro výrobu. Spolupracovali jsme s výrobním partnerem na vývoji nástrojů a procesů pro šikmé leptání na výrobní úrovni. A nyní, když jsme ukázali, co je s karbidem křemíku možné, chceme, aby i ostatní v oboru začali vyrábět vlastní nástroje."

Čím více společností bude investovat do karbidu křemíku optické kvality a vyvíjet zařízení, tím silnější bude kategorie spotřebitelských brýlí rozšířené reality.

Už se nehoníme za duhou

Zatímco technologická nevyhnutelnost je mýtus, zdá se, že hvězdy se rozhodně staví ve prospěch karbidu křemíku. A přestože tým pokračuje ve zkoumání alternativ, je cítit, že se ve správný čas a za správných tržních podmínek sešli ti správní lidé, aby vytvořili brýle rozšířené reality z tohoto materiálu.

"Společnost Orion dokázala, že karbid křemíku je pro brýle rozšířené reality životaschopnou variantou," říká Silverstein, "a my nyní pozorujeme zájem napříč dodavatelským řetězcem na třech různých kontinentech, kde se o tuto příležitost intenzivně zajímají. Karbid křemíku se dostane na vrchol. Podle mě je to jen otázka času."

A za tu dobu se toho může stát hodně - podobně jako se obrátily karty od doby, kdy jsme vypěstovali první krystaly čirého karbidu křemíku.

"Všichni tito výrobci karbidu křemíku v reakci na očekávaný boom elektrických vozidel masivně zvýšili dodávky," poznamenává Calafiore. "Nyní je zde nadbytek kapacit, který v době, kdy jsme stavěli Orion, neexistoval. Protože je nyní nabídka vysoká a poptávka nízká, cena substrátu začala klesat."

"Dodavatelé jsou velmi nadšeni novou příležitostí vyrábět optický karbid křemíku - vždyť každá vlnovodná čočka představuje velké množství materiálu v porovnání s elektronickým čipem a všechny jejich stávající schopnosti se vztahují na tento nový prostor," dodává Silverstein. "Naplnění továrny je zásadní a rozšíření továrny je snem. Záleží také na velikosti destičky: Čím větší je wafer, tím nižší jsou náklady, ale také se zvyšuje složitost procesu. Přesto jsme viděli, že dodavatelé přecházejí od čtyřpalcových k osmipalcovým destičkám, a někteří pracují na předstupních k dvanáctipalcovým destičkám, což by přineslo exponenciálně více párů brýlí pro rozšířenou realitu."

Tyto pokroky by měly přispět k dalšímu snižování nákladů. Zatím je ještě brzy, ale budoucnost se rýsuje.

"Na začátku každé nové technologické revoluce se zkouší spousta věcí," říká Calafiore. "Podívejte se na televizi: Začali jsme s katodovými trubicemi, pak jsme přešli k plazmovým televizorům s LED diodami a nyní k mikroLED diodám. Prošli jsme několika různými technologiemi a architekturami. Když hledáte cestu, spousta cest nikam nevede, ale k některým se stále vracíte jako k těm nejslibnějším. Nejsme na konci cesty a sami to nezvládneme, ale karbid křemíku je zázračný materiál, do kterého se vyplatí investovat."

"Svět se probudil," dodává Silverstein. "Úspěšně jsme ukázali, že karbid křemíku může být flexibilní v elektronice a fotonice. Je to materiál, který by mohl mít v budoucnu uplatnění v kvantové výpočetní technice. A vidíme známky toho, že je možné výrazně snížit náklady. Zbývá ještě hodně práce, ale potenciál je zde obrovský."

---

Další informace o karbidu křemíku v Photonics Spectra.

Další informace o společnosti Orion najdete v těchto příspěvcích na blogu:

• Od nuly k jedné: Jak náš vlastní křemík a čipy přinášejí revoluci do rozšířené reality
• Orion's Compute Puck: Příběh zařízení, které nám pomohlo vytvořit brýle pro rozšířenou realitu

TL;DR:

• Dnes v Připojení, Mark Zuckerberg představil Orion - naše první brýle s rozšířenou realitou, které měly dříve kódové označení. Projekt Nazare.
• S nejlepším zorným polem v oboru, čočky z karbidu křemíku, složitých vlnovodů, uLED projektorů a dalších, je Orion naším dosud nejpokročilejším a nejpropracovanějším prototypem produktu.
• Nyní pokračujeme v optimalizaci produktů a snižování nákladů, protože se snažíme vytvořit škálovatelné spotřebitelské zařízení, které způsobí revoluci ve způsobu, jakým lidé komunikují se světem.

---

"Vyrábíme brýle rozšířené reality."

Pět jednoduchých slov, řečeno před pěti lety. Spolu s nimi jsme vyvěsili vlajku naší vize budoucnosti, ve které už nebudeme muset dělat falešnou volbu mezi světem informací na dosah ruky a fyzickým světem kolem nás.

A nyní, o pět let později, dalších pět slov, která mohou opět změnit pravidla hry:

Vytvořili jsme brýle rozšířené reality.

https://youtube.com/watch?v=2CJsnyS8u3c%3Fsi%3DTr77gOKEq3PnA7-k%26controls%3D0%3Fautoplay%3D0%26color%3Dwhite%26cc_lang_pref%3Den%26cc_load_policy%3D0%26enablejsapi%3D1%26frameborder%3D0%26hl%3Den%26rel%3D0%26origin%3Dhttps%253A%252F%252Fwww.meta.com

Naše poslání ve společnosti Meta je jednoduché: dát lidem sílu budovat komunitu a sbližovat svět. A v Reality Labs vytváříme nástroje, které lidem pomáhají cítit se ve spojení kdykoli a kdekoli. Proto pracujeme na vytvoření další počítačové platformy, která postaví lidi do centra pozornosti, aby mohli být ve světě více přítomni, propojeni a posíleni.

Brýle Ray-Ban Meta ukázaly, jakou sílu má možnost poskytnout lidem volný přístup ke klíčovým částem jejich digitálního života z jejich fyzického života. Můžeme mluvit s chytrým asistentem s umělou inteligencí, spojit se s přáteli a zachytit důležité okamžiky - to vše, aniž bychom museli vytáhnout telefon. Tyto stylové brýle bez problémů zapadají do našeho každodenního života a lidé si je naprosto zamilovali.

Zatímco společnost Ray-Ban Meta otevřela zcela novou kategorii brýlí bez displeje s umělou inteligencí, odvětví XR již dlouho sní o skutečných brýlích s rozšířenou realitou - produktu, který kombinuje výhody velkého holografického displeje a personalizované asistence umělé inteligence v pohodlném, stylovém a celodenně nositelném provedení.

A dnes jsme tento sen posunuli blíže k realitě, když jsme představili Orion, které považujeme za nejpokročilejší brýle rozšířené reality, jaké kdy byly vyrobeny. Ve skutečnosti by se mohlo jednat o nejnáročnější zařízení spotřební elektroniky vyrobené od dob chytrého telefonu. Orion je výsledkem průlomových vynálezů prakticky ve všech oblastech moderní výpočetní techniky - staví na bázi práce, kterou v Reality Labs děláme už deset let.. Je vybaven zcela novými technologiemi, včetně nejpokročilejšího displeje pro rozšířenou realitu, který byl kdy sestaven, a zakázkový křemík která umožňuje provozovat výkonné zážitky rozšířené reality na brýlích s využitím zlomku výkonu a hmotnosti náhlavní soupravy pro magnetickou rezonanci.

Vstupní systém Orion plynule kombinuje hlas, pohled očí a sledování rukou s EMG náramek která vám umožní posouvat, klikat a rolovat, zatímco máte ruku pohodlně položenou vedle sebe, a zůstat tak přítomni ve světě a s lidmi kolem sebe při interakci s bohatým digitálním obsahem.

Počínaje dnešním dnem na konferenci Connect a pokračujíc v průběhu celého roku zpřístupňujeme prototyp produktu Orion zaměstnancům společnosti Meta a vybraným externím zájemcům, aby se náš vývojový tým mohl učit, vylepšovat a budovat naši produktovou řadu brýlí pro rozšířenou realitu pro spotřebitele, kterou plánujeme začít dodávat v blízké budoucnosti.

Proč brýle rozšířené reality?

Existují tři hlavní důvody, proč jsou brýle pro rozšířenou realitu klíčem k odemknutí dalšího velkého skoku v oblasti počítačů orientovaných na člověka.

1. Umožňují digitální zážitky, které nejsou omezeny hranicemi obrazovky chytrého telefonu. Díky velkým holografickým displejům můžete používat fyzický svět jako plátno a umístit 2D a 3D obsah a zážitky kamkoli chcete.
2. Bez problémů integrují kontextovou umělou inteligenci, která dokáže vnímat a chápat svět kolem vás, aby předvídala a proaktivně řešila vaše potřeby.
3. Jsou lehké a skvěle se hodí pro vnitřní i venkovní použití - a umožňují lidem vidět si navzájem skutečnou tvář, skutečné oči a skutečné výrazy.

To je severní hvězda, ke které naše odvětví směřuje: produkt kombinující pohodlí a bezprostřednost nositelných zařízení s velkým displejem, širokopásmovým vstupem a kontextualizovanou umělou inteligencí v podobě, kterou lidé pohodlně nosí v každodenním životě.

Kompaktní formát, složité výzvy

Po léta jsme stáli před falešnou volbou - buď náhlavní soupravy pro virtuální a smíšenou realitu, které umožňují hluboké a pohlcující zážitky v objemném provedení, nebo brýle, které jsou ideální pro celodenní používání, ale nenabízejí bohaté vizuální aplikace a zážitky, protože nemají velký displej a odpovídající výpočetní výkon.

Chceme ale všechno a bez kompromisů. Již několik let usilovně pracujeme na tom, abychom do lehkých a stylových brýlí vložili neuvěřitelné prostorové zážitky, které poskytují náhlavní soupravy VR a MR, a miniaturizovali technologii potřebnou k jejich zprostředkování. Vyladění tvaru, holografických displejů, vývoj přesvědčivých zážitků s rozšířenou realitou a vytvoření nových paradigmat interakce člověka s počítačem (HCI) - a to vše v jednom uceleném produktu - je jednou z nejtěžších výzev, které kdy naše odvětví čelilo. Byla to taková výzva, že jsme si mysleli, že máme méně než desetiprocentní šanci ji úspěšně zvládnout.

Až dosud.

Přelomový displej v bezkonkurenčním provedení

S úhlem záběru přibližně 70 stupňů má Orion dosud největší zorné pole v nejmenším provedení brýlí AR. Toto zorné pole umožňuje skutečně pohlcující případy použití brýlí Orion, od multitaskingových oken a zábavy na velké obrazovce až po hologramy lidí v životní velikosti - veškerý digitální obsah se může plynule prolínat s vaším pohledem na fyzický svět.

Pro Orion bylo zorné pole naším svatým grálem. Naráželi jsme na fyzikální zákony a museli jsme ohýbat světelné paprsky způsobem, který není přirozený - a museli jsme to udělat ve výkonové obálce měřené v miliwattech.

Místo skla, čočky jsme vyrobili z karbidu křemíku.-nová aplikace pro brýle rozšířené reality. Karbid křemíku je neuvěřitelně lehký, nevznikají v něm optické artefakty ani rozptýlené světlo a má vysoký index lomu - všechny tyto optické vlastnosti jsou klíčové pro velké zorné pole. Samotné vlnovody mají opravdu složité a komplexní 3D struktury v nano měřítku, které rozptylují nebo rozptylují světlo způsobem nezbytným pro dosažení tohoto zorného pole. A projektory jsou uLED - nový typ zobrazovací technologie, která je velmi malá a extrémně energeticky účinná.

Orion jsou vzhledově i na dotek nezaměnitelné brýle s průhlednými skly. Na rozdíl od náhlavních souprav pro magnetickou rezonanci nebo jiných dnešních brýlí pro rozšířenou realitu stále vidíte skutečné oči a výrazy druhých, takže můžete být přítomni a sdílet zážitek s lidmi kolem sebe. Bylo zapotřebí desítek inovací, aby se průmyslový design dostal do podoby moderních brýlí, které budete pohodlně nosit každý den. Orion je výdobytkem miniaturizace - komponenty jsou zabaleny do zlomku milimetru. A do obrouček se nám podařilo zabudovat sedm malých kamer a senzorů.

Museli jsme zachovat optickou přesnost na tloušťce jedné desetiny lidského vlasu. Systém dokáže detekovat nepatrné pohyby, jako je rozpínání nebo smršťování rámečků při různých teplotách v místnosti, a následně digitálně korigovat potřebné optické vyrovnání, a to vše v řádu milisekund. Rámy jsme vyrobili z hořčíku - stejného materiálu, který se používá v závodních vozech F1 a vesmírných lodích - protože je lehký a zároveň tuhý, takže udržuje optické prvky v jedné rovině a účinně odvádí teplo.

Vytápění a chlazení

Jakmile jsme rozlouskli displej (bez slovní hříčky) a překonali problémy s fyzikou, museli jsme se vypořádat s výzvou opravdu výkonných počítačů a zároveň s opravdu nízkou spotřebou energie a potřebou odvádět teplo. Na rozdíl od dnešních náhlavních souprav pro magnetickou rezonanci nemůžete do brýlí nacpat ventilátor. Takže jsme museli být kreativní. Mnoho materiálů použitých k chlazení Orionu je podobných těm, které NASA používá k chlazení satelitů ve vesmíru.

Postavili jsme vysoce specializovaný křemík na zakázku který je extrémně úsporný a optimalizovaný pro naše algoritmy umělé inteligence, strojového vnímání a grafiky. Vytvořili jsme několik vlastních čipů a desítky vysoce přizpůsobených křemíkových IP bloků uvnitř těchto čipů. To nám umožňuje použít algoritmy potřebné pro sledování rukou a očí a technologii simultánní lokalizace a mapování (SLAM), která běžně spotřebovává stovky miliwattů energie - a generuje tak odpovídající množství tepla - a zmenšit ji na pouhých několik desítek miliwattů.

A ano, navzdory tomu, co jste se mohli dočíst jinde, vlastní křemík hraje ve společnosti Reality Labs při vývoji produktů i nadále zásadní roli. 😎

EMG bez námahy

Každá nová počítačová platforma s sebou přináší změna paradigmatu ve způsobu, jakým komunikujeme se svými zařízeními. Vynález myši pomohl připravit půdu pro grafická uživatelská rozhraní (GUI), která dnes dominují našemu světu, a chytré telefony se začaly skutečně prosazovat až s příchodem dotykového displeje. A stejné pravidlo platí i pro nositelná zařízení.

Mluvili jsme o naší práci s elektromyografie nebo EMG, již několik let vedeni přesvědčením, že zadávání dat do brýlí rozšířené reality musí být rychlé, pohodlné, spolehlivé, jemné a společensky přijatelné. A nyní je tato práce připravena pro hlavní vysílací čas.

Vstupní a interakční systém Orion hladce kombinuje hlas, pohled očí a sledování ruky s EMG náramkem, který umožňuje snadné posouvání, klikání a rolování.

Funguje to - a působí to jako kouzlo. Představte si, že při ranním běhu pořídíte fotografii pouhým klepnutím prstu nebo že se v menu pohybujete sotva znatelnými pohyby rukou. Náš náramek kombinuje vysoce výkonný textil se zabudovanými EMG senzory, které detekují elektrické signály generované i těmi nejmenšími pohyby svalů. ML procesor v zařízení pak tyto EMG signály interpretuje a vytváří vstupní události, které jsou bezdrátově přenášeny do brýlí. Systém se vám přizpůsobuje, takže se postupem času zlepšuje a lépe rozpoznává i ta nejjemnější gesta. A dnes se s vámi podělíme o další informace o naší podpoře externího výzkumu zaměřeného na rozšíření potenciálu rovnosti a dostupnosti EMG náramků..

Seznamte se s bezdrátovým výpočetním modulem Puck

Skutečné brýle rozšířené reality musí být bezdrátové a také malé.Tak jsme postavili bezdrátový výpočetní puk pro Orion. Odlehčuje část zátěže brýlí, což umožňuje delší výdrž baterie a lepší provedení s nízkou latencí.

Na brýlích běží všechny algoritmy pro sledování rukou, očí, SLAM a specializované grafické algoritmy pro uzamčení světa AR, zatímco logika aplikace běží na puku, aby byly brýle co nejlehčí a nejkompaktnější.

Puk má dva procesory, z nichž jeden byl navržen na zakázku přímo ve společnosti Meta, a poskytuje výpočetní výkon potřebný pro vykreslování grafiky s nízkou latencí, umělou inteligenci a další strojové vnímání.

Jelikož je malý a elegantní, můžete si ho pohodlně hodit do tašky nebo do kapsy a jít si po svých - bez jakýchkoli závazků.

Zkušenosti s rozšířenou realitou

Samozřejmě, stejně jako u jakéhokoli jiného hardwaru platí, že je tak dobrý, jak dobré jsou věci, které můžete použít. do s ním. A přestože je na to ještě brzy, zkušenosti, které Orion nabízí, jsou vzrušujícím zábleskem toho, co přijde.

https://youtube.com/watch?v=HkdSv3QPhNw%3F%26controls%3D0%3Fautoplay%3D0%26color%3Dwhite%26cc_lang_pref%3Den%26cc_load_policy%3D0%26enablejsapi%3D1%26frameborder%3D0%26hl%3Den%26rel%3D0%26origin%3Dhttps%253A%252F%252Fwww.meta.com

Máme svého chytrého asistenta, Meta AI, spuštěný v systému Orion. Rozumí tomu, na co se díváte ve fyzickém světě, a může vám pomoci s užitečnými vizualizacemi. Orion využívá stejný model Llama, který dnes pohání zkušenosti s umělou inteligencí běžící na chytrých brýlích Ray-Ban Meta, a navíc vlastní výzkumné modely, které demonstrují potenciální případy použití pro budoucí vývoj nositelných zařízení.

Na cestách můžete uskutečnit videohovor handsfree, abyste se v reálném čase setkali s přáteli a rodinou, a můžete zůstat ve spojení v aplikacích WhatsApp a Messenger a prohlížet a posílat zprávy. Nemusíte vytahovat telefon, odemykat ho, hledat správnou aplikaci a oznamovat kamarádovi, že máte zpoždění na večeři - to vše můžete udělat přes brýle.

https://youtube.com/watch?v=el7lUVvu8Bo%3F%26controls%3D0%3Fautoplay%3D0%26color%3Dwhite%26cc_lang_pref%3Den%26cc_load_policy%3D0%26enablejsapi%3D1%26frameborder%3D0%26hl%3Den%26rel%3D0%26origin%3Dhttps%253A%252F%252Fwww.meta.com

Sdílené hry rozšířené reality můžete hrát s rodinou na druhém konci země nebo s kamarádem na druhé straně gauče. A velký displej Orionu vám umožní multitasking s více okny, abyste mohli dělat různé věci, aniž byste s sebou museli tahat notebook.

Zkušenosti, které jsou dnes k dispozici na Orionu, pomohou v budoucnu nastínit plán pro naši řadu brýlí pro rozšířenou realitu pro spotřebitele. Naše týmy budou spolu s partnery z řad vývojářů pokračovat v iteracích a vytváření nových pohlcujících sociálních zážitků a my se nemůžeme dočkat, až se s vámi podělíme o to, co přijde příště.

Účelný prototyp výrobku

I když se Orion nedostane do rukou spotřebitelů, nenechte se mýlit: Tohle je ne výzkumný prototyp. Je to nejpropracovanější prototyp produktu, jaký jsme kdy vytvořili - a je to skutečně reprezentativní vzorek něčeho. mohl dodávat spotřebitelům. Než abychom spěchali s uvedením na pulty, rozhodli jsme se nejprve zaměřit na interní vývoj, což znamená, že můžeme pokračovat v rychlém budování a nadále posouvat hranice technologie a zážitků.

A to znamená, že rychleji dosáhneme ještě lepšího spotřebitelského produktu.

Co bude následovat

Dvě hlavní překážky dlouho stály v cestě brýlím pro rozšířenou realitu pro běžné spotřebitele: technologický průlom nutný k dosažení velkého displeje v kompaktním provedení brýlí a nutnost užitečných a přesvědčivých zážitků s rozšířenou realitou, které by bylo možné na těchto brýlích spustit. Orion je obrovským milníkem, který poprvé přináší skutečné zážitky z rozšířené reality běžící na přiměřeně stylovém hardwaru.

Teď, když jsme se o Orion podělili se světem, jsme se zaměřili na několik věcí:

• Vyladění kvality zobrazení rozšířené reality, aby byl obraz ještě ostřejší.
• Optimalizace všude, kde to jde, aby se tvar ještě zmenšil.
• Budování ve velkém měřítku, aby byly cenově dostupnější

V příštích několika letech můžete očekávat nová zařízení, která budou vycházet z našeho výzkumu a vývoje. A řada inovací společnosti Orion byla rozšířena na naše současné spotřebitelské produkty i na náš plán budoucích produktů. Optimalizovali jsme některé z našich algoritmů prostorového vnímání, které běží na obou zařízeních. Meta Quest 3S a Orion. Systém pohledu očí a jemných gest byl původně navržen pro Orion, ale plánujeme jej použít i v budoucích produktech. A zkoumáme možnosti využití EMG náramků i v budoucích spotřebitelských produktech.

Orion není jen oknem do budoucnosti - je to pohled na velmi reálné možnosti, které jsou dnes na dosah. Vytvořili jsme jej v rámci naší snahy o to, co umíme nejlépe: pomáhat lidem spojovat se. Od brýlí Ray-Ban Meta až po Orion jsme viděli, co dobrého může přinést, když lidem umožníme zůstat více přítomní a posílit jejich postavení ve fyzickém světě, a to i při využití veškerého dalšího bohatství, které nabízí digitální svět.

Věříme, že byste si neměli vybírat mezi těmito dvěma možnostmi. A s příští výpočetní platformou už nebudete muset.

---

Další informace o společnosti Orion najdete v těchto příspěvcích na blogu:

• Orion's Compute Puck: Příběh zařízení, které nám pomohlo vytvořit brýle pro rozšířenou realitu
• Od nuly k jedné: Jak náš vlastní křemík a čipy přinášejí revoluci do rozšířené reality
• Křišťálově čisté: naše vlnovody z karbidu křemíku a cesta k velkému zornému poli Orionu

Minulý rok jsme na veletrhu Connect představili Orion-naše první skutečné brýle s rozšířenou realitou. Vyvrcholení naši práci v Reality Labs za posledních deset let.Orion kombinuje výhody velkého holografického displeje a personalizované asistence AI v pohodlném, celodenně nositelném provedení. Pozornost si získal díky svému špičkovému zornému poli, vlnovodům z karbidu křemíku, projektorům uLED a dalším vlastnostem. Dnes však obracíme pozornost k neopěvovanému hrdinovi Orionu: výpočetnímu puku.

Puk je navržen tak, aby se snadno vešel do kapsy nebo tašky, takže si jej můžete vzít s sebou kamkoli, když jdete po svých, a přenáší výpočetní výkon Orionu na logiku aplikací a umožňuje atraktivnější a menší tvar brýlí. K brýlím a náramku EMG se připojuje bezdrátově, aby bylo dosaženo bezproblémového zážitku.

Nastavit a zapomenout, že?

Ale příběh puku - dokonce i jako prototypu - je zajímavý a má dramatický oblouk, který byste z jeho vzhledu nikdy neuhodli.

"Když stavíte něco takového, začínáte se dostávat na hranice fyziky," vysvětluje ředitel produktového managementu Rahul Prasad. "Za posledních 50 let se díky Moorovu zákonu vše zmenšilo, zrychlilo a snížila se spotřeba. Problém je, že nyní začínáte narážet na limity, kolik tepla můžete odvést, kolik baterie můžete stlačit a kolik výkonu antény můžete vměstnat do objektu určité velikosti."

Ačkoli zpětný pohled může být 20/20, potenciál puku nebyl zřejmý okamžitě. Když jste první, kdo něco staví, musíte prozkoumat všechny možnosti - a nenechat kámen na kameni. Jak postavit něco, co by někteří mohli považovat za nežádoucí doplněk, a ne za důležitou součást balení?

"Věděli jsme, že puk je další zařízení, které po lidech chceme, aby nosili s sebou," poznamenává Jared Van Cleave, manažer produktového designu, "a tak jsme zkoumali, jak tuto chybu proměnit ve funkci."

Tento přístup se nakonec vyplatil, protože puk vtěsnal do malých rozměrů velké množství výpočetní techniky (a ještě více křemíku navrženého společností Meta na míru pro umělou inteligenci a strojové vnímání). To pomohlo Orionu přejít z říše sci-fi do reality.

"Kdybyste neměli puk, nemohli byste mít zážitky, které Orion ve své podobě nabízí," říká Prasad. "Dobrý zážitek z rozšířené reality vyžaduje opravdu vysoký výkon: vysoké snímkové frekvence, extrémně nízkou latenci, jemnou správu bezdrátových sítí a napájení atd. Puk a brýle musí být navrženy tak, aby spolu opravdu úzce spolupracovaly, a to nejen na úrovni aplikací, ale také na úrovni operačního systému, firmwaru a hardwaru. A i kdyby se podařilo navrhnout smartphone tak, aby spolupracoval s brýlemi pro rozšířenou realitu, náročné požadavky na výkon by vyčerpaly baterii telefonu a odčerpaly by výpočetní kapacitu z případů použití telefonu. Na druhou stranu má puk vlastní vysokokapacitní baterii, vysoce výkonný SoC a vlastní koprocesor AI navržený společností Meta a optimalizovaný pro Orion."

Puk samozřejmě nebyl navržen ze dne na den. Vyžadoval roky opakované práce.

"Nevěděli jsme, jak by lidé chtěli s Orionem pracovat z hlediska vstupů - neměli jsme nic, co bychom mohli na trhu navrhnout," říká produktový manažer Matt Resman. "Když se podíváte na naše první prototypy brýlí, byly to masivní náhlavní soupravy, které vážily tři nebo čtyři kila. A když se snažíte vytvořit produkt, je opravdu těžké pochopit uživatelskou zkušenost, pokud nemáte správnou formu. S pukem jsme byli schopni velmi rychle vytvořit prototyp a začít chápat, jak jej lidé budou používat."

Puk s kódovým označením Omega byl původně zamýšlen tehdejší společností Oculus Research jako pásek ve tvaru Ω, který by se obepínal kolem krku uživatele a byl pevně spojen s brýlemi...

... dokud jim některé nové inovace týmu Reality Labs pro bezdrátové připojení neumožnily mimo jiné přerušit kabel. To umožnilo vytvořit kapesní nebo kapesní / brašnový formát, který otevřel mnoho možností.

"V té době bylo volání v rozšířené realitě stále ještě hlavním případem použití," vysvětluje Van Cleave. "Puk byl místem, kde se ukotvovala holografická videa. Položili byste ho na stůl, lavička se senzory by byla otočená směrem k vám, zobrazovala by vás a z povrchu puku by se promítalo, s kým mluvíte, abyste mohli volat."

"Orion je o propojování lidí a sbližování," říká Resman. "Jedním z původních konceptů puku bylo pomoci vytvořit pocit přítomnosti s ostatními lidmi a umožnit tuto bohatší formu komunikace."

"Je to něco jiného, než co jste kdy viděli - zařízení má potenciál vytvářet opravdu zábavné a jedinečné interakce," dodává průmyslový designér Emron Henry. "Uživatelský zážitek působí trochu jako vypuštění džina z láhve, kdy se hologramy plynule vynořují ze zařízení a zase se v něm rozpouštějí."

Jak už asi tušíte, v puku se skrývá větší potenciál, než jaký se nakonec objevil jako funkce. Kromě senzorů a kamer, které by byly použity pro volání AR, má puk haptické senzory a senzory 6DOF, které by mohly umožnit jeho použití jako sledovaného ovladače pro výběr a manipulaci s virtuálními objekty a hraní AR her. Tým také zkoumal kapacitní a silový dotykový vstup, takže puk by mohl sloužit jako gamepad při držení na výšku i na šířku.

"Mluvili jsme o tom, že je potřeba mít u sebe něco navíc," říká Van Cleave. "Jak to uděláme, aby to bylo užitečnější? Byl kolem toho celý pracovní proud. A v jednu chvíli se objevila hypotéza, že hraní rozšířené reality bude tím nejzajímavějším případem použití."

Již na začátku jsme věděli, že musíme prozkoumat možnosti, které puk nedokáže využít v telefonech. Nakonec jsme se zaměřili na používání pohledu očí, EMG a sledování rukou pro hry rozšířené reality, jako je Stargazer a Pong, ale v počátcích Orionu jsme vytvořili prototypy různých dem a her, které puk používaly jako ovladač.

0:00 / 0:00

0:00 / 0:00

0:00 / 0:00

Renderované zkoumání puku jako ovladače 6DOF pro hry rozšířené reality, jako je Pong.

"Protože se nejedná o telefon, měli jsme velkou volnost při navrhování," dodává Prasad. "Může být tlustší, mohu ho udělat zaoblenější, aby se pohodlně držel v ruce jako ovladač. Je docela neuvěřitelné, že puk je ve skutečnosti menší než průměrný telefon, ale je výkonnější než telefon, protože má koprocesor navržený společností Meta pro umělou inteligenci a strojové vnímání."

Tým se zabýval otázkou, jak se může kvalitní hra pro rozšířenou realitu lišit od hry pro MR nebo konzole. To znamenalo prozkoumat různé možnosti herního ovladače AR, včetně joysticků, fyzického rozložení tlačítek, spouštěcích tlačítek a dalších.

"Nic z toho jsme nakonec nepostavili," poznamenává Van Cleave. "Vytvořili jsme prototypy, ale nikdy jsme se nepustili do kompletní stavby. Chtěli jsme, aby to bylo jednoduché. Chtěli jsme udělat tato měkká rozhraní, ale nedělat fyzická, mechanická tlačítka."

A přestože senzory a haptika nebyly v prototypu hotového produktu zapnuty, během vývoje plnily svou nedílnou funkci a umožňovaly týmům nahlásit chyby jednoduchým několikerým poklepáním na horní část zařízení.

S tím, jak se umělá inteligence začala dostávat do popředí jako klíčový případ použití, se výpočetní technika dostávala do stále většího popředí. Nakonec je puk domovem bezdrátové konektivity, výpočetního výkonu a kapacity baterie Orionu - což je samo o sobě obrovský technický výkon - a to vše pomáhá snížit hmotnost a tvarový faktor brýlí, přičemž díky své ploše odvádí mnohem více tepla.

Po celou dobu vývoje zůstává jedna věc stejná: puk v sobě skrývá víc, než se na první pohled zdá. Přijetí netradičních nápadů umožnilo našim týmům zkoumat, posouvat hranice a budovat budoucnost.

"Definujeme kategorii, která ještě neexistuje," poznamenává Henry. "Jak se dá u výzkumu a vývoje očekávat, na cestě jsme měli začátky a zastávky. Jak budou uživatelé očekávat interakci s hologramy? Budou raději používat dálkový ovladač AR, nebo jim k zadávání údajů postačí sledování rukou, pohled očí a EMG? Co je intuitivní, málo třecí, známé a užitečné?"

"Místo toho, abychom se na puk dívali jako na pouhý kámen, jsme si položili otázku, co dalšího bychom mohli nabídnout, abychom jej ještě více odlišili od telefonů a zdůvodnili, proč byste jej měli chtít nosit u sebe," přiznává Resman. "Nabízí jeho hrubý výpočetní výkon a praktický design - který pomohl odemknout tvar brýlí, které můžete reálně nosit celý den - nakonec dostatečnou hodnotu? Naším úkolem je pomoci na tyto otázky odpovědět."

"Na začátku jsme se zaměřili na to, co můžeme udělat, co telefon neumí," dodává Van Cleave. "Telefony musí mít obrazovku, musí mít určité fyzické rozložení tlačítek, které uživatelé očekávají. A my tato omezení nemáme. Náš výpočetní puk může být, jaký chceme."

---

Další informace o společnosti Orion najdete v těchto příspěvcích na blogu:

• Křišťálově čisté: naše vlnovody z karbidu křemíku a cesta k velkému zornému poli Orionu
• Od nuly k jedné: Jak náš vlastní křemík a čipy přinášejí revoluci do rozšířené reality

TL;DR:

• Dnes v Připojení, Mark Zuckerberg představil Orion - naše první brýle s rozšířenou realitou, které měly dříve kódové označení. Projekt Nazare.
• S nejlepším zorným polem v oboru, čočky z karbidu křemíku, složitých vlnovodů, uLED projektorů a dalších, je Orion naším dosud nejpokročilejším a nejpropracovanějším prototypem produktu.
• Nyní pokračujeme v optimalizaci produktů a snižování nákladů, protože se snažíme vytvořit škálovatelné spotřebitelské zařízení, které způsobí revoluci ve způsobu, jakým lidé komunikují se světem.

---

"Vyrábíme brýle rozšířené reality."

Pět jednoduchých slov, řečeno před pěti lety. Spolu s nimi jsme vyvěsili vlajku naší vize budoucnosti, ve které už nebudeme muset dělat falešnou volbu mezi světem informací na dosah ruky a fyzickým světem kolem nás.

A nyní, o pět let později, dalších pět slov, která mohou opět změnit pravidla hry:

Vytvořili jsme brýle rozšířené reality.

https://youtube.com/watch?v=2CJsnyS8u3c%3Fsi%3DTr77gOKEq3PnA7-k%26controls%3D0%3Fautoplay%3D0%26color%3Dwhite%26cc_lang_pref%3Den%26cc_load_policy%3D0%26enablejsapi%3D1%26frameborder%3D0%26hl%3Den%26rel%3D0%26origin%3Dhttps%253A%252F%252Fwww.meta.com

Naše poslání ve společnosti Meta je jednoduché: dát lidem sílu budovat komunitu a sbližovat svět. A v Reality Labs vytváříme nástroje, které lidem pomáhají cítit se ve spojení kdykoli a kdekoli. Proto pracujeme na vytvoření další počítačové platformy, která postaví lidi do centra pozornosti, aby mohli být ve světě více přítomni, propojeni a posíleni.

Brýle Ray-Ban Meta ukázaly, jakou sílu má možnost poskytnout lidem volný přístup ke klíčovým částem jejich digitálního života z jejich fyzického života. Můžeme mluvit s chytrým asistentem s umělou inteligencí, spojit se s přáteli a zachytit důležité okamžiky - to vše, aniž bychom museli vytáhnout telefon. Tyto stylové brýle bez problémů zapadají do našeho každodenního života a lidé si je naprosto zamilovali.

Zatímco společnost Ray-Ban Meta otevřela zcela novou kategorii brýlí bez displeje s umělou inteligencí, odvětví XR již dlouho sní o skutečných brýlích s rozšířenou realitou - produktu, který kombinuje výhody velkého holografického displeje a personalizované asistence umělé inteligence v pohodlném, stylovém a celodenně nositelném provedení.

A dnes jsme tento sen posunuli blíže k realitě, když jsme představili Orion, které považujeme za nejpokročilejší brýle rozšířené reality, jaké kdy byly vyrobeny. Ve skutečnosti by se mohlo jednat o nejnáročnější zařízení spotřební elektroniky vyrobené od dob chytrého telefonu. Orion je výsledkem průlomových vynálezů prakticky ve všech oblastech moderní výpočetní techniky - staví na bázi práce, kterou v Reality Labs děláme už deset let.. Je vybaven zcela novými technologiemi, včetně nejpokročilejšího displeje pro rozšířenou realitu, který byl kdy sestaven, a zakázkový křemík která umožňuje provozovat výkonné zážitky rozšířené reality na brýlích s využitím zlomku výkonu a hmotnosti náhlavní soupravy pro magnetickou rezonanci.

Vstupní systém Orion plynule kombinuje hlas, pohled očí a sledování rukou s EMG náramek která vám umožní posouvat, klikat a rolovat, zatímco máte ruku pohodlně položenou vedle sebe, a zůstat tak přítomni ve světě a s lidmi kolem sebe při interakci s bohatým digitálním obsahem.

Počínaje dnešním dnem na konferenci Connect a pokračujíc v průběhu celého roku zpřístupňujeme prototyp produktu Orion zaměstnancům společnosti Meta a vybraným externím zájemcům, aby se náš vývojový tým mohl učit, vylepšovat a budovat naši produktovou řadu brýlí pro rozšířenou realitu pro spotřebitele, kterou plánujeme začít dodávat v blízké budoucnosti.

Proč brýle rozšířené reality?

Existují tři hlavní důvody, proč jsou brýle pro rozšířenou realitu klíčem k odemknutí dalšího velkého skoku v oblasti počítačů orientovaných na člověka.

1. Umožňují digitální zážitky, které nejsou omezeny hranicemi obrazovky chytrého telefonu. Díky velkým holografickým displejům můžete používat fyzický svět jako plátno a umístit 2D a 3D obsah a zážitky kamkoli chcete.
2. Bez problémů integrují kontextovou umělou inteligenci, která dokáže vnímat a chápat svět kolem vás, aby předvídala a proaktivně řešila vaše potřeby.
3. Jsou lehké a skvěle se hodí pro vnitřní i venkovní použití - a umožňují lidem vidět si navzájem skutečnou tvář, skutečné oči a skutečné výrazy.

To je severní hvězda, ke které naše odvětví směřuje: produkt kombinující pohodlí a bezprostřednost nositelných zařízení s velkým displejem, širokopásmovým vstupem a kontextualizovanou umělou inteligencí v podobě, kterou lidé pohodlně nosí v každodenním životě.

Kompaktní formát, složité výzvy

Po léta jsme stáli před falešnou volbou - buď náhlavní soupravy pro virtuální a smíšenou realitu, které umožňují hluboké a pohlcující zážitky v objemném provedení, nebo brýle, které jsou ideální pro celodenní používání, ale nenabízejí bohaté vizuální aplikace a zážitky, protože nemají velký displej a odpovídající výpočetní výkon.

Chceme ale všechno a bez kompromisů. Již několik let usilovně pracujeme na tom, abychom do lehkých a stylových brýlí vložili neuvěřitelné prostorové zážitky, které poskytují náhlavní soupravy VR a MR, a miniaturizovali technologii potřebnou k jejich zprostředkování. Vyladění tvaru, holografických displejů, vývoj přesvědčivých zážitků s rozšířenou realitou a vytvoření nových paradigmat interakce člověka s počítačem (HCI) - a to vše v jednom uceleném produktu - je jednou z nejtěžších výzev, které kdy naše odvětví čelilo. Byla to taková výzva, že jsme si mysleli, že máme méně než desetiprocentní šanci ji úspěšně zvládnout.

Až dosud.

Přelomový displej v bezkonkurenčním provedení

S úhlem záběru přibližně 70 stupňů má Orion dosud největší zorné pole v nejmenším provedení brýlí AR. Toto zorné pole umožňuje skutečně pohlcující případy použití brýlí Orion, od multitaskingových oken a zábavy na velké obrazovce až po hologramy lidí v životní velikosti - veškerý digitální obsah se může plynule prolínat s vaším pohledem na fyzický svět.

Pro Orion bylo zorné pole naším svatým grálem. Naráželi jsme na fyzikální zákony a museli jsme ohýbat světelné paprsky způsobem, který není přirozený - a museli jsme to udělat ve výkonové obálce měřené v miliwattech.

Místo skla, čočky jsme vyrobili z karbidu křemíku.-nová aplikace pro brýle rozšířené reality. Karbid křemíku je neuvěřitelně lehký, nevznikají v něm optické artefakty ani rozptýlené světlo a má vysoký index lomu - všechny tyto optické vlastnosti jsou klíčové pro velké zorné pole. Samotné vlnovody mají opravdu složité a komplexní 3D struktury v nano měřítku, které rozptylují nebo rozptylují světlo způsobem nezbytným pro dosažení tohoto zorného pole. A projektory jsou uLED - nový typ zobrazovací technologie, která je velmi malá a extrémně energeticky účinná.

Orion jsou vzhledově i na dotek nezaměnitelné brýle s průhlednými skly. Na rozdíl od náhlavních souprav pro magnetickou rezonanci nebo jiných dnešních brýlí pro rozšířenou realitu stále vidíte skutečné oči a výrazy druhých, takže můžete být přítomni a sdílet zážitek s lidmi kolem sebe. Bylo zapotřebí desítek inovací, aby se průmyslový design dostal do podoby moderních brýlí, které budete pohodlně nosit každý den. Orion je výdobytkem miniaturizace - komponenty jsou zabaleny do zlomku milimetru. A do obrouček se nám podařilo zabudovat sedm malých kamer a senzorů.

Museli jsme zachovat optickou přesnost na tloušťce jedné desetiny lidského vlasu. Systém dokáže detekovat nepatrné pohyby, jako je rozpínání nebo smršťování rámečků při různých teplotách v místnosti, a následně digitálně korigovat potřebné optické vyrovnání, a to vše v řádu milisekund. Rámy jsme vyrobili z hořčíku - stejného materiálu, který se používá v závodních vozech F1 a vesmírných lodích - protože je lehký a zároveň tuhý, takže udržuje optické prvky v jedné rovině a účinně odvádí teplo.

Vytápění a chlazení

Jakmile jsme rozlouskli displej (bez slovní hříčky) a překonali problémy s fyzikou, museli jsme se vypořádat s výzvou opravdu výkonných počítačů a zároveň s opravdu nízkou spotřebou energie a potřebou odvádět teplo. Na rozdíl od dnešních náhlavních souprav pro magnetickou rezonanci nemůžete do brýlí nacpat ventilátor. Takže jsme museli být kreativní. Mnoho materiálů použitých k chlazení Orionu je podobných těm, které NASA používá k chlazení satelitů ve vesmíru.

Postavili jsme vysoce specializovaný křemík na zakázku který je extrémně úsporný a optimalizovaný pro naše algoritmy umělé inteligence, strojového vnímání a grafiky. Vytvořili jsme několik vlastních čipů a desítky vysoce přizpůsobených křemíkových IP bloků uvnitř těchto čipů. To nám umožňuje použít algoritmy potřebné pro sledování rukou a očí a technologii simultánní lokalizace a mapování (SLAM), která běžně spotřebovává stovky miliwattů energie - a generuje tak odpovídající množství tepla - a zmenšit ji na pouhých několik desítek miliwattů.

A ano, navzdory tomu, co jste se mohli dočíst jinde, vlastní křemík hraje ve společnosti Reality Labs při vývoji produktů i nadále zásadní roli. 😎

EMG bez námahy

Každá nová počítačová platforma s sebou přináší změna paradigmatu ve způsobu, jakým komunikujeme se svými zařízeními. Vynález myši pomohl připravit půdu pro grafická uživatelská rozhraní (GUI), která dnes dominují našemu světu, a chytré telefony se začaly skutečně prosazovat až s příchodem dotykového displeje. A stejné pravidlo platí i pro nositelná zařízení.

Mluvili jsme o naší práci s elektromyografie nebo EMG, již několik let vedeni přesvědčením, že zadávání dat do brýlí rozšířené reality musí být rychlé, pohodlné, spolehlivé, jemné a společensky přijatelné. A nyní je tato práce připravena pro hlavní vysílací čas.

Vstupní a interakční systém Orion hladce kombinuje hlas, pohled očí a sledování ruky s EMG náramkem, který umožňuje snadné posouvání, klikání a rolování.

Funguje to - a působí to jako kouzlo. Představte si, že při ranním běhu pořídíte fotografii pouhým klepnutím prstu nebo že se v menu pohybujete sotva znatelnými pohyby rukou. Náš náramek kombinuje vysoce výkonný textil se zabudovanými EMG senzory, které detekují elektrické signály generované i těmi nejmenšími pohyby svalů. ML procesor v zařízení pak tyto EMG signály interpretuje a vytváří vstupní události, které jsou bezdrátově přenášeny do brýlí. Systém se vám přizpůsobuje, takže se postupem času zlepšuje a lépe rozpoznává i ta nejjemnější gesta. A dnes se s vámi podělíme o další informace o naší podpoře externího výzkumu zaměřeného na rozšíření potenciálu rovnosti a dostupnosti EMG náramků..

Seznamte se s bezdrátovým výpočetním modulem Puck

Skutečné brýle rozšířené reality musí být bezdrátové a také malé.Tak jsme postavili bezdrátový výpočetní puk pro Orion. Odlehčuje část zátěže brýlí, což umožňuje delší výdrž baterie a lepší provedení s nízkou latencí.

Na brýlích běží všechny algoritmy pro sledování rukou, očí, SLAM a specializované grafické algoritmy pro uzamčení světa AR, zatímco logika aplikace běží na puku, aby byly brýle co nejlehčí a nejkompaktnější.

Puk má dva procesory, z nichž jeden byl navržen na zakázku přímo ve společnosti Meta, a poskytuje výpočetní výkon potřebný pro vykreslování grafiky s nízkou latencí, umělou inteligenci a další strojové vnímání.

Jelikož je malý a elegantní, můžete si ho pohodlně hodit do tašky nebo do kapsy a jít si po svých - bez jakýchkoli závazků.

Zkušenosti s rozšířenou realitou

Samozřejmě, stejně jako u jakéhokoli jiného hardwaru platí, že je tak dobrý, jak dobré jsou věci, které můžete použít. do s ním. A přestože je na to ještě brzy, zkušenosti, které Orion nabízí, jsou vzrušujícím zábleskem toho, co přijde.

https://youtube.com/watch?v=HkdSv3QPhNw%3F%26controls%3D0%3Fautoplay%3D0%26color%3Dwhite%26cc_lang_pref%3Den%26cc_load_policy%3D0%26enablejsapi%3D1%26frameborder%3D0%26hl%3Den%26rel%3D0%26origin%3Dhttps%253A%252F%252Fwww.meta.com

Máme svého chytrého asistenta, Meta AI, spuštěný v systému Orion. Rozumí tomu, na co se díváte ve fyzickém světě, a může vám pomoci s užitečnými vizualizacemi. Orion využívá stejný model Llama, který dnes pohání zkušenosti s umělou inteligencí běžící na chytrých brýlích Ray-Ban Meta, a navíc vlastní výzkumné modely, které demonstrují potenciální případy použití pro budoucí vývoj nositelných zařízení.

Na cestách můžete uskutečnit videohovor handsfree, abyste se v reálném čase setkali s přáteli a rodinou, a můžete zůstat ve spojení v aplikacích WhatsApp a Messenger a prohlížet a posílat zprávy. Nemusíte vytahovat telefon, odemykat ho, hledat správnou aplikaci a oznamovat kamarádovi, že máte zpoždění na večeři - to vše můžete udělat přes brýle.

https://youtube.com/watch?v=el7lUVvu8Bo%3F%26controls%3D0%3Fautoplay%3D0%26color%3Dwhite%26cc_lang_pref%3Den%26cc_load_policy%3D0%26enablejsapi%3D1%26frameborder%3D0%26hl%3Den%26rel%3D0%26origin%3Dhttps%253A%252F%252Fwww.meta.com

Sdílené hry rozšířené reality můžete hrát s rodinou na druhém konci země nebo s kamarádem na druhé straně gauče. A velký displej Orionu vám umožní multitasking s více okny, abyste mohli dělat různé věci, aniž byste s sebou museli tahat notebook.

Zkušenosti, které jsou dnes k dispozici na Orionu, pomohou v budoucnu nastínit plán pro naši řadu brýlí pro rozšířenou realitu pro spotřebitele. Naše týmy budou spolu s partnery z řad vývojářů pokračovat v iteracích a vytváření nových pohlcujících sociálních zážitků a my se nemůžeme dočkat, až se s vámi podělíme o to, co přijde příště.

Účelný prototyp výrobku

I když se Orion nedostane do rukou spotřebitelů, nenechte se mýlit: Tohle je ne výzkumný prototyp. Je to nejpropracovanější prototyp produktu, jaký jsme kdy vytvořili - a je to skutečně reprezentativní vzorek něčeho. mohl dodávat spotřebitelům. Než abychom spěchali s uvedením na pulty, rozhodli jsme se nejprve zaměřit na interní vývoj, což znamená, že můžeme pokračovat v rychlém budování a nadále posouvat hranice technologie a zážitků.

A to znamená, že rychleji dosáhneme ještě lepšího spotřebitelského produktu.

Co bude následovat

Dvě hlavní překážky dlouho stály v cestě brýlím pro rozšířenou realitu pro běžné spotřebitele: technologický průlom nutný k dosažení velkého displeje v kompaktním provedení brýlí a nutnost užitečných a přesvědčivých zážitků s rozšířenou realitou, které by bylo možné na těchto brýlích spustit. Orion je obrovským milníkem, který poprvé přináší skutečné zážitky z rozšířené reality běžící na přiměřeně stylovém hardwaru.

Teď, když jsme se o Orion podělili se světem, jsme se zaměřili na několik věcí:

• Vyladění kvality zobrazení rozšířené reality, aby byl obraz ještě ostřejší.
• Optimalizace všude, kde to jde, aby se tvar ještě zmenšil.
• Budování ve velkém měřítku, aby byly cenově dostupnější

V příštích několika letech můžete očekávat nová zařízení, která budou vycházet z našeho výzkumu a vývoje. A řada inovací společnosti Orion byla rozšířena na naše současné spotřebitelské produkty i na náš plán budoucích produktů. Optimalizovali jsme některé z našich algoritmů prostorového vnímání, které běží na obou zařízeních. Meta Quest 3S a Orion. Systém pohledu očí a jemných gest byl původně navržen pro Orion, ale plánujeme jej použít i v budoucích produktech. A zkoumáme možnosti využití EMG náramků i v budoucích spotřebitelských produktech.

Orion není jen oknem do budoucnosti - je to pohled na velmi reálné možnosti, které jsou dnes na dosah. Vytvořili jsme jej v rámci naší snahy o to, co umíme nejlépe: pomáhat lidem spojovat se. Od brýlí Ray-Ban Meta až po Orion jsme viděli, co dobrého může přinést, když lidem umožníme zůstat více přítomní a posílit jejich postavení ve fyzickém světě, a to i při využití veškerého dalšího bohatství, které nabízí digitální svět.

Věříme, že byste si neměli vybírat mezi těmito dvěma možnostmi. A s příští výpočetní platformou už nebudete muset.

---

Další informace o společnosti Orion najdete v těchto příspěvcích na blogu:

• Orion's Compute Puck: Příběh zařízení, které nám pomohlo vytvořit brýle pro rozšířenou realitu
• Od nuly k jedné: Jak náš vlastní křemík a čipy přinášejí revoluci do rozšířené reality
• Křišťálově čisté: naše vlnovody z karbidu křemíku a cesta k velkému zornému poli Orionu