Autor: Kristián Ivančo

0:00 / 0:00

V roce 2019 Orion tým připravil důležitou ukázku pro zakladatele a generálního ředitele společnosti Meta Marka Zuckerberga, kde předvedl potenciální vlnovody pro brýle pro rozšířenou realitu-zásadní okamžik, kdy se teoretické výpočty na papíře staly skutečností. A byla to ukázka, která změnila vše.

"Když jste nosili brýle se skleněnými vlnovody a několika destičkami, připadali jste si jako na diskotéce," vzpomíná optický vědec Pasqual Rivera. "Všude byly duhy a bylo to tak rozptylující - ani jste se nedívali na obsah rozšířené reality. Pak jste si nasadili brýle s karbid křemíku vlnovody a bylo to, jako byste byli na symfonii a poslouchali tichou klasickou skladbu. Mohli jste skutečně věnovat pozornost plnému prožitku z toho, co jsme stavěli. Byla to naprostá změna."

Jakkoli se dnes zdá volba karbidu křemíku jako substrátu jasná (slovní hříčka), když jsme se poprvé vydali po cestě cesta k AR brýlím před deseti lety, bylo to něco jiného.

"Karbid křemíku je obvykle silně dopován dusíkem," říká Rivera. "Je zelený, a pokud je dostatečně silný, vypadá černý. Není možné z něj vyrobit optickou čočku. Je to elektronický materiál. Existuje důvod, proč má takovou barvu, a to kvůli elektronickým vlastnostem."

"Karbid křemíku je jako materiál známý již dlouhou dobu," souhlasí Giuseppe Calafiore, technický ředitel společnosti AR Waveguides. "Jeho hlavní aplikací je výkonná elektronika. Vezměte si například elektrická vozidla: Všechny elektromobily vyžadují čip - ale tento čip musí být také schopen velmi vysokého výkonu, pohybovat koly a pohánět tuto věc. Ukázalo se, že to nelze udělat s běžným křemíkovým substrátem, z něhož se vyrábějí čipy, které používáme v počítačích a elektronice. Potřebujete platformu, která vám umožní procházet vysokými proudy, vysokým výkonem, a tím materiálem je karbid křemíku."

Dokud se v poslední době nezačaly rozbíhat diskuse o obnovitelných zdrojích energie, trh s těmito vysoce výkonnými čipovými sadami zdaleka nedosahoval velikosti trhu s čipy pro spotřební elektroniku. Karbid křemíku byl vždy drahý a neexistovala velká motivace ke snižování nákladů, protože pro velikost čipu, který se vyrábí pro automobil, byla cena substrátu přijatelná.

"Ukázalo se však, že karbid křemíku má také některé vlastnosti, které potřebujeme pro vlnovody a optiku," říká Calafiore. "Klíčovou vlastností, která nás zajímá, je index lomu. A karbid křemíku má vysoký index lomu, což znamená, že je schopen přivádět a odvádět velké množství optických dat. Můžete si to představit jako optickou šířku pásma - stejně jako máte šířku pásma pro internet a chcete, aby byla dostatečně velká, abyste mohli tímto kanálem posílat obrovské množství dat. Totéž platí pro optická zařízení."

Čím vyšší je index lomu materiálu, tím vyšší je jeho index lomu. étendue, takže tímto kanálem můžete posílat více optických dat.

"Kanál je v našem případě vlnovod a větší étendue znamená větší zorné pole," vysvětluje Calafiore. "Čím větší je index lomu materiálu, tím větší zorné pole může displej podporovat."

Cesta ke správnému indexu lomu

Když se Calafiore v roce 2016 poprvé připojil k tehdejší společnosti Oculus Research, měl tým k dispozici sklo s nejvyšším indexem lomu 1,8, což vyžadovalo skládání několika desek na sebe, aby bylo dosaženo požadovaného zorného pole. Nehledě na nežádoucí optické artefakty se montážní linka stávala stále komplikovanější, protože první dva vlnovody musely být dokonale zarovnané a poté musel být tento stoh dokonale zarovnaný s třetím vlnovodem.

"Nejenže to bylo drahé, ale také bylo okamžitě jasné, že v brýlích nemohou být tři skla na čočku," vzpomíná Calafiore. "Byly příliš těžké a jejich tloušťka byla neúnosně velká a ošklivá - nikdo by si je nekoupil. Takže jsme se vrátili na začátek: snažili jsme se zvýšit index lomu substrátu, abychom snížili počet potřebných destiček."

První materiál, který tým zkoumal, byl niobát lithný, jehož index lomu je zhruba 2,3, což je o něco více než u skla, které má index lomu 1,8.

"Uvědomili jsme si, že nám stačí naskládat dvě desky a možná bychom si vystačili i s jednou deskou, abychom stále pokryli zorné pole," říká Calafiore. "Téměř souběžně jsme se začali zabývat dalšími materiály - a tak jsme v roce 2019 spolu s našimi dodavateli zjistili, že karbid křemíku je ve své nejčistší formě vlastně velmi průhledný. Shodou okolností má také nejvyšší známý index lomu pro optické aplikace, který je 2,7."

To je o 17,4% více než u niobátu lithia a o 50% více než u skla, pokud si to doma pamatujete.

"Po několika úpravách stejného zařízení, které se již v průmyslu používalo, bylo možné získat průhledný karbid křemíku," říká Calafiore. "Stačilo změnit proces, být mnohem opatrnější a místo optimalizace pro elektronické vlastnosti optimalizovat pro optické vlastnosti: průhlednost, rovnoměrnost indexu lomu atd."

Potenciální náklady na kompromis

Tým Reality Labs byl v té době vůbec prvním, kdo se pokusil přejít z neprůhledných destiček karbidu křemíku na průhledné. A protože karbid křemíku je jedním z nejtvrdších známých materiálů, k jeho řezání nebo leštění jsou v podstatě zapotřebí diamantové nástroje. V důsledku toho byly jednorázové technické náklady velmi vysoké, takže výsledný substrát byl poměrně drahý.

Existují sice nákladově efektivnější alternativy, ale stejně jako u každé technologie i zde existují kompromisy. S rostoucím zorným polem, které se blíží špičkovému zornému poli Orionu, tedy přibližně 70 stupňům, se objevují nové problémy, jako jsou duchové a duhy.

"Hledání optimálního řešení pro zobrazení rozšířené reality se širokým zorným polem je plné kompromisů mezi výkonem a náklady," vysvětluje ředitel vědeckého výzkumu Barry Silverstein. "Náklady lze často snížit, ale pokud se výkon nesníží, na nákladech nakonec nezáleží."

Obrazy duchů jsou jako vizuální ozvěny primárního obrazu promítaného na displej. Duhy jsou barevné světelné pruhy, které vznikají při odrazu okolního světla od vlnovodu. "Řekněme, že jedete v noci a kolem vás se pohybují světla aut," říká Silverstein. "Budete mít duhu, která se také pohybuje. Nebo když budete na pláži hrát volejbal a bude svítit slunce, vznikne duhový pruh, který se bude pohybovat s vámi a vy se netrefíte. A jednou ze zázračných vlastností karbidu křemíku je, že se těchto duh zbaví."

"Další výhodou karbidu křemíku, kterou žádný z ostatních materiálů nemá, je tepelná vodivost," dodává Calafiore. "Plast je hrozný izolant. Sklo, niobát lithia, to samé. Když přejdete na karbid křemíku, je průhledný, vypadá jako sklo a hádejte co: vede teplo."

V červenci 2020 proto tým rozhodl, že karbid křemíku je optimální volbou ze tří hlavních důvodů: Křemík je lepší než sklo se dvěma deskami, protože vyžaduje pouze jednu desku a menší montážní struktury, má lepší optické vlastnosti a je lehčí než sklo se dvěma deskami.

Tajemství šikmého leptání

S tímto materiálem bylo třeba rozlousknout další oříšek, a to výrobu vlnovodů - konkrétně netradiční techniku leptání mřížek zvanou slant etch.

"Mřížka je nanostruktura, která spojuje a odpojuje světlo z čočky," vysvětluje Calafiore. "A aby karbid křemíku fungoval, musí být mřížka šikmo leptaná. Namísto svislého leptání je třeba, aby linie mřížky byly šikmé."

"Jako první jsme provedli šikmé leptání přímo na zařízeních," říká vedoucí výzkumu Nihar Mohanty. "Celé odvětví se dříve spoléhalo na nanootisk, který u substrátů s tak vysokým indexem lomu nefunguje. Proto nikoho jiného na světě nenapadlo dělat to na karbidu křemíku."

Protože je však šikmé leptání nezralou technologií, většina dodavatelů polovodičových čipů a továren nemá potřebné nástroje.

"V roce 2019 jsme s mým tehdejším manažerem Mattem Colburnem založili vlastní zařízení, protože na světě neexistovalo nic, co by dokázalo vyrábět leptané vlnovody z karbidu křemíku a kde bychom mohli tuto technologii vyzkoušet nad rámec laboratorního měřítka," vysvětluje Mohanty. "Byla to obrovská investice a my jsme tam vytvořili celý provoz. Nástroje pro nás vyrobili naši partneři na zakázku a proces byl vyvinut přímo v Metě, i když naše systémy jsou výzkumné, protože tam nebyly žádné systémy pro výrobu. Spolupracovali jsme s výrobním partnerem na vývoji nástrojů a procesů pro šikmé leptání na výrobní úrovni. A nyní, když jsme ukázali, co je s karbidem křemíku možné, chceme, aby i ostatní v oboru začali vyrábět vlastní nástroje."

Čím více společností bude investovat do karbidu křemíku optické kvality a vyvíjet zařízení, tím silnější bude kategorie spotřebitelských brýlí rozšířené reality.

Už se nehoníme za duhou

Zatímco technologická nevyhnutelnost je mýtus, zdá se, že hvězdy se rozhodně staví ve prospěch karbidu křemíku. A přestože tým pokračuje ve zkoumání alternativ, je cítit, že se ve správný čas a za správných tržních podmínek sešli ti správní lidé, aby vytvořili brýle rozšířené reality z tohoto materiálu.

"Společnost Orion dokázala, že karbid křemíku je pro brýle rozšířené reality životaschopnou variantou," říká Silverstein, "a my nyní pozorujeme zájem napříč dodavatelským řetězcem na třech různých kontinentech, kde se o tuto příležitost intenzivně zajímají. Karbid křemíku se dostane na vrchol. Podle mě je to jen otázka času."

A za tu dobu se toho může stát hodně - podobně jako se obrátily karty od doby, kdy jsme vypěstovali první krystaly čirého karbidu křemíku.

"Všichni tito výrobci karbidu křemíku v reakci na očekávaný boom elektrických vozidel masivně zvýšili dodávky," poznamenává Calafiore. "Nyní je zde nadbytek kapacit, který v době, kdy jsme stavěli Orion, neexistoval. Protože je nyní nabídka vysoká a poptávka nízká, cena substrátu začala klesat."

"Dodavatelé jsou velmi nadšeni novou příležitostí vyrábět optický karbid křemíku - vždyť každá vlnovodná čočka představuje velké množství materiálu v porovnání s elektronickým čipem a všechny jejich stávající schopnosti se vztahují na tento nový prostor," dodává Silverstein. "Naplnění továrny je zásadní a rozšíření továrny je snem. Záleží také na velikosti destičky: Čím větší je wafer, tím nižší jsou náklady, ale také se zvyšuje složitost procesu. Přesto jsme viděli, že dodavatelé přecházejí od čtyřpalcových k osmipalcovým destičkám, a někteří pracují na předstupních k dvanáctipalcovým destičkám, což by přineslo exponenciálně více párů brýlí pro rozšířenou realitu."

Tyto pokroky by měly přispět k dalšímu snižování nákladů. Zatím je ještě brzy, ale budoucnost se rýsuje.

"Na začátku každé nové technologické revoluce se zkouší spousta věcí," říká Calafiore. "Podívejte se na televizi: Začali jsme s katodovými trubicemi, pak jsme přešli k plazmovým televizorům s LED diodami a nyní k mikroLED diodám. Prošli jsme několika různými technologiemi a architekturami. Když hledáte cestu, spousta cest nikam nevede, ale k některým se stále vracíte jako k těm nejslibnějším. Nejsme na konci cesty a sami to nezvládneme, ale karbid křemíku je zázračný materiál, do kterého se vyplatí investovat."

"Svět se probudil," dodává Silverstein. "Úspěšně jsme ukázali, že karbid křemíku může být flexibilní v elektronice a fotonice. Je to materiál, který by mohl mít v budoucnu uplatnění v kvantové výpočetní technice. A vidíme známky toho, že je možné výrazně snížit náklady. Zbývá ještě hodně práce, ale potenciál je zde obrovský."

---

Další informace o karbidu křemíku v Photonics Spectra.

Další informace o společnosti Orion najdete v těchto příspěvcích na blogu:

• Od nuly k jedné: Jak náš vlastní křemík a čipy přinášejí revoluci do rozšířené reality
• Orion's Compute Puck: Příběh zařízení, které nám pomohlo vytvořit brýle pro rozšířenou realitu

TL;DR:

• Dnes v Připojení, Mark Zuckerberg představil Orion - naše první brýle s rozšířenou realitou, které měly dříve kódové označení. Projekt Nazare.
• S nejlepším zorným polem v oboru, čočky z karbidu křemíku, složitých vlnovodů, uLED projektorů a dalších, je Orion naším dosud nejpokročilejším a nejpropracovanějším prototypem produktu.
• Nyní pokračujeme v optimalizaci produktů a snižování nákladů, protože se snažíme vytvořit škálovatelné spotřebitelské zařízení, které způsobí revoluci ve způsobu, jakým lidé komunikují se světem.

---

"Vyrábíme brýle rozšířené reality."

Pět jednoduchých slov, řečeno před pěti lety. Spolu s nimi jsme vyvěsili vlajku naší vize budoucnosti, ve které už nebudeme muset dělat falešnou volbu mezi světem informací na dosah ruky a fyzickým světem kolem nás.

A nyní, o pět let později, dalších pět slov, která mohou opět změnit pravidla hry:

Vytvořili jsme brýle rozšířené reality.

https://youtube.com/watch?v=2CJsnyS8u3c%3Fsi%3DTr77gOKEq3PnA7-k%26controls%3D0%3Fautoplay%3D0%26color%3Dwhite%26cc_lang_pref%3Den%26cc_load_policy%3D0%26enablejsapi%3D1%26frameborder%3D0%26hl%3Den%26rel%3D0%26origin%3Dhttps%253A%252F%252Fwww.meta.com

Naše poslání ve společnosti Meta je jednoduché: dát lidem sílu budovat komunitu a sbližovat svět. A v Reality Labs vytváříme nástroje, které lidem pomáhají cítit se ve spojení kdykoli a kdekoli. Proto pracujeme na vytvoření další počítačové platformy, která postaví lidi do centra pozornosti, aby mohli být ve světě více přítomni, propojeni a posíleni.

Brýle Ray-Ban Meta ukázaly, jakou sílu má možnost poskytnout lidem volný přístup ke klíčovým částem jejich digitálního života z jejich fyzického života. Můžeme mluvit s chytrým asistentem s umělou inteligencí, spojit se s přáteli a zachytit důležité okamžiky - to vše, aniž bychom museli vytáhnout telefon. Tyto stylové brýle bez problémů zapadají do našeho každodenního života a lidé si je naprosto zamilovali.

Zatímco společnost Ray-Ban Meta otevřela zcela novou kategorii brýlí bez displeje s umělou inteligencí, odvětví XR již dlouho sní o skutečných brýlích s rozšířenou realitou - produktu, který kombinuje výhody velkého holografického displeje a personalizované asistence umělé inteligence v pohodlném, stylovém a celodenně nositelném provedení.

A dnes jsme tento sen posunuli blíže k realitě, když jsme představili Orion, které považujeme za nejpokročilejší brýle rozšířené reality, jaké kdy byly vyrobeny. Ve skutečnosti by se mohlo jednat o nejnáročnější zařízení spotřební elektroniky vyrobené od dob chytrého telefonu. Orion je výsledkem průlomových vynálezů prakticky ve všech oblastech moderní výpočetní techniky - staví na bázi práce, kterou v Reality Labs děláme už deset let.. Je vybaven zcela novými technologiemi, včetně nejpokročilejšího displeje pro rozšířenou realitu, který byl kdy sestaven, a zakázkový křemík která umožňuje provozovat výkonné zážitky rozšířené reality na brýlích s využitím zlomku výkonu a hmotnosti náhlavní soupravy pro magnetickou rezonanci.

Vstupní systém Orion plynule kombinuje hlas, pohled očí a sledování rukou s EMG náramek která vám umožní posouvat, klikat a rolovat, zatímco máte ruku pohodlně položenou vedle sebe, a zůstat tak přítomni ve světě a s lidmi kolem sebe při interakci s bohatým digitálním obsahem.

Počínaje dnešním dnem na konferenci Connect a pokračujíc v průběhu celého roku zpřístupňujeme prototyp produktu Orion zaměstnancům společnosti Meta a vybraným externím zájemcům, aby se náš vývojový tým mohl učit, vylepšovat a budovat naši produktovou řadu brýlí pro rozšířenou realitu pro spotřebitele, kterou plánujeme začít dodávat v blízké budoucnosti.

Proč brýle rozšířené reality?

Existují tři hlavní důvody, proč jsou brýle pro rozšířenou realitu klíčem k odemknutí dalšího velkého skoku v oblasti počítačů orientovaných na člověka.

1. Umožňují digitální zážitky, které nejsou omezeny hranicemi obrazovky chytrého telefonu. Díky velkým holografickým displejům můžete používat fyzický svět jako plátno a umístit 2D a 3D obsah a zážitky kamkoli chcete.
2. Bez problémů integrují kontextovou umělou inteligenci, která dokáže vnímat a chápat svět kolem vás, aby předvídala a proaktivně řešila vaše potřeby.
3. Jsou lehké a skvěle se hodí pro vnitřní i venkovní použití - a umožňují lidem vidět si navzájem skutečnou tvář, skutečné oči a skutečné výrazy.

To je severní hvězda, ke které naše odvětví směřuje: produkt kombinující pohodlí a bezprostřednost nositelných zařízení s velkým displejem, širokopásmovým vstupem a kontextualizovanou umělou inteligencí v podobě, kterou lidé pohodlně nosí v každodenním životě.

Kompaktní formát, složité výzvy

Po léta jsme stáli před falešnou volbou - buď náhlavní soupravy pro virtuální a smíšenou realitu, které umožňují hluboké a pohlcující zážitky v objemném provedení, nebo brýle, které jsou ideální pro celodenní používání, ale nenabízejí bohaté vizuální aplikace a zážitky, protože nemají velký displej a odpovídající výpočetní výkon.

Chceme ale všechno a bez kompromisů. Již několik let usilovně pracujeme na tom, abychom do lehkých a stylových brýlí vložili neuvěřitelné prostorové zážitky, které poskytují náhlavní soupravy VR a MR, a miniaturizovali technologii potřebnou k jejich zprostředkování. Vyladění tvaru, holografických displejů, vývoj přesvědčivých zážitků s rozšířenou realitou a vytvoření nových paradigmat interakce člověka s počítačem (HCI) - a to vše v jednom uceleném produktu - je jednou z nejtěžších výzev, které kdy naše odvětví čelilo. Byla to taková výzva, že jsme si mysleli, že máme méně než desetiprocentní šanci ji úspěšně zvládnout.

Až dosud.

Přelomový displej v bezkonkurenčním provedení

S úhlem záběru přibližně 70 stupňů má Orion dosud největší zorné pole v nejmenším provedení brýlí AR. Toto zorné pole umožňuje skutečně pohlcující případy použití brýlí Orion, od multitaskingových oken a zábavy na velké obrazovce až po hologramy lidí v životní velikosti - veškerý digitální obsah se může plynule prolínat s vaším pohledem na fyzický svět.

Pro Orion bylo zorné pole naším svatým grálem. Naráželi jsme na fyzikální zákony a museli jsme ohýbat světelné paprsky způsobem, který není přirozený - a museli jsme to udělat ve výkonové obálce měřené v miliwattech.

Místo skla, čočky jsme vyrobili z karbidu křemíku.-nová aplikace pro brýle rozšířené reality. Karbid křemíku je neuvěřitelně lehký, nevznikají v něm optické artefakty ani rozptýlené světlo a má vysoký index lomu - všechny tyto optické vlastnosti jsou klíčové pro velké zorné pole. Samotné vlnovody mají opravdu složité a komplexní 3D struktury v nano měřítku, které rozptylují nebo rozptylují světlo způsobem nezbytným pro dosažení tohoto zorného pole. A projektory jsou uLED - nový typ zobrazovací technologie, která je velmi malá a extrémně energeticky účinná.

Orion jsou vzhledově i na dotek nezaměnitelné brýle s průhlednými skly. Na rozdíl od náhlavních souprav pro magnetickou rezonanci nebo jiných dnešních brýlí pro rozšířenou realitu stále vidíte skutečné oči a výrazy druhých, takže můžete být přítomni a sdílet zážitek s lidmi kolem sebe. Bylo zapotřebí desítek inovací, aby se průmyslový design dostal do podoby moderních brýlí, které budete pohodlně nosit každý den. Orion je výdobytkem miniaturizace - komponenty jsou zabaleny do zlomku milimetru. A do obrouček se nám podařilo zabudovat sedm malých kamer a senzorů.

Museli jsme zachovat optickou přesnost na tloušťce jedné desetiny lidského vlasu. Systém dokáže detekovat nepatrné pohyby, jako je rozpínání nebo smršťování rámečků při různých teplotách v místnosti, a následně digitálně korigovat potřebné optické vyrovnání, a to vše v řádu milisekund. Rámy jsme vyrobili z hořčíku - stejného materiálu, který se používá v závodních vozech F1 a vesmírných lodích - protože je lehký a zároveň tuhý, takže udržuje optické prvky v jedné rovině a účinně odvádí teplo.

Vytápění a chlazení

Jakmile jsme rozlouskli displej (bez slovní hříčky) a překonali problémy s fyzikou, museli jsme se vypořádat s výzvou opravdu výkonných počítačů a zároveň s opravdu nízkou spotřebou energie a potřebou odvádět teplo. Na rozdíl od dnešních náhlavních souprav pro magnetickou rezonanci nemůžete do brýlí nacpat ventilátor. Takže jsme museli být kreativní. Mnoho materiálů použitých k chlazení Orionu je podobných těm, které NASA používá k chlazení satelitů ve vesmíru.

Postavili jsme vysoce specializovaný křemík na zakázku který je extrémně úsporný a optimalizovaný pro naše algoritmy umělé inteligence, strojového vnímání a grafiky. Vytvořili jsme několik vlastních čipů a desítky vysoce přizpůsobených křemíkových IP bloků uvnitř těchto čipů. To nám umožňuje použít algoritmy potřebné pro sledování rukou a očí a technologii simultánní lokalizace a mapování (SLAM), která běžně spotřebovává stovky miliwattů energie - a generuje tak odpovídající množství tepla - a zmenšit ji na pouhých několik desítek miliwattů.

A ano, navzdory tomu, co jste se mohli dočíst jinde, vlastní křemík hraje ve společnosti Reality Labs při vývoji produktů i nadále zásadní roli. 😎

EMG bez námahy

Každá nová počítačová platforma s sebou přináší změna paradigmatu ve způsobu, jakým komunikujeme se svými zařízeními. Vynález myši pomohl připravit půdu pro grafická uživatelská rozhraní (GUI), která dnes dominují našemu světu, a chytré telefony se začaly skutečně prosazovat až s příchodem dotykového displeje. A stejné pravidlo platí i pro nositelná zařízení.

Mluvili jsme o naší práci s elektromyografie nebo EMG, již několik let vedeni přesvědčením, že zadávání dat do brýlí rozšířené reality musí být rychlé, pohodlné, spolehlivé, jemné a společensky přijatelné. A nyní je tato práce připravena pro hlavní vysílací čas.

Vstupní a interakční systém Orion hladce kombinuje hlas, pohled očí a sledování ruky s EMG náramkem, který umožňuje snadné posouvání, klikání a rolování.

Funguje to - a působí to jako kouzlo. Představte si, že při ranním běhu pořídíte fotografii pouhým klepnutím prstu nebo že se v menu pohybujete sotva znatelnými pohyby rukou. Náš náramek kombinuje vysoce výkonný textil se zabudovanými EMG senzory, které detekují elektrické signály generované i těmi nejmenšími pohyby svalů. ML procesor v zařízení pak tyto EMG signály interpretuje a vytváří vstupní události, které jsou bezdrátově přenášeny do brýlí. Systém se vám přizpůsobuje, takže se postupem času zlepšuje a lépe rozpoznává i ta nejjemnější gesta. A dnes se s vámi podělíme o další informace o naší podpoře externího výzkumu zaměřeného na rozšíření potenciálu rovnosti a dostupnosti EMG náramků..

Seznamte se s bezdrátovým výpočetním modulem Puck

Skutečné brýle rozšířené reality musí být bezdrátové a také malé.Tak jsme postavili bezdrátový výpočetní puk pro Orion. Odlehčuje část zátěže brýlí, což umožňuje delší výdrž baterie a lepší provedení s nízkou latencí.

Na brýlích běží všechny algoritmy pro sledování rukou, očí, SLAM a specializované grafické algoritmy pro uzamčení světa AR, zatímco logika aplikace běží na puku, aby byly brýle co nejlehčí a nejkompaktnější.

Puk má dva procesory, z nichž jeden byl navržen na zakázku přímo ve společnosti Meta, a poskytuje výpočetní výkon potřebný pro vykreslování grafiky s nízkou latencí, umělou inteligenci a další strojové vnímání.

Jelikož je malý a elegantní, můžete si ho pohodlně hodit do tašky nebo do kapsy a jít si po svých - bez jakýchkoli závazků.

Zkušenosti s rozšířenou realitou

Samozřejmě, stejně jako u jakéhokoli jiného hardwaru platí, že je tak dobrý, jak dobré jsou věci, které můžete použít. do s ním. A přestože je na to ještě brzy, zkušenosti, které Orion nabízí, jsou vzrušujícím zábleskem toho, co přijde.

https://youtube.com/watch?v=HkdSv3QPhNw%3F%26controls%3D0%3Fautoplay%3D0%26color%3Dwhite%26cc_lang_pref%3Den%26cc_load_policy%3D0%26enablejsapi%3D1%26frameborder%3D0%26hl%3Den%26rel%3D0%26origin%3Dhttps%253A%252F%252Fwww.meta.com

Máme svého chytrého asistenta, Meta AI, spuštěný v systému Orion. Rozumí tomu, na co se díváte ve fyzickém světě, a může vám pomoci s užitečnými vizualizacemi. Orion využívá stejný model Llama, který dnes pohání zkušenosti s umělou inteligencí běžící na chytrých brýlích Ray-Ban Meta, a navíc vlastní výzkumné modely, které demonstrují potenciální případy použití pro budoucí vývoj nositelných zařízení.

Na cestách můžete uskutečnit videohovor handsfree, abyste se v reálném čase setkali s přáteli a rodinou, a můžete zůstat ve spojení v aplikacích WhatsApp a Messenger a prohlížet a posílat zprávy. Nemusíte vytahovat telefon, odemykat ho, hledat správnou aplikaci a oznamovat kamarádovi, že máte zpoždění na večeři - to vše můžete udělat přes brýle.

https://youtube.com/watch?v=el7lUVvu8Bo%3F%26controls%3D0%3Fautoplay%3D0%26color%3Dwhite%26cc_lang_pref%3Den%26cc_load_policy%3D0%26enablejsapi%3D1%26frameborder%3D0%26hl%3Den%26rel%3D0%26origin%3Dhttps%253A%252F%252Fwww.meta.com

Sdílené hry rozšířené reality můžete hrát s rodinou na druhém konci země nebo s kamarádem na druhé straně gauče. A velký displej Orionu vám umožní multitasking s více okny, abyste mohli dělat různé věci, aniž byste s sebou museli tahat notebook.

Zkušenosti, které jsou dnes k dispozici na Orionu, pomohou v budoucnu nastínit plán pro naši řadu brýlí pro rozšířenou realitu pro spotřebitele. Naše týmy budou spolu s partnery z řad vývojářů pokračovat v iteracích a vytváření nových pohlcujících sociálních zážitků a my se nemůžeme dočkat, až se s vámi podělíme o to, co přijde příště.

Účelný prototyp výrobku

I když se Orion nedostane do rukou spotřebitelů, nenechte se mýlit: Tohle je ne výzkumný prototyp. Je to nejpropracovanější prototyp produktu, jaký jsme kdy vytvořili - a je to skutečně reprezentativní vzorek něčeho. mohl dodávat spotřebitelům. Než abychom spěchali s uvedením na pulty, rozhodli jsme se nejprve zaměřit na interní vývoj, což znamená, že můžeme pokračovat v rychlém budování a nadále posouvat hranice technologie a zážitků.

A to znamená, že rychleji dosáhneme ještě lepšího spotřebitelského produktu.

Co bude následovat

Dvě hlavní překážky dlouho stály v cestě brýlím pro rozšířenou realitu pro běžné spotřebitele: technologický průlom nutný k dosažení velkého displeje v kompaktním provedení brýlí a nutnost užitečných a přesvědčivých zážitků s rozšířenou realitou, které by bylo možné na těchto brýlích spustit. Orion je obrovským milníkem, který poprvé přináší skutečné zážitky z rozšířené reality běžící na přiměřeně stylovém hardwaru.

Teď, když jsme se o Orion podělili se světem, jsme se zaměřili na několik věcí:

• Vyladění kvality zobrazení rozšířené reality, aby byl obraz ještě ostřejší.
• Optimalizace všude, kde to jde, aby se tvar ještě zmenšil.
• Budování ve velkém měřítku, aby byly cenově dostupnější

V příštích několika letech můžete očekávat nová zařízení, která budou vycházet z našeho výzkumu a vývoje. A řada inovací společnosti Orion byla rozšířena na naše současné spotřebitelské produkty i na náš plán budoucích produktů. Optimalizovali jsme některé z našich algoritmů prostorového vnímání, které běží na obou zařízeních. Meta Quest 3S a Orion. Systém pohledu očí a jemných gest byl původně navržen pro Orion, ale plánujeme jej použít i v budoucích produktech. A zkoumáme možnosti využití EMG náramků i v budoucích spotřebitelských produktech.

Orion není jen oknem do budoucnosti - je to pohled na velmi reálné možnosti, které jsou dnes na dosah. Vytvořili jsme jej v rámci naší snahy o to, co umíme nejlépe: pomáhat lidem spojovat se. Od brýlí Ray-Ban Meta až po Orion jsme viděli, co dobrého může přinést, když lidem umožníme zůstat více přítomní a posílit jejich postavení ve fyzickém světě, a to i při využití veškerého dalšího bohatství, které nabízí digitální svět.

Věříme, že byste si neměli vybírat mezi těmito dvěma možnostmi. A s příští výpočetní platformou už nebudete muset.

---

Další informace o společnosti Orion najdete v těchto příspěvcích na blogu:

• Orion's Compute Puck: Příběh zařízení, které nám pomohlo vytvořit brýle pro rozšířenou realitu
• Od nuly k jedné: Jak náš vlastní křemík a čipy přinášejí revoluci do rozšířené reality
• Křišťálově čisté: naše vlnovody z karbidu křemíku a cesta k velkému zornému poli Orionu

Minulý rok jsme na veletrhu Connect představili Orion-naše první skutečné brýle s rozšířenou realitou. Vyvrcholení naši práci v Reality Labs za posledních deset let.Orion kombinuje výhody velkého holografického displeje a personalizované asistence AI v pohodlném, celodenně nositelném provedení. Pozornost si získal díky svému špičkovému zornému poli, vlnovodům z karbidu křemíku, projektorům uLED a dalším vlastnostem. Dnes však obracíme pozornost k neopěvovanému hrdinovi Orionu: výpočetnímu puku.

Puk je navržen tak, aby se snadno vešel do kapsy nebo tašky, takže si jej můžete vzít s sebou kamkoli, když jdete po svých, a přenáší výpočetní výkon Orionu na logiku aplikací a umožňuje atraktivnější a menší tvar brýlí. K brýlím a náramku EMG se připojuje bezdrátově, aby bylo dosaženo bezproblémového zážitku.

Nastavit a zapomenout, že?

Ale příběh puku - dokonce i jako prototypu - je zajímavý a má dramatický oblouk, který byste z jeho vzhledu nikdy neuhodli.

"Když stavíte něco takového, začínáte se dostávat na hranice fyziky," vysvětluje ředitel produktového managementu Rahul Prasad. "Za posledních 50 let se díky Moorovu zákonu vše zmenšilo, zrychlilo a snížila se spotřeba. Problém je, že nyní začínáte narážet na limity, kolik tepla můžete odvést, kolik baterie můžete stlačit a kolik výkonu antény můžete vměstnat do objektu určité velikosti."

Ačkoli zpětný pohled může být 20/20, potenciál puku nebyl zřejmý okamžitě. Když jste první, kdo něco staví, musíte prozkoumat všechny možnosti - a nenechat kámen na kameni. Jak postavit něco, co by někteří mohli považovat za nežádoucí doplněk, a ne za důležitou součást balení?

"Věděli jsme, že puk je další zařízení, které po lidech chceme, aby nosili s sebou," poznamenává Jared Van Cleave, manažer produktového designu, "a tak jsme zkoumali, jak tuto chybu proměnit ve funkci."

Tento přístup se nakonec vyplatil, protože puk vtěsnal do malých rozměrů velké množství výpočetní techniky (a ještě více křemíku navrženého společností Meta na míru pro umělou inteligenci a strojové vnímání). To pomohlo Orionu přejít z říše sci-fi do reality.

"Kdybyste neměli puk, nemohli byste mít zážitky, které Orion ve své podobě nabízí," říká Prasad. "Dobrý zážitek z rozšířené reality vyžaduje opravdu vysoký výkon: vysoké snímkové frekvence, extrémně nízkou latenci, jemnou správu bezdrátových sítí a napájení atd. Puk a brýle musí být navrženy tak, aby spolu opravdu úzce spolupracovaly, a to nejen na úrovni aplikací, ale také na úrovni operačního systému, firmwaru a hardwaru. A i kdyby se podařilo navrhnout smartphone tak, aby spolupracoval s brýlemi pro rozšířenou realitu, náročné požadavky na výkon by vyčerpaly baterii telefonu a odčerpaly by výpočetní kapacitu z případů použití telefonu. Na druhou stranu má puk vlastní vysokokapacitní baterii, vysoce výkonný SoC a vlastní koprocesor AI navržený společností Meta a optimalizovaný pro Orion."

Puk samozřejmě nebyl navržen ze dne na den. Vyžadoval roky opakované práce.

"Nevěděli jsme, jak by lidé chtěli s Orionem pracovat z hlediska vstupů - neměli jsme nic, co bychom mohli na trhu navrhnout," říká produktový manažer Matt Resman. "Když se podíváte na naše první prototypy brýlí, byly to masivní náhlavní soupravy, které vážily tři nebo čtyři kila. A když se snažíte vytvořit produkt, je opravdu těžké pochopit uživatelskou zkušenost, pokud nemáte správnou formu. S pukem jsme byli schopni velmi rychle vytvořit prototyp a začít chápat, jak jej lidé budou používat."

Puk s kódovým označením Omega byl původně zamýšlen tehdejší společností Oculus Research jako pásek ve tvaru Ω, který by se obepínal kolem krku uživatele a byl pevně spojen s brýlemi...

... dokud jim některé nové inovace týmu Reality Labs pro bezdrátové připojení neumožnily mimo jiné přerušit kabel. To umožnilo vytvořit kapesní nebo kapesní / brašnový formát, který otevřel mnoho možností.

"V té době bylo volání v rozšířené realitě stále ještě hlavním případem použití," vysvětluje Van Cleave. "Puk byl místem, kde se ukotvovala holografická videa. Položili byste ho na stůl, lavička se senzory by byla otočená směrem k vám, zobrazovala by vás a z povrchu puku by se promítalo, s kým mluvíte, abyste mohli volat."

"Orion je o propojování lidí a sbližování," říká Resman. "Jedním z původních konceptů puku bylo pomoci vytvořit pocit přítomnosti s ostatními lidmi a umožnit tuto bohatší formu komunikace."

"Je to něco jiného, než co jste kdy viděli - zařízení má potenciál vytvářet opravdu zábavné a jedinečné interakce," dodává průmyslový designér Emron Henry. "Uživatelský zážitek působí trochu jako vypuštění džina z láhve, kdy se hologramy plynule vynořují ze zařízení a zase se v něm rozpouštějí."

Jak už asi tušíte, v puku se skrývá větší potenciál, než jaký se nakonec objevil jako funkce. Kromě senzorů a kamer, které by byly použity pro volání AR, má puk haptické senzory a senzory 6DOF, které by mohly umožnit jeho použití jako sledovaného ovladače pro výběr a manipulaci s virtuálními objekty a hraní AR her. Tým také zkoumal kapacitní a silový dotykový vstup, takže puk by mohl sloužit jako gamepad při držení na výšku i na šířku.

"Mluvili jsme o tom, že je potřeba mít u sebe něco navíc," říká Van Cleave. "Jak to uděláme, aby to bylo užitečnější? Byl kolem toho celý pracovní proud. A v jednu chvíli se objevila hypotéza, že hraní rozšířené reality bude tím nejzajímavějším případem použití."

Již na začátku jsme věděli, že musíme prozkoumat možnosti, které puk nedokáže využít v telefonech. Nakonec jsme se zaměřili na používání pohledu očí, EMG a sledování rukou pro hry rozšířené reality, jako je Stargazer a Pong, ale v počátcích Orionu jsme vytvořili prototypy různých dem a her, které puk používaly jako ovladač.

0:00 / 0:00

0:00 / 0:00

0:00 / 0:00

Renderované zkoumání puku jako ovladače 6DOF pro hry rozšířené reality, jako je Pong.

"Protože se nejedná o telefon, měli jsme velkou volnost při navrhování," dodává Prasad. "Může být tlustší, mohu ho udělat zaoblenější, aby se pohodlně držel v ruce jako ovladač. Je docela neuvěřitelné, že puk je ve skutečnosti menší než průměrný telefon, ale je výkonnější než telefon, protože má koprocesor navržený společností Meta pro umělou inteligenci a strojové vnímání."

Tým se zabýval otázkou, jak se může kvalitní hra pro rozšířenou realitu lišit od hry pro MR nebo konzole. To znamenalo prozkoumat různé možnosti herního ovladače AR, včetně joysticků, fyzického rozložení tlačítek, spouštěcích tlačítek a dalších.

"Nic z toho jsme nakonec nepostavili," poznamenává Van Cleave. "Vytvořili jsme prototypy, ale nikdy jsme se nepustili do kompletní stavby. Chtěli jsme, aby to bylo jednoduché. Chtěli jsme udělat tato měkká rozhraní, ale nedělat fyzická, mechanická tlačítka."

A přestože senzory a haptika nebyly v prototypu hotového produktu zapnuty, během vývoje plnily svou nedílnou funkci a umožňovaly týmům nahlásit chyby jednoduchým několikerým poklepáním na horní část zařízení.

S tím, jak se umělá inteligence začala dostávat do popředí jako klíčový případ použití, se výpočetní technika dostávala do stále většího popředí. Nakonec je puk domovem bezdrátové konektivity, výpočetního výkonu a kapacity baterie Orionu - což je samo o sobě obrovský technický výkon - a to vše pomáhá snížit hmotnost a tvarový faktor brýlí, přičemž díky své ploše odvádí mnohem více tepla.

Po celou dobu vývoje zůstává jedna věc stejná: puk v sobě skrývá víc, než se na první pohled zdá. Přijetí netradičních nápadů umožnilo našim týmům zkoumat, posouvat hranice a budovat budoucnost.

"Definujeme kategorii, která ještě neexistuje," poznamenává Henry. "Jak se dá u výzkumu a vývoje očekávat, na cestě jsme měli začátky a zastávky. Jak budou uživatelé očekávat interakci s hologramy? Budou raději používat dálkový ovladač AR, nebo jim k zadávání údajů postačí sledování rukou, pohled očí a EMG? Co je intuitivní, málo třecí, známé a užitečné?"

"Místo toho, abychom se na puk dívali jako na pouhý kámen, jsme si položili otázku, co dalšího bychom mohli nabídnout, abychom jej ještě více odlišili od telefonů a zdůvodnili, proč byste jej měli chtít nosit u sebe," přiznává Resman. "Nabízí jeho hrubý výpočetní výkon a praktický design - který pomohl odemknout tvar brýlí, které můžete reálně nosit celý den - nakonec dostatečnou hodnotu? Naším úkolem je pomoci na tyto otázky odpovědět."

"Na začátku jsme se zaměřili na to, co můžeme udělat, co telefon neumí," dodává Van Cleave. "Telefony musí mít obrazovku, musí mít určité fyzické rozložení tlačítek, které uživatelé očekávají. A my tato omezení nemáme. Náš výpočetní puk může být, jaký chceme."

---

Další informace o společnosti Orion najdete v těchto příspěvcích na blogu:

• Křišťálově čisté: naše vlnovody z karbidu křemíku a cesta k velkému zornému poli Orionu
• Od nuly k jedné: Jak náš vlastní křemík a čipy přinášejí revoluci do rozšířené reality

TL;DR:

• Dnes v Připojení, Mark Zuckerberg představil Orion - naše první brýle s rozšířenou realitou, které měly dříve kódové označení. Projekt Nazare.
• S nejlepším zorným polem v oboru, čočky z karbidu křemíku, složitých vlnovodů, uLED projektorů a dalších, je Orion naším dosud nejpokročilejším a nejpropracovanějším prototypem produktu.
• Nyní pokračujeme v optimalizaci produktů a snižování nákladů, protože se snažíme vytvořit škálovatelné spotřebitelské zařízení, které způsobí revoluci ve způsobu, jakým lidé komunikují se světem.

---

"Vyrábíme brýle rozšířené reality."

Pět jednoduchých slov, řečeno před pěti lety. Spolu s nimi jsme vyvěsili vlajku naší vize budoucnosti, ve které už nebudeme muset dělat falešnou volbu mezi světem informací na dosah ruky a fyzickým světem kolem nás.

A nyní, o pět let později, dalších pět slov, která mohou opět změnit pravidla hry:

Vytvořili jsme brýle rozšířené reality.

https://youtube.com/watch?v=2CJsnyS8u3c%3Fsi%3DTr77gOKEq3PnA7-k%26controls%3D0%3Fautoplay%3D0%26color%3Dwhite%26cc_lang_pref%3Den%26cc_load_policy%3D0%26enablejsapi%3D1%26frameborder%3D0%26hl%3Den%26rel%3D0%26origin%3Dhttps%253A%252F%252Fwww.meta.com

Naše poslání ve společnosti Meta je jednoduché: dát lidem sílu budovat komunitu a sbližovat svět. A v Reality Labs vytváříme nástroje, které lidem pomáhají cítit se ve spojení kdykoli a kdekoli. Proto pracujeme na vytvoření další počítačové platformy, která postaví lidi do centra pozornosti, aby mohli být ve světě více přítomni, propojeni a posíleni.

Brýle Ray-Ban Meta ukázaly, jakou sílu má možnost poskytnout lidem volný přístup ke klíčovým částem jejich digitálního života z jejich fyzického života. Můžeme mluvit s chytrým asistentem s umělou inteligencí, spojit se s přáteli a zachytit důležité okamžiky - to vše, aniž bychom museli vytáhnout telefon. Tyto stylové brýle bez problémů zapadají do našeho každodenního života a lidé si je naprosto zamilovali.

Zatímco společnost Ray-Ban Meta otevřela zcela novou kategorii brýlí bez displeje s umělou inteligencí, odvětví XR již dlouho sní o skutečných brýlích s rozšířenou realitou - produktu, který kombinuje výhody velkého holografického displeje a personalizované asistence umělé inteligence v pohodlném, stylovém a celodenně nositelném provedení.

A dnes jsme tento sen posunuli blíže k realitě, když jsme představili Orion, které považujeme za nejpokročilejší brýle rozšířené reality, jaké kdy byly vyrobeny. Ve skutečnosti by se mohlo jednat o nejnáročnější zařízení spotřební elektroniky vyrobené od dob chytrého telefonu. Orion je výsledkem průlomových vynálezů prakticky ve všech oblastech moderní výpočetní techniky - staví na bázi práce, kterou v Reality Labs děláme už deset let.. Je vybaven zcela novými technologiemi, včetně nejpokročilejšího displeje pro rozšířenou realitu, který byl kdy sestaven, a zakázkový křemík která umožňuje provozovat výkonné zážitky rozšířené reality na brýlích s využitím zlomku výkonu a hmotnosti náhlavní soupravy pro magnetickou rezonanci.

Vstupní systém Orion plynule kombinuje hlas, pohled očí a sledování rukou s EMG náramek která vám umožní posouvat, klikat a rolovat, zatímco máte ruku pohodlně položenou vedle sebe, a zůstat tak přítomni ve světě a s lidmi kolem sebe při interakci s bohatým digitálním obsahem.

Počínaje dnešním dnem na konferenci Connect a pokračujíc v průběhu celého roku zpřístupňujeme prototyp produktu Orion zaměstnancům společnosti Meta a vybraným externím zájemcům, aby se náš vývojový tým mohl učit, vylepšovat a budovat naši produktovou řadu brýlí pro rozšířenou realitu pro spotřebitele, kterou plánujeme začít dodávat v blízké budoucnosti.

Proč brýle rozšířené reality?

Existují tři hlavní důvody, proč jsou brýle pro rozšířenou realitu klíčem k odemknutí dalšího velkého skoku v oblasti počítačů orientovaných na člověka.

1. Umožňují digitální zážitky, které nejsou omezeny hranicemi obrazovky chytrého telefonu. Díky velkým holografickým displejům můžete používat fyzický svět jako plátno a umístit 2D a 3D obsah a zážitky kamkoli chcete.
2. Bez problémů integrují kontextovou umělou inteligenci, která dokáže vnímat a chápat svět kolem vás, aby předvídala a proaktivně řešila vaše potřeby.
3. Jsou lehké a skvěle se hodí pro vnitřní i venkovní použití - a umožňují lidem vidět si navzájem skutečnou tvář, skutečné oči a skutečné výrazy.

To je severní hvězda, ke které naše odvětví směřuje: produkt kombinující pohodlí a bezprostřednost nositelných zařízení s velkým displejem, širokopásmovým vstupem a kontextualizovanou umělou inteligencí v podobě, kterou lidé pohodlně nosí v každodenním životě.

Kompaktní formát, složité výzvy

Po léta jsme stáli před falešnou volbou - buď náhlavní soupravy pro virtuální a smíšenou realitu, které umožňují hluboké a pohlcující zážitky v objemném provedení, nebo brýle, které jsou ideální pro celodenní používání, ale nenabízejí bohaté vizuální aplikace a zážitky, protože nemají velký displej a odpovídající výpočetní výkon.

Chceme ale všechno a bez kompromisů. Již několik let usilovně pracujeme na tom, abychom do lehkých a stylových brýlí vložili neuvěřitelné prostorové zážitky, které poskytují náhlavní soupravy VR a MR, a miniaturizovali technologii potřebnou k jejich zprostředkování. Vyladění tvaru, holografických displejů, vývoj přesvědčivých zážitků s rozšířenou realitou a vytvoření nových paradigmat interakce člověka s počítačem (HCI) - a to vše v jednom uceleném produktu - je jednou z nejtěžších výzev, které kdy naše odvětví čelilo. Byla to taková výzva, že jsme si mysleli, že máme méně než desetiprocentní šanci ji úspěšně zvládnout.

Až dosud.

Přelomový displej v bezkonkurenčním provedení

S úhlem záběru přibližně 70 stupňů má Orion dosud největší zorné pole v nejmenším provedení brýlí AR. Toto zorné pole umožňuje skutečně pohlcující případy použití brýlí Orion, od multitaskingových oken a zábavy na velké obrazovce až po hologramy lidí v životní velikosti - veškerý digitální obsah se může plynule prolínat s vaším pohledem na fyzický svět.

Pro Orion bylo zorné pole naším svatým grálem. Naráželi jsme na fyzikální zákony a museli jsme ohýbat světelné paprsky způsobem, který není přirozený - a museli jsme to udělat ve výkonové obálce měřené v miliwattech.

Místo skla, čočky jsme vyrobili z karbidu křemíku.-nová aplikace pro brýle rozšířené reality. Karbid křemíku je neuvěřitelně lehký, nevznikají v něm optické artefakty ani rozptýlené světlo a má vysoký index lomu - všechny tyto optické vlastnosti jsou klíčové pro velké zorné pole. Samotné vlnovody mají opravdu složité a komplexní 3D struktury v nano měřítku, které rozptylují nebo rozptylují světlo způsobem nezbytným pro dosažení tohoto zorného pole. A projektory jsou uLED - nový typ zobrazovací technologie, která je velmi malá a extrémně energeticky účinná.

Orion jsou vzhledově i na dotek nezaměnitelné brýle s průhlednými skly. Na rozdíl od náhlavních souprav pro magnetickou rezonanci nebo jiných dnešních brýlí pro rozšířenou realitu stále vidíte skutečné oči a výrazy druhých, takže můžete být přítomni a sdílet zážitek s lidmi kolem sebe. Bylo zapotřebí desítek inovací, aby se průmyslový design dostal do podoby moderních brýlí, které budete pohodlně nosit každý den. Orion je výdobytkem miniaturizace - komponenty jsou zabaleny do zlomku milimetru. A do obrouček se nám podařilo zabudovat sedm malých kamer a senzorů.

Museli jsme zachovat optickou přesnost na tloušťce jedné desetiny lidského vlasu. Systém dokáže detekovat nepatrné pohyby, jako je rozpínání nebo smršťování rámečků při různých teplotách v místnosti, a následně digitálně korigovat potřebné optické vyrovnání, a to vše v řádu milisekund. Rámy jsme vyrobili z hořčíku - stejného materiálu, který se používá v závodních vozech F1 a vesmírných lodích - protože je lehký a zároveň tuhý, takže udržuje optické prvky v jedné rovině a účinně odvádí teplo.

Vytápění a chlazení

Jakmile jsme rozlouskli displej (bez slovní hříčky) a překonali problémy s fyzikou, museli jsme se vypořádat s výzvou opravdu výkonných počítačů a zároveň s opravdu nízkou spotřebou energie a potřebou odvádět teplo. Na rozdíl od dnešních náhlavních souprav pro magnetickou rezonanci nemůžete do brýlí nacpat ventilátor. Takže jsme museli být kreativní. Mnoho materiálů použitých k chlazení Orionu je podobných těm, které NASA používá k chlazení satelitů ve vesmíru.

Postavili jsme vysoce specializovaný křemík na zakázku který je extrémně úsporný a optimalizovaný pro naše algoritmy umělé inteligence, strojového vnímání a grafiky. Vytvořili jsme několik vlastních čipů a desítky vysoce přizpůsobených křemíkových IP bloků uvnitř těchto čipů. To nám umožňuje použít algoritmy potřebné pro sledování rukou a očí a technologii simultánní lokalizace a mapování (SLAM), která běžně spotřebovává stovky miliwattů energie - a generuje tak odpovídající množství tepla - a zmenšit ji na pouhých několik desítek miliwattů.

A ano, navzdory tomu, co jste se mohli dočíst jinde, vlastní křemík hraje ve společnosti Reality Labs při vývoji produktů i nadále zásadní roli. 😎

EMG bez námahy

Každá nová počítačová platforma s sebou přináší změna paradigmatu ve způsobu, jakým komunikujeme se svými zařízeními. Vynález myši pomohl připravit půdu pro grafická uživatelská rozhraní (GUI), která dnes dominují našemu světu, a chytré telefony se začaly skutečně prosazovat až s příchodem dotykového displeje. A stejné pravidlo platí i pro nositelná zařízení.

Mluvili jsme o naší práci s elektromyografie nebo EMG, již několik let vedeni přesvědčením, že zadávání dat do brýlí rozšířené reality musí být rychlé, pohodlné, spolehlivé, jemné a společensky přijatelné. A nyní je tato práce připravena pro hlavní vysílací čas.

Vstupní a interakční systém Orion hladce kombinuje hlas, pohled očí a sledování ruky s EMG náramkem, který umožňuje snadné posouvání, klikání a rolování.

Funguje to - a působí to jako kouzlo. Představte si, že při ranním běhu pořídíte fotografii pouhým klepnutím prstu nebo že se v menu pohybujete sotva znatelnými pohyby rukou. Náš náramek kombinuje vysoce výkonný textil se zabudovanými EMG senzory, které detekují elektrické signály generované i těmi nejmenšími pohyby svalů. ML procesor v zařízení pak tyto EMG signály interpretuje a vytváří vstupní události, které jsou bezdrátově přenášeny do brýlí. Systém se vám přizpůsobuje, takže se postupem času zlepšuje a lépe rozpoznává i ta nejjemnější gesta. A dnes se s vámi podělíme o další informace o naší podpoře externího výzkumu zaměřeného na rozšíření potenciálu rovnosti a dostupnosti EMG náramků..

Seznamte se s bezdrátovým výpočetním modulem Puck

Skutečné brýle rozšířené reality musí být bezdrátové a také malé.Tak jsme postavili bezdrátový výpočetní puk pro Orion. Odlehčuje část zátěže brýlí, což umožňuje delší výdrž baterie a lepší provedení s nízkou latencí.

Na brýlích běží všechny algoritmy pro sledování rukou, očí, SLAM a specializované grafické algoritmy pro uzamčení světa AR, zatímco logika aplikace běží na puku, aby byly brýle co nejlehčí a nejkompaktnější.

Puk má dva procesory, z nichž jeden byl navržen na zakázku přímo ve společnosti Meta, a poskytuje výpočetní výkon potřebný pro vykreslování grafiky s nízkou latencí, umělou inteligenci a další strojové vnímání.

Jelikož je malý a elegantní, můžete si ho pohodlně hodit do tašky nebo do kapsy a jít si po svých - bez jakýchkoli závazků.

Zkušenosti s rozšířenou realitou

Samozřejmě, stejně jako u jakéhokoli jiného hardwaru platí, že je tak dobrý, jak dobré jsou věci, které můžete použít. do s ním. A přestože je na to ještě brzy, zkušenosti, které Orion nabízí, jsou vzrušujícím zábleskem toho, co přijde.

https://youtube.com/watch?v=HkdSv3QPhNw%3F%26controls%3D0%3Fautoplay%3D0%26color%3Dwhite%26cc_lang_pref%3Den%26cc_load_policy%3D0%26enablejsapi%3D1%26frameborder%3D0%26hl%3Den%26rel%3D0%26origin%3Dhttps%253A%252F%252Fwww.meta.com

Máme svého chytrého asistenta, Meta AI, spuštěný v systému Orion. Rozumí tomu, na co se díváte ve fyzickém světě, a může vám pomoci s užitečnými vizualizacemi. Orion využívá stejný model Llama, který dnes pohání zkušenosti s umělou inteligencí běžící na chytrých brýlích Ray-Ban Meta, a navíc vlastní výzkumné modely, které demonstrují potenciální případy použití pro budoucí vývoj nositelných zařízení.

Na cestách můžete uskutečnit videohovor handsfree, abyste se v reálném čase setkali s přáteli a rodinou, a můžete zůstat ve spojení v aplikacích WhatsApp a Messenger a prohlížet a posílat zprávy. Nemusíte vytahovat telefon, odemykat ho, hledat správnou aplikaci a oznamovat kamarádovi, že máte zpoždění na večeři - to vše můžete udělat přes brýle.

https://youtube.com/watch?v=el7lUVvu8Bo%3F%26controls%3D0%3Fautoplay%3D0%26color%3Dwhite%26cc_lang_pref%3Den%26cc_load_policy%3D0%26enablejsapi%3D1%26frameborder%3D0%26hl%3Den%26rel%3D0%26origin%3Dhttps%253A%252F%252Fwww.meta.com

Sdílené hry rozšířené reality můžete hrát s rodinou na druhém konci země nebo s kamarádem na druhé straně gauče. A velký displej Orionu vám umožní multitasking s více okny, abyste mohli dělat různé věci, aniž byste s sebou museli tahat notebook.

Zkušenosti, které jsou dnes k dispozici na Orionu, pomohou v budoucnu nastínit plán pro naši řadu brýlí pro rozšířenou realitu pro spotřebitele. Naše týmy budou spolu s partnery z řad vývojářů pokračovat v iteracích a vytváření nových pohlcujících sociálních zážitků a my se nemůžeme dočkat, až se s vámi podělíme o to, co přijde příště.

Účelný prototyp výrobku

I když se Orion nedostane do rukou spotřebitelů, nenechte se mýlit: Tohle je ne výzkumný prototyp. Je to nejpropracovanější prototyp produktu, jaký jsme kdy vytvořili - a je to skutečně reprezentativní vzorek něčeho. mohl dodávat spotřebitelům. Než abychom spěchali s uvedením na pulty, rozhodli jsme se nejprve zaměřit na interní vývoj, což znamená, že můžeme pokračovat v rychlém budování a nadále posouvat hranice technologie a zážitků.

A to znamená, že rychleji dosáhneme ještě lepšího spotřebitelského produktu.

Co bude následovat

Dvě hlavní překážky dlouho stály v cestě brýlím pro rozšířenou realitu pro běžné spotřebitele: technologický průlom nutný k dosažení velkého displeje v kompaktním provedení brýlí a nutnost užitečných a přesvědčivých zážitků s rozšířenou realitou, které by bylo možné na těchto brýlích spustit. Orion je obrovským milníkem, který poprvé přináší skutečné zážitky z rozšířené reality běžící na přiměřeně stylovém hardwaru.

Teď, když jsme se o Orion podělili se světem, jsme se zaměřili na několik věcí:

• Vyladění kvality zobrazení rozšířené reality, aby byl obraz ještě ostřejší.
• Optimalizace všude, kde to jde, aby se tvar ještě zmenšil.
• Budování ve velkém měřítku, aby byly cenově dostupnější

V příštích několika letech můžete očekávat nová zařízení, která budou vycházet z našeho výzkumu a vývoje. A řada inovací společnosti Orion byla rozšířena na naše současné spotřebitelské produkty i na náš plán budoucích produktů. Optimalizovali jsme některé z našich algoritmů prostorového vnímání, které běží na obou zařízeních. Meta Quest 3S a Orion. Systém pohledu očí a jemných gest byl původně navržen pro Orion, ale plánujeme jej použít i v budoucích produktech. A zkoumáme možnosti využití EMG náramků i v budoucích spotřebitelských produktech.

Orion není jen oknem do budoucnosti - je to pohled na velmi reálné možnosti, které jsou dnes na dosah. Vytvořili jsme jej v rámci naší snahy o to, co umíme nejlépe: pomáhat lidem spojovat se. Od brýlí Ray-Ban Meta až po Orion jsme viděli, co dobrého může přinést, když lidem umožníme zůstat více přítomní a posílit jejich postavení ve fyzickém světě, a to i při využití veškerého dalšího bohatství, které nabízí digitální svět.

Věříme, že byste si neměli vybírat mezi těmito dvěma možnostmi. A s příští výpočetní platformou už nebudete muset.

---

Další informace o společnosti Orion najdete v těchto příspěvcích na blogu:

• Orion's Compute Puck: Příběh zařízení, které nám pomohlo vytvořit brýle pro rozšířenou realitu
• Od nuly k jedné: Jak náš vlastní křemík a čipy přinášejí revoluci do rozšířené reality
• Křišťálově čisté: naše vlnovody z karbidu křemíku a cesta k velkému zornému poli Orionu