TL;DR:
- Dnes na Pripojenie, Mark Zuckerberg predstavil Orion - náš prvý pár skutočných okuliarov s rozšírenou realitou, ktoré mali predtým kódové označenie Projekt Nazare.
- S najlepším zorným poľom v odvetví, šošovky z karbidu kremíka, zložitých vlnovodov, uLED projektorov a ďalších, Orion je náš najpokročilejší a najprepracovanejší prototyp produktu.
- Teraz pokračujeme v optimalizácii produktov a znižovaní nákladov, pretože sa snažíme vytvoriť škálovateľné spotrebiteľské zariadenie, ktoré spôsobí revolúciu v interakcii ľudí so svetom.
"Vyrábame okuliare rozšírenej reality."
Päť jednoduchých slov, vyslovené pred piatimi rokmi. Spolu s nimi sme vztýčili vlajku našej vízie budúcnosti, v ktorej si už nebudeme musieť falošne vyberať medzi svetom informácií na dosah ruky a fyzickým svetom okolo nás.
A teraz, o päť rokov neskôr, ďalších päť slov, ktoré môžu opäť zmeniť hru:
Vytvorili sme okuliare rozšírenej reality.
https://youtube.com/watch?v=2CJsnyS8u3c%3Fsi%3DTr77gOKEq3PnA7-k%26controls%3D0%3Fautoplay%3D0%26color%3Dwhite%26cc_lang_pref%3Den%26cc_load_policy%3D0%26enablejsapi%3D1%26frameborder%3D0%26hl%3Den%26rel%3D0%26origin%3Dhttps%253A%252F%252Fwww.meta.com
V spoločnosti Meta je naše poslanie jednoduché: dať ľuďom silu budovať komunitu a zbližovať svet. A v Reality Labs vytvárame nástroje, ktoré pomáhajú ľuďom cítiť sa prepojení kedykoľvek a kdekoľvek. Preto pracujeme na vytvorení ďalšej počítačovej platformy, ktorá postaví ľudí do centra pozornosti, aby mohli byť vo svete viac prítomní, prepojení a posilnení.
Okuliare Ray-Ban Meta ukázali, že je možné poskytnúť ľuďom hands-free prístup ku kľúčovým častiam ich digitálneho života z ich fyzického života. Môžeme sa rozprávať s inteligentným asistentom s umelou inteligenciou, spojiť sa s priateľmi a zachytiť dôležité momenty - a to všetko bez toho, aby sme museli vytiahnuť telefón. Tieto štýlové okuliare bez problémov zapadajú do nášho každodenného života a ľudia ich absolútne milujú.
Zatiaľ čo Ray-Ban Meta otvorila úplne novú kategóriu okuliarov bez displeja, ktoré sú nabité umelou inteligenciou, odvetvie XR už dlho sníva o skutočných okuliaroch s rozšírenou realitou - produkte, ktorý kombinuje výhody veľkého holografického displeja a personalizovanej asistencie umelej inteligencie v pohodlnej, štýlovej a celodennej podobe.
A dnes sme tento sen posunuli bližšie k realite odhalením Orion, ktoré sú podľa nás najpokročilejšími okuliarmi rozšírenej reality, aké boli kedy vyrobené. V skutočnosti by mohlo ísť o najnáročnejšie zariadenie spotrebnej elektroniky vyrobené od čias smartfónu. Orion je výsledkom prelomových vynálezov prakticky v každej oblasti modernej výpočtovej techniky - stavia na práca, ktorú sme v Reality Labs vykonávali počas posledných desiatich rokov.. Je vybavený úplne novými technológiami vrátane najpokročilejšieho displeja AR, aký bol kedy zostavený, a vlastný silikón ktorá umožňuje spustiť výkonné zážitky rozšírenej reality na okuliaroch s použitím zlomku výkonu a hmotnosti náhlavnej súpravy MR.
Vstupný systém Orion bezproblémovo kombinuje hlas, pohľad očí a sledovanie ruky s EMG náramok ktorá vám umožňuje posúvať, klikať a posúvať sa, pričom máte ruku pohodlne položenú vedľa seba, čo vám umožňuje zostať prítomní vo svete a s ľuďmi okolo vás pri interakcii s bohatým digitálnym obsahom.
Počnúc dnešným dňom na veľtrhu Connect a pokračujúc počas celého roka otvárame prístup k prototypu nášho produktu Orion pre zamestnancov spoločnosti Meta a vybrané externé publikum, aby sa náš vývojový tím mohol učiť, vylepšovať a budovať náš produktový rad okuliarov AR pre spotrebiteľov, ktorý plánujeme začať dodávať v blízkej budúcnosti.
Prečo okuliare AR?
Existujú tri hlavné dôvody, prečo sú okuliare rozšírenej reality kľúčom k odomknutiu ďalšieho veľkého skoku v oblasti počítačov orientovaných na človeka.
- Umožňujú digitálne zážitky, ktoré nie sú obmedzené limitmi obrazovky smartfónu. Vďaka veľkým holografickým displejom môžete používať fyzický svet ako plátno a umiestniť 2D a 3D obsah a zážitky kamkoľvek chcete.
- Bez problémov integrujú kontextovú umelú inteligenciu, ktorá dokáže vnímať a chápať svet okolo vás s cieľom predvídať a proaktívne riešiť vaše potreby.
- Sú ľahké a skvelé na použitie v interiéri aj exteriéri - a umožňujú ľuďom vidieť skutočnú tvár, skutočné oči a skutočné výrazy.
To je severná hviezda, ku ktorej naše odvetvie smeruje: produkt kombinujúci pohodlie a bezprostrednosť nositeľných zariadení s veľkým displejom, vstupom s vysokou šírkou pásma a kontextualizovanou umelou inteligenciou vo formáte, ktorý ľudia pohodlne nosia v každodennom živote.
Kompaktný tvar, zložité výzvy
Roky sme stáli pred falošnou voľbou - buď náhlavné súpravy pre virtuálnu a zmiešanú realitu, ktoré umožňujú hlboké, pohlcujúce zážitky v objemnom formáte, alebo okuliare, ktoré sú ideálne na celodenné používanie, ale neponúkajú bohaté vizuálne aplikácie a zážitky vzhľadom na nedostatok veľkého displeja a zodpovedajúceho výpočtového výkonu.
Chceme však všetko bez kompromisov. Už roky tvrdo pracujeme na tom, aby sme do páru ľahkých a štýlových okuliarov preniesli neuveriteľné priestorové zážitky, ktoré poskytujú náhlavné súpravy VR a MR, a miniaturizovali technológiu potrebnú na poskytovanie týchto zážitkov. Vyladenie tvarového faktora, holografických displejov, vývoj presvedčivých zážitkov s rozšírenou realitou a vytvorenie nových paradigiem interakcie človeka s počítačom (HCI) - a to všetko v jednom ucelenom produkte - je jednou z najťažších výziev, akej kedy naše odvetvie čelilo. Bola to taká výzva, že sme si mysleli, že máme menej ako 10-percentnú šancu na jej úspešné zvládnutie.
Až doteraz.
Prelomový displej v bezkonkurenčnom formáte
Orion má približne 70° zorné pole v doteraz najmenšom formáte okuliarov AR. Toto zorné pole umožňuje skutočne pohlcujúce prípady použitia Orionu, od multitaskingových okien a veľkoplošnej zábavy až po hologramy ľudí v životnej veľkosti - všetok digitálny obsah, ktorý sa môže plynulo prelínať s vaším pohľadom na fyzický svet.
Pre Orion bolo zorné pole naším svätým grálom. Narážali sme na fyzikálne zákony a museli sme ohýbať svetelné lúče tak, ako sa prirodzene neohýbajú - a museli sme to robiť v rámci výkonovej obálky meranej v miliwattoch.
Namiesto skla, šošovky sme vyrobili z karbidu kremíka-nová aplikácia pre okuliare rozšírenej reality. Karbid kremíka je neuveriteľne ľahký, nespôsobuje optické artefakty ani rozptýlené svetlo a má vysoký index lomu - všetky optické vlastnosti, ktoré sú kľúčové pre veľké zorné pole. Samotné vlnovody majú skutočne zložité a komplexné 3D štruktúry v nanorozmeroch, ktoré rozptyľujú alebo rozptyľujú svetlo spôsobom potrebným na dosiahnutie tohto zorného poľa. A projektory sú uLED - nový typ zobrazovacej technológie, ktorá je veľmi malá a mimoriadne energeticky účinná.
Orion je nezameniteľný pár okuliarov na pohľad aj na dotyk - s priehľadnými šošovkami. Na rozdiel od dnešných náhlavných súprav MR alebo iných okuliarov AR stále vidíte skutočné oči a výrazy druhých, takže môžete byť prítomní a zdieľať zážitok s ľuďmi okolo seba. Na to, aby sa priemyselný dizajn dostal do podoby moderných okuliarov, ktoré by sa vám pohodlne nosili každý deň, boli potrebné desiatky inovácií. Orion je výdobytkom miniaturizácie - komponenty sú zbalené do zlomku milimetra. A do obruby rámu sa nám podarilo zabudovať sedem malých kamier a senzorov.
Museli sme zachovať optickú presnosť na úrovni jednej desatiny hrúbky ľudského vlasu. Systém dokáže rozpoznať nepatrné pohyby, ako napríklad rozťahovanie alebo zmršťovanie rámov pri rôznych teplotách v miestnosti, a potom digitálne korigovať potrebné optické zarovnanie, a to všetko v priebehu milisekúnd. Rámy sme vyrobili z horčíka - rovnakého materiálu, aký sa používa v pretekárskych autách F1 a vesmírnych lodiach - pretože je ľahký a zároveň tuhý, takže udržiava optické prvky v správnej polohe a účinne odvádza teplo.
Vykurovanie a chladenie
Keď sme rozlúskli displej (bez slovnej hračky) a prekonali problémy s fyzikou, museli sme sa vyrovnať s výzvou skutočne výkonného počítača a zároveň s naozaj nízkou spotrebou energie a potrebou odvádzania tepla. Na rozdiel od dnešných MR headsetov nemôžete do okuliarov vložiť ventilátor. Takže sme museli byť kreatívni. Mnohé materiály použité na chladenie Orionu sú podobné tým, ktoré používa NASA na chladenie satelitov vo vesmíre.
Postavili sme vysoko špecializovaný kremík na zákazku ktorý je mimoriadne energeticky efektívny a optimalizovaný pre naše algoritmy umelej inteligencie, strojového vnímania a grafiky. Vytvorili sme niekoľko vlastných čipov a desiatky vysoko prispôsobených kremíkových blokov IP v týchto čipoch. To nám umožňuje použiť algoritmy potrebné na sledovanie rúk a očí, ako aj technológiu simultánnej lokalizácie a mapovania (SLAM), ktorá bežne spotrebúva stovky miliwattov energie - a teda generuje zodpovedajúce množstvo tepla - a zmenšiť ju len na niekoľko desiatok miliwattov.
A áno, napriek tomu, čo ste sa možno dočítali inde, vlastný kremík naďalej zohráva kľúčovú úlohu pri vývoji produktov v spoločnosti Reality Labs. 😎
Bez námahy EMG
Každá nová počítačová platforma so sebou prináša zmena paradigmy v spôsobe, akým komunikujeme so svojimi zariadeniami. Vynález myši pomohol pripraviť pôdu pre grafické používateľské rozhrania (GUI), ktoré dnes dominujú nášmu svetu, a smartfóny sa začali skutočne presadzovať až s príchodom dotykovej obrazovky. To isté pravidlo platí aj pre nositeľné zariadenia.
Hovorili sme o našej práci s elektromyografia alebo EMG, už niekoľko rokov, pričom nás viedlo presvedčenie, že zadávanie údajov do okuliarov rozšírenej reality musí byť rýchle, pohodlné, spoľahlivé, jemné a spoločensky prijateľné. A teraz je táto práca pripravená na hlavný čas.
Vstupný a interakčný systém Orion hladko kombinuje hlas, pohľad očí a sledovanie ruky s EMG náramkom, ktorý vám umožní ľahko posúvať, klikať a rolovať.
Funguje to ako kúzlo. Predstavte si, že fotografujete pri rannom behu jednoduchým ťuknutím prstov alebo prechádzate menu sotva postrehnuteľnými pohybmi rúk. Náš náramok kombinuje vysoko výkonný textil so zabudovanými EMG snímačmi na detekciu elektrických signálov generovaných aj tými najmenšími pohybmi svalov. ML procesor v zariadení potom interpretuje tieto EMG signály a vytvára vstupné udalosti, ktoré sa bezdrôtovo prenášajú do okuliarov. Systém sa vám prispôsobuje, takže sa časom zlepšuje a dokáže rozpoznať aj tie najjemnejšie gestá. A dnes sa podelíme o ďalšie informácie o našej podpore externého výskumu zameraného na rozšírenie potenciálu rovnosti a dostupnosti EMG náramkov.
Zoznámte sa s bezdrôtovým výpočtovým zariadením Puck
Skutočné okuliare rozšírenej reality musia byť bezdrôtové a musia byť aj malé.Tak sme postavili bezdrôtový výpočtový puk pre Orion. To čiastočne odbremeňuje okuliare, čo umožňuje dlhšiu výdrž batérie a lepší tvar s nízkou latenciou.
Na okuliaroch bežia všetky algoritmy na sledovanie rúk, očí, SLAM a špecializované grafické algoritmy na uzamknutie sveta AR, zatiaľ čo logika aplikácie beží na puku, aby boli okuliare čo najľahšie a najkompaktnejšie.
Puk má dva procesory, vrátane jedného navrhnutého priamo v spoločnosti Meta, a poskytuje výpočtový výkon potrebný na vykresľovanie grafiky s nízkou latenciou, umelú inteligenciu a niektoré ďalšie strojové vnímanie.
Keďže je malý a elegantný, môžete si ho pohodlne hodiť do tašky alebo do vrecka a pokračovať v práci - bez akýchkoľvek prekážok.
Skúsenosti s rozšírenou realitou
Samozrejme, ako každý hardvér, aj tento je taký dobrý, ako veci, ktoré môžete do s ním. A hoci je to ešte len začiatok, skúsenosti, ktoré Orion poskytuje, sú vzrušujúcim zábleskom toho, čo príde.
https://youtube.com/watch?v=HkdSv3QPhNw%3F%26controls%3D0%3Fautoplay%3D0%26color%3Dwhite%26cc_lang_pref%3Den%26cc_load_policy%3D0%26enablejsapi%3D1%26frameborder%3D0%26hl%3Den%26rel%3D0%26origin%3Dhttps%253A%252F%252Fwww.meta.com
Máme svojho inteligentného asistenta, Meta AI, spustený v systéme Orion. Rozumie tomu, na čo sa pozeráte vo fyzickom svete, a môže vám pomôcť s užitočnými vizualizáciami. Orion využíva rovnaký model Llama, ktorý dnes poháňa zážitky s umelou inteligenciou bežiace na inteligentných okuliaroch Ray-Ban Meta, plus vlastné výskumné modely na demonštráciu potenciálnych prípadov použitia pre budúci vývoj nositeľných zariadení.
Na cestách môžete uskutočniť videohovor bez použitia rúk, aby ste sa v reálnom čase spojili s priateľmi a rodinou, a môžete zostať v spojení v aplikáciách WhatsApp a Messenger a zobrazovať a odosielať správy. Nemusíte vyťahovať telefón, odomykať ho, hľadať správnu aplikáciu a oznamovať priateľovi, že meškáte na večeru - to všetko môžete urobiť cez okuliare.
https://youtube.com/watch?v=el7lUVvu8Bo%3F%26controls%3D0%3Fautoplay%3D0%26color%3Dwhite%26cc_lang_pref%3Den%26cc_load_policy%3D0%26enablejsapi%3D1%26frameborder%3D0%26hl%3Den%26rel%3D0%26origin%3Dhttps%253A%252F%252Fwww.meta.com
Spoločné hry s rozšírenou realitou môžete hrať s rodinou na druhom konci krajiny alebo s priateľom na druhej strane gauča. A veľký displej Orionu vám umožní multitasking s viacerými oknami, aby ste mohli robiť veci bez toho, aby ste so sebou museli nosiť notebook.
Skúsenosti, ktoré sú dnes k dispozícii na Orione, pomôžu načrtnúť plán pre našu budúcu líniu okuliarov AR pre spotrebiteľov. Naše tímy budú spolu s našimi partnermi z radov vývojárov pokračovať vo vylepšovaní a vytváraní nových pohlcujúcich sociálnych zážitkov a my sa už nevieme dočkať, kedy sa s vami podelíme o to, čo príde.
Účelný prototyp výrobku
Hoci sa Orion nedostane do rúk spotrebiteľov, nenechajte sa mýliť: Toto je nie výskumný prototyp. Je to najdokonalejší prototyp produktu, aký sme kedy vyvinuli - a je skutočne reprezentatívny. mohol dodávať spotrebiteľom. Namiesto toho, aby sme sa ponáhľali s uvedením na pulty, sme sa rozhodli zamerať sa najprv na interný vývoj, čo znamená, že môžeme pokračovať v rýchlom budovaní a naďalej posúvať hranice technológie a zážitkov.
A to znamená, že rýchlejšie dosiahneme ešte lepší spotrebiteľský produkt.
Čo bude nasledovať
Dve hlavné prekážky dlho stáli v ceste bežnej spotrebiteľskej triede okuliarov AR: technologický prielom potrebný na zabezpečenie veľkého displeja v kompaktnom tvare okuliarov a potreba užitočných a presvedčivých zážitkov AR, ktoré by sa dali na týchto okuliaroch spustiť. Orion je obrovským míľnikom, ktorý po prvýkrát prináša skutočné zážitky s rozšírenou realitou na primerane štýlovom hardvéri.
Teraz, keď sme sa o Orion podelili so svetom, sme sa zamerali na niekoľko vecí:
- Vyladenie kvality zobrazenia rozšírenej reality, aby bol obraz ešte ostrejší
- Optimalizácia všade, kde sa dá, s cieľom ešte viac zmenšiť rozmery
- Výstavba vo väčšom rozsahu, aby boli cenovo dostupnejšie
V nasledujúcich rokoch môžete očakávať nové zariadenia, ktoré budú vychádzať z nášho výskumu a vývoja. A viaceré inovácie Orion boli rozšírené na naše súčasné spotrebiteľské produkty, ako aj na náš plán budúcich produktov. Optimalizovali sme niektoré naše algoritmy priestorového vnímania, ktoré bežia na oboch Meta Quest 3S a Orion. Hoci bol systém pohľadu očí a jemných gest pôvodne navrhnutý pre Orion, plánujeme ho použiť aj v budúcich produktoch. A skúmame možnosti využitia EMG náramkov aj v budúcich spotrebiteľských produktoch.
Orion nie je len oknom do budúcnosti - je to pohľad na veľmi reálne možnosti, ktoré sú dnes na dosah. Vytvorili sme ho v snahe o to, čo robíme najlepšie: pomáhame ľuďom spájať sa. Od okuliarov Ray-Ban Meta až po Orion sme videli, čo dobré môže priniesť to, že ľudia môžu zostať viac prítomní a mať viac možností vo fyzickom svete, aj keď využívajú všetko bohatstvo, ktoré ponúka digitálny svet.
Veríme, že by ste si nemali vyberať medzi týmito dvoma možnosťami. A s ďalšou počítačovou platformou už nebudete musieť.
Ďalšie informácie o spoločnosti Orion nájdete v týchto príspevkoch na blogu:
