Minulý rok sme na veľtrhu Connect predstavili Orion-naše prvé skutočné okuliare s rozšírenou realitou. Vyvrcholenie naša práca v Reality Labs za posledné desaťročieOrion kombinuje výhody veľkého holografického displeja a personalizovanej asistencie AI v pohodlnom, celodennom nositeľnom tvare. Pozornosť si získal vďaka svojmu špičkovému zornému poľu, vlnovodom z karbidu kremíka, projektorom uLED a ďalším prvkom. Dnes však upriamime pozornosť na neopozeraného hrdinu Orionu: výpočtový puk.
Puk je navrhnutý tak, aby sa dal ľahko vložiť do vrecka alebo tašky, takže ho môžete mať pri každodenných činnostiach takmer kdekoľvek, a odľahčuje výpočtový výkon Orionu na spúšťanie aplikačnej logiky a umožňuje vytvoriť presvedčivejší, menší tvar okuliarov. S okuliarmi a náramkom EMG sa spája bezdrôtovo, čím sa dosiahne bezproblémový zážitok.
Nastaviť a zabudnúť, však?
Príbeh puku - dokonca aj ako prototypu - je však zaujímavý a má dramatický oblúk, ktorý by ste z jeho vzhľadu nikdy neuhádli.
"Keď vytvárate niečo také, začínate sa dostávať na hranice fyziky," vysvetľuje riaditeľ produktového manažmentu Rahul Prasad. "Za posledných 50 rokov sa vďaka Moorovmu zákonu všetko zmenšilo, zrýchlilo a znížila sa spotreba. Problémom je, že teraz začínate narážať na limity, koľko tepla môžete rozptýliť, koľko batérie môžete stlačiť a aký výkon antény môžete vtesnať do objektu určitej veľkosti."
Hoci pohľad späť môže byť 20/20, potenciál puku nebol zrejmý okamžite. Keď ste prvý, kto niečo vytvorí, musíte preskúmať všetky možnosti - a nenechať kameň na kameni. Ako vytvoriť niečo, čo by niektorí mohli považovať za nežiaduci doplnok, a nie za dôležitú súčasť balíka?
"Vedeli sme, že puk je zariadenie navyše, ktoré od ľudí vyžadujeme," poznamenáva Jared Van Cleave, manažér pre dizajn produktov, "preto sme skúmali, ako túto chybu premeniť na funkciu."
Nakoniec sa tento princíp vyplatil, pretože puk vtesnal do malých rozmerov veľa výpočtovej kapacity (a ešte viac kremíka navrhnutého spoločnosťou Meta na mieru pre umelú inteligenciu a strojové vnímanie). To pomohlo Orionu dostať sa z ríše sci-fi do reality.
"Ak by ste nemali puk, nemohli by ste mať také zážitky, aké ponúka Orion vo svojej podobe," hovorí Prasad. "Dobrý zážitok z rozšírenej reality si vyžaduje naozaj vysoký výkon: vysoké snímkové frekvencie, extrémne nízku latenciu, jemné riadenie bezdrôtových sietí a napájania atď. Puk a okuliare musia byť navrhnuté tak, aby naozaj úzko spolupracovali, a to nielen na úrovni aplikácií, ale aj na úrovni operačného systému, firmvéru a hardvéru. A aj keby sa podarilo navrhnúť smartfón tak, aby spolupracoval s okuliarmi rozšírenej reality, náročné požiadavky na výkon by vyčerpali batériu telefónu a odčerpali by výpočtovú kapacitu z prípadov používania telefónu. Na druhej strane, puk má vlastnú vysokokapacitnú batériu, vysoko výkonný SoC a vlastný koprocesor AI navrhnutý spoločnosťou Meta a optimalizovaný pre Orion."
Samozrejme, puk nebol navrhnutý zo dňa na deň. Vyžadoval si roky opakovanej práce.
"Nevedeli sme, ako by ľudia chceli komunikovať s Orionom z hľadiska vstupov - na trhu sme nemali nič, čo by sme mohli navrhnúť," hovorí produktový manažér Matt Resman. "Ak sa pozriete na naše prvé prototypy okuliarov, boli to masívne náhlavné súpravy, ktoré vážili tri alebo štyri kilogramy. A keď sa snažíte vytvoriť produkt, je naozaj ťažké pochopiť používateľskú skúsenosť, ak nemáte správny tvarový faktor. S pukom sme mohli veľmi rýchlo vytvoriť prototyp a začať chápať, ako ho ľudia budú používať."
Puk s kódovým označením Omega bol pôvodne predstavený vtedajšou spoločnosťou Oculus Research ako pás v tvare Ω, ktorý by sa dal umiestniť na krk používateľa a bol by pevne spojený s okuliarmi...
... až do chvíle, keď im niektoré nové inovácie bezdrôtového tímu Reality Labs okrem iného umožnili prerušiť spojenie. To umožnilo vytvoriť vreckové alebo vreckové zariadenie, čo otvorilo veľa možností.
"V tom čase bolo volanie v rozšírenej realite stále primárnym prípadom použitia," vysvetľuje Van Cleave. "Puk bol miestom, kde sa ukotvovali holografické videá. Položili by ste ho na stôl, lavička so snímačom by bola otočená k vám, zobrazovala by vás a potom by sa z povrchu puku premietalo, s kým hovoríte, aby ste mohli volať."
"Orion spája ľudí a spája nás," hovorí Resman. "Jedným z pôvodných konceptov puku bolo pomôcť vytvoriť tento pocit prítomnosti s inými ľuďmi a umožniť túto bohatšiu formu komunikácie."
"Je to niečo iné, ako ste kedy videli - zariadenie má potenciál vytvárať skutočne zábavné a jedinečné interakcie," dodáva priemyselný dizajnér Emron Henry. "Používateľský zážitok je trochu ako vypustenie džina z fľaše, kde sa hologramy plynule objavujú a rozpúšťajú späť do zariadenia."
Ako už asi tušíte, v puku sa skrýva väčší potenciál, než aký bol nakoniec zapnutý ako funkcia. Okrem senzorov a kamier, ktoré by sa použili na volanie AR, má puk haptiku a senzory 6DOF, ktoré by ho mohli umožniť používať ako sledovaný ovládač na výber a manipuláciu s virtuálnymi objektmi a hranie hier AR. Tím skúmal aj kapacitný a silový dotykový vstup, takže puk by mohol slúžiť ako gamepad pri držaní na výšku aj na šírku.
"Hovorili sme o potrebe nosiť túto ďalšiu vec," hovorí Van Cleave. "Ako ju urobíme užitočnejšou? Bol okolo toho celý pracovný prúd. A v istom momente bola hypotéza, že hry s rozšírenou realitou budú týmto kľúčovým prípadom použitia."
Už na začiatku sme vedeli, že musíme preskúmať možnosti puku, ktorý dokáže veci, ktoré telefóny nedokážu. Nakoniec sme sa rozhodli používať pohľad očí, EMG a sledovanie rúk v hrách AR, ako sú Stargazer a Pong, ale v začiatkoch Orionu sme vytvorili prototypy rôznych ukážok a hier, ktoré používali puk ako ovládač.
0:00 / 0:00
0:00 / 0:00
0:00 / 0:00
Renderované skúmanie puku ako ovládača 6DOF pre AR hry, ako je Pong.
"Keďže nejde o telefón, mali sme veľkú voľnosť pri navrhovaní," dodáva Prasad. "Môže byť hrubší, môžem ho viac zaobliť, aby sa pohodlne držal v ruke ako ovládač. Je celkom neuveriteľné, že puk je v skutočnosti menší ako priemerný telefón, ale je výkonnejší ako telefón, pretože má koprocesor navrhnutý spoločnosťou Meta pre umelú inteligenciu a strojové vnímanie."
Tím sa zaoberal otázkou, ako sa môže kvalitná hra na rozšírenú realitu líšiť od hry na MR alebo konzolu. To znamenalo preskúmať rôzne možnosti herného ovládača AR vrátane joystickov, fyzického rozloženia tlačidiel, spúšťacích tlačidiel a ďalších.
"Nakoniec sme nič z toho nepostavili," poznamenáva Van Cleave. "Vyrobili sme prototyp, ale nikdy sme sa nepustili do úplnej stavby. Chceli sme, aby to bolo jednoduché. Chceli sme urobiť tieto mäkké rozhrania, ale nie fyzické, mechanické tlačidlá."
Senzory a haptika síce neboli zapnuté v prototype hotového produktu, ale počas vývoja plnili svoju neoddeliteľnú funkciu a umožňovali tímom nahlasovať chyby jednoduchým niekoľkonásobným poklepaním na hornú časť zariadenia, čím sa spustila správa o chybe.
Keď sa umelá inteligencia začala dostávať do popredia ako kľúčový prípad použitia, výpočetná technika sa dostávala do čoraz väčšej pozornosti. Nakoniec je puk domovom bezdrôtového pripojenia Orion, výpočtového výkonu a kapacity batérie - čo je samo o sebe obrovský technický výkon - a to všetko pomáha znížiť hmotnosť a tvar okuliarov, pričom vďaka svojej ploche rozptyľuje oveľa viac tepla.
Počas celého vývoja sa nezmenila jedna vec: puk v sebe skrýva viac, než sa na prvý pohľad zdá. Prijímanie netradičných nápadov umožnilo našim tímom skúmať, posúvať hranice a budovať budúcnosť.
"Definujeme kategóriu, ktorá ešte celkom neexistuje," poznamenáva Henry. "Ako sa dá očakávať pri výskume a vývoji, na ceste sme sa stretli so začiatkami a zastávkami. Ako budú používatelia očakávať interakciu s hologramami? Budú radšej používať diaľkový ovládač AR, alebo im na zadávanie údajov postačí sledovanie rúk, pohľad očí a EMG? Čo sa im zdá intuitívne, málo trecie, známe a užitočné?"
"Namiesto toho, aby sme sa na puk pozerali len ako na kameň, sme sa pýtali, čo ďalšie by sme mohli poskytnúť, aby sme ho ešte viac odlíšili od telefónov a zdôvodnili, prečo by ste ho chceli nosiť so sebou," priznáva Resman. "Ponúka jeho hrubý výpočtový výkon a praktický dizajn - ktorý pomohol odomknúť tvar okuliarov, ktoré môžete reálne nosiť celý deň - nakoniec dostatočnú hodnotu? Našou úlohou je pomôcť odpovedať na tieto otázky."
"Na začiatku sme sa zamerali na to, čo dokážeme urobiť, čo telefón nedokáže," dodáva Van Cleave. "Telefóny musia mať obrazovku, musia mať určité fyzické rozloženie tlačidiel, ktoré používatelia očakávajú. A my tieto obmedzenia nemáme. Náš výpočtový puk môže byť, aký len chceme."
Ďalšie informácie o spoločnosti Orion nájdete v týchto príspevkoch na blogu:
