V roku 2017 hlavný vedecký pracovník spoločnosti Reality Labs Michael Abrash, podporovaný zakladateľom a generálnym riaditeľom spoločnosti Meta Markom Zuckerbergom, založil v rámci vtedajšieho výskumu Oculus Research nový tajný tím, ktorý mal vytvoriť základ ďalšej počítačovej platformy. Ich herkulovská úloha: Vytvoriť vlastné kremíkové riešenie, ktoré by podporovalo jedinečné požiadavky budúcich okuliare s rozšírenou realitou-technický výkon, ktorý si vyžadoval prepracovanie každého komponentu pre celodenné nosenie Okuliare AR form factor, ktorý ešte jednoducho neexistoval.
Predný uhol prototypu okuliarov Orion AR.
Kompaktný tvar, značný problémový priestor
Tím zaoberajúci sa vlastným kremíkom, ktorý sa rozrástol z niekoľkých výskumníkov na stovky ľudí na strane produktov, vychádzal z predpokladu, že okuliare na rozšírenú realitu sa nemôžu spoliehať na kremík dostupný v dnešných smartfónoch. Tento predpoklad potvrdzuje aj niekoľko vlastných čipov vo vnútri Orion, náš prvý skutočný prototyp okuliarov AR.
"Stavba lode, ktorá vypláva z prístavu - to bolo presne to, čo sme robili," hovorí riaditeľ pre stratégiu pokročilých technológií Jeremy Snodgrass. "Museli sme zväčšiť pôvodne skromný tím a zároveň vybudovať tieto čipy. Bolo fascinujúce sledovať, ako vedenie privádza na palubu nových zamestnancov a zároveň rozvíja kultúru, ktorá si cení agilitu. Nič nebolo problémom niekoho iného. Vzali ste veslo a začali veslovať, aj keď to nebolo presne to, na čo vás najali. Bolo to veľmi, veľmi vzrušujúce obdobie."
"Takmer všetko v Orione bolo v mnohých ohľadoch nové," súhlasí technický riaditeľ Display Architecture Mike Yee. "Niektoré nápady tu už boli, ale nikto sa nepustil do výskumného projektu, aby skutočne vytvoril celodenné nositeľné okuliare rozšírenej reality."
Tím musel poskytnúť presvedčivý zážitok z rozšírenej reality s čo najnižšou spotrebou energie. Formát okuliarov môže odvádzať len toľko tepla a môže pojať len toľko kapacity batérie. Výsledkom je, že zážitky, ktoré je možné na okuliaroch poskytnúť, sú úplne závislé od kremíka. Inými slovami, ak udržíte konštantnú tepelnú kapacitu a kapacitu batérie, jediný spôsob, ako poskytnúť daný zážitok, je optimalizovať kremík.
"Návrh novej architektúry pre Orion si vyžadoval, aby tím nielen intenzívne presadzoval existujúce technológie, ako sú bezdrôtové pripojenie a displeje, ale aj riskoval v oblasti nových technológií," hovorí riaditeľ produktového manažmentu Neeraj Choubey. "Tím napríklad vyvinul akcelerátor strojového učenia (ML) bez toho, aby mal v tom čase jasný prípad použitia, pričom ho viedlo silné presvedčenie, že ML bude v produktoch Meta čoraz dôležitejší. V Orione sa využíva každý ML akcelerátor a v niektorých prípadoch sú nadmieru využívané, pretože slúžia na funkcie, ako je sledovanie očí a rúk. Podobne tím vyvinul vlastné kompresné protokoly na zníženie šírky pásma a spotreby energie, keď sa údaje presúvali z vypočítať puk na displej. Vývoj vlastného kremíka na dosiahnutie cieľov spoločnosti Orion v oblasti tvarového faktora si vyžadoval toleranciu voči vysokej nejednoznačnosti a dôkladnú pozornosť venovanú detailom, aby sa dosiahla neuveriteľne komplexná architektúra systému."
"Najväčšou výzvou pre nás bolo dodať 3D grafiku s vykresľovaním sveta spolu s priestorovým zvukom, ktorý je vykreslený tak, že sa zdá, že vychádza z virtuálneho objektu," poznamenáva Snodgrass. "Museli sme všetku túto elektroniku vtesnať do tepelnej kapacity a fyzického priestoru a potom ju prevádzkovať na batériu, aby sa príliš nezahrievala. A to všetko sme museli urobiť v skutočnom tvare okuliarov - nie vo veľkom hľadáčiku, aký sa zvyčajne používa v tejto kategórii."
"Vedeli sme, ako dodať potrebný výpočtový výkon na realizáciu našej vízie pre Orion, ale stáli sme pred náročnou úlohou: znížiť spotrebu energie stonásobne," hovorí riaditeľ SoC Solutions Robert Shearer. "To si vyžadovalo, aby sme posunuli hranice návrhu kremíka, prijali metodiky z rôznych kútov priemyslu - od internetu vecí po vysoko výkonné výpočty - a vymysleli nové prístupy na preklenutie rozdielov. Naši partneri z odvetvia si mysleli, že sme sa zbláznili, a možno sa celkom nemýlili. Ale presne to bolo potrebné: ochota spochybniť zaužívané názory a všetko prehodnotiť. Vytvorenie počítača, ktorý hladko spája virtuálny a fyzický svet, si vyžaduje hlboké pochopenie súvislostí, ktoré ďaleko presahujú to, čo môžu ponúknuť existujúce výpočtové platformy. V podstate sme nanovo vynašli spôsob, akým počítače komunikujú s ľuďmi, čo znamenalo, že sme od základov zmenili spôsob, akým vytvárame kremík."
Vonkajšie komponenty Orion.
Kúzlo MicroLED
Boli chvíle, keď veci zaostávali za plánom alebo sa objavili zdanlivo neprekonateľné technické problémy, keď bolo ťažké udržať si dynamiku a morálku. Tím bol však odolný a našiel si cestu, ako prekážky obísť - alebo ich jednoducho zlikvidovať.
Vezmite si napríklad displej Orionu. Kremíkový tím bol zodpovedný za kremík v projektore displeja, ktorý sa nachádza v rohoch okuliarov.
"Pri týchto projektoroch bola otvorená otázka, či dokážeme získať mikroLED v poli s dostatočne vysokou účinnosťou a jasom na nasadenie displeja so širokým zorným poľom," hovorí Snodgrass. "Boli obrovské pochybnosti, či to dokážeme - či je to možné v časovom rámci, ktorý sme zvažovali - pretože to bola veľmi nová technológia."
"Veľmi skoro sme si uvedomili, že musíme prehodnotiť mnohé paradigmy vývoja produktov," dodáva Yee. "Množstvo svetla, ktoré potrebujete na vytvorenie použiteľného displeja, je v prípade okuliarov na rozšírenú realitu o dosť väčšie, pretože ako nositeľný displej súťažíte so slnkom. Takže potrebujeme také úrovne energie, ktoré mu budú konkurovať - alebo to je aspoň cieľom. Ešte sme sa k tomu nedostali, ale je to veľká časť. A to znamená, že potrebujete zdroje svetla pre displej, ktoré sú toho schopné, a potrebujete obvody, ktoré to dokážu ovládať. A zároveň je potrebné, aby to bolo malé."
Vlastný kremík poháňajúci µLED diódy Orion.
Hoci sa mikroLED zdali byť najvhodnejším zdrojom svetla pre projektory, kremík pomohol odhaliť ich potenciál.
"Pri displejoch hovoríme o rozstupoch pixelov, čo sú vzdialenosti medzi stredmi susedných pixelov," vysvetľuje Yee. "Pri televízoroch sú tieto vzdialenosti stovky mikrónov. V telefóne je to mnoho, mnoho desiatok mikrónov. A my sme to potrebovali znížiť na jednociferné hodnoty. Jediná známa výroba polovodičov, ktorá to dokázala, bol kremík."
Prácu komplikovala skutočnosť, že zadný povrch displeja musel byť z kremíka a nikto na svete kremík pre microLED nenavrhoval.
"Všetky výskumné tímy, ktoré v tom čase pracovali, používali tekuté kryštály na kremíkových displejoch, aby na ne mohli umiestniť microLED," hovorí Yee. "Nikto predtým nenavrhol základnú dosku pre microLED. A my sme čelili celkom jedinečnej výzve, pretože ide o optický komponent. Musí byť plochá. Nemôžete ju poškriabať. Musí mať všetky tieto vlastnosti, pretože keď sa pozeráte cez vlnovody, cez projektory, doslova sa pozeráte na horný povrch kúska kremíka."
Kremíkový tím vyvinul komplexnú sériu testovacích platforiem pre tieto displeje microLED, ktoré si vyžadovali úzku koordináciu s našimi globálnymi dodávateľmi. MikroLED majú globálnu stopu, vznikajú na jednom mieste a potom sa prenášajú na iné miesto, kde boli umiestnené na doštičku. Tieto doštičky sa potom odoslali na rezanie do určitého tvaru, po ktorom nasledovala cesta do USA, kde sa spojili s ďalšou doštičkou, a potom sa odoslali späť na druhý koniec sveta, aby sa mohol zostaviť a otestovať skutočný modul. Bol to nesmierne komplikovaný proces a kremíkový tím vyvinul testovacie vozidlá na overenie každého kroku.
Tím tiež musel nájsť spôsob, ako dodať energiu displejom microLED v malom objeme rohov okuliarov. Náš analógový tím vyvinul vlastný čip na správu napájania, ktorý sa zmestil do tohto objemu.
"Dodávka energie je kľúčová pre takéto nositeľné zariadenia s malými rozmermi, kde je veľkosť batérie obmedzená a priestor je vzácny," poznamenáva riaditeľ oddelenia analógových a zmiešaných signálov Jihong Ren. "Naše prispôsobené riešenie IC pre správu napájania využíva najmodernejšie technológie na optimalizáciu energetickej účinnosti pre našu špecifickú pracovnú záťaž na úrovni systému, pričom sa zmestí do dostupného priestoru. Dosiahnutie tohto optimálneho riešenia si vyžadovalo úzku interdisciplinárnu spoluprácu s našimi tímami pre mechaniku, elektrotechniku, SoC, μLED a tepelnú techniku, čo zabezpečilo bezproblémovú integráciu všetkých komponentov a maximalizáciu celkového výkonu."
"Bol to úžasný výkon nielen v oblasti inžinierstva, ale aj organizačného riadenia: spojiť tím, pracovať v rôznych časových pásmach a so všetkými týmito rôznymi dodávateľmi," dodáva Snodgrass. "V istom zmysle bolo organizačné riadenie toho všetkého rovnakou výzvou ako splnenie technických špecifikácií."
"Na mieru je prispôsobený nielen dizajn, ale aj celý výrobný proces," dodáva Yee. "Máme šťastie, že máme v tomto odvetví niekoľko skvelých partnerov, ktorí nám pomohli to zrealizovať. V displejoch AR ako celku vidia dlhodobý potenciál a určite aj víziu spoločnosti Meta. Preto boli ochotní spolupracovať s nami pri realizácii týchto prispôsobení a optimalizácií, ktoré umožnia tento displej."
Okuliare Orion AR.
Iterácia sa stretáva so zrýchlením
Medzi kremíkovým tímom a brilantnými mozgami v Reality Labs Research a XR Tech, ktoré vyvíjali algoritmy, existovala úzka spätná väzba. Tieto tímy poskytovali tieto algoritmy, ktoré tímy v oblasti technológií prekladali do hardvéru, čím sa odstránili režijné náklady na softvér, ktorý využíval univerzálny procesor. To znamenalo, že algoritmy by fungovali pri nižšej spotrebe, ale tiež to znamenalo, že kremíkový tím bol uzamknutý. Keď boli algoritmy hardvérovo upravené, nemohli už vykonávať zmeny.
"Povedzme, že spoločnosť XR Tech vyvíjala určitú disciplínu algoritmicky," vysvetľuje riaditeľ pre architektúru a algoritmy spoločnosti Silicon Accelerators Ohad Meitav. "Vlastnia algoritmický zásobník a jeho výkon. Môj tím by potom v spolupráci s nimi rozhodol, ako algoritmus urýchliť, ako spevniť časti algoritmu a ako ho vlastne umiestniť do hardvéru tak, aby fungoval super efektívne. Potom by spoločnosť XR Tech prispôsobila svoj softvérový zásobník tak, aby zohľadňoval hardvér. Je to veľmi opakujúci sa proces."
Ďalším úspechom je spolupráca kremíkového tímu so spoločnosťou Reality Labs Research, ktorá prišla s novým algoritmom reprojekcie.
"Potrebovali sme, aby algoritmus reprojekcie podporoval rôzne skreslenia a korekcie," poznamenáva architekt spoločnosti Silicon Steve Clohset. "Algoritmus, ktorý vyvinula spoločnosť RL-R a ktorý sme nakoniec použili, sa vo všeobecných výpočtoch nepoužíva. A dodnes sa ukazuje, že je to dosť výkonný nástroj."
Keď boli algoritmy vyladené a hardvér optimalizovaný, tím pre zavádzanie kremíka vyskúšal vlastné čipy.
"Vlastná kremíková čipová súprava Orion je veľmi zložitá," hovorí Liping Guo, senior riaditeľ oddelenia End-to-End System and Infrastructure. "Zavedenie a overenie samostatných čipov a ich vzájomnej interoperability v krátkom čase je neuveriteľne náročné. Našťastie pracujeme vo vertikálne integrovanom prostredí, kde Reality Labs vlastní celý zásobník - od kremíka a nízkoúrovňového firmvéru až po operačný systém, softvér a skúsenosti z vyššej vrstvy. To sme naplno využili, úzko sme spolupracovali s našimi multifunkčnými partnermi a posunuli sme našu integráciu naprieč zásobníkom vo fáze validácie kremíka. Orion bol našou pilotnou prevádzkou tejto metodiky - vybudovali sme si svaly shift-left a vytvorili silný základ pre Reality Labs, aby sme v budúcnosti mohli naplno využívať výhody vlastného kremíka."
Po uvedení do prevádzky prišiel čas na optimalizáciu softvéru.
"Je to iteračný proces, v ktorom začínate s úplne neoptimalizovaným softvérovým zásobníkom, len aby ste všetko spustili a spustili," hovorí Snodgrass. "A potom postupne prechádzate subsystémy a začínate optimalizovať softvér pre konkrétny hardvér - vrátane zníženia množstva pamäte, ktorú softvér využíva. Hardvér môže byť krásne navrhnutý, ale nedosiahnete teoretickú energetickú účinnosť, ak neinvestujete toľko alebo viac času do toho, aby softvér naplno využil hardvér. Taký je teda príbeh Orionu: hardvér a softvér optimalizovaný do posledného detailu. Nenechajte za sebou žiadny pikojoul ani miliwatt."
Hoci je Orion len prototypom, práca, ktorá sa na ňom vykonala, má značný potenciál ovplyvniť plán spoločnosti Meta.
"Na kremíkové IP, ktoré vytvárame, sa pozeráme ako na platformy v tom zmysle, že ide o hodnotné IP, ktoré budeme zlepšovať od jednej generácie alebo jedného produktu k druhému," dodáva Meitav. "Všetky algoritmy počítačového videnia a grafiky nie sú vytvorené len pre Orion. Budú sa používať v budúcich produktoch."
Naša kremíková práca zahŕňa vytváranie nových riešení a zároveň úzku spoluprácu s partnermi. Vplyv kremíkového tímu v skutočnosti presahuje rámec Orionu a týka sa aj Okuliare Ray-Ban Meta a Náhlavné súpravy Meta Quest aj keď oba používajú čipy tretích strán. Kremíkový tím pravidelne zdieľa svoju prácu s tímom zmiešanej reality a ukazuje, čo je možné z hľadiska energetickej účinnosti. Tím MR potom zdieľa tieto zistenia s partnermi, ako napr. Qualcomm na pomoc pri navrhovaní budúcich čipov. A keďže kremíkový tím používa rovnaké hotové digitálne signálové procesory (DSP) ako okuliare Ray-Ban Meta, mohol sa podeliť o získané skúsenosti a osvedčené postupy pri implementácii a písaní kódu pre tieto DSP, aby pomohol zlepšiť zvukové zážitky dostupné v našich okuliaroch s umelou inteligenciou.
A toto zdieľanie poznatkov sa týka oboch strán: Tím MR poskytol kremíkovému tímu poznatky o veciach, ako sú Asynchrónny TimeWarp a Aplikácia SpaceWarp vo výrobe.
"To, čo človek robí vo výrobe, je oveľa zaujímavejšie ako niečo, čo by sme mohli urobiť s prototypom," hovorí Clohset. "Snažili sme sa čo najviac integrovať to, čo robili s osnovami."
Nejednoznačnosť < Ambície
Keďže Orion bol skutočne nula k jednej, zúčastnené tímy sa museli nevyhnutne vysporiadať s nadmerným množstvom nejasností.
"V prípade Orionu si neviem vynachváliť, ako sa veci skomplikovali kvôli nejednoznačnosti," hovorí Clohset. "Keď napríklad vyrábate počítač, zvyčajne máte dobrú predstavu o tom, aký bude displej. Ale my sme nevedeli, aký bude nakoniec vlnovod, takže sme museli vyskúšať rôzne vlnovody a vymyslieť mechanizmus, ktorý by zvládol najhorší možný scenár, pretože sme nevedeli, kam veci dopadnú. Jedna optimalizácia by sa tu zmiešala so všetkými ostatnými možnosťami a skončili by ste s maticou všetkých týchto rôznych vecí, ktoré ste mali ako podporu a snažili sa ich overiť, pretože ste nevedeli, kde výrobok pristane za šesť mesiacov."
Je dôležité poznamenať, že Orion nie je len pár okuliarov na rozšírenú realitu - je to trojdielne súhvezdie hardvéru. Veľká časť spracovania sa odohráva na vypočítať puk, čo si vyžaduje silné prepojenie medzi ním a okuliarmi. Pridajte povrchový EMG náramok do slučky a architektúra systému sa stáva ešte komplikovanejšou.
"To bolo pre tímy nesmierne náročné vyriešiť a všetko to jednoducho funguje," hovorí Snodgrass. "Bola to úžasná spolupráca medzi tímom pre kremík, tímom pre bezdrôtové pripojenie a softvérovými tímami v rámci celej organizácie."
Počítačový puk Orion.
"So spoločnosťou Orion sme vytvorili celý tím so širokou škálou inžinierov, ktorí boli schopní navrhnúť úplne nové potrubie," dodáva Clohset. "Je to potrubie, ktoré zvláda pohyb objektov v 3D priestore so šiestimi stupňami voľnosti. Používa vlastný ovládač displeja. Museli sme urobiť naozaj jedinečné korekcie kvality obrazu. A myslím, že výzvou pre nás bolo, že keďže išlo o projekt nula k jednej, neexistovala žiadna existujúca špecifikácia, ktorú by sme mohli upraviť a vylepšiť. Všetko je tu úplne nové, takže sme mali voľnosť v rozhodovaní."
Podobne ako puk má niekoľko skrytých funkcií pod povrchom, aj tento vlastný silikón je nad jeho sily. Hoci Orion neumožňuje používateľovi fotografovať pomocou kamier RGB, kremík to dokáže podporovať, ako aj avatary kodekov. A rovnako ako puk pomohol odomknúť skutočnú formu okuliarov tým, že odľahčil veľkú časť výpočtovej techniky, aj vlastný kremík Orion sa ukázal ako nevyhnutný kúsok skladačky rozšírenej reality.
"Na to, aby ste dokázali oživiť zážitok zero-to-one, ako sú okuliare rozšírenej reality, potrebujete vlastný kremík s úplnou zastávkou," vysvetľuje Snodgrass. "Ak bude časom existovať trh, dodávatelia kremíka vyvinú produkty, ktoré uspokoja dopyt. Ale pre zero-to-one nemôžete len tak vziať niečo, čo existuje z regálu a je určené pre iný produkt, a vložiť to do novej formy. Musíte investovať do niečoho na mieru. A na to, aby ste tieto zero-to-one skúsenosti uviedli do života, potrebujete širokú spoluprácu medzi softvérovými partnermi, priemyselnými dizajnérmi, strojnými inžiniermi a ďalšími."
"Tým, že sme sa oslobodili od tradičných mentálnych modelov, sme vytvorili niečo skutočne pozoruhodné," dodáva Shearer. "Veríme, že táto počítačová platforma predstavuje budúcnosť technológií - takú, ktorá spôsobí revolúciu v spôsobe, akým žijeme, pracujeme a komunikujeme medzi sebou. Sme nadšení, že môžeme byť na čele tejto inovácie, posúvať hranice možného a pomáhať formovať chod dejín."
Ďalšie informácie o spoločnosti Orion nájdete v týchto príspevkoch na blogu:
