Leta 2017 je glavni znanstvenik podjetja Reality Labs Michael Abrashki ga je podpiral ustanovitelj in izvršni direktor podjetja Meta Mark Zuckerberg, je v okviru tedanjega podjetja Oculus Research ustanovil novo, tajno ekipo, ki je gradila temelje naslednje računalniške platforme. Njihova herkulska naloga: Ustvariti silicijevo rešitev po meri, ki bi podpirala edinstvene zahteve prihodnjih očala za razširjeno resničnost-tehnični dosežek, ki je zahteval preoblikovanje vsake komponente za celodnevno nošenje Očala AR oblika, ki je preprosto še ni bilo.
Sprednji kot prototipa očal Orion AR.
Kompaktna oblika, veliko prostora za težave
Ekipa za izdelavo silicija po meri, ki je zrasla iz nekaj raziskovalcev na več sto ljudi, je temeljila na predpostavki, da se očala AR ne morejo zanašati na silicij, ki je na voljo v današnjih pametnih telefonih. To predpostavko potrjuje več čipov po meri, ki so vgrajeni v Orion, naš prvi prototip izdelka z očali AR.
"Gradnja ladje, ko izpluje iz pristanišča, je bilo točno to, kar smo počeli," pravi direktor strategije naprednih tehnologij Jeremy Snodgrass. "Morali smo povečati tedaj skromno ekipo in hkrati graditi te čipe. Bilo je zanimivo opazovati, kako je vodstvo privedlo nove zaposlene in hkrati razvijalo kulturo, ki ceni agilnost. Nič ni bil problem nekoga drugega. Vzel si veslo in začel veslati, tudi če to ni bilo točno to, za kar so te najeli. To je bil zelo, zelo vznemirljiv čas."
"Skoraj vse v Orionu je bilo na veliko načinov novo," se strinja tehnični direktor arhitekture zaslona Mike Yee. "Nekatere zamisli so že obstajale, vendar se nihče ni lotil raziskovalnega projekta, da bi dejansko izdelal očala za celodnevno nošenje AR."
Ekipa je morala zagotoviti prepričljivo izkušnjo AR s čim manjšo porabo energije. Oblika očal lahko odvaja le toliko toplote in sprejme le toliko zmogljivosti baterije. Zato so izkušnje, ki jih je mogoče zagotoviti na očalih, popolnoma odvisne od silicija. Z drugimi besedami, če ohranimo nespremenjene toplotne in baterijske zmogljivosti, je edini način, da zagotovimo določeno izkušnjo, optimizacija silicija.
"Oblikovanje nove arhitekture za Orion je od ekipe zahtevalo, da ne le agresivno spodbuja obstoječe tehnologije, kot so brezžična omrežja in zasloni, temveč tudi prevzema tveganja pri novih tehnologijah," pravi direktor za upravljanje izdelkov Neeraj Choubey. "Ekipa je na primer razvila pospeševalnik za strojno učenje (ML) brez jasnega primera uporabe, saj je bila trdno prepričana, da bo ML postajal vse pomembnejši v izdelkih podjetja Meta. V sistemu Orion se uporablja vsak pospeševalnik ML, v nekaterih primerih pa so preseženi, saj služijo funkcijam, kot sta sledenje očem in sledenje rokam. Podobno je ekipa razvila lastne protokole stiskanja za zmanjšanje pasovne širine in porabe energije, ko so se podatki premikali iz izračunajte ploščico na zaslonu. Razvoj silicija po meri za dosego Orionovih ciljev glede oblike je zahteval tako toleranco do velike dvoumnosti kot tudi skrbno pozornost do podrobnosti, da bi zagotovili izjemno zapleteno sistemsko arhitekturo."
"Največji izziv smo imeli pri zagotavljanju 3D grafike, ki je zaklenjena v svet, skupaj s prostorskim zvokom, ki je upodobljen tako, da se zdi, da izhaja iz virtualnega predmeta," ugotavlja Snodgrass. "Vso to elektroniko smo morali umestiti v toplotno zmogljivost in fizični prostor, nato pa jo pognati na baterijo, da se ne bi preveč segrela. In vse to smo morali narediti v dejanski obliki očal - ne v velikem vizirju, kot ga običajno vidimo v tej kategoriji."
"Vedeli smo, kako zagotoviti potrebno računsko moč za uresničitev naše vizije za Orion, vendar smo se soočili z zahtevno nalogo: zmanjšati porabo energije za faktor 100," pravi direktor za rešitve SoC Robert Shearer. "To je od nas zahtevalo, da premaknemo meje oblikovanja silicija, pri čemer smo sprejeli metodologije z različnih koncev industrije - od interneta stvari do visokozmogljivega računalništva - in izumili nove pristope za premostitev vrzeli. Naši industrijski partnerji so mislili, da smo nori, in morda se niso povsem motili. Vendar je bilo potrebno prav to: pripravljenost izpodbijati konvencionalno modrost in premisliti vse na novo. Izdelava računalnika, ki brezhibno združuje virtualni in fizični svet, zahteva temeljito razumevanje konteksta, ki daleč presega to, kar lahko ponudijo obstoječe računalniške platforme. V bistvu smo na novo izumili način, kako računalniki sodelujejo z ljudmi, kar je pomenilo, da smo si od temeljev na novo zamislili, kako gradimo silicij."
Zunanji sestavni deli sistema Orion.
Čarobnost mikrosvetlobnih diod
Bili so trenutki, ko so stvari zaostajale za načrtom ali se je pojavil na videz nepremostljiv tehnični izziv, ko je bilo težko ohraniti zagon in moralo. Toda ekipa je bila odporna in je našla poti mimo ovir ali pa jih preprosto zrušila.
Vzemimo na primer Orionov zaslon. Ekipa za silicij je bila odgovorna za silicij v projektorju zaslona, ki je nameščen v vogalih očal.
"Pri teh projektorjih je bilo odprto vprašanje, ali lahko mikrosijalke LED v polju dobimo z dovolj visoko učinkovitostjo in svetlostjo, da lahko uporabimo zaslon s širokim vidnim poljem," pravi Snodgrass. "Obstajal je velik dvom, da bi to lahko storili - da bi bilo to mogoče v časovnem okviru, ki smo ga obravnavali -, saj je bila to zelo nova tehnologija."
"Že zelo zgodaj smo ugotovili, da moramo na novo premisliti o številnih paradigmah razvoja izdelkov," dodaja Yee. "Količina svetlobe, ki jo potrebujete za uporaben zaslon, je pri očalih za razširjeno resničnost precej večja, saj kot nosljivi zaslon tekmujete s soncem. Zato potrebujemo raven energije, ki mu konkurira - ali pa je to vsaj cilj. Tega še nismo dosegli, vendar je to velik del naloge. To pomeni, da za zaslon potrebujemo svetlobne vire, ki so tega sposobni, in vezje, ki lahko to nadzoruje. Hkrati pa je treba poskrbeti, da je zaslon majhen."
Silicij po meri, ki poganja Orionove µLED.
Čeprav so se mikroLED zdele najprimernejši vir svetlobe za projektorje, je silicij pomagal sprostiti njihov potencial.
"Pri zaslonih govorimo o razdaljah med piksli, ki so razdalje med središčnimi točkami sosednjih pikslov," pojasnjuje Yee. "Pri televizorjih so te razdalje več sto mikronov. V vašem telefonu so razdalje veliko, veliko deset mikronov. In to smo morali zmanjšati na enomestne številke. Edina znana proizvodnja polprevodnikov, ki je to lahko dosegla, je bila iz silicija."
Delo je oteževalo dejstvo, da je morala biti zadnja površina zaslona kos silicija, nihče na svetu pa še ni oblikoval silicija za mikrosijalke LED.
"Takrat so vse raziskovalne ekipe, ki so bile na voljo, uporabljale tekoče kristale na silicijevih zaslonih, da bi nanje namestile mikroLED," pravi Yee. "Nihče še ni zasnoval osnovne plošče za mikrosijalke. Soočili smo se s precej edinstvenim izzivom, saj gre za optično komponento. Biti mora ravna. Ne morete je opraskati. Imeti mora vse te lastnosti, saj ko gledate skozi valovode ali projektorje, gledate dobesedno zgornjo površino kosa silicija."
Ekipa za silicij je razvila zapletene testne platforme za te zaslone microLED, pri čemer se je tesno usklajevala z našimi globalnimi dobavitelji. Zasloni microLED imajo globalni odtis, saj so nastali na enem mestu in bili nato preneseni na drugo mesto, kjer so jih namestili na rezino. Plošče so bile nato poslane na razrez v določeno obliko, nato pa so potovale v ZDA, kjer so bile zlepljene z drugo ploščo, nato pa so bile poslane nazaj po vsem svetu, kjer je bil izdelan in preizkušen dejanski modul. To je bil izjemno zapleten postopek, zato je ekipa za silicij razvila testna vozila, s katerimi je preverjala vsak korak.
Ekipa je morala najti tudi način za napajanje zaslonov microLED v majhnem prostoru vogalov očal. Naša analogna ekipa je razvila čip za upravljanje napajanja po meri, ki se je prilegal temu volumnu.
"Oskrba z energijo je ključnega pomena za tako majhne nosljive naprave, pri katerih je velikost baterije omejena, prostor pa omejen," ugotavlja direktor analognih in mešanih signalnih sistemov Jihong Ren. "Naša prilagojena rešitev IC za upravljanje napajanja uporablja najsodobnejše tehnologije za optimizacijo energetske učinkovitosti za našo specifično delovno obremenitev na sistemski ravni, pri čemer se prilagaja razpoložljivim prostorskim omejitvam. Doseganje te optimalne rešitve je zahtevalo tesno interdisciplinarno sodelovanje z našimi ekipami za mehaniko, elektriko, SoC, μLED in toploto, kar je zagotovilo nemoteno integracijo vseh komponent in kar največjo splošno učinkovitost."
"To je bil neverjeten dosežek ne le inženiringa, temveč tudi organizacijskega vodenja: združiti ekipo, delati v različnih časovnih pasovih in z različnimi dobavitelji," dodaja Snodgrass. "Na neki način je bilo organizacijsko obvladovanje vsega tega prav tako velik izziv kot izpolnjevanje tehničnih specifikacij."
"Ne samo, da je zasnova po meri, tudi celoten postopek izdelave je prilagojen," dodaja Yee. "Imamo srečo, da imamo nekaj čudovitih partnerjev v industriji, ki so nam to pomagali uresničiti. V prikazovalnikih AR kot celoti vidijo dolgoročni potencial in zagotovo tudi Metino vizijo za to področje. Zato so bili pripravljeni sodelovati z nami pri izvedbi teh prilagoditev in optimizacij, da bi omogočili ta zaslon."
Očala Orion AR.
Iteracija se sreča s pospeševanjem
Med ekipo za silicij in briljantnimi možgani v Reality Labs Research in XR Tech, ki so razvijali algoritme, je obstajala tesna povratna zanka. Slednje ekipe so zagotavljale te algoritme, ki jih je prva ekipa prenesla v strojno opremo, s čimer je bila odpravljena režijska obremenitev programske opreme, ki jo poganjajo splošni procesorji. To je pomenilo, da bodo algoritmi delovali z manjšo porabo energije, hkrati pa je to pomenilo, da je bila ekipa za silicij omejena. Ko so bili algoritmi utrjeni, jih ni bilo več mogoče spreminjati.
"Recimo XR Tech je algoritmično razvijal določeno disciplino," pojasnjuje Ohad Meitav, direktor arhitekture in algoritmov Silicon Accelerators. "V lasti imajo algoritmični niz in njegovo zmogljivost. Moja ekipa bi se v sodelovanju z njimi odločila, kako pospešiti algoritem, kako utrditi dele algoritma in kako ga dejansko vgraditi v strojno opremo tako, da bi deloval izjemno učinkovito. Nato bi podjetje XR Tech prilagodilo svojo programsko opremo, da bi upoštevalo strojno opremo. To je zelo ponavljajoč se proces."
Druga zgodba o uspehu je sodelovanje ekipe za silicij s podjetjem Reality Labs Research pri oblikovanju novega algoritma za reprojekcijo.
"Algoritem za reprojekcijo je moral podpirati različna popačenja in popravke," je povedal Silicijev arhitekt Steve Clohset. "Algoritem, ki ga je razvil RL-R in smo ga na koncu uporabili, se ne uporablja v splošnem računalništvu. A še danes se je izkazal za zelo zmogljivo orodje."
Ko so bili algoritmi izboljšani in strojna oprema optimizirana, je ekipa za uvajanje silicija preizkusila prilagojene čipe.
"Orionov silicijev čipovski nabor po meri je zelo zapleten," pravi Liping Guo, višji direktor za sistem in infrastrukturo od konca do konca. "Vzpostavitev in potrditev samostojnih čipov ter interoperabilnosti med njimi v kratkem času je izjemno zahtevna. Na srečo delujemo v vertikalno integriranem okolju, kjer ima podjetje Reality Labs v lasti celoten sklop - od silicija in nizko nivojske strojne programske opreme do operacijskega sistema, programske opreme in izkušenj zgornjega sloja. To smo v celoti izkoristili, tesno sodelovali z našimi medfunkcijskimi partnerji in v fazi potrjevanja silicija preusmerili integracijo med skladi. Orion je bil naša pilotna faza te metodologije - okrepili smo svoje mišice in ustvarili trdne temelje za podjetje Reality Labs, da bo lahko v prihodnosti v celoti izkoristilo prednosti silicija po meri."
Po vzpostavitvi je bil čas za optimizacijo programske opreme.
"Gre za ponavljajoči se postopek, v katerem začnete s popolnoma neoptimiziranim skladom programske opreme, samo da se vse zažene in začne delovati," pravi Snodgrass. "Nato pa enega za drugim pregledate podsisteme in začnete optimizirati programsko opremo za določeno strojno opremo - vključno z zmanjšanjem količine pomnilnika, ki ga programska oprema uporablja. Strojna oprema je lahko odlično zasnovana, vendar ne boste dosegli teoretične energetske učinkovitosti, če ne boste vložili toliko ali več časa v to, da bi programska oprema v celoti izkoristila prednosti strojne opreme. To je zgodba o Orionu: strojna in programska oprema sta optimizirani do potankosti. Ne pustite nobenega pikojoula ali miliwata za seboj."
Čeprav je Orion morda le prototip, lahko delo, ki je bilo vloženo vanj, pomembno vpliva na načrt podjetja Meta.
"Na silicijeve IP, ki jih gradimo, gledamo kot na platforme v smislu, da so to cenjeni IP, ki jih bomo izboljševali iz generacije v generacijo ali iz enega izdelka v drugega," dodaja Meitav. "Vsi algoritmi za računalniški vid in grafiko niso narejeni samo za Orion. Uporabljali se bodo tudi v prihodnjih izdelkih."
Naše delo s silicijem vključuje ustvarjanje novih rešitev in tesno sodelovanje s partnerji. Vpliv ekipe za silicij sega tudi onkraj Oriona, in sicer na Očala Ray-Ban Meta in . Slušalke Meta Quest danes - čeprav oba uporabljata čipe drugih proizvajalcev. Ekipa za silicij redno deli svoje delo z ekipo za mešano resničnost in tako pokaže, kaj je mogoče glede energetske učinkovitosti. Ekipa za magnetno resonanco nato te ugotovitve deli s partnerji, kot so Qualcomm za pomoč pri oblikovanju čipov v prihodnosti. Ker ekipa za silicij uporablja enake digitalne signalne procesorje (DSP), kot jih imajo očala Ray-Ban Meta, je lahko izmenjala izkušnje in najboljše prakse pri izvajanju in pisanju kode za te DSP, da bi izboljšala zvočno izkušnjo, ki je na voljo v naših očalih z umetno inteligenco.
Izmenjava znanja poteka v obe smeri: Ekipa MR je silicijevi ekipi dala vpogled v naslednje stvari Asinhroni TimeWarp in . Aplikacija SpaceWarp v produkciji.
"To, kar človek naredi v proizvodnji, je veliko bolj zanimivo kot nekaj, kar bi lahko naredili s prototipom," pravi Clohset. "Poskušali smo čim bolj vključiti to, kar so počeli z osnovami."
Dvoumnost < Ambicija
Ker je bil Orion resnično nič proti ena, so se morale sodelujoče ekipe po nujnosti spoprijeti s preveliko količino dvoumnosti.
"Pri Orionu ne morem preceniti, kako zapletene so bile stvari zaradi dvoumnosti," pravi Clohset. "Ko na primer izdeluješ računalnik, imaš običajno dobro predstavo o tem, kakšen bo zaslon. Nismo pa vedeli, kakšen bo na koncu valovod, zato smo morali vzorčiti različne valovode in si zamisliti mehanizem, ki bi bil kos najslabšemu možnemu scenariju, saj nismo vedeli, kje bodo stvari pristale. Ena optimizacija bi se povezala z vsemi drugimi možnostmi in na koncu bi dobili matriko vseh teh različnih stvari, ki bi jih morali podpreti in potrditi, ker nismo vedeli, kje bo izdelek pristal čez šest mesecev."
Pomembno je poudariti, da Orion ni le par očal za razširjeno resničnost - gre za tridelni sklop strojne opreme. Veliko obdelave poteka na izračunajte ploščico, zaradi česar je potrebna močna povezava med njim in očali. Dodajte površinska zapestnica EMG v zanko, arhitektura sistema pa postane še bolj zapletena.
"To je bil za ekipe velik izziv, ki so ga morale rešiti, in vse to preprosto deluje," pravi Snodgrass. "To je bilo neverjetno sodelovanje med ekipo za silicij, ekipo za brezžično omrežje in ekipami za programsko opremo po vsej organizaciji."
Orionov računski plošček.
"Z družbo Orion smo sestavili celotno ekipo s široko paleto inženirjev, ki so lahko zasnovali popolnoma nov cevovod," dodaja Clohset. "To je cevovod, ki omogoča gibanje predmetov v 3D-prostoru s šestimi stopnjami svobode. Uporablja lasten gonilnik za prikaz po meri. Opraviti smo morali res edinstvene popravke kakovosti slike. Mislim, da je bil naš izziv v tem, da ker je šlo za projekt nič na en mah, ni bilo obstoječe specifikacije, ki bi jo lahko prilagodili in izboljšali. Tu je vse popolnoma novo, zato smo lahko naredili vse."
Podobno kot puck ima nekaj neaktivnih funkcij, ki se skrivajo pod površjem, je silikon po meri tudi nadpovprečno zmogljiv. Čeprav Orion uporabniku ne omogoča fotografiranja s svojimi kamerami RGB, je silicij sposoben to podpirati, kot tudi avatarji kodekov. Tako kot je ploščica z razbremenitvijo velikega dela računskih zmogljivosti pomagala odkleniti pravo obliko očal, se je tudi Orionov silicij po meri izkazal za nujen del sestavljanke za AR.
"Za uresničitev doživetja "nič do enega", kot so očala AR, potrebujete silicij po meri - popolno ustavitev," pojasnjuje Snodgrass. "Če bo trg obstajal, bodo prodajalci silicija sčasoma razvili izdelke, ki bodo zadovoljili povpraševanje. Toda za "zero-to-one" ne morete preprosto vzeti nečesa, kar obstaja na polici in je namenjeno drugemu izdelku, ter to vgraditi v nov kalup. Investirati morate v nekaj po meri. Za uresničitev teh izkušenj zero-to-one pa potrebujete široko sodelovanje med partnerji programske opreme, industrijskimi oblikovalci, strojnimi inženirji in drugimi."
"S tem, ko smo se osvobodili tradicionalnih miselnih modelov, smo ustvarili nekaj resnično izjemnega," dodaja Shearer. "Verjamemo, da ta računalniška platforma predstavlja prihodnost tehnologije, ki bo revolucionarno spremenila način, kako živimo, delamo in komuniciramo drug z drugim. Navdušeni smo, da smo v ospredju te inovacije, da premikamo meje mogočega in pomagamo oblikovati tok zgodovine."
Če želite več informacij o Orionu, si oglejte te objave na blogu:
