Glavni znanstvenik Reality Labsa 2017. godine Michael Abrash, uz podršku osnivača i izvršnog direktora Mete, Marka Zuckerberga, osnovali su novi, tajni tim unutar tadašnjeg Oculus Researcha kako bi izgradili temelje sljedeće računalne platforme. Njihov herkulovski zadatak: Stvoriti prilagođeno silicijsko rješenje koje bi moglo podržati jedinstvene zahtjeve budućnosti. naočale proširene stvarnosti—tehnički podvig koji je zahtijevao ponovno osmišljavanje svake komponente za cjelodnevno nošenje AR naočale faktor oblika koji jednostavno još nije postojao.
Prednji kut prototipa Orion AR naočala.
Kompaktni oblik, znatan prostor za rješavanje problema
Od samo nekoliko istraživača do stotina ljudi na strani proizvoda, tim za prilagođene silikonske naočale izgrađen je na pretpostavci da se AR naočale ne mogu osloniti na silikon dostupan u današnjim pametnim telefonima. A tu pretpostavku potvrđuje i nekoliko prilagođenih čipova unutar njih. Orion, naš prvi pravi prototip AR naočala.
„Graditi brod dok isplovljava iz luke - to je upravo ono što smo radili“, kaže direktor strategije za napredne tehnologije Jeremy Snodgrass. „Morali smo proširiti ono što je bio skroman tim dok smo istovremeno gradili ove čipove. Bilo je fascinantno vidjeti kako vodstvo dovodi nove zaposlenike, a istovremeno razvija kulturu koja cijeni agilnost. Ništa nije bio tuđi problem. Uzeli biste veslo i počeli veslati, čak i ako to nije bilo baš ono za što ste bili angažirani. Bilo je to vrlo, vrlo uzbudljivo vrijeme.“
„Gotovo sve u vezi s Orionom bilo je novo za svijet na mnogo načina“, slaže se tehnički direktor tvrtke Display Architecture Mike Yee. „Neke od ideja su već postojale, ali nitko se nije prihvatio istraživačkog projekta kako bi zapravo izgradio cjelodnevne AR naočale koje se mogu nositi.“
Tim je morao pružiti uvjerljivo AR iskustvo uz što manju potrošnju energije. Oblik naočala može raspršiti samo određenu količinu topline i može primiti samo određeni kapacitet baterije. Kao rezultat toga, iskustva koja je moguće pružiti na naočalama u potpunosti ovise o siliciju. Drugim riječima, ako održavate konstantne toplinske i kapacitete baterije, jedini način da se pruži određeno iskustvo je optimizacija silicija.
„Dizajniranje nove arhitekture za Orion zahtijevalo je od tima ne samo agresivno promoviranje postojećih tehnologija poput bežičnih tehnologija i zaslona, već i preuzimanje rizika s novim tehnologijama“, kaže direktor upravljanja proizvodima Neeraj Choubey. „Na primjer, tim je razvio akcelerator strojnog učenja (ML) bez jasnog slučaja upotrebe u to vrijeme, vođen snažnim uvjerenjem da će ML postati sve važniji u Metinim proizvodima. Na Orionu se koristi svaki ML akcelerator, a u nekim slučajevima su i preopterećeni, opslužujući funkcije poput praćenja očiju i ruku. Slično tome, tim je razvio prilagođene protokole kompresije kako bi smanjio propusnost i potrošnju energije dok se podaci kreću iz…“ izračunaj pak do zaslona. Razvoj prilagođenog silicija za postizanje Orionovih ciljeva u pogledu oblika zahtijevao je i toleranciju na visoku dvosmislenost i pedantnu pažnju prema detaljima kako bi se ostvarila nevjerojatno složena arhitektura sustava.
„Najveći izazov s kojim smo se suočili bio je isporučiti 3D renderiranu grafiku zaključanu u svijet, zajedno sa prostornim zvukom koji se renderira tako da se čini kao da dolazi iz virtualnog objekta“, napominje Snodgrass. „Morali smo uklopiti svu tu elektroniku u toplinski kapacitet i fizički prostor, a zatim je pokretati baterijom kako se ne bi previše zagrijala. I sve smo to morali učiniti u stvarnom obliku naočala - ne u velikom viziru kakav obično viđate u toj kategoriji.“
„Znali smo kako osigurati potrebnu računalnu snagu kako bismo oživjeli našu viziju za Orion, ali suočili smo se sa zastrašujućim zadatkom: smanjenjem potrošnje energije za faktor 100“, kaže direktor SoC rješenja Robert Shearer. „To je od nas zahtijevalo da pomaknemo granice dizajna silicija, prihvaćajući metodologije iz različitih kutova industrije - od interneta stvari do visokoučinkovitog računarstva - i izmišljajući nove pristupe za premošćivanje jaza. Naši industrijski partneri mislili su da smo ludi, a možda nisu bili sasvim u krivu. Ali upravo je to bilo potrebno: spremnost da se izazove konvencionalna mudrost i preispita sve. Izgradnja računala koje besprijekorno spaja virtualni i fizički svijet zahtijeva duboko razumijevanje konteksta, daleko nadilazeći ono što postojeće računalne platforme mogu ponuditi. U biti, ponovno smo izmislili način na koji računala komuniciraju s ljudima, što je značilo ponovno osmišljavanje načina na koji gradimo silicij od temelja.“
Vanjske komponente Oriona.
Čarolija mikroLED dioda
Bilo je trenutaka kada su stvari kasnile s rokovima ili se pojavio naizgled nepremostiv tehnički izazov kada je bilo teško održati zamah i moral. Ali tim je bio otporan, pronalazio je puteve zaobilaženja prepreka - ili ih jednostavno rušio.
Uzmimo, na primjer, Orionov zaslon. Tim za silicij bio je odgovoran za silicij u projektoru koji se nalazi u kutovima naočala.
„Za te projektore, postojalo je otvoreno pitanje možemo li dobiti mikroLED diode u nizu s dovoljno visokom učinkovitošću i svjetlinom kako bismo mogli prikazati široko vidno polje“, kaže Snodgrass. „Postojala je ogromna sumnja da bismo to mogli - da je to moguće u vremenskom okviru koji smo razmatrali - jer je ovo bila vrlo rana tehnologija.“
„Vrlo rano smo shvatili da moramo preispitati mnoge paradigme razvoja proizvoda“, dodaje Yee. „Količina svjetlosti koja vam je potrebna za izradu upotrebljivog zaslona je znatno veća za AR naočale jer se, kao nosivi zaslon, natječete sa suncem. Dakle, potrebne su nam razine energije koje tome konkuriraju - ili je barem to cilj. Još nismo sasvim tamo, ali to je veliki dio toga. A to znači da su vam potrebni izvori svjetlosti za zaslon koji su to sposobni i potreban vam je sklop koji to može kontrolirati. A istovremeno, morate ga učiniti sićušnim.“
Prilagođeni silicij koji pokreće Orionove µLED diode.
Iako su se microLED diode činile najprikladnijim izvorom svjetlosti za projektore, silicij je pomogao osloboditi njihov potencijal.
„Kod zaslona govorimo o razmacima između piksela, što su udaljenosti između središnjih točaka susjednih piksela“, objašnjava Yee. „Za televizore, te udaljenosti su stotine mikrona. U vašem telefonu ima mnogo, mnogo desetaka mikrona. I morali smo to svesti na jednoznamenkaste brojke. Jedina poznata proizvodnja poluvodiča koja je to mogla postići bila je silicij.“
Rad je komplicirala činjenica da je stražnja površina zaslona morala biti od komada silicija, a nitko na svijetu nije dizajnirao silicij za microLED diode.
„U to vrijeme, istraživački timovi koji su postojali prenamijenili su tekuće kristale na silicijskim zaslonima kako bi na njih stavili mikroLED diode“, kaže Yee. „Nitko nikada prije nije dizajnirao zadnju ploču za mikroLED diode. I suočili smo se s prilično jedinstvenim izazovom jer je to optička komponenta. Mora biti ravna. Ne možete je ogrebati. Mora imati sve te karakteristike jer kada gledate kroz valovode, kroz projektore, doslovno gledate gornju površinu komada silicija.“
Silicijski tim razvio je složenu seriju testnih platformi za ove microLED zaslone, što je uključivalo blisku suradnju s našim globalnim dobavljačima. MikroLED diode imaju globalni otisak, nastaju na jednom mjestu, a zatim se prenose na drugo mjesto gdje su stavljene na pločicu. Pločice su zatim otpremljene na rezanje u određeni oblik, nakon čega slijedi putovanje u SAD kako bi se spojile s drugom pločicom, a zatim otpremljene natrag preko svijeta kako bi se sam modul izgradio i testirao. Bio je to izuzetno kompliciran proces, a silicijski tim razvio je testna vozila kako bi dokazao svaki korak.
Tim je također trebao pronaći način za napajanje microLED zaslona u malom volumenu kutova naočala. Naš analogni tim razvio je prilagođeni čip za upravljanje napajanjem koji stane unutar tog volumena.
„Isporuka napajanja ključna je za tako male nosive uređaje, gdje je veličina baterije ograničena, a prostor izuzetno važan“, napominje direktor analognih i miješanih signalnih sustava Jihong Ren. „Naše prilagođeno rješenje za upravljanje napajanjem IC-om koristi najsuvremenije tehnologije za optimizaciju energetske učinkovitosti za naše specifično opterećenje na razini sustava, a sve to uz istovremeno uklapanje u ograničenja dostupnog prostora. Postizanje ovog optimalnog rješenja zahtijevalo je blisku interdisciplinarnu suradnju s našim mehaničkim, električnim, SoC, μLED i termalnim timovima, osiguravajući besprijekornu integraciju svih komponenti i maksimiziranje ukupnih performansi.“
„To je bio nevjerojatan podvig ne samo inženjerstva već i organizacijskog upravljanja: okupljanje tima, rad u različitim vremenskim zonama i sa svim tim različitim dobavljačima“, dodaje Snodgrass. „U nekim aspektima, upravljanje svim tim organizacijski bilo je jednako izazovno kao i ispunjavanje tehničkih specifikacija.“
„Ne samo da je dizajn prilagođen, već je i cijeli proces izrade prilagođen“, dodaje Yee. „Sretni smo što imamo neke divne partnere u industriji koji su nam pomogli da se to ostvari. Oni vide dugoročni potencijal u AR zaslonima u cjelini i svakako Metinu viziju za to. Stoga su bili spremni surađivati s nama kako bismo ostvarili te prilagodbe i optimizacije koje će omogućiti taj zaslon.“
Orion AR naočale.
Iteracija susreće ubrzanje
Postojala je uska povratna sprega između silicijskog tima i briljantnih umova u Reality Labs Researchu i XR Techu koji su razvijali algoritme. Potonji timovi bi osigurali te algoritme, koje bi prvi preveli u hardver, uklanjajući opterećenje općeg softvera koji pokreće CPU. To je značilo da bi algoritmi radili s manjom potrošnjom energije, ali je također značilo da je silicijski tim bio vezan za njih. Nakon što su algoritmi ojačani, više nisu mogli unositi promjene.
„Recimo da je XR Tech algoritamski razvijao određenu disciplinu“, objašnjava Ohad Meitav, direktor Silicon Accelerators Architecture and Algorithms. „Oni posjeduju algoritamski stog i njegove performanse. Moj tim, u suradnji s njima, tada bi odlučio kako ubrzati algoritam, kako ojačati dijelove algoritma i kako ga zapravo ugraditi u hardver na način da radi super učinkovito. Zatim bi XR Tech prilagodio svoj softverski stog kako bi uzeo u obzir hardver. To je vrlo iterativni proces.“
Još jedna priča o uspjehu je suradnja silicijskog tima s Reality Labs Researchom na razvoju novog algoritma reprojekcije.
„Trebali smo algoritam reprojekcije koji podržava niz različitih izobličenja i korekcija“, napominje silicijski arhitekt Steve Clohset. „Algoritam koji je razvio RL-R, a koji smo na kraju koristili, ne koristi se u općem računarstvu. I do danas se pokazuje kao prilično moćan alat.“
Nakon što su algoritmi ojačani, a hardver optimiziran, tim za razvoj silicija podvrgnuo je prilagođene čipove svojim nastojanjima.
„Orionov prilagođeni silicijski čipset prepun je složenosti“, kaže viši direktor za end-to-end sustave i infrastrukturu Liping Guo. „Uvođenje i validacija samostalnih čipova i interoperabilnosti među njima u kratkom vremenskom razdoblju nevjerojatno je izazovna. Srećom, poslujemo unutar vertikalno integriranog okruženja u kojem Reality Labs posjeduje cijeli stog - od silicija i firmvera niske razine do operativnog sustava, softvera i iskustava gornjeg sloja. U potpunosti smo iskoristili to, blisko surađujući s našim međufunkcionalnim partnerima i pomaknuvši našu međuskladnu integraciju u fazi validacije silicija. Orion je bio naš pilotni projekt za ovu metodologiju - izgradili smo našu snagu i stvorili snažne temelje za Reality Labs da u budućnosti iskoristi sve prednosti prilagođenog silicija.“
I nakon što je spomenuto, bilo je vrijeme za optimizaciju softvera.
„Postoji iterativni proces u kojem počinjete s potpuno neoptimiziranim softverskim paketom, samo da biste sve pokrenuli i radili“, kaže Snodgrass. „A zatim, jedan po jedan, prolazite kroz podsustave i počinjete optimizirati softver za taj specifični hardver - uključujući smanjenje količine memorije koju softver koristi. Hardver može biti lijepo dizajniran, ali nećete postići teoretsku energetsku učinkovitost osim ako ne uložite jednako ili više vremena da softver iskoristi sve prednosti hardvera. Dakle, to je priča o Orionu: hardver i softver optimizirani do kraja. Ne ostavljajte ni pikojul ni milivat.“
I premda Orion možda jest prototip, rad koji je u njega uložen ima znatan potencijal utjecati na Metin plan razvoja.
„Na silicijske IP-ove koje gradimo gledamo kao na platforme u smislu da su to vrijedni IP-ovi koje ćemo poboljšavati iz jedne generacije ili jednog proizvoda u drugi“, dodaje Meitav. „Svi algoritmi računalnog vida i grafike nisu izgrađeni samo za Orion. Oni će informirati buduće proizvode.“
Naš rad sa silicijem uključuje stvaranje novih rješenja uz blisku suradnju s partnerima. Utjecaj silicijskog tima proteže se izvan Oriona na oba... Ray-Ban Meta naočale i Meta Quest slušalice danas - iako oboje koriste čipove trećih strana. Silicijski tim redovito dijeli svoj rad s timom za mješovitu stvarnost, pokazujući što je moguće u smislu energetske učinkovitosti. MR tim zatim dijeli te nalaze s partnerima poput Qualcomm kako bi pomogli u informiranju budućih dizajna čipova. A budući da tim za silicij koristi iste standardne digitalne procesore signala (DSP) kao i Ray-Ban Meta naočale, mogli su podijeliti naučene lekcije i najbolje prakse prilikom implementacije i pisanja koda za te DSP-ove kako bi poboljšali audio iskustva dostupna na našim AI naočalama.
I ta razmjena znanja ide u oba smjera: MR tim je dao timu za silicij uvid u stvari poput Asinkroni vremenski iskriv i Aplikacija SpaceWarp u produkciji.
„Ono što osoba radi u proizvodnji daleko je zanimljivije od nečega što bismo mogli učiniti s prototipom“, kaže Clohset. „Pokušali smo što više integrirati ono što su radili s deformacijama.“
Dvosmislenost < Ambicija
Budući da je Orion doista bio omjer od nula do jedan, uključeni timovi su se nužno morali nositi s prekomjernom količinom dvosmislenosti.
„S Orionom, ne mogu dovoljno naglasiti koliko je dvosmislenost stvari komplicirala“, kaže Clohset. „Kada izrađujete računalo, na primjer, općenito imate dobru ideju o tome kakav će biti zaslon. Ali nismo znali kakav će valovod na kraju biti, pa smo morali isprobati različite valovode i smisliti mehanizam koji bi mogao podnijeti najgori mogući scenarij jer nismo znali gdje će se stvari odvijati. Jedna optimizacija ovdje bi se spojila sa svim tim drugim izborima i završili biste s ovom matricom svih tih različitih stvari koje ste imali kao potporu i pokušali validirati jer niste znali gdje će se proizvod odvijati za šest mjeseci.“
Važno je napomenuti da Orion nije samo par AR naočala - to je trodijelna konstelacija hardvera. Velik dio obrade odvija se na izračunaj pak, što zahtijeva snažnu vezu između njega i naočala. Dodajte površinska EMG narukvica u petlju, a arhitektura sustava postaje još složenija.
„To je bio iznimno izazov za timove da riješe, a sve to jednostavno funkcionira“, kaže Snodgrass. „Bila je to nevjerojatna suradnja između silicijskog tima, bežičnog tima i softverskih timova u cijeloj organizaciji.“
Orionov računalni pak.
„S Orionom smo okupili cijeli tim sa širokim spektrom inženjera, a oni su uspjeli dizajnirati potpuno novi cjevovod“, dodaje Clohset. „To je cjevovod koji obrađuje kretanje objekata u šest stupnjeva slobode u 3D prostoru. Koristi vlastiti prilagođeni upravljački program za prikaz. Morali smo napraviti zaista jedinstvene korekcije kvalitete slike. Mislim da je izazov za nas bio taj što, budući da je ovo bio projekt od nule do jedan, nije bilo postojeće specifikacije za podešavanje i poboljšanje. Sve ovdje je potpuno novo, pa smo imali slobodu da sve napravimo.“
Slično kao i pak ima neke skrivene značajke skrivene ispod površine, prilagođeni silikon također nadmašuje svoju težinu. Iako Orion ne dopušta korisniku snimanje fotografija svojim RGB kamerama, silikon je sposoban podržati ih, kao i avatari kodekaI baš kao što je pak pomogao otključati pravi oblik naočala rasterećujući veći dio računalnog opterećenja, Orionov prilagođeni silicij pokazao se nužnim dijelom AR slagalice.
„Da biste oživjeli iskustvo od nule do jedan poput AR naočala, potreban vam je prilagođeni silikon - točka“, objašnjava Snodgrass. „Tijekom vremena, ako postoji tržište, dobavljači silikona će razviti proizvode kako bi zadovoljili potražnju. Ali za iskustvo od nule do jedan ne možete jednostavno uzeti nešto što postoji s police, a namijenjeno je drugom proizvodu, i uklopiti to u novi kalup. Morate uložiti u nešto prilagođeno. A da biste oživjeli ta iskustva od nule do jedan, potrebna vam je široka suradnja između softverskih partnera, industrijskih dizajnera, strojarskih inženjera i drugih.“
„Oslobađajući se tradicionalnih mentalnih modela, stvorili smo nešto uistinu izvanredno“, dodaje Shearer. „Vjerujemo da ova računalna platforma predstavlja budućnost tehnologije – onu koja će revolucionirati način na koji živimo, radimo i međusobno komuniciramo. Uzbuđeni smo što smo na čelu ove inovacije, pomičući granice mogućeg i pomažući u oblikovanju tijeka povijesti.“
Za više informacija o Orionu, pogledajte ove objave na blogu:
