2017. gadā Reality Labs galvenais zinātnieks Maikls Abrash, ko atbalstīja Meta dibinātājs un izpilddirektors Marks Zuckerbergs, izveidoja jaunu, slepenu komandu toreizējā Oculus Research, lai izveidotu nākamās skaitļošanas platformas pamatu. Viņu herkulesa uzdevums: Izveidot pielāgotu silīcija risinājumu, kas varētu atbalstīt unikālas nākotnes prasības. papildinātās realitātes brilles-tehnisks sasniegums, kura dēļ bija jāpārdomā katrs komponents, lai to varētu nēsāt visu dienu. AR brilles formas faktors, kas vienkārši vēl nepastāvēja.
Orion AR briļļu prototipa priekšējais leņķis.
Kompakts formas faktors, ievērojama problēmtelpa
Pielāgotā silīcija komanda, kas no dažiem pētniekiem izauga līdz simtiem cilvēku produktu jomā, tika izveidota, pamatojoties uz pieņēmumu, ka AR brilles nevar paļauties uz mūsdienu viedtālruņos pieejamo silīciju. Un šo pieņēmumu apstiprina vairākas pielāgotās mikroshēmas, kas ir iekšpusē. Orion, mūsu pirmais īstais AR briļļu produkta prototips.
"Veidojot kuģi, kad tas izbrauc no ostas - tieši to mēs arī darījām," saka progresīvo tehnoloģiju stratēģijas direktors Džeremijs Snodgrass. "Mums vajadzēja palielināt to, kas bija neliela komanda, vienlaikus veidojot šīs mikroshēmas. Bija aizraujoši vērot, kā vadība pieņēma darbā jaunus darbiniekus, vienlaikus veidojot kultūru, kurā tiek novērtēta veiklība. Nekas nebija kāda cita problēma. Tu paņem airu un sāc airēt, pat ja tas nebija tieši tas, kam tevi pieņēma darbā. Tas bija ļoti, ļoti aizraujošs laiks."
"Gandrīz viss Orion bija jaunums daudzējādā ziņā," piekrīt Display Architecture tehniskais direktors Maiks Jī (Mike Yee). "Dažas no idejām jau bija zināmas, bet neviens nebija uzņēmies pētniecības projektu, lai faktiski izveidotu visu dienu valkājamu AR briļļu pāri."
Komandai bija jānodrošina pārliecinoša AR pieredze ar pēc iespējas mazāku enerģijas patēriņu. Briļļu formas faktors var izkliedēt tikai tik daudz siltuma, un tajā var ievietot tikai tik lielu akumulatora ietilpību. Rezultātā pieredze, ko ir iespējams nodrošināt ar šīm brillēm, ir pilnībā atkarīga no silīcija. Citiem vārdiem sakot, ja siltuma un akumulatora jauda ir nemainīga, vienīgais veids, kā nodrošināt noteiktu pieredzi, ir optimizēt silīciju.
"Lai izstrādātu jaunu Orion arhitektūru, komandai nācās ne tikai intensīvi attīstīt esošās tehnoloģijas, piemēram, bezvadu tīklu un displejus, bet arī riskēt ar jaunām tehnoloģijām," saka produktu vadības direktors Neeraj Choubey. "Piemēram, komanda izstrādāja mašīnmācīšanās (ML) paātrinātāju bez skaidra tā brīža lietojuma gadījuma, jo bija stingri pārliecināta, ka ML kļūs arvien svarīgāks Meta produktos. Uzņēmumā Orion katrs ML paātrinātājs tiek izmantots, un dažos gadījumos tie ir pārlieku pieprasīti, jo kalpo tādām funkcijām kā acu un roku izsekošana. Tāpat komanda izstrādāja pielāgotus saspiešanas protokolus, lai samazinātu joslas platumu un enerģijas patēriņu, kad dati pārvietojas no aprēķināt ripu uz displeja. Pielāgota silīcija izstrāde, lai sasniegtu Orion formas faktora mērķus, prasīja gan toleranci pret lielu neskaidrību, gan rūpīgu uzmanību detaļām, lai nodrošinātu neticami sarežģītu sistēmas arhitektūru."
"Mūsu lielākais izaicinājums bija nodrošināt 3D grafiku, kas atveidota ar pasaules bloķēšanu, kā arī telpisku skaņu, kas atveidota tā, ka šķiet, ka tā nāk no virtuāla objekta," norāda Snodgrass. "Mums vajadzēja ietilpināt visu šo elektroniku termālajā ietilpībā un fiziskajā telpā un pēc tam darbināt to ar akumulatoru, lai tā pārāk neuzkarst. Un mums tas viss bija jāizdara, izmantojot īstu briļļu formu - nevis lielu vizieri, kādu parasti redzam šajā kategorijā."
"Mēs zinājām, kā nodrošināt nepieciešamo skaitļošanas jaudu, lai īstenotu mūsu redzējumu par Orion, taču mums bija sarežģīts uzdevums: samazināt enerģijas patēriņu 100 reizes," saka SoC risinājumu direktors Roberts Šīrers. "Tas prasīja, lai mēs paplašinātu silīcija konstrukcijas robežas, izmantojot metodoloģijas no dažādām nozares jomām - no lietu interneta līdz augstas veiktspējas skaitļošanai - un izgudrojot jaunas pieejas, lai novērstu atšķirības. Mūsu nozares partneri domāja, ka mēs esam traki, un, iespējams, viņi nebija pilnīgi nemaldīgi. Taču tieši tas bija vajadzīgs: vēlme apstrīdēt vispārpieņemto gudrību un visu pārdomāt no jauna. Lai izveidotu datoru, kas nevainojami apvieno virtuālo un fizisko pasauli, ir nepieciešama dziļa izpratne par kontekstu, kas krietni pārsniedz to, ko var piedāvāt esošās skaitļošanas platformas. Būtībā mēs esam no jauna izgudrojuši veidu, kā datori mijiedarbojas ar cilvēkiem, un tas nozīmēja no jauna izdomāt, kā mēs veidojam silīciju no pašiem pamatiem."
Orion ārējās sastāvdaļas.
MicroLED maģija
Bija brīži, kad darbi atpalika no grafika vai radās šķietami nepārvarams tehnisks izaicinājums, kad bija grūti saglabāt dinamiku un morāli. Taču komanda bija izturīga un atrada ceļus, kā apiet šķēršļus, vai vienkārši tos nojauca.
Piemēram, Orion displejs. Silīcija komanda bija atbildīga par silīciju displeja projektorā, kas atrodas briļļu stūros.
"Attiecībā uz šiem projektoriem bija atklāts jautājums, vai mēs spēsim iegūt microLED matricu ar pietiekami augstu efektivitāti un spilgtumu, lai varētu izmantot displeju ar plašu redzamības lauku," saka Snodgrass. "Bija milzīgas šaubas, vai mēs to spēsim - vai tas būs iespējams paredzētajā laikā, jo šī tehnoloģija bija ļoti jauna."
"Mēs ļoti agri sapratām, ka mums ir jāpārdomā daudzas produktu izstrādes paradigmas," piebilst Jī. "Gaismas daudzums, kas nepieciešams, lai izveidotu lietojamu displeju, AR brillēm ir daudz lielāks, jo kā valkājams displejs jūs konkurējat ar sauli. Tāpēc mums ir nepieciešams tāds enerģijas līmenis, kas konkurē ar to - vai vismaz tāds ir mērķis. Mēs vēl neesam to sasnieguši, bet tas ir liela daļa no tā. Tas nozīmē, ka displejam ir vajadzīgi gaismas avoti, kas spēj to nodrošināt, un shēmas, kas spēj to kontrolēt. Un tajā pašā laikā tas ir jāpadara mazs."
Pielāgots silīcijs, kas vada Orion µLED.
Lai gan microLED šķita vispiemērotākais gaismas avots projektoriem, silīcijs palīdzēja atraisīt to potenciālu.
"Displejos mēs runājam par pikseļu attālumiem, kas ir attālumi starp blakus esošo pikseļu centra punktiem," skaidro Jī. "Televizoriem šie attālumi ir simtiem mikronu. Tālrunī tie ir daudzi, daudzi desmiti mikronu. Un mums vajadzēja samazināt šo skaitli līdz viencipara skaitlim. Vienīgais zināmais pusvadītāju ražošanas veids, kas to varēja panākt, bija silīcijs."
Darbu sarežģīja tas, ka displeja aizmugurējai virsmai bija jābūt no silīcija, bet neviens pasaulē nebija izstrādājis silīciju mikroLED.
"Tajā laikā visas pētnieku komandas bija izmantojušas šķidro kristālu uz silīcija displejiem, lai uz tiem uzliktu mikroLED," saka Jī. "Neviens iepriekš nebija izstrādājis pamatplānu microLED. Un mēs saskārāmies ar diezgan unikālu izaicinājumu, jo tas ir optisks komponents. Tai jābūt plaknai. To nevar saskrāpēt. Tai jābūt ar visām šīm īpašībām, jo, skatoties caur viļņvadiem, caur projektoriem, jūs burtiski skatāties uz silīcija gabala augšējo virsmu."
Silīcija komanda izstrādāja sarežģītu virkni testēšanas platformu šiem microLED displejiem, kas ietvēra ciešu koordināciju ar mūsu globālajiem piegādātājiem. MikroLED displejiem ir globāla izcelsme - tie tika izgatavoti vienā vietā un pēc tam pārcelti uz citu vietu, kur tie tika uzklāti uz plāksnītes. Pēc tam plāksnītes tika nosūtītas, lai tās sagrieztu noteiktā formā, un tad tās tika nosūtītas uz ASV, lai salīmētu kopā ar citu plāksnīti, un tad nosūtītas atpakaļ pāri zemeslodei, lai izveidotu un testētu faktisko moduli. Tas bija ārkārtīgi sarežģīts process, un silīcija komanda izstrādāja testa transportlīdzekļus, lai pārbaudītu katru posmu.
Komandai bija arī jāatrod veids, kā piegādāt elektroenerģiju microLED displejiem, kas atrodas niecīgajos briļļu stūros. Mūsu analogu komanda izstrādāja pielāgotu enerģijas pārvaldības mikroshēmu, kas ietilpa šajā tilpumā.
"Enerģijas padeve ir ļoti svarīga šādām maza izmēra valkājamām ierīcēm, kur akumulatora izmērs ir ierobežots un vieta ir ļoti ierobežota," norāda Analogo un jaukto signālu sistēmu direktors Džihongs Rens (Jihong Ren). "Mūsu pielāgotais barošanas pārvaldības integrālās shēmas risinājums izmanto modernākās tehnoloģijas, lai optimizētu energoefektivitāti mūsu specifiskajai darba slodzei sistēmas līmenī, vienlaikus iekļaujoties pieejamās vietas ierobežojumos. Lai panāktu šo optimālo risinājumu, bija nepieciešama cieša starpdisciplināra sadarbība ar mūsu mehānikas, elektrotehnikas, SoC, μLED un siltuma komandām, nodrošinot visu komponentu nevainojamu integrāciju un maksimālu kopējo veiktspēju."
"Tas bija apbrīnojams ne tikai inženiertehnisks, bet arī organizatorisks sasniegums: apvienot komandu, strādāt dažādās laika joslās un ar visiem šiem dažādajiem piegādātājiem," piebilst Snodgrass. "Savā ziņā organizatoriskā pārvaldība bija tikpat liels izaicinājums kā tehnisko specifikāciju izpilde."
"Pielāgots ir ne tikai dizains, bet arī viss izgatavošanas process," piebilst Jī. "Mums ir paveicies, ka mums ir brīnišķīgi partneri šajā nozarē, kas palīdzēja to īstenot. Viņi saskata ilgtermiņa potenciālu AR displejos kopumā un, protams, Meta redzējumu par to. Tāpēc viņi ir gatavi sadarboties ar mums, lai veiktu pielāgojumus un optimizācijas, kas ļautu izmantot šo displeju."
Orion AR brilles.
Iterācija tiekas ar paātrinājumu
Starp silīcija komandu un izcilajiem prātiem Reality Labs Research un XR Tech, kas izstrādā algoritmus, bija cieša atgriezeniskā saite. Pēdējās komandas nodrošināja šos algoritmus, kurus pirmās komandas pārtulkoja aparatūrā, novēršot vispārējas nozīmes CPU darbināmas programmatūras pieskaitāmās izmaksas. Tas nozīmēja, ka algoritmi darbosies ar mazāku jaudu, bet tas arī nozīmēja, ka silīcija komanda būs piesaistīta. Tiklīdz algoritmi bija nostiprināti, viņi vairs nevarēja veikt izmaiņas.
"Teiksim, ka XR Tech izstrādāja noteiktu disciplīnu algoritmiski," skaidro Silicon Accelerators arhitektūras un algoritmu direktors Ohads Meitavs. "Viņiem pieder algoritmu kaudze un tās veiktspēja. Mana komanda, sadarbojoties ar viņiem, tad izlemtu, kā paātrināt algoritmu, kā padarīt algoritma daļas stingrākas un kā to faktiski ievietot aparatūrā tā, lai tas darbotos ļoti efektīvi. Tad XR Tech pielāgotu savu programmatūras pakotni, lai ņemtu vērā aparatūru. Tas ir ļoti iteratīvs process."
Vēl viens veiksmes stāsts ir silīcija komandas sadarbība ar Reality Labs Research, lai izstrādātu jaunu reprojekcijas algoritmu.
"Mums bija nepieciešams, lai reprojekcijas algoritms atbalstītu dažādus izkropļojumus un korekcijas," norāda silīcija arhitekts Stīvs Klohets. "RL-R izstrādātais algoritms, ko mēs galu galā izmantojām, netiek izmantots vispārējos skaitļošanas procesos. Un līdz pat šai dienai tas ir izrādījies diezgan spēcīgs rīks."
Kad algoritmi bija nostiprināti un aparatūra optimizēta, silīcija sagatavošanas komanda izmēģināja pielāgotās mikroshēmas.
"Orion pielāgotais silīcija mikroshēmu komplekts ir sarežģīts," saka "End-to-End" sistēmu un infrastruktūras vecākais direktors Lipings Guo. "Īsā laikā izveidot un apstiprināt atsevišķas mikroshēmas un to savstarpējo savietojamību ir neticami sarežģīti. Par laimi, mēs darbojamies vertikāli integrētā vidē, kur Reality Labs pieder visa pakete - no silīcija un zema līmeņa programmaparatūras līdz operētājsistēmai, programmatūrai un augšējā slāņa pieredzei. Mēs to pilnībā izmantojām, cieši sadarbojoties ar saviem starpfunkcionālajiem partneriem, un mainījāmies, atstājot mūsu starppaketes integrāciju silīcija validācijas posmā. Orion bija mūsu izmēģinājuma brauciens ar šo metodoloģiju - mēs attīstījām savus "shift-left" muskuļus un izveidojām stingru pamatu, lai Reality Labs varētu pilnībā izmantot pielāgota silīcija priekšrocības nākotnē."
Un pēc izveides bija pienācis laiks optimizēt programmatūru.
"Ir iteratīvs process, kurā jūs sākat ar pilnīgi neoptimizētu programmatūras kaudzi, lai viss tiktu palaists un darbotos," saka Snodgrass. "Pēc tam pa kārtai tiek veikta apakšsistēmu optimizācija, lai optimizētu programmatūru konkrētajai aparatūrai, tostarp samazinot programmatūras izmantotās atmiņas apjomu. Aparatūra var būt lieliski izstrādāta, bet jūs nesasniegsiet teorētisko energoefektivitāti, ja neieguldīsiet tikpat daudz vai vairāk laika, lai programmatūra pilnībā izmantotu aparatūras priekšrocības. Tāds ir Orion stāsts: līdz galam optimizēta aparatūra un programmatūra. Neviens pikodžouls vai milivats nav atstāts novārtā."
Lai gan Orion, iespējams, ir prototips, tā izstrādē paveiktajam darbam ir ievērojams potenciāls ietekmēt Meta ceļvedi.
"Uz mūsu izstrādātajiem silīcija IP mēs raugāmies kā uz platformām tādā nozīmē, ka tie ir vērtīgi IP, kurus mēs pilnveidosim no vienas paaudzes vai viena produkta uz citu," piebilst Meitavs. "Visi datorredzes un grafikas algoritmi nav radīti tikai Orion. Tie tiks izmantoti turpmākajos produktos."
Mūsu darbs ar silīciju ietver jaunu risinājumu radīšanu, vienlaikus cieši sadarbojoties ar partneriem. Patiesībā silīcija komandas ietekme sniedzas ārpus Orion un aptver gan Ray-Ban Meta brilles un Meta Quest austiņas šodien - lai gan abos tiek izmantotas trešo pušu mikroshēmas. Silīcija komanda regulāri dalās savā darbā ar jauktās realitātes komandu, parādot, kas ir iespējams energoefektivitātes ziņā. MR komanda pēc tam dalās ar šiem atklājumiem ar partneriem, piemēram. Qualcomm lai sniegtu informāciju par turpmāko mikroshēmu izstrādi. Tā kā silīcija komanda izmanto tos pašus pieejamos ciparu signālu procesorus (DSP), ko izmanto Ray-Ban Meta brilles, viņi varēja dalīties pieredzē un labākajā praksē, ieviešot un rakstot kodu šiem DSP, lai palīdzētu uzlabot mūsu mākslīgā intelekta brillēs pieejamo audio pieredzi.
Zināšanu apmaiņa notiek abos virzienos: MR komanda ir sniegusi silīcija komandai ieskatu par šādām lietām. Asinhronais TimeWarp un Pieteikums SpaceWarp ražošanā.
"Tas, ko cilvēks dara ražošanā, ir daudz interesantāk nekā tas, ko mēs varētu izdarīt ar prototipu," saka Klohsets. "Mēs centāmies pēc iespējas vairāk integrēt to, ko viņi darīja ar izšuvumiem."
Neskaidrība < Ambīcijas
Tā kā Orion bija patiešām nulle pret vienu, iesaistītajām komandām pēc nepieciešamības nācās saskarties ar nesamērīgi daudz neskaidrību.
"Ar Orion es nevaru pārspīlēt, cik sarežģītu situāciju padarīja neskaidrība," saka Klohsets. "Kad jūs, piemēram, izgatavojat datoru, jums parasti ir laba ideja par to, kāds būs displejs. Bet mēs nezinājām, kāds galu galā būs viļņvads, tāpēc mums nācās izmēģināt dažādus viļņvadus un izdomāt mehānismu, kas varētu tikt galā ar vissliktāko scenāriju, jo mēs nezinājām, kur viss nonāks. Viena optimizācija šeit sasaucās ar visām pārējām izvēlēm, un galu galā izveidojās matrica ar visām šīm dažādajām lietām, kuras jums vajadzēja atbalstīt un mēģināt apstiprināt, jo jūs nezinājāt, kur produkts nonāks pēc sešiem mēnešiem."
Svarīgi atzīmēt, ka Orion nav tikai AR brilles - tas ir trīsdaļīgs aparatūras komplekss. Liela daļa apstrādes notiek aprēķināt ripu, kas nosaka, ka starp to un brillēm ir cieša saikne. Pievienojiet virsmas EMG aproce cilpā, un sistēmas arhitektūra kļūst vēl sarežģītāka.
"Tas komandām bija milzīgs izaicinājums, un tas viss vienkārši darbojas," saka Snodgrass. "Tā bija apbrīnojama sadarbība starp silīcija komandu, bezvadu komandu un programmatūras komandām visā organizācijā."
Oriona skaitļošanas ripa.
"Kopā ar Orion mēs izveidojām veselu komandu ar plašu inženieru loku, un viņi varēja izstrādāt pilnīgi jaunu cauruļvadu," piebilst Klohsets. "Tas ir cauruļvads, kas apstrādā sešu brīvības pakāpju objektu kustību 3D telpā. Tas izmanto savu pielāgotu displeja draiveri. Mums bija jāveic patiešām unikālas attēla kvalitātes korekcijas. Un, manuprāt, mūsu izaicinājums bija tas, ka, tā kā šis bija nulle viens projekts, nebija nekādas esošās specifikācijas, ko varētu pielāgot un uzlabot. Šeit viss ir pilnīgi jauns, tāpēc mums bija rīcības brīvība."
Līdzīgi kā ripa ir dažas neaktivizētas funkcijas, kas paslēptas zem virsmas, pielāgotais silīcijs ir arī spēcīgāks par savu svaru. Lai gan Orion neļauj lietotājam fotografēt ar RGB kamerām, silīcijs spēj to atbalstīt, kā arī. kodeku avatāri. Un tāpat kā ripa palīdzēja atraisīt patiesu briļļu formu faktoru, novirzot lielu daļu skaitļošanas tehnikas, Orion pielāgotais silīcijs izrādījās nepieciešama AR puzles sastāvdaļa.
"Lai īstenotu tādu nulles-līdz-vienai pieredzi kā AR brilles, ir nepieciešams pielāgots silīcijs - pilnīga apstāšanās," skaidro Snodgrass. "Laika gaitā, ja būs tirgus, tad silīcija ražotāji izstrādās produktus, lai apmierinātu pieprasījumu. Taču, lai izveidotu "nulle pret vienu", jūs nevarat vienkārši paņemt no plaukta kaut ko tādu, kas ir paredzēts citam produktam, un ievietot to jaunā veidnē. Ir jāiegulda investīcijas kādā pielāgotā izstrādājumā. Un, lai īstenotu šo zero-to-one pieredzi, ir nepieciešama plaša sadarbība starp programmatūras partneriem, rūpnieciskajiem dizaineriem, mehānikas inženieriem un citiem."
"Atbrīvojoties no tradicionālajiem domāšanas modeļiem, mēs esam radījuši kaut ko patiesi ievērojamu," piebilst Šīrers. "Mēs uzskatām, ka šī skaitļošanas platforma ir tehnoloģiju nākotne, kas revolucionizēs mūsu dzīves, darba un savstarpējās mijiedarbības veidu. Mēs esam sajūsmā, ka varam būt šīs inovācijas priekšgalā, paplašinot iespējamā robežas un palīdzot veidot vēstures gaitu."
Lai iegūtu vairāk informācijas par Orion, skatiet šos emuāra ierakstus:
LV 
EN 
BG 
CS 
ET 
EL 
HR 
HU 
LT 
FR 
NL 
PL 
PT 
RO 
SL 
SK