2017. aastal oli Reality Labs juhtivteadur Michael Abrash, mida toetas Meta asutaja ja tegevjuht Mark Zuckerberg, asutas uue, salajase meeskonna tollase Oculus Researchi raames, et luua järgmise arvutiplatvormi alus. Nende kangelaslik ülesanne: Luua kohandatud ränilahendus, mis toetaks tulevaste arvutite unikaalseid nõudmisi. liitreaalsuse prillid-tehniline saavutus, mis nõudis iga komponendi ümberkujundamist kogu päeva kantava toote jaoks. AR prillid vormifaktor, mida lihtsalt ei olnud veel olemas.
Orion AR-prillide prototüübi esiotsanurk.
Kompaktne vormifaktor, märkimisväärne probleemiruum
Mõnest teadlasest sadade inimesteni tootepoolel kasvanud kohandatud räni meeskond loodi lähtuvalt eeldusest, et AR-prillid ei saa tugineda tänastes nutitelefonides olemasolevale ränile. Ja seda eeldust kinnitavad mitmed kohandatud kiibid, mis on sees. Orion, meie esimene tõeline AR-prillide toote prototüüp.
"Laeva ehitamine sadamast väljumise ajal - see oli täpselt see, mida me tegime," ütleb kõrgtehnoloogiate strateegiadirektor Jeremy Snodgrass. "Me pidime oma tagasihoidlikku meeskonda suurendama ja samal ajal neid kiipe ehitama. Oli põnev näha, kuidas juhtkond tõi uusi töötajaid pardale, arendades samal ajal kultuuri, mis väärtustab paindlikkust. Mitte miski ei olnud kellegi teise probleem. Sa võtsid sõru kätte ja hakkasid sõudma, isegi kui see ei olnud täpselt see, milleks sind palgati. See oli väga, väga põnev aeg."
"Peaaegu kõik Orionis oli paljuski uus," nõustub Display Architecture'i tehniline direktor Mike Yee. "Mõned ideed olid juba olemas, kuid keegi ei olnud võtnud ette uurimisprojekti, et ehitada tegelikult kogu päeva kantavad AR-prillid."
Meeskond pidi pakkuma veenvat AR-kogemust võimalikult vähese energiatarbimisega. Prillide vormifaktor suudab hajutada vaid teatud hulga soojust ja mahutab vaid teatud koguse akut. Selle tulemusena sõltuvad prillidega pakutavad kogemused täielikult ränist. Teisisõnu, kui hoida soojus- ja aku mahtu konstantsena, on ainus võimalus pakkuda konkreetset kogemust räni optimeerimine.
"Orioni uue arhitektuuri väljatöötamine nõudis meeskonnalt mitte ainult olemasolevate tehnoloogiate, nagu traadita side ja kuvarid, agressiivset kasutamist, vaid ka uute tehnoloogiate riskide võtmist," ütleb tootejuhtimise direktor Neeraj Choubey. "Näiteks töötas meeskond välja masinõppe (ML) kiirendi, millel polnud sel ajal selget kasutusala, lähtudes kindlast veendumusest, et ML muutub Meta toodetes üha olulisemaks. Orionis kasutatakse kõiki ML-kiirendeid ja mõnel juhul on need ülekoormatud, teenindades selliseid funktsioone nagu silmade jälgimine ja käe jälgimine. Samamoodi töötas meeskond välja kohandatud pakkimisprotokollid, et vähendada ribalaiust ja energiatarbimist, kui andmed liikusid arvutada puck ekraanile. Orioni vormifaktori eesmärkide saavutamiseks kohandatud räni väljatöötamine nõudis nii suure mitmetähenduslikkuse taluvust kui ka hoolikat tähelepanu detailidele, et saavutada uskumatult keeruline süsteemiarhitektuur."
"Meie suurim väljakutse oli 3D-maailmaga lukustatud renderdatud graafika ja ruumilise heli esitamine, mis on renderdatud nii, et see näib lähtuvat virtuaalsest objektist," märgib Snodgrass. "Me pidime mahutama kogu selle elektroonika soojusmahutavuse ja füüsilise ruumi sisse ning seejärel ajama seda aku abil, et see ei läheks liiga kuumaks. Ja me pidime seda kõike tegema tegelikus prillide vormifaktoris - mitte suures visiiris, mida tavaliselt näeb selles kategoorias."
"Me teadsime, kuidas pakkuda vajalikku arvutusvõimsust, et viia ellu meie nägemus Orionist, kuid meil oli ees hirmutav ülesanne: vähendada energiatarbimist 100 korda," ütleb SoC-lahenduste direktor Robert Shearer. "See nõudis meilt ränidisaini piiride avardamist, võttes kasutusele metoodikaid tööstuse erinevatest nurkadest - alates asjade internetist kuni suure jõudlusega arvutamiseni - ja leiutades uusi lähenemisviise, et ületada lüngad. Meie tööstuspartnerid pidasid meid hulluks ja võib-olla nad ei eksinudki täielikult. Kuid just seda oli vaja: valmisolekut seada kahtluse alla tavapärane tarkus ja mõelda kõik ümber. Virtuaalset ja füüsilist maailma sujuvalt ühendava arvuti ehitamine nõuab põhjalikku arusaamist kontekstist, mis ületab kaugelt seda, mida olemasolevad arvutiplatvormid suudavad pakkuda. Sisuliselt leiutasime uuesti selle, kuidas arvutid inimestega suhtlevad, mis tähendas, et me mõtlesime ümber, kuidas me silikooni algusest peale ehitame."
Orioni väliskomponendid.
MicroLEDide maagia
Oli hetki, mil asjad jäid ajakavast maha või tekkis ületamatuna näiv tehniline probleem, mil oli raske säilitada hoogu ja moraali. Kuid meeskond oli vastupidav, leides võimalusi takistuste vältimiseks - või lihtsalt lükkas need ümber.
Võtame näiteks Orioni ekraani. Silikoonimeeskond vastutas räni eest prillide nurkades asuva kuvariprojektori räni eest.
"Nende projektorite puhul oli lahtine küsimus, kas me saame mikroLED-lampe piisavalt suure tõhususe ja heledusega massiivi, et kasutada laia vaateväljaga ekraani," ütleb Snodgrass. "Oli suur kahtlus, kas me suudame seda teha - et see on võimalik selle aja jooksul, mida me kaalusime -, sest see oli väga uus tehnoloogia."
"Me mõistsime väga varakult, et peame ümber mõtlema paljud tootearenduse paradigmad," lisab Yee. "Valguse hulk, mida on vaja kasutatava ekraani loomiseks, on AR-prillide puhul üsna palju heledam, sest kantava ekraanina konkureerid sa päikesega. Seega vajame energiataset, mis konkureerib sellega - või vähemalt see on eesmärk. Me ei ole veel päris valmis, kuid see on suur osa sellest. Ja see tähendab, et ekraanile on vaja valgusallikaid, mis suudavad seda teha, ja te vajate vooluahelaid, mis suudavad seda kontrollida. Ja samal ajal on vaja teha see tillukeseks."
Orioni µLEDide juhtimiseks kasutatav kohandatud räni.
Kuigi mikroLEDid tundusid projektorite jaoks kõige sobivam valgusallikas, aitas räni nende potentsiaali avada.
"Ekraanide puhul räägime pikslite sammudest, mis on kõrvuti asetsevate pikslite keskpunktide vaheline kaugus," selgitab Yee. "Telerite puhul on need vahemaad sajad mikronid. Telefoni puhul on see palju, palju kümneid mikroneid. Me pidime selle vähendama ühekohalise arvu võrra. Ainus teadaolev pooljuhtide tootmisviis, millega seda saavutada, oli räni."
Tööd raskendas asjaolu, et ekraani tagumine pind pidi olema ränist ja keegi maailmas ei olnud veel mikroLEDide jaoks räni projekteerinud.
"Tol ajal olid kõik uurimisrühmad, kes olid seal väljas, kasutasid mikroLEDide jaoks ümber ränikristallkuvarid," ütleb Yee. "Keegi ei olnud varem mikroLEDide jaoks taustaplaati projekteerinud. Ja me seisime silmitsi üsna ainulaadse väljakutsega, sest tegemist on optilise komponendiga. See peab olema lame. Seda ei saa kriimustada. Sellel peavad olema kõik need omadused, sest kui te vaatate läbi lainejuhtide, läbi prožektorite, siis vaatate sõna otseses mõttes ränitüki pealispinda."
Silikoonimeeskond töötas nende mikroLED-ekraanide jaoks välja kompleksse rea testiplatvorme, mis hõlmas tihedat koostööd meie ülemaailmsete tarnijatega. MikroLED-ekraanidel on ülemaailmne jalajälg, mis on pärit ühest kohast ja seejärel viidud teise kohta, kus need asetati vahvlile. Seejärel saadeti vahvlid edasi, et neid lõigata konkreetsesse vormi, seejärel sõideti USAsse, kus neid ühendati teise vahvliga, ning seejärel saadeti tagasi üle maailma, et moodulit ehitada ja testida. See oli väga keeruline protsess ja räni meeskond töötas välja katsesõidukid, et iga sammu tõestada.
Meeskond pidi leidma ka viisi, kuidas anda mikroLED-ekraanidele energiat prillide nurkades asuvas pisikeses ruumis. Meie analoogimeeskond töötas välja kohandatud toitejuhtimise kiibi, mis sobis selle mahu sisse.
"Toitevarustus on ülioluline selliste väikeste kantavate seadmete puhul, kus aku suurus on piiratud ja ruumi on vähe," märgib analoog- ja segasignaalisüsteemide direktor Jihong Ren. "Meie kohandatud Power Management IC lahendus kasutab tipptasemel tehnoloogiaid, et optimeerida energiatõhusust meie konkreetse töökoormuse jaoks süsteemi tasandil, sobides samal ajal olemasoleva ruumi piiridesse. Selle optimaalse lahenduse saavutamine nõudis tihedat interdistsiplinaarset koostööd meie mehaanika-, elektri-, SoC-, μLED- ja soojusmeeskondadega, tagades kõigi komponentide tõrgeteta integreerimise ja üldise jõudluse maksimeerimise."
"See oli hämmastav saavutus mitte ainult inseneri, vaid ka organisatsioonilise juhtimise osas: meeskonna kokku toomine, töötamine üle ajavööndite ja kõigi nende erinevate tarnijatega," lisab Snodgrass. "Mõnes mõttes oli kogu selle korralduslik juhtimine sama suur väljakutse kui tehniliste spetsifikatsioonide täitmine."
"Mitte ainult disain ei ole kohandatud, vaid ka kogu tootmisprotsess on kohandatud," lisab Yee. "Meil on vedanud, et meil on mõned suurepärased partnerid tööstuses, kes aitasid seda teha. Nad näevad AR-ekraanides tervikuna pikaajalist potentsiaali ja kindlasti ka Meta nägemust sellest. Nii et nad on olnud valmis meiega koostööd tegema, et need kohandused ja optimeerimised toimuksid selle ekraani võimaldamiseks."
Orion AR prillid.
Iteratsioon kohtub kiirendusega
Silikoonimeeskonna ja Reality Labs Researchi ja XR Techi geniaalsete vaimude vahel, kes arendasid algoritme, oli tihe tagasiside. Viimati nimetatud meeskonnad esitasid need algoritmid, mille esimene neist tõlkis riistvarasse, kõrvaldades üldotstarbelise CPU-ga töötava tarkvara koormuse. See tähendas, et algoritmid töötavad väiksema võimsusega, kuid see tähendas ka seda, et räni meeskonnal oli kindel positsioon. Kui algoritmid olid karastatud, ei saanud nad enam muudatusi teha.
"Ütleme, et XR Tech arendas algoritmiliselt teatavat distsipliini," selgitab Silicon Accelerators arhitektuuri ja algoritmide direktor Ohad Meitav. "Neile kuulub algoritmihunnik ja selle jõudlus. Minu meeskond otsustaks siis koostöös nendega, kuidas kiirendada algoritmi, kuidas kõvendada algoritmi osi ja kuidas panna see tegelikult riistvarasse nii, et see töötaks ülitõhusalt. Seejärel kohandaks XR Tech oma tarkvarapaketti, et võtta arvesse riistvara. See on väga iteratiivne protsess."
Teine edulugu on räni meeskonna koostöö Reality Labs Researchiga, et töötada välja uudne reprojektsioonialgoritm.
"Meil oli vaja, et reprojektsioonialgoritm toetaks erinevaid moonutusi ja korrektsioone," märgib Silicon Architect Steve Clohset. "Algoritmi, mille RL-R töötas välja ja mida me lõpuks kasutasime, ei kasutata üldises arvutustehnikas. Ja tänaseks on see osutunud üsna võimsaks tööriistaks."
Kui algoritmid olid karastatud ja riistvara optimeeritud, pani silikoonistamise meeskond kohandatud kiibid proovile.
"Orioni kohandatud räni kiibistik on täis keerukust," ütleb lõppsüsteemi ja infrastruktuuri vanemdirektor Liping Guo. "Iseseisvate kiipide ja nende koostalitlusvõime lühikese aja jooksul kasutusele võtmine ja valideerimine on uskumatult keeruline. Õnneks tegutseme vertikaalselt integreeritud keskkonnas, kus Reality Labs omab kogu korpust - alates ränist ja madalast püsivara tasemest kuni operatsioonisüsteemi, tarkvara ja ülemise kihi kogemusteni. Me kasutasime seda täielikult ära, tehes tihedat koostööd oma valdkonnaüleste partneritega, ja vahetasime oma räni valideerimise etapis ränivõrgustiku integratsiooni. Orion oli meie katseprojekt selle metoodika jaoks - me arendasime oma shift-left-muskleid ja lõime tugeva aluse, et Reality Labs saaks tulevikus kasutada kõiki kohandatud räni eeliseid."
Ja pärast käivitamist oli aeg optimeerida tarkvara.
"See on iteratiivne protsess, kus alustatakse täiesti optimeerimata tarkvarapakiga, et kõik käivitada ja käivitada," ütleb Snodgrass. "Seejärel käiakse ükshaaval läbi allsüsteemid ja hakatakse tarkvara optimeerima konkreetse riistvara jaoks - sealhulgas vähendatakse tarkvara kasutatava mälu hulka. Riistvara võib olla suurepäraselt disainitud, kuid te ei saavuta teoreetilist energiatõhusust, kui te ei investeeri sama palju või rohkem aega, et tarkvara saaks riistvara täielikult ära kasutada. Niisiis, see on Orioni lugu: riistvara ja tarkvara on optimeeritud lõpuni. Ei jäta ühtegi pikojouli ega millivatti maha."
Ja kuigi Orion võib olla prototüüp, on sellega tehtud töö potentsiaal, mis võib mõjutada Meta teekaarti.
"Me vaatame räni IP-dele, mida me ehitame, kui platvormidele selles mõttes, et need on hinnatud IP-d, mida me täiustame ühest põlvkonnast või ühest tootest teise," lisab Meitav. "Kõik arvutinägemise ja graafika algoritmid ei ole loodud ainult Orioni jaoks. Need lähevad edasi tulevaste toodete jaoks."
Meie ränitöö hõlmab uudsete lahenduste loomist, tehes samal ajal tihedat koostööd partneritega. Tegelikult ulatub ränimeeskonna mõju Orionist kaugemale, nii Ray-Ban Meta prillid ja Meta Quest peakomplektid kuigi mõlemad kasutavad kolmanda osapoole kiipe. Silikoonimeeskond jagab regulaarselt oma tööd segareaalsuse meeskonnaga, näidates, mis on võimalik energiatõhususe osas. Seejärel jagab MR-meeskond neid tulemusi partneritega, nagu näiteks Qualcomm et aidata kaasa tulevaste kiipide projekteerimisele. Ja kuna räni meeskond kasutab samu standardseid digitaalseid signaaliprotsessoreid (DSP) kui Ray-Ban Meta prillid, on nad saanud jagada saadud kogemusi ja parimaid tavasid nende DSP-de rakendamiseks ja koodi kirjutamiseks, et aidata parandada meie tehisintellekti prillide helikogemust.
Ja see teadmiste jagamine käib mõlemas suunas: MR-meeskond on andnud silikoonimeeskonnale teadmisi sellistest asjadest nagu Asünkroonne TimeWarp ja Rakendus SpaceWarp tootmises.
"See, mida inimene teeb tootmises, on palju huvitavam kui see, mida me saaksime teha prototüübiga," ütleb Clohset. "Me püüdsime integreerida seda, mida nad teevad lõimingutega, nii palju kui võimalik."
Mitmetähenduslikkus < Ambitsioon
Kuna Orion oli tõesti null üheni, pidid asjaomased meeskonnad paratamatult tegelema ülemäärase hulga ebaselgusega.
"Orioni puhul ei oska ma üle hinnata, kui keeruliseks muutis mitmetähenduslikkus asjad," ütleb Clohset. "Kui teete näiteks arvutit, siis on teil üldiselt hea ettekujutus sellest, milline saab olema ekraan. Aga me ei teadnud, milline on lõpuks lainejuht, nii et pidime proovima erinevaid lainejuhte ja mõtlema välja mehhanismi, mis suudaks halvima stsenaariumiga toime tulla, sest me ei teadnud, kuhu asjad maanduvad. Üks optimeerimine siin kääriks kokku kõigi nende teiste valikutega ja teil oleks lõpuks see maatriks nagu kõik need erinevad asjad, mida teil oli toetusena ja püüdsid valideerida, sest te ei teadnud, kuhu toode kuue kuu pärast maandub."
Oluline on märkida, et Orion ei ole lihtsalt paar AR-prille - see on kolmest osast koosnev riistvara komplekt. Suur osa töötlemisest toimub arvutada puck, mis eeldab tugevat seost selle ja prillide vahel. Lisage pinna EMG randmepael ja süsteemi ülesehitus muutub veelgi keerulisemaks.
"See oli meeskondade jaoks tohutult keeruline lahendada, ja kõik see lihtsalt töötab," ütleb Snodgrass. "See oli hämmastav koostöö silikoonimeeskonna, traadita meeskonna ja tarkvarameeskondade vahel kogu organisatsioonis."
Orioni arvutuskäik.
"Orioniga moodustasime terve meeskonna, mis koosnes väga erinevatest inseneridest, ja nad suutsid projekteerida täiesti uue torujuhtme," lisab Clohset. "See on torujuhe, mis tegeleb objektide kuue vabadusastmega liikumisega 3D-ruumis. See kasutab omaenda kohandatud ekraanijuhtimist. Me pidime tegema tõesti unikaalseid pildikvaliteedi parandusi. Ja ma arvan, et meie jaoks oli väljakutse see, et kuna see oli null-ühele projekt, ei olnud olemasolevaid spetsifikatsioone, mida parandada. Kõik siin on täiesti uus, nii et meil oli vabadus kõike teha."
Sarnaselt Puck on mõned pinna all peidus olevad uinuvad omadused, on ka kohandatud räni oma kaalust kõrgemal. Kuigi Orion ei võimalda kasutajal oma RGB-kaameraga fotosid teha, on räni võimeline seda toetama, samuti koodekite avatarid. Ja nii nagu puck aitas avada tõelise prillide vormifaktori, eemaldades suure osa arvutustegevusest, osutus Orioni kohandatud räni vajalikuks AR-puzzle osaks.
"Selleks, et selline null-ühele kogemus nagu AR-prillid ellu viia, on vaja kohandatud silikoonist täielikku stoppi," selgitab Snodgrass. "Aja jooksul, kui on olemas turg, siis arendavad räni müüjad tooteid, mis vastavad nõudlusele. Kuid nullist üks-üheni puhul ei saa lihtsalt võtta midagi, mis on olemas riiulilt, mis on mõeldud teise toote jaoks, ja seda uude vormi sobitada. Tuleb investeerida millessegi, mis on kohandatud. Ja nende null-ühele kogemuste ellu viimiseks on vaja laiaulatuslikku koostööd tarkvarapartnerite, tööstusdisainerite, mehaanikainseneride ja teiste vahel."
"Vabanedes traditsioonilistest mõttemudelitest, oleme loonud midagi tõeliselt tähelepanuväärset," lisab Shearer. "Me usume, et see arvutiplatvorm esindab tehnoloogia tulevikku, mis muudab revolutsiooniliselt meie elu, töö ja omavahelise suhtlemise. Oleme põnevil, et saame olla selle innovatsiooni esirinnas, nihutada võimaluste piire ja aidata kaasa ajaloo kujunemisele."
Lisateavet Orioni kohta leiate nendest blogipostitustest:
ET 
EN 
BG 
CS 
EL 
HR 
HU 
LT 
LV 
FR 
NL 
PL 
PT 
RO 
SL 
SK