2017-ben a Reality Labs vezető tudósa Michael Abrasha Meta alapítója és vezérigazgatója, Mark Zuckerberg támogatásával egy új, titkos csapatot hozott létre az akkori Oculus Research keretében, hogy megteremtse a következő számítástechnikai platform alapjait. Herkulesi feladatuk: Egy olyan egyedi szilícium-megoldás létrehozása, amely képes támogatni a jövő egyedi igényeit. kiterjesztett valóság szemüveg-egy technikai bravúr, amely minden alkatrész újragondolását igényelte egy egész nap viselhető eszköz számára. AR szemüveg formátényező, amely egyszerűen még nem létezett.

Az Orion AR szemüveg prototípusának elülső szöge.

Kompakt formafaktor, jelentős problémás hely

Az egyedi szilíciumcsapat, amely néhány kutatóból több száz emberre nőtt a termékoldalon, arra a feltevésre épült, hogy az AR-szemüvegek nem támaszkodhatnak a mai okostelefonokban elérhető szilíciumra. És ezt a feltevést igazolja az a számos egyedi chip is, amely a szilikonok belsejében található. Orion, az első valódi AR-szemüveg termék prototípusa.

"A hajó építése, ahogy kihajózik a kikötőből - pontosan ezt csináltuk" - mondja Jeremy Snodgrass, az Advanced Technologies stratégiai igazgatója. "Egyszerre kellett megnövelnünk egy szerény csapatot, miközben ezeket a chipeket építettük. Lenyűgöző volt látni, ahogy a vezetőség új munkatársakat vett fel, miközben olyan kultúrát alakított ki, amely értékeli az agilitást. Semmi sem volt más problémája. Az ember felkapott egy evezőt, és elkezdett evezni, még akkor is, ha nem éppen erre a feladatra vették fel. Nagyon, nagyon izgalmas időszak volt."

"Az Orionnal kapcsolatban szinte minden sok szempontból új volt a világ számára" - ért egyet Mike Yee, a Display Architecture műszaki igazgatója. "Az ötletek egy része már létezett, de senki sem vállalta el azt a kutatási projektet, hogy valóban egy egész nap viselhető AR-szemüveget készítsen."

A csapatnak a lehető legalacsonyabb energiafogyasztás mellett kellett meggyőző AR-élményt nyújtania. A szemüveg formája csak bizonyos mennyiségű hőt képes elvezetni, és csak bizonyos mennyiségű akkumulátorkapacitás fér el benne. Ennek eredményeképpen a szemüveggel elérhető élmények teljesen a szilíciumtól függnek. Más szóval, ha a hő- és akkumulátor-kapacitást állandó értéken tartjuk, az adott élményt csak a szilícium optimalizálásával érhetjük el.

"Az Orion új architektúrájának megtervezése megkövetelte a csapattól, hogy ne csak a meglévő technológiákat, például a vezeték nélküli és a kijelzőket próbáljuk agresszívan kihasználni, hanem új technológiákkal is kockáztassunk" - mondja Neeraj Choubey termékmenedzsment igazgató. "A csapat például egy gépi tanulási (ML) gyorsítót fejlesztett ki, anélkül, hogy akkoriban világos felhasználási esetet ismert volna, attól a szilárd meggyőződéstől vezérelve, hogy az ML egyre fontosabbá válik a Meta termékeiben. Az Orionon minden ML-gyorsítót kihasználnak, és néhány esetben túljelentkezés van rájuk, olyan funkciókat szolgálnak ki, mint a szem- és kézkövetés. Hasonlóképpen, a csapat egyedi tömörítési protokollokat fejlesztett ki a sávszélesség és az energiafogyasztás csökkentésére, ahogy az adatok a compute korong a kijelzőre. Az egyedi szilícium kifejlesztése az Orion formai céljainak elérése érdekében egyszerre igényelte a nagyfokú kétértelműség tolerálását és a részletekre való aprólékos figyelmet, hogy egy hihetetlenül összetett rendszerarchitektúrát tudjunk megvalósítani."

"A legnagyobb kihívást a 3D-s, világra zárt renderelt grafika és a térbeli hangzás biztosítása jelentette, amelyet úgy rendereltünk, hogy úgy tűnjön, mintha egy virtuális tárgyból származna" - jegyzi meg Snodgrass. "Az összes ilyen elektronikát be kellett illesztenünk a hőkapacitásba és a fizikai térbe, majd akkumulátorral kellett működtetnünk, hogy ne melegedjen fel túlságosan. És mindezt egy valódi szemüvegformában kellett megvalósítanunk - nem pedig egy nagy vizorban, mint amilyet a kategóriában általában látni."

"Tudtuk, hogyan biztosíthatjuk a szükséges számítási teljesítményt az Orionról alkotott elképzeléseink megvalósításához, de egy ijesztő feladattal kellett szembenéznünk: az energiafogyasztás 100-szorosára csökkentésével" - mondja Robert Shearer, a SoC-megoldásokért felelős igazgató. "Ehhez a szilíciumtervezés határait kellett feszegetnünk, az iparág különböző szegleteiből - az IoT-től a nagy teljesítményű számítástechnikáig - származó módszertanokat felkarolva, és új megközelítéseket találva ki a szakadékok áthidalására. Ipari partnereink azt hitték, hogy őrültek vagyunk, és talán nem is tévedtek teljesen. De pontosan erre volt szükség: hajlandóságra, hogy megkérdőjelezzük a hagyományos bölcsességet és mindent újragondoljunk. A virtuális és a fizikai világot zökkenőmentesen egyesítő számítógép megépítése a kontextus mélyreható megértését igényli, ami messze meghaladja a meglévő számítási platformok nyújtotta lehetőségeket. Lényegében újra feltaláltuk a számítógépek és az emberek közötti interakciót, ami azt jelentette, hogy az alapoktól kezdve újra kellett gondolnunk, hogyan építjük a szilíciumot."

Orion külső alkatrészek.

A MicroLED varázsa

Voltak pillanatok, amikor a dolgok elmaradtak a tervezettől, vagy amikor egy leküzdhetetlennek tűnő technikai kihívás merült fel, amikor nehéz volt fenntartani a lendületet és a morált. A csapat azonban rugalmas volt, és megtalálta az akadályok megkerülését - vagy egyszerűen lerombolta őket.

Vegyük például az Orion kijelzőjét. A szilíciumcsapat volt felelős a szemüveg sarkában elhelyezett kijelzőprojektor szilíciumáért.

"Az említett projektorok esetében nyitott kérdés volt, hogy a microLED-eket elég nagy hatékonysággal és fényerővel tudjuk-e egy tömbben elhelyezni ahhoz, hogy széles látómezőjű kijelzőt tudjunk kialakítani" - mondja Snodgrass. "Óriási kétségek voltak afelől, hogy sikerül-e - hogy ez lehetséges-e az általunk figyelembe vett időkeretben -, mivel ez a technológia még nagyon új keletű volt."

"Már nagyon korán rájöttünk, hogy újra kell gondolnunk a termékfejlesztés számos paradigmáját" - teszi hozzá Yee. "Az AR-szemüvegek esetében a használható kijelzőhöz szükséges fénymennyiség sokkal világosabb, mivel viselhető kijelzőként a napfénnyel versenyezünk. Tehát olyan energiaszintre van szükségünk, amely vetekszik azzal - vagy legalábbis ez a cél. Még nem tartunk ott, de ez egy nagy része a célnak. Ez azt jelenti, hogy a kijelzőhöz olyan fényforrásokra van szükség, amelyek képesek erre, és olyan áramkörökre, amelyek képesek ezt vezérelni. És ugyanakkor apróvá is kell tenni."

Egyedi szilícium, amely az Orion µLED-eket vezérli.

Bár a mikroLED-ek tűntek a legmegfelelőbb fényforrásnak a kivetítőkhöz, a szilícium segített felszabadítani a bennük rejlő lehetőségeket.

"A kijelzők esetében a pixelosztásról beszélünk, ami a szomszédos pixelek középpontjai közötti távolságot jelenti" - magyarázza Yee. "A televíziók esetében ezek a távolságok több száz mikronok. A telefonon sok-sok tíz mikron. Ezt egy számjegyűre kellett csökkentenünk. Az egyetlen ismert félvezetőgyártó, amely ezt elérhette, a szilícium volt."

A munkát nehezítette, hogy a kijelző hátsó felületének szilíciumból kellett készülnie, és a világon még senki sem tervezett szilíciumot microLED-hez.

"Abban az időben a kutatócsoportok, amelyek ott voltak, mind átdolgozták a szilíciumon lévő folyadékkristályos kijelzőket, hogy mikroLED-eket helyezzenek el rajtuk" - mondja Yee. "Senki sem tervezett még hátlapot microLED-ek számára. És elég egyedi kihívással kellett szembenéznünk, mivel ez egy optikai komponens. Laposnak kell lennie. Nem lehet megkarcolni. Mindezekkel a tulajdonságokkal kell rendelkeznie, mert amikor a hullámvezetőkön és a kivetítőkön keresztül nézzük, akkor szó szerint a szilíciumdarab felső felületét látjuk."

A szilíciumcsapat komplex tesztplatformokat fejlesztett ki ezekhez a microLED kijelzőkhöz, amihez szorosan össze kellett hangolódnunk a globális beszállítóinkkal. A microLED-ek globális lábnyomot képeznek, egy helyről származnak, majd egy másik helyszínre szállították őket, ahol egy ostyára kerültek. Az ostyákat ezután elszállították, hogy egy adott formára vágják őket, majd az Egyesült Államokba utaztak, hogy egy másik ostyával összekapcsolják őket, majd visszaszállították a világ másik felére, hogy a tényleges modult megépítsék és teszteljék. Ez egy rendkívül bonyolult folyamat volt, és a szilíciumcsapat tesztjárműveket fejlesztett ki, hogy minden egyes lépést kipróbálhasson.

A csapatnak meg kellett találnia a módját annak is, hogy a szemüveg sarkaiban lévő apró térfogatban hogyan lehet a microLED kijelzőket energiával ellátni. Analóg csapatunk egy olyan egyedi energiagazdálkodási chipet fejlesztett ki, amely elfér ebben a térfogatban.

"Az energiaellátás kulcsfontosságú az ilyen kis méretű hordozható eszközök esetében, ahol az akkumulátor mérete korlátozott, és a hely szűkös" - jegyzi meg Jihong Ren, az analóg és vegyes jelrendszerek igazgatója. "Egyedi tápellátás-kezelő IC-megoldásunk a legmodernebb technológiákat használja ki, hogy optimalizálja az energiahatékonyságot az adott munkaterheléshez rendszerszinten, miközben mindezt úgy, hogy a rendelkezésre álló helyszűkében is elfér. Ennek az optimális megoldásnak az elérése szoros interdiszciplináris együttműködést igényelt a mechanikai, elektromos, SoC, μLED és termikus csapatainkkal, biztosítva az összes komponens zökkenőmentes integrációját és az általános teljesítmény maximalizálását."

"Ez nem csak a mérnöki, hanem a szervezeti irányítás elképesztő teljesítménye is volt: egy csapat összehozása, az időzónák közötti munka és a különböző beszállítókkal való együttműködés" - teszi hozzá Snodgrass. "Bizonyos szempontból mindezek szervezeti irányítása ugyanolyan nagy kihívás volt, mint a műszaki specifikációk teljesítése."

"Nemcsak a tervezés, hanem a teljes gyártási folyamat is személyre szabott" - teszi hozzá Yee. "Szerencsések vagyunk, hogy van néhány csodálatos partnerünk az iparágban, akik segítettek ebben. Ők hosszú távú potenciált látnak az AR kijelzők egészében, és természetesen Meta vízióját is. Így hajlandóak voltak együttműködni velünk, hogy ezeket a testreszabásokat és optimalizálásokat elvégezzük, hogy lehetővé tegyük ezt a kijelzőt."

Orion AR szemüveg.

Az ismétlés találkozik a gyorsulással

A szilíciumcsapat és a Reality Labs Research és az XR Tech algoritmusokat fejlesztő briliáns elméi között szoros visszacsatolás volt. Az utóbbi csapatok szolgáltatták ezeket az algoritmusokat, amelyeket az előbbiek lefordítottak hardverre, megszüntetve ezzel az általános célú CPU-futtató szoftverekkel járó többletköltségeket. Ez azt jelentette, hogy az algoritmusok alacsonyabb energiafelhasználás mellett futnak, de ez azt is jelentette, hogy a szilíciumcsapat be volt kötve. Ha az algoritmusokat egyszer keményítették, már nem tudtak változtatni rajtuk.

"Mondjuk az XR Tech egy bizonyos tudományágat fejlesztett algoritmikusan" - magyarázza Ohad Meitav, a Silicon Accelerators Architecture and Algorithms igazgatója. "Az algoritmikus stack és annak teljesítménye az övék. Az én csapatom, velük együttműködve, eldönti, hogyan gyorsítsuk fel az algoritmust, hogyan keményítsük meg az algoritmus egyes részeit, és hogyan helyezzük azt hardverre úgy, hogy az szuperhatékonyan fusson. Ezután az XR Tech a hardverhez igazítaná a szoftvercsomagot. Ez egy nagyon iteratív folyamat."

Egy másik sikertörténet a szilíciumcsapat és a Reality Labs Research együttműködése egy újszerű reprojekciós algoritmus kifejlesztésében.

"A reprojekciós algoritmusnak különböző torzulásokat és korrekciókat kellett támogatnia" - jegyzi meg Steve Clohset, a Silicon Architect. "Az RL-R által kifejlesztett algoritmus, amelyet végül használtunk, nem használatos az általános számítástechnikában. És a mai napig elég erős eszköznek bizonyul".

Miután az algoritmusokat megszilárdították és a hardvert optimalizálták, a szilícium-felvételi csapat tesztelte az egyedi chipeket.

"Az Orion egyedi szilícium chipkészlete tele van komplexitással" - mondja Liping Guo, az End-to-End rendszer és infrastruktúra vezető igazgatója. "Az önálló chipek és az azok közötti átjárhatóságok rövid időn belüli bevezetése és validálása hihetetlenül nagy kihívást jelent. Szerencsére egy vertikálisan integrált környezetben dolgozunk, ahol a Reality Labs birtokolja a teljes stacket - a szilíciumtól és az alacsony szintű firmware-től kezdve az operációs rendszeren és szoftveren át a felső rétegbeli tapasztalatokig. Ezt teljes mértékben kihasználtuk, szorosan együttműködve a többfunkciós partnereinkkel, és a szilícium validálási szakaszában váltottuk a többszintű integrációt. Az Orion volt ennek a módszertannak a kísérleti futama - kiépítettük a shift-left izmainkat, és erős alapot teremtettünk a Reality Labs számára, hogy a jövőben teljes mértékben kiaknázhassuk az egyedi szilícium előnyeit.""

A felhozatal után pedig eljött a szoftveroptimalizálás ideje.

"Van egy iteratív folyamat, amikor egy teljesen optimalizálatlan szoftvercsomaggal kezdünk, csak hogy minden beinduljon és működjön" - mondja Snodgrass. "Aztán egyesével végigmegyünk az alrendszereken, és elkezdjük optimalizálni a szoftvert az adott hardverre - beleértve a szoftver által használt memória mennyiségének csökkentését. A hardver lehet gyönyörűen megtervezett, de nem fogja elérni az elméleti energiahatékonyságot, hacsak nem fektet ugyanannyi vagy még több időt abba, hogy a szoftver teljes mértékben kihasználja a hardver előnyeit. Ez tehát az Orion története: a hardver és a szoftver a végletekig optimalizált. Egy pikojoule-t vagy milliwattot sem hagyunk hátra."

És bár az Orion csak egy prototípus, a benne végzett munka jelentős hatással lehet a Meta útitervére.

"A szilícium-IP-ket, amelyeket építünk, platformoknak tekintjük abban az értelemben, hogy ezek olyan értékes IP-k, amelyeket egyik generációról vagy termékről a másikra továbbfejlesztünk" - teszi hozzá Meitav. "A számítógépes látás és a grafikus algoritmusok nem csak az Orionhoz készülnek. A jövőbeni termékekben is felhasználásra kerülnek."

Szilíciumos munkánk újszerű megoldások létrehozását jelenti, miközben szorosan együttműködünk a partnerekkel. A szilíciumcsapat befolyása túlmutat az Orionon kívülre is kiterjed. Ray-Ban Meta szemüveg és Meta Quest fejhallgató még akkor is, ha mindkettő harmadik féltől származó chipeket használ. A szilíciumcsapat rendszeresen megosztja munkáját a vegyes valóság csapatával, megmutatva, hogy mi lehetséges az energiahatékonyság terén. Az MR-csapat aztán megosztja ezeket az eredményeket az olyan partnerekkel, mint például a Qualcomm a jövőbeli chiptervezéshez. És mivel a szilíciumcsapat ugyanazokat a készen kapható digitális jelfeldolgozó processzorokat (DSP-ket) használja, mint a Ray-Ban Meta szemüvegek, megoszthatták a tanulságokat és a legjobb gyakorlatokat a DSP-k kódjának implementálása és írása során, hogy segítsenek javítani az AI-szemüvegeken elérhető hangélményeket.

És ez a tudásmegosztás mindkét irányba megy: Az MR-csapat a szilícium-csapat számára olyan dolgokról adott betekintést, mint pl. Aszinkron TimeWarp és Alkalmazás SpaceWarp termelésben.

"Amit egy ember a gyártásban csinál, az sokkal érdekesebb, mint amit egy prototípussal tehetünk" - mondja Clohset. "Megpróbáltuk a lehető legjobban integrálni azt, amit ők csinálnak a warpingokkal."

Kétértelműség < Ambíció

Mivel az Orion valóban nulla az egyhez volt, az érintett csapatoknak szükségszerűen rendkívül sok kétértelműséggel kellett megbirkózniuk.

"Az Orion esetében nem tudom eléggé hangsúlyozni, hogy a kétértelműség mennyire bonyolulttá tette a dolgokat" - mondja Clohset. "Amikor például számítógépet készítünk, általában jó elképzelésünk van arról, hogy milyen lesz a kijelző. De mi nem tudtuk, hogy milyen lesz a hullámvezető, ezért különböző hullámvezetőket kellett kipróbálnunk, és olyan mechanizmust kellett kitalálnunk, amely a legrosszabb forgatókönyvvel is megbirkózik, mert nem tudtuk, hogy hol fognak landolni a dolgok. Egy optimalizálás itt összefolyt az összes többi választással, és a végén egy mátrixot kaptunk, amiben az összes különböző dolgot támogatni kellett, és megpróbáltuk validálni, mert nem tudtuk, hol fog landolni a termék hat hónap múlva.".

Fontos megjegyezni, hogy az Orion nem csupán egy AR-szemüveg, hanem egy három részből álló hardverkonstelláció. A feldolgozás nagy része a compute korong, ami szoros kapcsolatot tesz szükségessé a szemüveggel. Adja hozzá a felszíni EMG csuklópánt a hurokba, és a rendszer felépítése még bonyolultabbá válik.

"Ez óriási kihívást jelentett a csapatok számára, és az egész egyszerűen működik" - mondja Snodgrass. "Ez egy csodálatos együttműködés volt a szilíciumcsapat, a vezeték nélküli csapat és a szoftvercsapatok között a szervezet egész területén."

Az Orion számítógépes korongja.

"Az Orionnal egy egész csapatot építettünk ki a mérnökök széles skálájából, és képesek voltak egy teljesen új csővezetéket tervezni" - teszi hozzá Clohset. "Ez egy olyan csővezeték, amely az objektumok hat szabadságfokú mozgását kezeli a 3D térben. Saját, egyedi kijelzőmeghajtót használ. Igazán egyedi képminőségi korrekciókat kellett végrehajtanunk. És azt hiszem, a kihívást az jelentette számunkra, hogy mivel ez egy nulláról az egyhez projekt volt, nem volt meglévő specifikáció, amelyet finomítani és javítani lehetett volna. Itt minden teljesen új, így mindenre volt mozgásterünk."

Hasonlóan a korong néhány szunnyadó funkciót rejt a felszín alatt, az egyedi szilícium is a súlya fölött teljesít. Bár az Orion nem teszi lehetővé, hogy a felhasználó RGB-kameráival fényképeket készítsen, a szilícium képes támogatni azt, valamint codec avatarok. És ahogyan a korong segített feloldani egy valódi szemüvegformátumot a számítási feladatok nagy részének kiszervezésével, úgy az Orion egyedi szilíciumja is az AR kirakós játék szükséges darabjának bizonyult.

"Ahhoz, hogy egy olyan nulla az egyhez élményt, mint az AR-szemüvegek, életre keltsünk, egyedi szilikonra van szükségünk - teljes leállással" - magyarázza Snodgrass. "Idővel, ha van piac, akkor a szilíciumgyártók olyan termékeket fognak kifejleszteni, amelyek kielégítik a keresletet. De a nulla az egytől egyig esetében nem lehet csak úgy venni valamit, ami már létezik a polcról, és amit egy másik termékhez szántak, és beleilleszteni egy új formába. Valami egyedi termékbe kell beruházni. És ahhoz, hogy ezeket a nulla az egyhez élményeket életre keltsd, széles körű együttműködésre van szükség a szoftverpartnerek, ipari tervezők, gépészmérnökök és mások között."

"A hagyományos mentális modellektől való elszakadással valami igazán figyelemre méltót alkottunk" - teszi hozzá Shearer. "Hiszünk abban, hogy ez a számítástechnikai platform a technológia jövőjét jelenti - olyat, amely forradalmasítani fogja az életünket, a munkánkat és az egymással való interakcióinkat. Izgatottan várjuk, hogy ennek az innovációnak az élvonalába kerüljünk, kitolva a lehetséges határait, és segítve a történelem alakítását."

---

Az Orionnal kapcsolatos további információkért tekintse meg ezeket a blogbejegyzéseket:

• Kristálytiszta: Szilícium-karbid hullámvezetőink és az Orion nagy FoV-je felé vezető út
• Orion Compute Puck: Az eszköz története, amely lehetővé tette az AR-szemüvegeinket