De la zero la unu: cum siliciul și cipurile noastre personalizate revoluționează AR

În 2017, cercetătorul șef Reality Labs Michael Abrash, susținută de fondatorul și directorul general al Meta, Mark Zuckerberg, a înființat o nouă echipă secretă în cadrul a ceea ce era pe atunci Oculus Research pentru a construi fundația următoarei platforme de calcul. Sarcina lor herculeană: Să creeze o soluție de siliciu personalizată care să poată susține cerințele unice ale viitoarelor ochelari de realitate augmentată-o performanță tehnică care a necesitat reimaginarea fiecărei componente pentru un dispozitiv de purtat toată ziua Ochelari AR factor de formă care pur și simplu nu exista încă.

Unghiul frontal al prototipului ochelarilor Orion AR.

Factor de formă compact, spațiu problematic considerabil

Trecând de la câțiva cercetători la sute de oameni pe partea de produse, echipa de siliciu personalizat a fost creată pe baza premisei că ochelarii AR nu se pot baza pe siliciul disponibil în smartphone-urile actuale. Și este o premisă confirmată de cele câteva cipuri personalizate din interiorul Orion, primul nostru prototip de ochelari AR adevărați.

"Construirea navei pe măsură ce aceasta părăsește portul - exact asta făceam", spune Jeremy Snodgrass, director de strategie pentru tehnologii avansate. "A trebuit să mărim o echipă care era modestă și să construim simultan aceste cipuri. A fost fascinant să văd cum conducerea aducea noi angajați la bord, dezvoltând în același timp o cultură care aprecia agilitatea. Nimic nu era problema altcuiva. Luai o vâslă și începeai să vâslești, chiar dacă nu era exact ceea ce ai fost angajat să faci. A fost o perioadă foarte, foarte interesantă."

"Aproape totul despre Orion a fost nou pentru lume în multe feluri", este de acord directorul tehnic al arhitecturii Display, Mike Yee. "Unele dintre idei au existat, dar nimeni nu și-a asumat proiectul de cercetare pentru a construi efectiv o pereche de ochelari AR care să poată fi purtați toată ziua."

Echipa a trebuit să ofere o experiență AR convingătoare cu un consum de energie cât mai redus posibil. Factorul de formă al ochelarilor nu poate disipa decât o cantitate limitată de căldură și nu poate găzdui decât o capacitate limitată a bateriei. Prin urmare, experiențele pe care ochelarii le pot oferi depind complet de siliciu. Cu alte cuvinte, dacă mențineți constante capacitățile termice și ale bateriei, singura modalitate de a oferi o anumită experiență este de a optimiza siliciul.

"Proiectarea unei noi arhitecturi pentru Orion a impus echipei nu numai să împingă agresiv tehnologiile existente, cum ar fi wireless-ul și afișajele, ci și să își asume riscuri în ceea ce privește noile tehnologii", spune Neeraj Choubey, director de gestionare a produselor. "De exemplu, echipa a dezvoltat un accelerator de învățare automată (ML) fără un caz de utilizare clar la momentul respectiv, determinată de convingerea puternică că ML va deveni din ce în ce mai importantă în produsele Meta. Pe Orion, fiecare accelerator ML este utilizat, iar în unele cazuri, acestea sunt suprasolicitate, servind funcții precum urmărirea ochilor și a mâinilor. În mod similar, echipa a dezvoltat protocoale de compresie personalizate pentru a reduce lățimea de bandă și consumul de energie pe măsură ce datele se deplasează de la calculează pucul la ecran. Dezvoltarea de siliciu personalizat pentru a atinge obiectivele factorului de formă ale Orion a necesitat atât o toleranță la ambiguitate ridicată, cât și o atenție meticuloasă la detalii pentru a oferi o arhitectură de sistem incredibil de complexă."

"Cea mai mare provocare pe care am avut-o a fost furnizarea de grafică redată cu lumea 3D blocată, împreună cu sunet spațializat care este redat astfel încât pare să emane dintr-un obiect virtual", notează Snodgrass. "A trebuit să încadrăm toate aceste componente electronice în capacitatea termică și spațiul fizic, iar apoi să le facem să funcționeze pe baterie, astfel încât să nu se încingă prea tare. Și a trebuit să facem toate acestea într-un factor de formă real al ochelarilor - nu un vizor mare, așa cum vedeți de obicei în categorie."

"Știam cum să oferim puterea de calcul necesară pentru a da viață viziunii noastre pentru Orion, dar ne-am confruntat cu o sarcină descurajantă: reducerea consumului de energie de 100 de ori", spune Robert Shearer, director de soluții SoC. "Acest lucru ne-a impus să depășim limitele proiectării siliciului, adoptând metodologii din diverse colțuri ale industriei - de la IoT la calculul de înaltă performanță - și inventând noi abordări pentru a acoperi diferențele. Partenerii noștri din industrie au crezut că suntem nebuni, și poate că nu s-au înșelat în totalitate. Dar exact de asta a fost nevoie: de dorința de a contesta înțelepciunea convențională și de a regândi totul. Construirea unui computer care îmbină perfect lumea virtuală și cea fizică necesită o înțelegere profundă a contextului, depășind cu mult ceea ce pot oferi platformele de calcul existente. În esență, am reinventat modul în care computerele interacționează cu oamenii, ceea ce a însemnat reimaginarea modului în care construim siliciu de la zero."

Componente exterioare Orion.

Magia microLED-urilor

Au existat momente în care lucrurile au întârziat sau a apărut o provocare tehnică aparent insurmontabilă, când a fost greu să menținem ritmul și moralul. Dar echipa a fost rezistentă, găsind căi de ocolire a obstacolelor - sau pur și simplu doborându-le.

Să luăm, de exemplu, ecranul lui Orion. Echipa de siliciu a fost responsabilă pentru siliciul din proiectorul ecranului care se află în colțurile ochelarilor.

"Pentru acele proiectoare, a existat o întrebare deschisă cu privire la posibilitatea de a obține microLED-urile într-o matrice cu o eficiență și o luminozitate suficient de ridicate pentru a implementa un afișaj cu câmp vizual larg", spune Snodgrass. "Existau mari îndoieli că am putea - că ar fi posibil în intervalul de timp pe care îl aveam în vedere - deoarece aceasta era o tehnologie foarte incipientă."

"Ne-am dat seama foarte devreme că trebuie să regândim multe dintre paradigmele de dezvoltare a produselor", adaugă Yee. "Cantitatea de lumină de care aveți nevoie pentru a realiza un afișaj utilizabil este mult mai puternică pentru ochelarii AR, deoarece, ca afișaj portabil, concurați cu soarele. Așadar, avem nevoie de niveluri de energie care să rivalizeze cu acesta - sau cel puțin acesta este obiectivul. Nu am ajuns încă acolo, dar acesta este un aspect important. Și asta înseamnă că aveți nevoie de surse de lumină pentru un ecran care sunt capabile de acest lucru și aveți nevoie de circuite care pot controla acest lucru. Și, în același timp, trebuie să îl faci mic".

Siliciu personalizat care conduce µLED-urile Orion.

În timp ce microLED-urile păreau cea mai potrivită sursă de lumină pentru proiectoare, siliciul a contribuit la deblocarea potențialului acestora.

"În cazul ecranelor, vorbim despre înălțimea pixelilor, care reprezintă distanța dintre punctele centrale ale pixelilor adiacenți", explică Yee. "Pentru televizoare, aceste distanțe sunt de sute de microni. În telefon, sunt multe, multe zeci de microni. Iar noi trebuia să reducem aceste distanțe la o singură cifră. Singurul producător de semiconductori cunoscut care putea ajunge acolo era siliciul."

Activitatea a fost complicată de faptul că suprafața din spate a ecranului trebuia să fie o bucată de siliciu și nimeni în lume nu proiectase siliciu pentru microLED-uri.

"La acea vreme, echipele de cercetare care existau reprofilaseră toate afișajele cu cristale lichide pe siliciu pentru a pune microLED-uri", spune Yee. "Nimeni nu proiectase până atunci un backplane pentru microLED-uri. Și ne-am confruntat cu o provocare destul de unică, deoarece este o componentă optică. Trebuie să fie plată. Nu o poți zgâria. Trebuie să aibă toate aceste caracteristici, deoarece atunci când vă uitați prin ghidurile de undă, prin proiectoare, vă uitați literalmente la suprafața superioară a bucății de siliciu."

Echipa de siliciu a dezvoltat o serie complexă de platforme de testare pentru aceste ecrane microLED care au implicat o coordonare strânsă cu furnizorii noștri globali. MicroLED-urile au o amprentă globală, provenind dintr-un anumit loc și fiind apoi transferate într-un alt loc unde au fost puse pe o plachetă. Plăcile au fost apoi expediate pentru a fi tăiate într-o anumită formă, urmate de o călătorie în SUA pentru a fi lipite împreună cu o altă placă, apoi expediate înapoi pe glob pentru ca modulul real să fie construit și testat. A fost un proces extrem de complicat, iar echipa Silicon a dezvoltat vehicule de testare pentru a testa fiecare etapă.

De asemenea, echipa a trebuit să găsească o modalitate de a furniza energie afișajelor microLED în volumul minuscul al colțurilor ochelarilor. Echipa noastră analogică a dezvoltat un cip personalizat de gestionare a energiei care se potrivește în acel volum.

"Livrarea de energie este crucială pentru astfel de dispozitive portabile cu factor de formă mic, unde dimensiunea bateriei este limitată și spațiul este limitat", notează Jihong Ren, director al Analog and Mixed Signal Systems. "Soluția noastră personalizată de circuite integrate de gestionare a alimentării utilizează tehnologii de ultimă oră pentru a optimiza eficiența energetică pentru sarcina noastră specifică de lucru la nivel de sistem, toate acestea încadrându-se în constrângerile de spațiu disponibile. Realizarea acestei soluții optime a necesitat o strânsă colaborare interdisciplinară cu echipele noastre mecanice, electrice, SoC, μLED și termice, asigurând o integrare perfectă a tuturor componentelor și maximizând performanța generală."

"Aceasta a fost o realizare uimitoare nu doar în domeniul ingineriei, ci și al managementului organizațional: reunirea unei echipe, lucrul pe diferite fusuri orare și cu toți acești furnizori diferiți", adaugă Snodgrass. "Într-un fel, gestionarea organizatorică a fost o provocare la fel de mare ca și îndeplinirea specificațiilor tehnice."

"Nu numai că designul este personalizat, dar și întregul proces de fabricație este personalizat", adaugă Yee. "Suntem norocoși să avem niște parteneri minunați în industrie care ne-au ajutat să facem acest lucru posibil. Ei văd potențialul pe termen lung al afișajelor AR ca întreg și, cu siguranță, viziunea Meta în acest sens. Așa că au fost dispuși să colaboreze cu noi pentru a realiza aceste personalizări și optimizări care să permită acest afișaj."

Ochelari Orion AR.

Iterarea întâlnește accelerarea

A existat o buclă de feedback strânsă între echipa de siliciu și mințile strălucite din Reality Labs Research și XR Tech care dezvoltau algoritmi. Cele din urmă echipe furnizau acești algoritmi, pe care primele îi transpuneau în hardware, eliminând costurile generale ale software-ului care rulează un procesor de uz general. Acest lucru însemna că algoritmii ar fi rulat la o putere mai mică, dar însemna, de asemenea, că echipa de siliciu era blocată. Odată ce algoritmii au fost întăriți, aceștia nu mai puteau face modificări.

"Să zicem că XR Tech dezvolta o anumită disciplină algoritmică", explică Ohad Meitav, director pentru arhitectură și algoritmi la Silicon Accelerators. "Ei dețin stiva algoritmică și performanța acesteia. Echipa mea, în colaborare cu ei, ar decide apoi cum să accelereze algoritmul, cum să întărească anumite părți ale algoritmului și cum să îl introducă efectiv în hardware într-un mod care să funcționeze foarte eficient. Apoi, XR Tech își va adapta pachetul software pentru a ține cont de hardware. Este un proces foarte iterativ."

O altă poveste de succes este colaborarea echipei de siliciu cu Reality Labs Research pentru a crea un nou algoritm de reproiectare.

"Aveam nevoie ca algoritmul de reproiectare să suporte o varietate de distorsiuni și corecții diferite", notează arhitectul Silicon Steve Clohset. "Algoritmul dezvoltat de RL-R pe care am ajuns să îl folosim nu este utilizat în calculul general. Și până în prezent, se dovedește a fi un instrument destul de puternic."

Odată ce algoritmii au fost întăriți și hardware-ul a fost optimizat, echipa de introducere a siliciului a testat cipurile personalizate.

"Chipset-ul de siliciu personalizat al Orion este plin de complexitate", spune directorul senior al sistemului și infrastructurii end-to-end, Liping Guo. "Crearea și validarea cipurilor independente și a interoperabilităților între acestea într-o perioadă scurtă de timp reprezintă o provocare incredibilă. Din fericire, operăm într-un mediu integrat pe verticală, în care Reality Labs deține întregul pachet - de la siliciu și firmware de nivel scăzut la sistemul de operare, software și experiențe de nivel superior. Am profitat din plin de acest lucru, lucrând îndeaproape cu partenerii noștri interfuncționali, și am transferat integrarea noastră între stive în etapa de validare a siliciului. Orion a fost proiectul nostru pilot pentru această metodologie - ne-am dezvoltat mușchii shift-left și am creat o bază solidă pentru ca Reality Labs să beneficieze de toate avantajele siliciului personalizat în viitor."

După instalare, a venit timpul să optimizăm pentru software.

"Există un proces iterativ în care se începe cu un pachet software complet neoptimizat, doar pentru ca totul să fie pornit și să funcționeze", spune Snodgrass. "Apoi, unul câte unul, treceți prin subsisteme și începeți să optimizați software-ul pentru acel hardware specific - inclusiv reducerea cantității de memorie pe care o utilizează software-ul. Hardware-ul ar putea fi proiectat frumos, dar nu veți obține eficiența energetică teoretică dacă nu investiți la fel de mult sau mai mult timp pentru ca software-ul să profite pe deplin de hardware. Aceasta este povestea lui Orion: hardware și software optimizate la maxim. Nu lăsați niciun picojoule sau miliwatt în urmă."

Și deși Orion poate fi un prototip, munca depusă pentru acesta are un potențial considerabil de a influența foaia de parcurs a Meta.

"Privim IP-urile de siliciu pe care le construim ca platforme, în sensul că acestea sunt IP-uri valoroase pe care le vom îmbunătăți de la o generație sau de la un produs la altul", adaugă Meitav. "Toți algoritmii de viziune computerizată și grafică nu sunt construiți doar pentru Orion. Ei vor continua să informeze produsele viitoare."

Activitatea noastră în domeniul siliciului implică crearea de soluții noi și, în același timp, colaborarea strânsă cu partenerii. De fapt, influența echipei de siliciu se extinde dincolo de Orion, atât la Ochelari Ray-Ban Meta și Căști Meta Quest în prezent - chiar dacă ambele utilizează cipuri de la terți. Echipa de siliciu împărtășește în mod regulat munca sa cu echipa de realitate mixtă, arătând ce este posibil în ceea ce privește eficiența energetică. Echipa MR împărtășește apoi aceste rezultate cu parteneri precum Qualcomm pentru a contribui la proiectarea viitoarelor cipuri. Și pentru că echipa de siliciu utilizează aceleași procesoare de semnal digital (DSP) de pe raft ca și ochelarii Ray-Ban Meta, au putut să împărtășească lecțiile învățate și cele mai bune practici la implementarea și scrierea codului pentru aceste DSP-uri pentru a ajuta la îmbunătățirea experiențelor audio disponibile pe ochelarii noștri AI.

Iar acest schimb de cunoștințe se face în ambele sensuri: Echipa MR a oferit echipei de silicon informații despre lucruri precum TimeWarp asincron și Aplicația SpaceWarp în producție.

"Ceea ce face o persoană în producție este mult mai interesant decât ceva ce am putea face cu un prototip", spune Clohset. "Am încercat să integrăm cât mai mult posibil ceea ce făceau ei cu urzelile."

Ambiguitate < Ambiție

Deoarece Orion a fost cu adevărat zero la unu, echipele implicate au trebuit să se confrunte cu o cantitate exagerată de ambiguitate.

"Cu Orion, nu pot supraestima cât de complicate au devenit lucrurile din cauza ambiguității", spune Clohset. "Când faci un computer, de exemplu, în general ai o idee bună despre cum va fi afișajul. Dar noi nu știam ce va fi ghidul de undă în cele din urmă, așa că a trebuit să eșantionăm diferite ghiduri de undă și să găsim un mecanism care să poată face față celui mai rău scenariu, deoarece nu știam unde vor ateriza lucrurile. O optimizare aici ar concola cu toate aceste alte alegeri și ai ajunge la această matrice cu toate aceste lucruri diferite pe care le aveai ca suport și încercai să le validezi pentru că nu știai unde va ateriza produsul în șase luni."

Este important să rețineți că Orion nu este doar o pereche de ochelari AR - este o constelație de trei părți de hardware. O mare parte din procesare are loc pe calculează pucul, ceea ce necesită o legătură puternică între acesta și ochelari. Adăugați brățară EMG de suprafață în buclă, iar arhitectura sistemului devine și mai complicată.

"Aceasta a fost o provocare enormă pentru echipele care trebuiau să o rezolve, iar toate acestea funcționează", spune Snodgrass. "A fost o colaborare uimitoare între echipa de siliciu, echipa wireless și echipele de software din întreaga organizație."

Discul de calcul al lui Orion.

"Cu Orion, am construit o întreagă echipă cu o mare diversitate de ingineri, iar aceștia au reușit să proiecteze o conductă nouă", adaugă Clohset. "Este o conductă care gestionează șase grade de libertate de mișcare a obiectelor în spațiul 3D. Aceasta utilizează propriul driver de afișare personalizat. A trebuit să facem corecții cu adevărat unice ale calității imaginii. Și cred că provocarea pentru noi a fost că, deoarece acesta a fost un proiect zero la unu, nu a existat nicio specificație existentă pe care să o ajustăm și să o îmbunătățim. Totul aici este complet nou, așa că am avut latitudinea de a face totul."

La fel ca puc are unele caracteristici latente ascunse sub suprafață, siliciul personalizat este, de asemenea, mai puternic decât greutatea sa. Deși Orion nu permite utilizatorului să facă fotografii cu camerele sale RGB, siliciul este capabil să le suporte, precum și avatari codec. Și la fel cum pucul a ajutat la deblocarea unui factor de formă pentru ochelari adevărați prin descărcarea unei mari părți a calculului, siliciul personalizat de la Orion s-a dovedit a fi o piesă necesară a puzzle-ului AR.

"Pentru a da viață unei experiențe zero la unu precum ochelarii AR, aveți nevoie de siliciu personalizat - stop complet", explică Snodgrass. "În timp, dacă există o piață, atunci furnizorii de siliciu vor dezvolta produse pentru a satisface cererea. Dar pentru zero-la-unu, nu poți lua ceva care există pe raft, care este destinat unui produs diferit și să-l potrivești într-o matriță nouă. Trebuie să investești în ceva personalizat. Iar pentru a da viață acestor experiențe zero-la-unu, aveți nevoie de o colaborare largă între partenerii software, designerii industriali, inginerii mecanici și nu numai."

"Prin eliberarea de modelele mentale tradiționale, am creat ceva cu adevărat remarcabil", adaugă Shearer. "Credem că această platformă de calcul reprezintă viitorul tehnologiei - unul care va revoluționa modul în care trăim, muncim și interacționăm unii cu alții. Suntem încântați să fim în fruntea acestei inovații, depășind limitele a ceea ce este posibil și contribuind la modelarea cursului istoriei."

Pentru mai multe informații despre Orion, consultați aceste articole de blog: