În 2017, cercetătorul șef Reality Labs Michael Abrash, susținută de fondatorul și directorul general al Meta, Mark Zuckerberg, a înființat o nouă echipă secretă în cadrul a ceea ce era pe atunci Oculus Research pentru a construi fundația următoarei platforme de calcul. Sarcina lor herculeană: Să creeze o soluție de siliciu personalizată care să poată susține cerințele unice ale viitoarelor ochelari de realitate augmentată-o performanță tehnică care a necesitat reimaginarea fiecărei componente pentru un dispozitiv de purtat toată ziua Ochelari AR factor de formă care pur și simplu nu exista încă.

Unghiul frontal al prototipului ochelarilor Orion AR.

Factor de formă compact, spațiu problematic considerabil

Trecând de la câțiva cercetători la sute de oameni pe partea de produse, echipa de siliciu personalizat a fost creată pe baza premisei că ochelarii AR nu se pot baza pe siliciul disponibil în smartphone-urile actuale. Și este o premisă confirmată de cele câteva cipuri personalizate din interiorul Orion, primul nostru prototip de ochelari AR adevărați.

"Construirea navei pe măsură ce aceasta părăsește portul - exact asta făceam", spune Jeremy Snodgrass, director de strategie pentru tehnologii avansate. "A trebuit să mărim o echipă care era modestă și să construim simultan aceste cipuri. A fost fascinant să văd cum conducerea aducea noi angajați la bord, dezvoltând în același timp o cultură care aprecia agilitatea. Nimic nu era problema altcuiva. Luai o vâslă și începeai să vâslești, chiar dacă nu era exact ceea ce ai fost angajat să faci. A fost o perioadă foarte, foarte interesantă."

"Aproape totul despre Orion a fost nou pentru lume în multe feluri", este de acord directorul tehnic al arhitecturii Display, Mike Yee. "Unele dintre idei au existat, dar nimeni nu și-a asumat proiectul de cercetare pentru a construi efectiv o pereche de ochelari AR care să poată fi purtați toată ziua."

Echipa a trebuit să ofere o experiență AR convingătoare cu un consum de energie cât mai redus posibil. Factorul de formă al ochelarilor nu poate disipa decât o cantitate limitată de căldură și nu poate găzdui decât o capacitate limitată a bateriei. Prin urmare, experiențele pe care ochelarii le pot oferi depind complet de siliciu. Cu alte cuvinte, dacă mențineți constante capacitățile termice și ale bateriei, singura modalitate de a oferi o anumită experiență este de a optimiza siliciul.

"Proiectarea unei noi arhitecturi pentru Orion a impus echipei nu numai să împingă agresiv tehnologiile existente, cum ar fi wireless-ul și afișajele, ci și să își asume riscuri în ceea ce privește noile tehnologii", spune Neeraj Choubey, director de gestionare a produselor. "De exemplu, echipa a dezvoltat un accelerator de învățare automată (ML) fără un caz de utilizare clar la momentul respectiv, determinată de convingerea puternică că ML va deveni din ce în ce mai importantă în produsele Meta. Pe Orion, fiecare accelerator ML este utilizat, iar în unele cazuri, acestea sunt suprasolicitate, servind funcții precum urmărirea ochilor și a mâinilor. În mod similar, echipa a dezvoltat protocoale de compresie personalizate pentru a reduce lățimea de bandă și consumul de energie pe măsură ce datele se deplasează de la calculează pucul la ecran. Dezvoltarea de siliciu personalizat pentru a atinge obiectivele factorului de formă ale Orion a necesitat atât o toleranță la ambiguitate ridicată, cât și o atenție meticuloasă la detalii pentru a oferi o arhitectură de sistem incredibil de complexă."

"Cea mai mare provocare pe care am avut-o a fost furnizarea de grafică redată cu lumea 3D blocată, împreună cu sunet spațializat care este redat astfel încât pare să emane dintr-un obiect virtual", notează Snodgrass. "A trebuit să încadrăm toate aceste componente electronice în capacitatea termică și spațiul fizic, iar apoi să le facem să funcționeze pe baterie, astfel încât să nu se încingă prea tare. Și a trebuit să facem toate acestea într-un factor de formă real al ochelarilor - nu un vizor mare, așa cum vedeți de obicei în categorie."

"Știam cum să oferim puterea de calcul necesară pentru a da viață viziunii noastre pentru Orion, dar ne-am confruntat cu o sarcină descurajantă: reducerea consumului de energie de 100 de ori", spune Robert Shearer, director de soluții SoC. "Acest lucru ne-a impus să depășim limitele proiectării siliciului, adoptând metodologii din diverse colțuri ale industriei - de la IoT la calculul de înaltă performanță - și inventând noi abordări pentru a acoperi diferențele. Partenerii noștri din industrie au crezut că suntem nebuni, și poate că nu s-au înșelat în totalitate. Dar exact de asta a fost nevoie: de dorința de a contesta înțelepciunea convențională și de a regândi totul. Construirea unui computer care îmbină perfect lumea virtuală și cea fizică necesită o înțelegere profundă a contextului, depășind cu mult ceea ce pot oferi platformele de calcul existente. În esență, am reinventat modul în care computerele interacționează cu oamenii, ceea ce a însemnat reimaginarea modului în care construim siliciu de la zero."

Componente exterioare Orion.

Magia microLED-urilor

Au existat momente în care lucrurile au întârziat sau a apărut o provocare tehnică aparent insurmontabilă, când a fost greu să menținem ritmul și moralul. Dar echipa a fost rezistentă, găsind căi de ocolire a obstacolelor - sau pur și simplu doborându-le.

Să luăm, de exemplu, ecranul lui Orion. Echipa de siliciu a fost responsabilă pentru siliciul din proiectorul ecranului care se află în colțurile ochelarilor.

"Pentru acele proiectoare, a existat o întrebare deschisă cu privire la posibilitatea de a obține microLED-urile într-o matrice cu o eficiență și o luminozitate suficient de ridicate pentru a implementa un afișaj cu câmp vizual larg", spune Snodgrass. "Existau mari îndoieli că am putea - că ar fi posibil în intervalul de timp pe care îl aveam în vedere - deoarece aceasta era o tehnologie foarte incipientă."

"Ne-am dat seama foarte devreme că trebuie să regândim multe dintre paradigmele de dezvoltare a produselor", adaugă Yee. "Cantitatea de lumină de care aveți nevoie pentru a realiza un afișaj utilizabil este mult mai puternică pentru ochelarii AR, deoarece, ca afișaj portabil, concurați cu soarele. Așadar, avem nevoie de niveluri de energie care să rivalizeze cu acesta - sau cel puțin acesta este obiectivul. Nu am ajuns încă acolo, dar acesta este un aspect important. Și asta înseamnă că aveți nevoie de surse de lumină pentru un ecran care sunt capabile de acest lucru și aveți nevoie de circuite care pot controla acest lucru. Și, în același timp, trebuie să îl faci mic".

Siliciu personalizat care conduce µLED-urile Orion.

În timp ce microLED-urile păreau cea mai potrivită sursă de lumină pentru proiectoare, siliciul a contribuit la deblocarea potențialului acestora.

"În cazul ecranelor, vorbim despre înălțimea pixelilor, care reprezintă distanța dintre punctele centrale ale pixelilor adiacenți", explică Yee. "Pentru televizoare, aceste distanțe sunt de sute de microni. În telefon, sunt multe, multe zeci de microni. Iar noi trebuia să reducem aceste distanțe la o singură cifră. Singurul producător de semiconductori cunoscut care putea ajunge acolo era siliciul."

Activitatea a fost complicată de faptul că suprafața din spate a ecranului trebuia să fie o bucată de siliciu și nimeni în lume nu proiectase siliciu pentru microLED-uri.

"La acea vreme, echipele de cercetare care existau reprofilaseră toate afișajele cu cristale lichide pe siliciu pentru a pune microLED-uri", spune Yee. "Nimeni nu proiectase până atunci un backplane pentru microLED-uri. Și ne-am confruntat cu o provocare destul de unică, deoarece este o componentă optică. Trebuie să fie plată. Nu o poți zgâria. Trebuie să aibă toate aceste caracteristici, deoarece atunci când vă uitați prin ghidurile de undă, prin proiectoare, vă uitați literalmente la suprafața superioară a bucății de siliciu."

Echipa de siliciu a dezvoltat o serie complexă de platforme de testare pentru aceste ecrane microLED care au implicat o coordonare strânsă cu furnizorii noștri globali. MicroLED-urile au o amprentă globală, provenind dintr-un anumit loc și fiind apoi transferate într-un alt loc unde au fost puse pe o plachetă. Plăcile au fost apoi expediate pentru a fi tăiate într-o anumită formă, urmate de o călătorie în SUA pentru a fi lipite împreună cu o altă placă, apoi expediate înapoi pe glob pentru ca modulul real să fie construit și testat. A fost un proces extrem de complicat, iar echipa Silicon a dezvoltat vehicule de testare pentru a testa fiecare etapă.

De asemenea, echipa a trebuit să găsească o modalitate de a furniza energie afișajelor microLED în volumul minuscul al colțurilor ochelarilor. Echipa noastră analogică a dezvoltat un cip personalizat de gestionare a energiei care se potrivește în acel volum.

"Livrarea de energie este crucială pentru astfel de dispozitive portabile cu factor de formă mic, unde dimensiunea bateriei este limitată și spațiul este limitat", notează Jihong Ren, director al Analog and Mixed Signal Systems. "Soluția noastră personalizată de circuite integrate de gestionare a alimentării utilizează tehnologii de ultimă oră pentru a optimiza eficiența energetică pentru sarcina noastră specifică de lucru la nivel de sistem, toate acestea încadrându-se în constrângerile de spațiu disponibile. Realizarea acestei soluții optime a necesitat o strânsă colaborare interdisciplinară cu echipele noastre mecanice, electrice, SoC, μLED și termice, asigurând o integrare perfectă a tuturor componentelor și maximizând performanța generală."

"Aceasta a fost o realizare uimitoare nu doar în domeniul ingineriei, ci și al managementului organizațional: reunirea unei echipe, lucrul pe diferite fusuri orare și cu toți acești furnizori diferiți", adaugă Snodgrass. "Într-un fel, gestionarea organizatorică a fost o provocare la fel de mare ca și îndeplinirea specificațiilor tehnice."

"Nu numai că designul este personalizat, dar și întregul proces de fabricație este personalizat", adaugă Yee. "Suntem norocoși să avem niște parteneri minunați în industrie care ne-au ajutat să facem acest lucru posibil. Ei văd potențialul pe termen lung al afișajelor AR ca întreg și, cu siguranță, viziunea Meta în acest sens. Așa că au fost dispuși să colaboreze cu noi pentru a realiza aceste personalizări și optimizări care să permită acest afișaj."

Ochelari Orion AR.

Iterarea întâlnește accelerarea

A existat o buclă de feedback strânsă între echipa de siliciu și mințile strălucite din Reality Labs Research și XR Tech care dezvoltau algoritmi. Cele din urmă echipe furnizau acești algoritmi, pe care primele îi transpuneau în hardware, eliminând costurile generale ale software-ului care rulează un procesor de uz general. Acest lucru însemna că algoritmii ar fi rulat la o putere mai mică, dar însemna, de asemenea, că echipa de siliciu era blocată. Odată ce algoritmii au fost întăriți, aceștia nu mai puteau face modificări.

"Să zicem că XR Tech dezvolta o anumită disciplină algoritmică", explică Ohad Meitav, director pentru arhitectură și algoritmi la Silicon Accelerators. "Ei dețin stiva algoritmică și performanța acesteia. Echipa mea, în colaborare cu ei, ar decide apoi cum să accelereze algoritmul, cum să întărească anumite părți ale algoritmului și cum să îl introducă efectiv în hardware într-un mod care să funcționeze foarte eficient. Apoi, XR Tech își va adapta pachetul software pentru a ține cont de hardware. Este un proces foarte iterativ."

O altă poveste de succes este colaborarea echipei de siliciu cu Reality Labs Research pentru a crea un nou algoritm de reproiectare.

"Aveam nevoie ca algoritmul de reproiectare să suporte o varietate de distorsiuni și corecții diferite", notează arhitectul Silicon Steve Clohset. "Algoritmul dezvoltat de RL-R pe care am ajuns să îl folosim nu este utilizat în calculul general. Și până în prezent, se dovedește a fi un instrument destul de puternic."

Odată ce algoritmii au fost întăriți și hardware-ul a fost optimizat, echipa de introducere a siliciului a testat cipurile personalizate.

"Chipset-ul de siliciu personalizat al Orion este plin de complexitate", spune directorul senior al sistemului și infrastructurii end-to-end, Liping Guo. "Crearea și validarea cipurilor independente și a interoperabilităților între acestea într-o perioadă scurtă de timp reprezintă o provocare incredibilă. Din fericire, operăm într-un mediu integrat pe verticală, în care Reality Labs deține întregul pachet - de la siliciu și firmware de nivel scăzut la sistemul de operare, software și experiențe de nivel superior. Am profitat din plin de acest lucru, lucrând îndeaproape cu partenerii noștri interfuncționali, și am transferat integrarea noastră între stive în etapa de validare a siliciului. Orion a fost proiectul nostru pilot pentru această metodologie - ne-am dezvoltat mușchii shift-left și am creat o bază solidă pentru ca Reality Labs să beneficieze de toate avantajele siliciului personalizat în viitor."

După instalare, a venit timpul să optimizăm pentru software.

"Există un proces iterativ în care se începe cu un pachet software complet neoptimizat, doar pentru ca totul să fie pornit și să funcționeze", spune Snodgrass. "Apoi, unul câte unul, treceți prin subsisteme și începeți să optimizați software-ul pentru acel hardware specific - inclusiv reducerea cantității de memorie pe care o utilizează software-ul. Hardware-ul ar putea fi proiectat frumos, dar nu veți obține eficiența energetică teoretică dacă nu investiți la fel de mult sau mai mult timp pentru ca software-ul să profite pe deplin de hardware. Aceasta este povestea lui Orion: hardware și software optimizate la maxim. Nu lăsați niciun picojoule sau miliwatt în urmă."

Și deși Orion poate fi un prototip, munca depusă pentru acesta are un potențial considerabil de a influența foaia de parcurs a Meta.

"Privim IP-urile de siliciu pe care le construim ca platforme, în sensul că acestea sunt IP-uri valoroase pe care le vom îmbunătăți de la o generație sau de la un produs la altul", adaugă Meitav. "Toți algoritmii de viziune computerizată și grafică nu sunt construiți doar pentru Orion. Ei vor continua să informeze produsele viitoare."

Activitatea noastră în domeniul siliciului implică crearea de soluții noi și, în același timp, colaborarea strânsă cu partenerii. De fapt, influența echipei de siliciu se extinde dincolo de Orion, atât la Ochelari Ray-Ban Meta și Căști Meta Quest în prezent - chiar dacă ambele utilizează cipuri de la terți. Echipa de siliciu împărtășește în mod regulat munca sa cu echipa de realitate mixtă, arătând ce este posibil în ceea ce privește eficiența energetică. Echipa MR împărtășește apoi aceste rezultate cu parteneri precum Qualcomm pentru a contribui la proiectarea viitoarelor cipuri. Și pentru că echipa de siliciu utilizează aceleași procesoare de semnal digital (DSP) de pe raft ca și ochelarii Ray-Ban Meta, au putut să împărtășească lecțiile învățate și cele mai bune practici la implementarea și scrierea codului pentru aceste DSP-uri pentru a ajuta la îmbunătățirea experiențelor audio disponibile pe ochelarii noștri AI.

Iar acest schimb de cunoștințe se face în ambele sensuri: Echipa MR a oferit echipei de silicon informații despre lucruri precum TimeWarp asincron și Aplicația SpaceWarp în producție.

"Ceea ce face o persoană în producție este mult mai interesant decât ceva ce am putea face cu un prototip", spune Clohset. "Am încercat să integrăm cât mai mult posibil ceea ce făceau ei cu urzelile."

Ambiguitate < Ambiție

Deoarece Orion a fost cu adevărat zero la unu, echipele implicate au trebuit să se confrunte cu o cantitate exagerată de ambiguitate.

"Cu Orion, nu pot supraestima cât de complicate au devenit lucrurile din cauza ambiguității", spune Clohset. "Când faci un computer, de exemplu, în general ai o idee bună despre cum va fi afișajul. Dar noi nu știam ce va fi ghidul de undă în cele din urmă, așa că a trebuit să eșantionăm diferite ghiduri de undă și să găsim un mecanism care să poată face față celui mai rău scenariu, deoarece nu știam unde vor ateriza lucrurile. O optimizare aici ar concola cu toate aceste alte alegeri și ai ajunge la această matrice cu toate aceste lucruri diferite pe care le aveai ca suport și încercai să le validezi pentru că nu știai unde va ateriza produsul în șase luni."

Este important să rețineți că Orion nu este doar o pereche de ochelari AR - este o constelație de trei părți de hardware. O mare parte din procesare are loc pe calculează pucul, ceea ce necesită o legătură puternică între acesta și ochelari. Adăugați brățară EMG de suprafață în buclă, iar arhitectura sistemului devine și mai complicată.

"Aceasta a fost o provocare enormă pentru echipele care trebuiau să o rezolve, iar toate acestea funcționează", spune Snodgrass. "A fost o colaborare uimitoare între echipa de siliciu, echipa wireless și echipele de software din întreaga organizație."

Discul de calcul al lui Orion.

"Cu Orion, am construit o întreagă echipă cu o mare diversitate de ingineri, iar aceștia au reușit să proiecteze o conductă nouă", adaugă Clohset. "Este o conductă care gestionează șase grade de libertate de mișcare a obiectelor în spațiul 3D. Aceasta utilizează propriul driver de afișare personalizat. A trebuit să facem corecții cu adevărat unice ale calității imaginii. Și cred că provocarea pentru noi a fost că, deoarece acesta a fost un proiect zero la unu, nu a existat nicio specificație existentă pe care să o ajustăm și să o îmbunătățim. Totul aici este complet nou, așa că am avut latitudinea de a face totul."

La fel ca puc are unele caracteristici latente ascunse sub suprafață, siliciul personalizat este, de asemenea, mai puternic decât greutatea sa. Deși Orion nu permite utilizatorului să facă fotografii cu camerele sale RGB, siliciul este capabil să le suporte, precum și avatari codec. Și la fel cum pucul a ajutat la deblocarea unui factor de formă pentru ochelari adevărați prin descărcarea unei mari părți a calculului, siliciul personalizat de la Orion s-a dovedit a fi o piesă necesară a puzzle-ului AR.

"Pentru a da viață unei experiențe zero la unu precum ochelarii AR, aveți nevoie de siliciu personalizat - stop complet", explică Snodgrass. "În timp, dacă există o piață, atunci furnizorii de siliciu vor dezvolta produse pentru a satisface cererea. Dar pentru zero-la-unu, nu poți lua ceva care există pe raft, care este destinat unui produs diferit și să-l potrivești într-o matriță nouă. Trebuie să investești în ceva personalizat. Iar pentru a da viață acestor experiențe zero-la-unu, aveți nevoie de o colaborare largă între partenerii software, designerii industriali, inginerii mecanici și nu numai."

"Prin eliberarea de modelele mentale tradiționale, am creat ceva cu adevărat remarcabil", adaugă Shearer. "Credem că această platformă de calcul reprezintă viitorul tehnologiei - unul care va revoluționa modul în care trăim, muncim și interacționăm unii cu alții. Suntem încântați să fim în fruntea acestei inovații, depășind limitele a ceea ce este posibil și contribuind la modelarea cursului istoriei."

---

Pentru mai multe informații despre Orion, consultați aceste articole de blog:

• Clar ca cristalul: Ghidurile noastre de undă din carbură de siliciu și calea către FoV-ul mare al Orion
• Orion's Compute Puck: Povestea din spatele dispozitivului care a contribuit la realizarea ochelarilor noștri AR

Când am început să oferim demonstrații ale Orion la începutul acestui an, mi-am amintit de o replică pe care o auziți des la Meta - de fapt, era chiar în prima noastră scrisoare către potențialii acționari în 2012: Codul câștigă argumentele. Probabil că am învățat la fel de multe despre acest spațiu de produse din câteva luni de demonstrații în viața reală decât din anii de muncă necesari pentru realizarea lor. Nimic nu poate înlocui construirea efectivă a unui produs, punerea lui în mâinile oamenilor și învățarea din modul în care aceștia reacționează la el.

Orion nu a fost singurul nostru exemplu în acest sens în acest an. Programul nostru hardware pentru realitate mixtă și Ochelari AI au atins ambele un nou nivel de calitate și accesibilitate. Stabilitatea acestor platforme le permite dezvoltatorilor noștri de software să avanseze mult mai rapid în toate domeniile, de la sistemele de operare la noile caracteristici ale inteligenței artificiale. Acesta este modul în care văd că metaversul începe să devină mai clar și de ce sunt atât de încrezător că anul viitor va fi cel mai important din istoria Reality Labs.

https://youtube.com/watch?v=xwMNZb6UE1o%3F%26controls%3D0%3Fautoplay%3D0%26color%3Dwhite%26cc_lang_pref%3Den%26cc_load_policy%3D0%26enablejsapi%3D1%26frameborder%3D0%26hl%3Den%26rel%3D0%26origin%3Dhttps%253A%252F%252Fwww.meta.com

2024 a fost anul în care ochelarii cu inteligență artificială au dat lovitura. Când am început să fabricăm ochelari inteligenți în 2021, ne-am gândit că aceștia ar putea fi un prim pas frumos către ochelarii AR pe care doream să îi construim în cele din urmă. În timp ce căștile de realitate mixtă sunt pe cale să devină o platformă de calcul de uz general, la fel ca PC-urile de astăzi, am văzut ochelarii ca fiind evoluția naturală a platformelor de calcul mobile de astăzi. Așa că am vrut să începem să învățăm din lumea reală cât mai curând posibil.

Cel mai important lucru pe care l-am învățat este că ochelarii sunt de departe cel mai bun factor de formă pentru un dispozitiv cu adevărat nativ al inteligenței artificiale. De fapt, acestea ar putea fi prima categorie de hardware care să fie complet definită de AI de la început. Pentru mulți oameni, ochelarii sunt locul în care un asistent AI are cel mai mare sens, mai ales atunci când este un sistem multimodal care poate înțelege cu adevărat lumea din jurul tău.

Ne aflăm chiar la începutul curbei în S pentru această categorie de produse și există oportunități nelimitate în viitor. Unul dintre lucrurile care mă entuziasmează cel mai mult pentru 2025 este evoluția asistenților AI în instrumente care nu răspund doar la un prompt atunci când ceri ajutor, ci pot deveni un ajutor proactiv în timp ce îți vezi de treabă. La Connect am arătat cum AI-ul live de pe ochelari poate deveni mai mult un participant în timp real atunci când îți faci treaba. Pe măsură ce această caracteristică începe să ruleze în acces timpuriu în această lună vom vedea primul pas către un nou tip de asistent AI personalizat.

Nu va fi ultimul. În prezent, ne aflăm în mijlocul unei presiuni la nivelul întregii industrii pentru a crea hardware cu AI nativ. Producătorii de telefoane și PC-uri se grăbesc să își reconstruiască produsele pentru a pune asistenții AI la baza lor. Dar cred că o oportunitate mult mai mare este aceea de a crea dispozitive care sunt AI-native încă de la început și sunt încrezător că ochelarii vor fi primii care vor ajunge acolo. Michael Abrash, cercetător-șef al Meta, a vorbit despre potențialul unui asistent AI personalizat și conștient de context pe ochelari de mulți ani, iar construirea tehnologiilor care fac acest lucru posibil a reprezentat un obiectiv major al echipelor noastre de cercetare.

Realitate mixtă a fost un alt loc în care a avea produsul potrivit în mâinile multor oameni a fost un accelerator major pentru progres. Am văzut Meta Quest 3 devin mai bune lună de lună, pe măsură ce continuăm să lucrăm la sistemul de bază passthrough, multitasking, interfețe utilizator spațiale și multe altele. Toate aceste câștiguri s-au extins la Quest 3S în momentul lansării. Acest lucru a însemnat că $299 Quest 3S a fost în multe privințe o cască mai bună în prima zi decât a fost $499 Quest 3 la lansarea sa în 2023. Și întreaga familie Quest 3 continuă să devină mai bună cu fiecare actualizare.

În 2025 vom asista la următoarea iterație a acesteia, pe măsură ce Quest 3S va aduce mult mai mulți oameni în realitatea mixtă pentru prima dată. În timp ce Quest 3 a fost un succes printre oamenii entuziasmați să dețină cel mai bun dispozitiv de pe piață, Quest 3S este așteptat să fie foarte dotat în 2024. Vânzările au fost puternice în weekendul Black Friday și ne așteptăm la o creștere a numărului de persoane care își activează noile căști în timpul vacanței de sărbători.

Acest lucru va continua o tendință care s-a conturat în ultimul an: creșterea numărului de noi utilizatori care caută o gamă mai largă de lucruri de făcut cu căștile lor. Dorim ca acești noi utilizatori să vadă magia MR și să rămână alături de noi pe termen lung, motiv pentru care finanțăm dezvoltatorii să creeze noile tipuri de aplicații și jocuri pe care le caută.

A existat un aflux semnificativ de tineri, în special, și aceștia au gravitat în jurul jocurilor multiplayer sociale și competitive, precum și al conținutului freemium. Și titluri precum BEHEMOTH de la Skydance, Batman: Arkham Shadow (care tocmai a câștigat premiul pentru cel mai bun joc AR/VR la The Game Awards!), și Metro Awakening a arătat încă o dată că unele dintre cele mai bune jocuri noi pe care le produce industria noastră sunt acum posibile doar pe căștile de astăzi.

Pe măsură ce numărul de persoane care utilizează RM crește, calitatea experienței sociale pe care o poate oferi crește în paralel. Acesta este esența a ceea ce Meta încearcă să realizeze cu Reality Labs și unde va fi deblocat cel mai mare potențial al metaversului: "șansa de a crea cea mai socială platformă din toate timpurile" este modul în care am descris-o atunci când am a început să lucreze la el. Am făcut doi pași înainte pe acest front în 2024: în primul rând cu un set larg de îmbunătățiri pentru Horizon Worlds, inclusiv extinderea sa la dispozitivele mobile, iar în al doilea rând cu sistemul Meta Avatars de ultimă generație, care permite oamenilor să se reprezinte în aplicațiile și căștile noastre. Pe măsură ce calitatea vizuală și experiența generală cu aceste sisteme se îmbunătățesc, tot mai mulți oameni au ocazia să vadă pentru prima dată un metavers social. Observăm tendințe similare în cazul noilor utilizatori Quest 3S, care petrec mai mult timp în Horizon Worlds, făcând din aceasta o aplicație imersivă de top 3 pentru Quest 3S, iar oamenii continuă să creeze noi Meta Avatars pe mobil și MR.

Introducerea realității mixte în mod curent a contribuit la iluminarea a ceea ce va urma. Una dintre primele tendințe pe care le-am descoperit după lansarea Quest 3 anul trecut a fost că oamenii folosesc realitatea mixtă pentru a viziona videoclipuri în timp ce fac mai multe lucruri în casă - spală vasele sau dau cu aspiratorul în camera de zi. Acesta a fost un prim semnal că oamenii adoră să aibă un ecran virtual mare pe care îl pot lua oriunde și îl pot plasa în lumea fizică din jurul lor. Am văzut cum această tendință a luat amploare, cu tot felul de experiențe de divertisment în creștere rapidă în întreaga familie Quest 3. Funcții noi precum YouTube Co-Watch arată cât de mult potențial există pentru un tip cu totul nou de experiență de divertisment social în metavers.

Acesta este motivul pentru care James Cameron, unul dintre cei mai inovatori povestitori din punct de vedere tehnologic din viața noastră, lucrează acum pentru a ajuta mai mulți cineaști și creatori producerea de conținut 3D excelent pentru Meta Quest. În timp ce filmele 3D au fost produse de zeci de ani, nu a existat niciodată o modalitate de a le viziona care să fie la fel de bună ca o cască MR, iar anul viitor mai mulți oameni vor deține o cască decât oricând înainte. "Ne aflăm într-un adevărat punct de inflexiune istoric,"Jim a spus când noi a lansat noul nostru parteneriat luna aceasta.

Acest lucru se întâmplă în paralel cu o schimbare mai amplă Mark Rabkin împărtășite la Connect în acest an: Viziunea noastră pentru Horizon OS este de a construi un nou tip de platformă de calcul de uz general, capabilă să ruleze orice tip de software, să sprijine orice tip de utilizator și să fie deschisă pentru orice tip de creator și dezvoltator. Recentele noastre versiuni pentru multitasking 2D/3D, poziționarea panourilor, urmărirea mai bună a mâinilor, integrarea Windows Remote Desktop și Open Store au început să creeze un impuls pe această nouă cale. Horizon OS este pe cale să devină prima platformă care acceptă întregul spectru de experiențe, de la VR imersiv la ecrane 2D, aplicații mobile și desktopuri virtuale - iar comunitatea dezvoltatorilor este esențială pentru acest succes.

Următorul mare pas către metavers va combina ochelarii cu inteligență artificială cu tipul de experiență de realitate augmentată adevărată pe care am dezvăluit-o anul acesta cu Orion. Nu se întâmplă des să ai o privire în viitor și să vezi o tehnologie complet nouă care îți arată încotro se îndreaptă lucrurile. Oamenii care au văzut Orion au înțeles imediat ce înseamnă pentru viitor, la fel ca oamenii care au văzut primele computere personale luând formă la Xerox PARC în anii 1970 ("în zece minute a fost evident pentru mine că toate computerele vor funcționa așa într-o zi", a spus Steve Jobs mai târziu despre demonstrația sa din 1979 a Xerox Alto).

Faptul că am putut să pun oamenii într-o mașină a timpului și să le arăt cum va arăta următoarea platformă de calcul a fost un punct culminant al anului 2024 și al carierei mele de până acum. Dar impactul real al Orion va fi în produsele pe care le vom livra în continuare și în modul în care ne va ajuta să înțelegem mai bine ce le place oamenilor la ochelarii AR și ce trebuie îmbunătățit. Am petrecut ani de zile lucrând la cercetarea utilizatorilor, exerciții de planificare a produselor și studii experimentale, încercând să înțelegem cum ar trebui să funcționeze ochelarii AR, iar această muncă ne-a permis să construim Orion. Dar ritmul progresului va fi mult mai rapid de acum înainte, acum că avem un produs real în jurul căruia să ne construim intuiția.

Aceasta a fost lecția de nenumărate ori în ultimul deceniu la Reality Labs. Cel mai important lucru pe care îl poți face atunci când încerci să inventezi viitorul este să transporți lucruri și să înveți din modul în care oamenii reali le folosesc. Acestea nu vor fi întotdeauna hituri imediate, dar întotdeauna te vor învăța ceva. Iar atunci când ajungi la lucruri care chiar dau lovitura, cum ar fi realitatea mixtă pe Quest 3 sau inteligența artificială pe ochelari, atunci pui piciorul pe accelerație. Aceasta este ceea ce va face din 2025 un an atât de special: Cu dispozitivele potrivite pe piață, cu oamenii care le experimentează pentru prima dată și cu dezvoltatorii care descoperă toate oportunitățile care se ivesc, este timpul să accelerăm.

Bine ați revenit pentru un nou episod din Boz către viitor, un podcast de la Reality Labs. În episodul de astăzi, gazda noastră, Meta CTO și Head of Reality Labs Andrew "Boz" Bosworth, este însoțit de vicepreședintele Meta de Wearables Alex Himel.

Echipa lui Himel lucrează la unele dintre cele mai dificile probleme tehnice din industrie, toate în scopul de a contribui la construirea următoarei platforme de calcul. La fel ca Bosworth, Himel este un lider cu vechime în Meta, ocupând numeroase funcții de conducere în cadrul afacerii în cei peste 15 ani petrecuți în companie.

Bosworth și Himel abordează o serie de subiecte, inclusiv dispozitivele portabile, realitatea augmentată și modul în care AI accelerează și îmbunătățește tipurile de experiențe încorporate în Ochelari Ray-Ban Meta și produsele viitoare.

Ei merg adânc pe Orion și primirea pozitivă pe care a primit-o de când Mark Zuckerberg a anunțat-o la Conectare. La fel cum Steve Jobs a recunoscut Alto ca fiind un punct de cotitură în informatică, Bosworth a afirmat că, deși putem să nu fim de acord cu privire la detalii, este greu să susținem că acesta este viitorul. Himel și Bosworth continuă să vorbească despre valoarea extraordinară a prototipării și construirii, spunând cât de mult au învățat despre Orion și paradigmele sale de intrare în cele trei săptămâni de utilizare a acestuia, comparativ cu anii petrecuți construindu-l.

Ei au vorbit, de asemenea, despre rolul crucial al inteligenței artificiale în dispozitivele purtabile și despre modul în care aceasta devine din ce în ce mai utilă în viața de zi cu zi - mai ales acum, când puteți întreba Meta AI despre lucrurile pe care le vedeți și le puteți folosi pentru a seta memento-uri vizuale.

Himel vorbește, de asemenea, despre experiența sa profundă într-un alt tip de stivă: sandvișurile. Cu șapte ani la activ, lucrând în faimosul Lange's Little Store din Chappaqua, NY, unde a crescut, Himel și Bosworth analizează ce face un sandviș grozav, unde merg cu adevărat roșiile și ce pâine este superioară.

Vă puteți conecta la Boz către viitor pe Podcasturi Apple, Spotify, și oriunde ascultați podcasturi.

Îl puteți urmări pe Himel pe Fire. Îl puteți urmări pe Bosworth pe Instagram, Twitter/X, și Fire @boztank.

0:00 / 0:00

Înapoi în 2019 Orion a pregătit o demonstrație importantă pentru Mark Zuckerberg, fondatorul și CEO-ul Meta, prezentând potențiale ghiduri de undă pentru ochelari de realitate augmentată-un moment crucial în care calculele teoretice de pe hârtie au fost aduse la viață. Și a fost o demonstrație care a schimbat totul.

"Purtând ochelarii cu ghiduri de undă pe bază de sticlă și plăci multiple, te simțeai ca într-o discotecă", își amintește cercetătorul optic Pasqual Rivera. "Erau curcubee peste tot și era atât de deranjant - nici măcar nu te uitai la conținutul AR. Apoi, îți puneai ochelarii cu carbură de siliciu ghiduri de undă, și era ca și cum ai fi la simfonie, ascultând o piesă clasică, liniștită. Chiar puteai fi atent la experiența completă a ceea ce construiam. A fost o schimbare totală a jocului".

Cu toate acestea, oricât de clară ar părea astăzi alegerea carburii de siliciu ca substrat, atunci când am început drumul către ochelarii AR acum un deceniu, a fost orice altceva.

"Carbura de siliciu este în mod normal puternic dopată cu azot", spune Rivera. "Este verde și, dacă devine suficient de gros, pare negru. Nu ai cum să faci o lentilă optică din el. Este un material electronic. Există un motiv pentru care are această culoare, și este din cauza proprietăților electronice."

"Carbura de siliciu există ca material de mult timp", este de acord Giuseppe Calafiore, director tehnic AR Waveguides. "Principala sa aplicație este electronica de mare putere. Să luăm ca exemplu vehiculele electrice: Toate vehiculele electrice au nevoie de un cip - dar acel cip trebuie să fie capabil și de o putere foarte mare, să miște roțile și să conducă acest lucru. Se pare că nu se poate face acest lucru cu un substrat de siliciu obișnuit, care este cel care produce cipurile pe care le folosim în computerele și electronicele noastre. Aveți nevoie de o platformă care să vă permită să treceți prin curenți mari, putere mare, iar acel material este carbura de siliciu."

Până când discuțiile privind sursele de energie regenerabilă au început să se intensifice, piața pentru aceste seturi de cipuri de mare putere nu era nici pe departe de mărimea pieței cipurilor pentru electronicele de consum. Carbura de siliciu a fost întotdeauna scumpă și nu a existat un stimulent prea mare pentru a reduce costurile, deoarece, pentru dimensiunea cipurilor pe care le fabricați pentru o mașină, prețul substratului era tolerabil.

"Dar se pare că carbura de siliciu are și unele dintre proprietățile de care avem nevoie pentru ghidurile de undă și optică", spune Calafiore. "Indicele de refracție este principala proprietate care ne interesează. Iar carbura de siliciu are un indice de refracție ridicat, ceea ce înseamnă că este capabilă să canalizeze și să emită o cantitate mare de date optice. Vă puteți gândi la aceasta ca la o lățime de bandă optică - la fel cum aveți lățime de bandă pentru internet și doriți ca aceasta să fie suficient de mare pentru a putea trimite cantități uriașe de date prin acel canal. Același lucru este valabil și pentru dispozitivele optice."

Cu cât indicele de refracție al unui material este mai mare, cu atât extinsă, astfel încât să puteți trimite mai multe date optice prin acel canal.

"Canalul în cazul nostru este ghidul nostru de undă, iar o extensie mai mare se traduce printr-un câmp vizual mai mare", explică Calafiore. "Cu cât este mai mare indicele de refracție al unui material, cu atât este mai mare câmpul vizual pe care îl poate suporta afișajul."

Drumul către indicele de refracție corect

Când Calafiore s-a alăturat echipei Oculus Research în 2016, sticla cu cel mai mare indice de refracție pe care echipa o avea la dispoziție era de 1,8 - ceea ce necesita stivuirea mai multor plăci pentru a obține câmpul vizual dorit. Dincolo de artefactele optice nedorite, linia de asamblare a devenit din ce în ce mai complicată, deoarece primele două ghiduri de undă trebuiau să fie perfect aliniate, iar apoi acea stivă trebuia să fie perfect aliniată cu un al treilea ghid de undă.

"Nu numai că era scump, dar a fost imediat evident că nu puteai avea trei bucăți de sticlă per lentilă într-o pereche de ochelari", își amintește Calafiore. "Erau prea grele, iar grosimea era prohibitiv de mare și urâtă - nimeni nu le-ar fi cumpărat. Așa că ne-am întors de unde am plecat: am încercat să creștem indicele de refracție al substratului pentru a reduce numărul de plăci necesare."

Primul material analizat de echipă a fost niobat de litiu, care are un indice de refracție de aproximativ 2,3 - un pic mai mare decât cel al sticlei, de 1,8.

"Ne-am dat seama că trebuie doar să stivuim două plăci și că poate am putea chiar să ne descurcăm cu o singură placă pentru a acoperi în continuare câmpul vizual", spune Calafiore. "Aproape în paralel, am început să ne uităm la alte materiale - așa ne-am dat seama, alături de furnizorii noștri din 2019, că carbura de siliciu, în forma sa cea mai pură, este de fapt foarte transparentă. De asemenea, se întâmplă să aibă cel mai mare indice de refracție cunoscut pentru o aplicație optică, care este de 2,7."

Aceasta reprezintă o creștere de 17,4% față de niobatul de litiu și o creștere de 50% față de sticlă, pentru cei care țin scorul acasă.

"Cu câteva modificări ale aceluiași echipament care era deja utilizat în industrie, a fost posibil să se obțină carbură de siliciu transparentă", spune Calafiore. "Puteai doar să schimbi procesul, să fii mult mai atent și, în loc să optimizezi pentru proprietățile electronice, să optimizezi pentru proprietățile optice: transparență, uniformitatea indicelui de refracție etc."

Costul potențial al compromisului

La acea vreme, echipa Reality Labs a fost prima care a încercat să treacă de la plachete opace de carbură de siliciu la plachete transparente. Și pentru că carbura de siliciu este unul dintre cele mai dure materiale cunoscute, este nevoie, în esență, de unelte diamantate pentru a o tăia sau a o poliza. Ca urmare, costurile de inginerie nerecurente au fost foarte ridicate, astfel încât substratul rezultat a fost destul de scump.

Deși există alternative mai eficiente din punct de vedere al costurilor, la fel ca în cazul oricărei tehnologii, fiecare are compromisuri. Și pe măsură ce câmpul de vizualizare crește spre câmpul de vizualizare Orion, lider în industrie, de aproximativ 70 de grade, apar noi probleme precum imaginile fantomă și curcubeele.

"Găsirea soluției optime pentru un afișaj AR cu câmp vizual larg este plină de compromisuri între performanță și costuri", explică Barry Silverstein, director de cercetare științifică. "Costurile pot fi adesea reduse, dar dacă performanța nu este suficientă, costurile nu vor conta în cele din urmă."

Imaginile fantomă sunt ca niște ecouri vizuale ale imaginii principale proiectate pe ecran. Curcubeele sunt dungi de lumină colorate care sunt create atunci când lumina ambientală se reflectă în ghidul de undă. "Să zicem că conduceți noaptea cu luminile mașinilor în mișcare în jurul dumneavoastră", spune Silverstein. "Veți avea curcubee care se mișcă, de asemenea. Sau dacă sunteți pe plajă și jucați volei, iar soarele strălucește, veți avea o dungă de curcubeu care se mișcă odată cu voi și veți rata lovitura. Iar una dintre proprietățile miraculoase ale carburii de siliciu este că scapă de acele curcubee."

"Celălalt avantaj al carburii de siliciu pe care niciunul dintre celelalte materiale nu îl are este conductivitatea termică", adaugă Calafiore. "Plasticul este un izolator teribil. Sticla, niobatul de litiu, același lucru. Carbura de siliciu este transparentă, arată ca sticla și ghici ce: conduce căldura."

Astfel, în iulie 2020, echipa a stabilit că carbura de siliciu a fost alegerea optimă din trei motive principale: Acesta a condus la un factor de formă îmbunătățit, deoarece a necesitat doar o singură placă și structuri de montare mai mici, a avut proprietăți optice mai bune și a fost mai ușor decât sticla cu două plăci.

Secretul gravurii oblice

Cu materialul în minte, următoarea problemă a fost fabricarea ghidurilor de undă - și, în special, o tehnică neconvențională de gratare numită "slant etch".

"Rețeaua este nanostructura care cuplează și decuplează lumina din lentilă", explică Calafiore. "Iar pentru ca carbura de siliciu să funcționeze, grătarul trebuie să fie gravat oblic. În loc să fie verticale, liniile grătarului trebuie să fie înclinate în diagonală."

"Am fost primii care au realizat gravura oblică direct pe dispozitive", spune directorul de cercetare Nihar Mohanty. "Întreaga industrie obișnuia să se bazeze pe nanoimprimare, care nu funcționează pentru substraturile cu un indice de refracție atât de mare. Acesta este motivul pentru care nimeni altcineva din lume nu s-a gândit la utilizarea carburii de siliciu."

Dar, deoarece gravura oblică este o tehnologie imatură, majoritatea furnizorilor și fabricilor de cipuri semiconductoare nu dispun de instrumentele necesare.

"În 2019, eu și managerul meu de la acea vreme, Matt Colburn, am înființat propria noastră instalație, deoarece nu exista nimic în lume care să poată produce ghiduri de undă din carbură de siliciu gravate și unde să putem dovedi tehnologia dincolo de scara de laborator", explică Mohanty. "A fost o investiție uriașă și am stabilit acolo întreaga linie de producție. Sculele au fost făcute la comandă pentru noi de către partenerii noștri, iar procesul a fost dezvoltat in-house în Meta, deși sistemele noastre sunt de nivel de cercetare, deoarece nu existau sisteme de nivel de producție. Am lucrat cu un partener de producție pentru a dezvolta unelte și procese de gravură oblică de calitate industrială. Și acum că am arătat ce este posibil cu carbura de siliciu, dorim ca și alții din industrie să înceapă să producă propriile instrumente."

Cu cât mai multe companii investesc în carbură de siliciu de calitate optică și dezvoltă echipamente, cu atât mai puternică va deveni categoria de ochelari AR pentru consumatori.

Nu mai alergăm după curcubee

În timp ce inevitabilitatea tehnologică este un mitcu siguranță stelele par să se alinieze în favoarea carburii de siliciu. Și, deși echipa continuă să investigheze alternative, există un sentiment puternic că oamenii potriviți s-au reunit la momentul potrivit în condițiile de piață potrivite pentru a construi ochelari AR folosind acest material.

"Orion a demonstrat că carbura de siliciu este o opțiune viabilă pentru ochelarii AR", spune Silverstein, "iar acum observăm interes în lanțul de aprovizionare de pe trei continente diferite, unde se urmărește intens această oportunitate. Carbura de siliciu va ieși învingătoare. În opinia mea, este doar o chestiune de timp."

Și multe se pot întâmpla în acest timp - la fel cum s-au schimbat lucrurile de când am cultivat primele noastre cristale clare de carbură de siliciu.

"Toți acești producători de carbură de siliciu au mărit masiv oferta ca răspuns la boom-ul așteptat al vehiculelor electrice", remarcă Calafiore. "Chiar acum, există o supracapacitate care nu exista când construiam Orion. Așa că acum, deoarece oferta este mare și cererea este scăzută, costul substratului a început să scadă."

"Furnizorii sunt foarte încântați de noua oportunitate de a produce carbură de siliciu de calitate optică - la urma urmei, fiecare lentilă de ghid de undă reprezintă o cantitate mare de material în raport cu un cip electronic, iar toate capacitățile lor existente se aplică acestui nou spațiu", adaugă Silverstein. "Umplerea fabricii este esențială, iar scalarea fabricii este visul. Dimensiunea plachetei contează, de asemenea: Cu cât este mai mare, cu atât costul este mai mic - dar și complexitatea procesului crește. Acestea fiind spuse, am văzut furnizori care au trecut de la plachete de patru inci la plachete de opt inci, iar unii lucrează la precursori pentru plachete de 12 inci, care ar produce exponențial mai multe perechi de ochelari AR."

Aceste progrese ar trebui să contribuie la scăderea continuă a costurilor. Este încă devreme, dar viitorul începe să se contureze.

"La începutul oricărei noi revoluții tehnologice, încerci o grămadă de lucruri", spune Calafiore. "Uitați-vă la televizor: Am început cu tuburile catodice, apoi am trecut la televizoarele cu plasmă LED și acum la microLED-uri. Am trecut prin mai multe tehnologii și arhitecturi diferite. Pe măsură ce cauți, o mulțime de căi nu ajung nicăieri, dar există unele la care te întorci mereu ca fiind cele mai promițătoare. Nu suntem la capătul drumului și nu putem reuși singuri, dar carbura de siliciu este un material minunat care merită investiția."

"Lumea este trează acum", adaugă Silverstein. "Am demonstrat cu succes că carbura de siliciu poate fi flexibilă în electronică și fotonică. Este un material care ar putea avea aplicații viitoare în calculul cuantic. Și vedem semne că este posibil să reducem semnificativ costul. Mai sunt multe lucruri de făcut, dar potențialul este uriaș."

---

Aflați mai multe despre carbura de siliciu în Spectre fotonice.

Pentru mai multe informații despre Orion, consultați aceste articole de blog:

• De la zero la unu: modul în care siliciul și cipurile noastre personalizate revoluționează AR
• Orion's Compute Puck: Povestea din spatele dispozitivului care a contribuit la realizarea ochelarilor noștri AR

TL;DR:

• Astăzi la Conectare, Mark Zuckerberg a dezvăluit Orion - prima noastră pereche de ochelari AR adevărați, cu nume de cod anterior Proiectul Nazare.
• Cu un câmp vizual lider în industrie, lentile din carbură de siliciuOrion este prototipul nostru de produs cel mai avansat și cel mai rafinat de până acum, cu ghiduri de undă complexe, proiectoare uLED și multe altele.
• În prezent, continuăm optimizarea produselor și reducerea costurilor în timp ce ne îndreptăm către un dispozitiv de consum scalabil care va revoluționa modul în care oamenii interacționează cu lumea.

---

"Construim ochelari AR."

Cinci cuvinte simple, vorbit acum cinci ani. Împreună cu ei, am plantat un steag pe viziunea noastră despre un viitor în care nu mai trebuie să facem falsa alegere între o lume a informațiilor la îndemâna noastră și lumea fizică din jurul nostru.

Și acum, cinci ani mai târziu, alte cinci cuvinte care vor schimba din nou jocul:

Am construit ochelari AR.

https://youtube.com/watch?v=2CJsnyS8u3c%3Fsi%3DTr77gOKEq3PnA7-k%26controls%3D0%3Fautoplay%3D0%26color%3Dwhite%26cc_lang_pref%3Den%26cc_load_policy%3D0%26enablejsapi%3D1%26frameborder%3D0%26hl%3Den%26rel%3D0%26origin%3Dhttps%253A%252F%252Fwww.meta.com

La Meta, misiunea noastră este simplă: să oferim oamenilor puterea de a construi comunități și de a aduce lumea mai aproape. Iar la Reality Labs, construim instrumente care îi ajută pe oameni să se simtă conectați oricând, oriunde. De aceea, ne străduim să construim următoarea platformă de calcul care pune oamenii în centru, astfel încât aceștia să poată fi mai prezenți, mai conectați și mai puternici în lume.

Ochelari Ray-Ban Meta au demonstrat puterea de a oferi oamenilor acces hands-free la părțile cheie ale vieții lor digitale din viața lor fizică. Putem vorbi cu un asistent AI inteligent, ne putem conecta cu prietenii și putem surprinde momentele care contează - toate acestea fără a fi nevoiți să scoatem vreodată telefonul. Acești ochelari eleganți se integrează perfect în viața noastră de zi cu zi, iar oamenii îi adoră.

Cu toate acestea, în timp ce Ray-Ban Meta a deschis o categorie cu totul nouă de ochelari fără afișaj supraîncărcați de AI, industria XR a visat mult timp la ochelari AR adevărați - un produs care combină beneficiile unui afișaj holografic mare și asistență AI personalizată într-un factor de formă confortabil, elegant, purtabil toată ziua.

Iar astăzi, am împins acest vis mai aproape de realitate odată cu dezvăluirea Orioncare, în opinia noastră, este cea mai avansată pereche de ochelari AR fabricată vreodată. De fapt, ar putea fi cel mai provocator dispozitiv electronic de consum produs de la smartphone. Orion este rezultatul unor invenții revoluționare în aproape fiecare domeniu al informaticii moderne - bazându-se pe munca pe care am făcut-o la Reality Labs în ultimul deceniu. Este dotat cu tehnologii complet noi, inclusiv cel mai avansat ecran AR asamblat vreodată și silicon personalizat care permite rularea unor experiențe AR puternice pe o pereche de ochelari folosind o fracțiune din puterea și greutatea unei căști MR.

Sistemul de intrare Orion combină perfect vocea, privirea și urmărirea mâinii cu un Brățară EMG care vă permite să glisați, să faceți clic și să derulați în timp ce brațul dvs. se odihnește confortabil lângă dvs., permițându-vă să rămâneți prezent în lume și cu oamenii din jurul dvs. în timp ce interacționați cu conținut digital bogat.

Începând de astăzi la Connect și continuând pe tot parcursul anului, vom deschide accesul la prototipul nostru de produs Orion pentru angajații Meta și audiențe externe selectate, astfel încât echipa noastră de dezvoltare să poată învăța, itera și construi spre linia noastră de produse de ochelari AR pentru consumatori, pe care intenționăm să începem să o livrăm în viitorul apropiat.

De ce ochelari AR?

Există trei motive principale pentru care ochelarii AR sunt esențiali pentru deblocarea următorului mare salt în informatica orientată către om.

1. Acestea permit experiențe digitale care nu sunt constrânse de limitele unui ecran de smartphone. Cu ajutorul ecranelor holografice mari, puteți folosi lumea fizică drept pânză, plasând conținut și experiențe 2D și 3D oriunde doriți.
2. Acestea integrează perfect inteligența artificială contextuală care poate detecta și înțelege lumea din jurul dumneavoastră pentru a anticipa și a răspunde proactiv nevoilor dumneavoastră.
3. Sunt ușoare și ideale pentru utilizare atât în interior, cât și în exterior - și permit oamenilor să vadă fața reală, ochii reali și expresiile reale ale celorlalți.

Aceasta este steaua nordică spre care s-a îndreptat industria noastră: un produs care combină confortul și caracterul imediat al dispozitivelor portabile cu un ecran mare, o lățime de bandă mare și inteligență artificială contextualizată într-un factor de formă pe care oamenii se simt confortabil să-l poarte în viața de zi cu zi.

Factor de formă compact, provocări complicate

De ani de zile, ne confruntăm cu o alegere falsă - fie căști de realitate virtuală și mixtă care permit experiențe profunde și imersive într-un factor de formă voluminos, fie ochelari care sunt ideali pentru utilizare pe tot parcursul zilei, dar care nu oferă aplicații și experiențe vizuale bogate din cauza lipsei unui ecran mare și a puterii de calcul corespunzătoare.

Dar noi vrem totul, fără compromisuri. De ani de zile, lucrăm din greu pentru a lua experiențele spațiale incredibile oferite de căștile VR și MR și pentru a miniaturiza tehnologia necesară pentru a oferi aceste experiențe într-o pereche de ochelari ușori și eleganți. Realizarea factorului de formă, furnizarea de afișaje holografice, dezvoltarea de experiențe AR convingătoare și crearea de noi paradigme de interacțiune om-computer (HCI) - și toate acestea într-un singur produs coerent - reprezintă una dintre cele mai dificile provocări cu care s-a confruntat vreodată industria noastră. A fost o provocare atât de mare încât am crezut că avem mai puțin de 10% șanse de a reuși.

Până acum.

Un ecran revoluționar într-un factor de formă de neegalat

La aproximativ 70 de grade, Orion are cel mai mare câmp vizual în cel mai mic factor de formă al ochelarilor AR de până acum. Acest câmp de vizualizare deblochează cazuri de utilizare cu adevărat imersive pentru Orion, de la ferestre multitasking și divertisment pe ecran mare la holograme de oameni în mărime naturală - tot conținutul digital care se poate îmbina perfect cu vizualizarea lumii fizice.

Pentru Orion, câmpul vizual a fost Sfântul Graal. Ne ciocneam de legile fizicii și trebuia să îndoim fasciculele de lumină în moduri în care acestea nu se îndoaie în mod natural - și trebuia să facem acest lucru într-un pachet de putere măsurat în miliwați.

În loc de sticlă, am realizat lentilele din carbură de siliciu-o nouă aplicație pentru ochelarii AR. Carbură de siliciu este incredibil de ușor, nu produce artefacte optice sau lumină vagabondă și are un indice de refracție ridicat - toate proprietățile optice esențiale pentru un câmp vizual mare. Ghidurile de undă în sine au structuri 3D la scară nanometrică foarte complicate și complexe pentru a difracta sau răspândi lumina în mod necesar pentru a obține acest câmp vizual. Iar proiectoarele sunt uLED - un nou tip de tehnologie de afișare care este foarte mică și extrem de eficientă energetic.

Orion este fără îndoială o pereche de ochelari, atât la aspect, cât și la atingere, cu lentile transparente. Spre deosebire de căștile MR sau de alți ochelari AR din prezent, puteți vedea în continuare ochii și expresiile reale ale celorlalți, astfel încât să puteți fi prezenți și să împărtășiți experiența cu persoanele din jurul dvs. Au fost necesare zeci de inovații pentru a reduce designul industrial la o formă de ochelari contemporană, pe care să vă simțiți confortabil să o purtați în fiecare zi. Orion este o realizare a miniaturizării - componentele sunt împachetate până la o fracțiune de milimetru. Și am reușit să încorporăm șapte camere și senzori minusculi în marginile ramei.

A trebuit să menținem precizia optică la o zecime din grosimea unui fir de păr uman. Iar sistemul poate detecta mișcări minuscule - cum ar fi extinderea sau contracția cadrelor la diferite temperaturi ale camerei - și apoi corectează digital alinierea optică necesară, totul în câteva milisecunde. Am realizat cadrele din magneziu - același material utilizat la mașinile de curse F1 și la navele spațiale - deoarece este ușor, dar rigid, astfel încât menține elementele optice aliniate și conduce eficient căldura.

Încălzire și răcire

Odată ce am spart afișajul (fără a face un joc de cuvinte) și am depășit problemele de fizică, a trebuit să facem față provocării reprezentate de calculul foarte puternic, alături de consumul foarte redus de energie și de nevoia de disipare a căldurii. Spre deosebire de căștile MR de astăzi, nu poți introduce un ventilator într-o pereche de ochelari. Așa că a trebuit să fim creativi. Multe dintre materialele utilizate pentru răcirea Orion sunt similare cu cele folosite de NASA pentru răcirea sateliților din spațiu.

Am construit siliciu personalizat extrem de specializat care este extrem de eficient din punct de vedere energetic și optimizat pentru algoritmii noștri de inteligență artificială, percepție artificială și grafică. Am construit mai multe cipuri personalizate și zeci de blocuri IP de siliciu foarte personalizate în interiorul acestor cipuri. Acest lucru ne permite să luăm algoritmii necesari pentru urmărirea mâinii și a ochilor, precum și tehnologia de localizare și cartografiere simultană (SLAM), care în mod normal necesită sute de miliwați de putere - și astfel generează o cantitate corespunzătoare de căldură - și să o reducem la doar câteva zeci de miliwați.

Și da, siliciul personalizat continuă să joace un rol esențial în dezvoltarea produselor la Reality Labs, în ciuda a ceea ce ați putut citi în altă parte. 😎

EMG fără efort

Fiecare nouă platformă de calcul aduce cu sine o schimbare de paradigmă în modul în care interacționăm cu dispozitivele noastre. Inventarea mouse-ului a contribuit la deschiderea drumului pentru interfețele grafice cu utilizatorul (GUI) care domină lumea noastră de astăzi, iar smartphone-urile nu au început să câștige cu adevărat teren până la apariția ecranului tactil. Aceeași regulă este valabilă și pentru dispozitivele portabile.

Am vorbit despre munca noastră cu electromiografie, sau EMG, timp de ani de zile, motivat de convingerea noastră că introducerea datelor pentru ochelarii AR trebuie să fie rapidă, convenabilă, fiabilă, subtilă și acceptabilă din punct de vedere social. Iar acum, această muncă este pregătită pentru prime time.

Sistemul de intrare și interacțiune Orion combină perfect vocea, privirea și urmărirea mâinii cu o brățară EMG care vă permite să glisați, să faceți clic și să derulați cu ușurință.

Funcționează și se simte ca prin magie. Imaginați-vă făcând o fotografie în timpul alergării de dimineață cu o simplă atingere a vârfurilor degetelor sau navigând prin meniuri cu mișcări abia perceptibile ale mâinilor. Brățara noastră combină un material textil de înaltă performanță cu senzori EMG încorporați pentru a detecta semnalele electrice generate chiar și de cele mai mici mișcări musculare. Un procesor ML de pe dispozitiv interpretează apoi aceste semnale EMG pentru a produce evenimente de intrare care sunt transmise fără fir către ochelari. Sistemul se adaptează la dumneavoastră, astfel încât devine din ce în ce mai bun și mai capabil să recunoască cele mai subtile gesturi în timp. Și astăzi, vă împărtășim mai multe despre sprijinul nostru pentru cercetarea externă axată pe extinderea potențialului de echitate și accesibilitate al brățărilor EMG.

Faceți cunoștință cu Wireless Compute Puck

Ochelarii cu adevărat AR trebuie să fie wireless și, de asemenea, mici.Așa că am construit un puc de calcul fără fir pentru Orion. Acesta preia o parte din sarcina ochelarilor, permițând o durată de viață mai lungă a bateriei și un factor de formă mai bun, cu latență scăzută.

Ochelarii rulează toți algoritmii de urmărire a mâinii, urmărire a ochilor, SLAM și grafica specializată de blocare a lumii AR, în timp ce logica aplicației rulează pe puc pentru a păstra ochelarii cât mai ușori și mai compacți posibil.

Pucul are procesoare duble, inclusiv unul proiectat la comandă chiar aici, la Meta, și oferă puterea de calcul necesară pentru redarea grafică cu latență redusă, inteligență artificială și unele percepții suplimentare ale mașinii.

Și pentru că este mic și elegant, puteți arunca cu ușurință pucul într-o geantă sau în buzunar și să vă vedeți de treabă, fără obligații.

Experiențe AR

Bineînțeles, ca orice piesă hardware, este la fel de bună ca lucrurile pe care le puteți faceți cu el. Și, deși suntem încă la început, experiențele oferite de Orion sunt o idee interesantă a ceea ce va urma.

https://youtube.com/watch?v=HkdSv3QPhNw%3F%26controls%3D0%3Fautoplay%3D0%26color%3Dwhite%26cc_lang_pref%3Den%26cc_load_policy%3D0%26enablejsapi%3D1%26frameborder%3D0%26hl%3Den%26rel%3D0%26origin%3Dhttps%253A%252F%252Fwww.meta.com

Avem asistentul nostru inteligent, Meta AI, care rulează pe Orion. Acesta înțelege la ce vă uitați în lumea fizică și vă poate ajuta cu vizualizări utile. Orion utilizează același model Llama care alimentează astăzi experiențele AI care rulează pe ochelarii inteligenți Ray-Ban Meta, plus modele de cercetare personalizate pentru a demonstra potențialele cazuri de utilizare pentru dezvoltarea viitoare a dispozitivelor portabile.

Puteți efectua un apel video hands-free în timpul deplasării pentru a vă pune la curent cu prietenii și familia în timp real și puteți rămâne conectat pe WhatsApp și Messenger pentru a vizualiza și trimite mesaje. Nu trebuie să scoateți telefonul, să îl deblocați, să găsiți aplicația potrivită și să îi spuneți prietenului dvs. că întârziați la cină - puteți face toate acestea prin intermediul ochelarilor dvs.

https://youtube.com/watch?v=el7lUVvu8Bo%3F%26controls%3D0%3Fautoplay%3D0%26color%3Dwhite%26cc_lang_pref%3Den%26cc_load_policy%3D0%26enablejsapi%3D1%26frameborder%3D0%26hl%3Den%26rel%3D0%26origin%3Dhttps%253A%252F%252Fwww.meta.com

Puteți juca jocuri AR partajate cu familia din cealaltă parte a țării sau cu prietenul dvs. de pe cealaltă parte a canapelei. Iar ecranul mare al Orion vă permite să efectuați mai multe activități în același timp, cu mai multe ferestre, pentru a face lucruri fără a fi nevoit să vă plimbați cu laptopul.

Experiențele disponibile astăzi pe Orion vor ajuta la trasarea foii de parcurs pentru linia noastră de ochelari AR pentru consumatori în viitor. Echipele noastre vor continua să itereze și să construiască noi experiențe sociale imersive, alături de partenerii noștri dezvoltatori, și abia așteptăm să împărtășim ce urmează.

Un prototip de produs cu scop precis

Deși Orion nu va ajunge în mâinile consumatorilor, nu faceți nicio greșeală: Aceasta este nu un prototip de cercetare. Este cel mai rafinat prototip de produs pe care l-am dezvoltat vreodată și este cu adevărat reprezentativ pentru ceva care ar putea livrați consumatorilor. În loc să ne grăbim să îl punem pe rafturi, am decis să ne concentrăm mai întâi pe dezvoltarea internă, ceea ce înseamnă că putem continua să construim rapid și să depășim limitele tehnologiei și ale experiențelor.

Și asta înseamnă că vom ajunge mai repede la un produs de consum și mai bun.

Ce urmează

Două obstacole majore au stat mult timp în calea ochelarilor AR de larg consum: progresele tehnologice necesare pentru a oferi un ecran mare într-un format compact de ochelari și necesitatea unor experiențe AR utile și convingătoare care să poată rula pe acești ochelari. Orion reprezintă o piatră de hotar uriașă, oferind pentru prima dată adevărate experiențe AR care rulează pe un hardware rezonabil de elegant.

Acum că am împărtășit Orion cu lumea, ne concentrăm pe câteva lucruri:

• Reglarea calității afișajului AR pentru a face imaginile și mai clare
• Optimizarea ori de câte ori putem pentru a face factorul de formă și mai mic
• Construirea la scară largă pentru a le face mai accesibile

În următorii câțiva ani, vă puteți aștepta să vedeți noi dispozitive de la noi care se bazează pe eforturile noastre de cercetare și dezvoltare. Și o serie de inovații Orion au fost extinse la produsele noastre de consum actuale, precum și la foaia de parcurs a produselor noastre viitoare. Am optimizat unii dintre algoritmii noștri de percepție spațială, care rulează atât pe Meta Quest 3S și Orion. În timp ce sistemul de intrare prin privire și gesturi subtile a fost proiectat inițial pentru Orion, intenționăm să îl folosim și în produsele viitoare. De asemenea, explorăm utilizarea brățărilor EMG în viitoarele produse de consum.

Orion nu este doar o fereastră spre viitor - este o privire asupra posibilităților foarte reale pe care le avem la îndemână astăzi. L-am construit în căutarea a ceea ce facem cel mai bine: să ajutăm oamenii să se conecteze. De la ochelarii Ray-Ban Meta la Orion, am văzut binele care poate veni din faptul că oamenii pot fi mai prezenți și mai puternici în lumea fizică, chiar și în timp ce beneficiază de toată bogăția adăugată pe care o oferă lumea digitală.

Credem că nu ar trebui să trebuiască să alegeți între cele două. Iar cu următoarea platformă de calcul, nu va trebui să o faceți.

---

Pentru mai multe informații despre Orion, consultați aceste articole de blog:

• Orion's Compute Puck: Povestea din spatele dispozitivului care a contribuit la realizarea ochelarilor noștri AR
• De la zero la unu: modul în care siliciul și cipurile noastre personalizate revoluționează AR
• Clar ca cristalul: Ghidurile noastre de undă din carbură de siliciu și calea către FoV-ul mare al Orion

Anul trecut, la Connect, am dezvăluit Orion-prima noastră pereche adevărată de ochelari AR. Punctul culminant al activitatea noastră de la Reality Labs din ultimul deceniuOrion combină avantajele unui ecran holografic de mari dimensiuni și ale asistenței AI personalizate într-o formă confortabilă, care poate fi purtată toată ziua. A atras atenția pentru câmpul său vizual de top, ghidurile de undă din carbură de siliciu, proiectoarele uLED și multe altele. Dar astăzi, ne îndreptăm atenția către un erou necunoscut al Orion: pucul de calcul.

Conceput pentru a se strecura ușor în buzunar sau în geantă, astfel încât să îl puteți purta aproape oriunde în timpul zilei, pucul descarcă puterea de procesare a Orion pentru a rula logica aplicației și pentru a permite o formă mai convingătoare și mai mică pentru ochelari. Acesta se conectează fără fir la ochelari și la brățara EMG pentru o experiență fără întreruperi.

Setați-l și uitați-l, nu?

Dar povestea din spate a pucului - chiar și ca prototip - este implicată, cu un arc dramatic pe care nu l-ai ghici niciodată după aspectul său.

"Când construiești așa ceva, începi să intri în limitele fizicii", explică Rahul Prasad, director de gestionare a produselor. "În ultimii 50 de ani, Legea lui Moore a făcut ca totul să fie mai mic, mai rapid și cu o putere mai mică. Problema este că acum începi să te lovești de limite privind cantitatea de căldură pe care o poți disipa, cantitatea de baterie pe care o poți comprima și cantitatea de performanță a antenei pe care o poți introduce într-un obiect de o anumită dimensiune."

În timp ce retrospectiva poate fi 20/20, potențialul pucului nu a fost imediat evident. Când ești primul care construiește ceva, trebuie să explorezi toate posibilitățile, fără să lași nicio piatră neîntoarsă. Cum construiești ceva pe care unii l-ar putea considera mai degrabă un accesoriu nedorit decât o parte esențială a pachetului?

"Știam că pucul era un dispozitiv suplimentar pe care le ceream oamenilor să îl poarte cu ei", notează Jared Van Cleave, Product Design Engineering Manager, "așa că am analizat cum să transformăm bug-ul într-o caracteristică."

În cele din urmă, această etică a dat roade, deoarece pucul stoarce o mulțime de computere (și chiar mai mult siliciu personalizat proiectat de Meta pentru AI și percepția mașinilor) într-o dimensiune mică. Acest lucru a fost esențial pentru a ajuta Orion să treacă de la domeniul science fiction la realitate.

"Dacă nu ați avea pucul, nu ați putea avea experiențele pe care Orion le oferă în factorul său de formă - punct", spune Prasad. "O experiență AR bună necesită performanțe foarte ridicate: rate ridicate ale cadrelor, latență extrem de scăzută, gestionare fină a rețelelor wireless și a energiei etc. Puck-ul și ochelarii trebuie să fie coproiectați pentru a lucra împreună foarte strâns, nu doar la nivelul aplicației, ci și la nivelul sistemului de operare, firmware-ului și hardware-ului. Și chiar dacă s-ar coproiecta un smartphone pentru a funcționa cu ochelari AR, cerințele de performanță ridicate ar consuma bateria telefonului și ar absorbi capacitatea de calcul din cazurile de utilizare a telefonului. Pe de altă parte, pucul are propria sa baterie de mare capacitate, SoC de înaltă performanță și un co-procesor AI personalizat Meta-designed optimizat pentru Orion."

Desigur, pucul nu a fost proiectat peste noapte. A necesitat ani de muncă iterativă.

"Nu știam cum ar fi vrut oamenii să interacționeze cu Orion din punct de vedere al intrărilor - nu exista nimic din ceea ce puteam elabora pe piață", spune managerul de produs Matt Resman. "Dacă vă uitați la primele noastre prototipuri de ochelari, acestea erau niște căști masive care cântăreau trei sau patru kilograme. Iar atunci când încerci să construiești un produs, este foarte dificil să înțelegi experiența utilizatorului dacă nu ai factorul de formă potrivit. Cu pucul, am putut să realizăm prototipuri foarte rapid pentru a începe să înțelegem cum îl vor folosi oamenii."

Numit Omega în primele zile, pucul a fost inițial imaginat de ceea ce era atunci Oculus Research ca o bandă în formă de Ω care ar merge în jurul gâtului utilizatorului și ar fi conectată la ochelari...

... până când unele noi inovații ale echipei wireless Reality Labs, printre altele, le-au permis să taie cablul. Acest lucru a permis un factor de formă mai portabil sau de buzunar / în geantă, care a deschis o mulțime de posibilități.

"La acel moment, apelarea realității augmentate era încă un caz de utilizare primar", explică Van Cleave. "Pucul era locul în care erau ancorate videoclipurile holografice. Îl puneai pe masă, cu bancul de senzori îndreptat spre tine, îți făcea o imagine și apoi proiecta persoana cu care vorbeai de pe suprafața pucului pentru apel."

"Orion este despre conectarea oamenilor și despre a ne aduce împreună", spune Resman. "Unul dintre conceptele inițiale pentru puc a fost să ajute la crearea acestui sentiment de prezență cu alți oameni și să permită această formă mai bogată de comunicare."

"Nu seamănă cu nimic din ceea ce ați văzut vreodată - dispozitivul are potențialul de a crea interacțiuni cu adevărat amuzante și unice", adaugă designerul industrial Emron Henry. "Experiența utilizatorului seamănă puțin cu eliberarea unui duh dintr-o sticlă, în care hologramele ies fără probleme din dispozitiv și se dizolvă înapoi în el."

După cum probabil vă puteți da seama până acum, pucul are mai mult potențial decât ceea ce a devenit în cele din urmă o caracteristică. În plus față de senzorii și camerele care ar fi fost utilizate pentru apelurile AR, pucul are senzori haptici și senzori 6DOF care i-ar putea permite să fie utilizat ca un controler urmărit pentru a selecta și manipula obiecte virtuale și a juca jocuri AR. Echipa a explorat, de asemenea, intrările tactile capacitive și de forță, astfel încât pucul să poată servi ca un gamepad atunci când este ținut atât în modul portret, cât și în modul peisaj.

"Vorbeam despre nevoia de a purta acest lucru în plus", spune Van Cleave. "Cum îl putem face mai util? A existat un întreg curent de lucru în jurul acestui subiect. Iar la un moment dat, ipoteza era că jocurile AR vor fi acest caz de utilizare mortal."

La început, am știut că trebuie să explorăm posibilitățile pucului de a face lucruri pe care telefoanele nu le pot face. În cele din urmă, am ajuns să folosim privirea ochilor, EMG și urmărirea mâinii pentru jocurile AR, cum ar fi Stargazer și Pong, dar am creat diverse demo-uri și jocuri care foloseau pucul ca un controler în primele zile ale Orion.

0:00 / 0:00

0:00 / 0:00

0:00 / 0:00

Explorări redate ale pucului ca un controler 6DOF pentru jocuri AR precum Pong.

"Pentru că nu este un telefon, asta ne-a oferit multă libertate de design", adaugă Prasad. "Poate fi mai gros, îl pot face mai rotunjit, astfel încât să se potrivească confortabil în mână ca un controler. Este destul de incredibil că pucul este de fapt mai mic decât un telefon obișnuit, dar este mai puternic decât un telefon, deoarece are un co-procesor Meta-designed pentru inteligență artificială și percepția mașinilor."

Echipa a analizat modul în care un joc AR de calitate ar putea fi diferit de un joc MR sau de un joc pe consolă. Aceasta a însemnat explorarea diferitelor posibilități pentru un controler de joc AR, inclusiv joystick-uri, dispunerea fizică a butoanelor, butoane de declanșare și altele.

"Nu am ajuns să construim niciunul dintre acele lucruri", notează Van Cleave. "Am creat prototipuri, dar nu am făcut niciodată o construcție completă. Am vrut să păstrăm lucrurile simple. Am vrut să facem aceste interfețe moi, dar nu să facem butoane fizice, mecanice."

Și, deși senzorii și haptica nu au fost activate în prototipul produsului finit, acestea au servit o funcție integrală în timpul dezvoltării, permițând echipelor să depună erori prin simpla atingere a părții superioare a dispozitivului de câteva ori pentru a declanșa un raport de eroare.

Pe măsură ce inteligența artificială a început să ocupe locul central ca un caz de utilizare cheie, calculul a devenit din ce în ce mai important. În cele din urmă, pucul găzduiește conectivitatea wireless, puterea de calcul și capacitatea bateriei Orion - o realizare tehnică uriașă în sine - toate acestea contribuind la reducerea greutății și a factorului de formă al ochelarilor, disipând în același timp mult mai multă energie termică datorită suprafeței sale.

De-a lungul evoluției sale, un lucru a rămas același: pucul este mai mult decât se vede cu ochiul liber. Adoptarea ideilor neconvenționale a permis echipelor noastre să exploreze, să depășească limitele și să construiască viitorul.

"Definim o categorie care nu prea există încă", remarcă Henry. "Așa cum v-ați aștepta cu cercetarea și dezvoltarea, au existat începuturi și opriri de-a lungul drumului. Cum se vor aștepta utilizatorii să interacționeze cu hologramele? Ar prefera să utilizeze o telecomandă AR sau urmărirea mâinii, privirea ochilor și EMG sunt suficiente pentru a introduce date? Ce se simte intuitiv, fără fricțiune, familiar și util?"

"Mai degrabă decât să privim pucul ca pe o simplă piatră, ne-am întrebat ce altceva am putea oferi pentru a-l diferenția și mai mult de telefoane și pentru a justifica de ce ai vrea să îl porți cu tine", recunoaște Resman. "Puterea sa brută de calcul și designul său practic - care a contribuit la deblocarea unui factor de formă pentru ochelari pe care îl puteți purta în mod realist toată ziua - oferă în cele din urmă suficientă valoare? Sarcina noastră este să ajutăm să răspundem la aceste întrebări."

"La început, ne-am concentrat pe ceea ce putem face noi și nu poate face un telefon", adaugă Van Cleave. "Telefoanele trebuie să aibă ecran, trebuie să aibă o anumită dispunere fizică a butoanelor pe care utilizatorii o așteaptă. Iar noi nu avem aceste constrângeri. Pucul nostru de calcul poate fi orice vrem noi să fie."

---

Pentru mai multe informații despre Orion, consultați aceste articole de blog:

• Clar ca cristalul: Ghidurile noastre de undă din carbură de siliciu și calea către FoV-ul mare al Orion
• De la zero la unu: modul în care siliciul și cipurile noastre personalizate revoluționează AR

TL;DR:

• Astăzi la Conectare, Mark Zuckerberg a dezvăluit Orion - prima noastră pereche de ochelari AR adevărați, cu nume de cod anterior Proiectul Nazare.
• Cu un câmp vizual lider în industrie, lentile din carbură de siliciuOrion este prototipul nostru de produs cel mai avansat și cel mai rafinat de până acum, cu ghiduri de undă complexe, proiectoare uLED și multe altele.
• În prezent, continuăm optimizarea produselor și reducerea costurilor în timp ce ne îndreptăm către un dispozitiv de consum scalabil care va revoluționa modul în care oamenii interacționează cu lumea.

---

"Construim ochelari AR."

Cinci cuvinte simple, vorbit acum cinci ani. Împreună cu ei, am plantat un steag pe viziunea noastră despre un viitor în care nu mai trebuie să facem falsa alegere între o lume a informațiilor la îndemâna noastră și lumea fizică din jurul nostru.

Și acum, cinci ani mai târziu, alte cinci cuvinte care vor schimba din nou jocul:

Am construit ochelari AR.

https://youtube.com/watch?v=2CJsnyS8u3c%3Fsi%3DTr77gOKEq3PnA7-k%26controls%3D0%3Fautoplay%3D0%26color%3Dwhite%26cc_lang_pref%3Den%26cc_load_policy%3D0%26enablejsapi%3D1%26frameborder%3D0%26hl%3Den%26rel%3D0%26origin%3Dhttps%253A%252F%252Fwww.meta.com

La Meta, misiunea noastră este simplă: să oferim oamenilor puterea de a construi comunități și de a aduce lumea mai aproape. Iar la Reality Labs, construim instrumente care îi ajută pe oameni să se simtă conectați oricând, oriunde. De aceea, ne străduim să construim următoarea platformă de calcul care pune oamenii în centru, astfel încât aceștia să poată fi mai prezenți, mai conectați și mai puternici în lume.

Ochelari Ray-Ban Meta au demonstrat puterea de a oferi oamenilor acces hands-free la părțile cheie ale vieții lor digitale din viața lor fizică. Putem vorbi cu un asistent AI inteligent, ne putem conecta cu prietenii și putem surprinde momentele care contează - toate acestea fără a fi nevoiți să scoatem vreodată telefonul. Acești ochelari eleganți se integrează perfect în viața noastră de zi cu zi, iar oamenii îi adoră.

Cu toate acestea, în timp ce Ray-Ban Meta a deschis o categorie cu totul nouă de ochelari fără afișaj supraîncărcați de AI, industria XR a visat mult timp la ochelari AR adevărați - un produs care combină beneficiile unui afișaj holografic mare și asistență AI personalizată într-un factor de formă confortabil, elegant, purtabil toată ziua.

Iar astăzi, am împins acest vis mai aproape de realitate odată cu dezvăluirea Orioncare, în opinia noastră, este cea mai avansată pereche de ochelari AR fabricată vreodată. De fapt, ar putea fi cel mai provocator dispozitiv electronic de consum produs de la smartphone. Orion este rezultatul unor invenții revoluționare în aproape fiecare domeniu al informaticii moderne - bazându-se pe munca pe care am făcut-o la Reality Labs în ultimul deceniu. Este dotat cu tehnologii complet noi, inclusiv cel mai avansat ecran AR asamblat vreodată și silicon personalizat care permite rularea unor experiențe AR puternice pe o pereche de ochelari folosind o fracțiune din puterea și greutatea unei căști MR.

Sistemul de intrare Orion combină perfect vocea, privirea și urmărirea mâinii cu un Brățară EMG care vă permite să glisați, să faceți clic și să derulați în timp ce brațul dvs. se odihnește confortabil lângă dvs., permițându-vă să rămâneți prezent în lume și cu oamenii din jurul dvs. în timp ce interacționați cu conținut digital bogat.

Începând de astăzi la Connect și continuând pe tot parcursul anului, vom deschide accesul la prototipul nostru de produs Orion pentru angajații Meta și audiențe externe selectate, astfel încât echipa noastră de dezvoltare să poată învăța, itera și construi spre linia noastră de produse de ochelari AR pentru consumatori, pe care intenționăm să începem să o livrăm în viitorul apropiat.

De ce ochelari AR?

Există trei motive principale pentru care ochelarii AR sunt esențiali pentru deblocarea următorului mare salt în informatica orientată către om.

1. Acestea permit experiențe digitale care nu sunt constrânse de limitele unui ecran de smartphone. Cu ajutorul ecranelor holografice mari, puteți folosi lumea fizică drept pânză, plasând conținut și experiențe 2D și 3D oriunde doriți.
2. Acestea integrează perfect inteligența artificială contextuală care poate detecta și înțelege lumea din jurul dumneavoastră pentru a anticipa și a răspunde proactiv nevoilor dumneavoastră.
3. Sunt ușoare și ideale pentru utilizare atât în interior, cât și în exterior - și permit oamenilor să vadă fața reală, ochii reali și expresiile reale ale celorlalți.

Aceasta este steaua nordică spre care s-a îndreptat industria noastră: un produs care combină confortul și caracterul imediat al dispozitivelor portabile cu un ecran mare, o lățime de bandă mare și inteligență artificială contextualizată într-un factor de formă pe care oamenii se simt confortabil să-l poarte în viața de zi cu zi.

Factor de formă compact, provocări complicate

De ani de zile, ne confruntăm cu o alegere falsă - fie căști de realitate virtuală și mixtă care permit experiențe profunde și imersive într-un factor de formă voluminos, fie ochelari care sunt ideali pentru utilizare pe tot parcursul zilei, dar care nu oferă aplicații și experiențe vizuale bogate din cauza lipsei unui ecran mare și a puterii de calcul corespunzătoare.

Dar noi vrem totul, fără compromisuri. De ani de zile, lucrăm din greu pentru a lua experiențele spațiale incredibile oferite de căștile VR și MR și pentru a miniaturiza tehnologia necesară pentru a oferi aceste experiențe într-o pereche de ochelari ușori și eleganți. Realizarea factorului de formă, furnizarea de afișaje holografice, dezvoltarea de experiențe AR convingătoare și crearea de noi paradigme de interacțiune om-computer (HCI) - și toate acestea într-un singur produs coerent - reprezintă una dintre cele mai dificile provocări cu care s-a confruntat vreodată industria noastră. A fost o provocare atât de mare încât am crezut că avem mai puțin de 10% șanse de a reuși.

Până acum.

Un ecran revoluționar într-un factor de formă de neegalat

La aproximativ 70 de grade, Orion are cel mai mare câmp vizual în cel mai mic factor de formă al ochelarilor AR de până acum. Acest câmp de vizualizare deblochează cazuri de utilizare cu adevărat imersive pentru Orion, de la ferestre multitasking și divertisment pe ecran mare la holograme de oameni în mărime naturală - tot conținutul digital care se poate îmbina perfect cu vizualizarea lumii fizice.

Pentru Orion, câmpul vizual a fost Sfântul Graal. Ne ciocneam de legile fizicii și trebuia să îndoim fasciculele de lumină în moduri în care acestea nu se îndoaie în mod natural - și trebuia să facem acest lucru într-un pachet de putere măsurat în miliwați.

În loc de sticlă, am realizat lentilele din carbură de siliciu-o nouă aplicație pentru ochelarii AR. Carbură de siliciu este incredibil de ușor, nu produce artefacte optice sau lumină vagabondă și are un indice de refracție ridicat - toate proprietățile optice esențiale pentru un câmp vizual mare. Ghidurile de undă în sine au structuri 3D la scară nanometrică foarte complicate și complexe pentru a difracta sau răspândi lumina în mod necesar pentru a obține acest câmp vizual. Iar proiectoarele sunt uLED - un nou tip de tehnologie de afișare care este foarte mică și extrem de eficientă energetic.

Orion este fără îndoială o pereche de ochelari, atât la aspect, cât și la atingere, cu lentile transparente. Spre deosebire de căștile MR sau de alți ochelari AR din prezent, puteți vedea în continuare ochii și expresiile reale ale celorlalți, astfel încât să puteți fi prezenți și să împărtășiți experiența cu persoanele din jurul dvs. Au fost necesare zeci de inovații pentru a reduce designul industrial la o formă de ochelari contemporană, pe care să vă simțiți confortabil să o purtați în fiecare zi. Orion este o realizare a miniaturizării - componentele sunt împachetate până la o fracțiune de milimetru. Și am reușit să încorporăm șapte camere și senzori minusculi în marginile ramei.

A trebuit să menținem precizia optică la o zecime din grosimea unui fir de păr uman. Iar sistemul poate detecta mișcări minuscule - cum ar fi extinderea sau contracția cadrelor la diferite temperaturi ale camerei - și apoi corectează digital alinierea optică necesară, totul în câteva milisecunde. Am realizat cadrele din magneziu - același material utilizat la mașinile de curse F1 și la navele spațiale - deoarece este ușor, dar rigid, astfel încât menține elementele optice aliniate și conduce eficient căldura.

Încălzire și răcire

Odată ce am spart afișajul (fără a face un joc de cuvinte) și am depășit problemele de fizică, a trebuit să facem față provocării reprezentate de calculul foarte puternic, alături de consumul foarte redus de energie și de nevoia de disipare a căldurii. Spre deosebire de căștile MR de astăzi, nu poți introduce un ventilator într-o pereche de ochelari. Așa că a trebuit să fim creativi. Multe dintre materialele utilizate pentru răcirea Orion sunt similare cu cele folosite de NASA pentru răcirea sateliților din spațiu.

Am construit siliciu personalizat extrem de specializat care este extrem de eficient din punct de vedere energetic și optimizat pentru algoritmii noștri de inteligență artificială, percepție artificială și grafică. Am construit mai multe cipuri personalizate și zeci de blocuri IP de siliciu foarte personalizate în interiorul acestor cipuri. Acest lucru ne permite să luăm algoritmii necesari pentru urmărirea mâinii și a ochilor, precum și tehnologia de localizare și cartografiere simultană (SLAM), care în mod normal necesită sute de miliwați de putere - și astfel generează o cantitate corespunzătoare de căldură - și să o reducem la doar câteva zeci de miliwați.

Și da, siliciul personalizat continuă să joace un rol esențial în dezvoltarea produselor la Reality Labs, în ciuda a ceea ce ați putut citi în altă parte. 😎

EMG fără efort

Fiecare nouă platformă de calcul aduce cu sine o schimbare de paradigmă în modul în care interacționăm cu dispozitivele noastre. Inventarea mouse-ului a contribuit la deschiderea drumului pentru interfețele grafice cu utilizatorul (GUI) care domină lumea noastră de astăzi, iar smartphone-urile nu au început să câștige cu adevărat teren până la apariția ecranului tactil. Aceeași regulă este valabilă și pentru dispozitivele portabile.

Am vorbit despre munca noastră cu electromiografie, sau EMG, timp de ani de zile, motivat de convingerea noastră că introducerea datelor pentru ochelarii AR trebuie să fie rapidă, convenabilă, fiabilă, subtilă și acceptabilă din punct de vedere social. Iar acum, această muncă este pregătită pentru prime time.

Sistemul de intrare și interacțiune Orion combină perfect vocea, privirea și urmărirea mâinii cu o brățară EMG care vă permite să glisați, să faceți clic și să derulați cu ușurință.

Funcționează și se simte ca prin magie. Imaginați-vă făcând o fotografie în timpul alergării de dimineață cu o simplă atingere a vârfurilor degetelor sau navigând prin meniuri cu mișcări abia perceptibile ale mâinilor. Brățara noastră combină un material textil de înaltă performanță cu senzori EMG încorporați pentru a detecta semnalele electrice generate chiar și de cele mai mici mișcări musculare. Un procesor ML de pe dispozitiv interpretează apoi aceste semnale EMG pentru a produce evenimente de intrare care sunt transmise fără fir către ochelari. Sistemul se adaptează la dumneavoastră, astfel încât devine din ce în ce mai bun și mai capabil să recunoască cele mai subtile gesturi în timp. Și astăzi, vă împărtășim mai multe despre sprijinul nostru pentru cercetarea externă axată pe extinderea potențialului de echitate și accesibilitate al brățărilor EMG.

Faceți cunoștință cu Wireless Compute Puck

Ochelarii cu adevărat AR trebuie să fie wireless și, de asemenea, mici.Așa că am construit un puc de calcul fără fir pentru Orion. Acesta preia o parte din sarcina ochelarilor, permițând o durată de viață mai lungă a bateriei și un factor de formă mai bun, cu latență scăzută.

Ochelarii rulează toți algoritmii de urmărire a mâinii, urmărire a ochilor, SLAM și grafica specializată de blocare a lumii AR, în timp ce logica aplicației rulează pe puc pentru a păstra ochelarii cât mai ușori și mai compacți posibil.

Pucul are procesoare duble, inclusiv unul proiectat la comandă chiar aici, la Meta, și oferă puterea de calcul necesară pentru redarea grafică cu latență redusă, inteligență artificială și unele percepții suplimentare ale mașinii.

Și pentru că este mic și elegant, puteți arunca cu ușurință pucul într-o geantă sau în buzunar și să vă vedeți de treabă, fără obligații.

Experiențe AR

Bineînțeles, ca orice piesă hardware, este la fel de bună ca lucrurile pe care le puteți faceți cu el. Și, deși suntem încă la început, experiențele oferite de Orion sunt o idee interesantă a ceea ce va urma.

https://youtube.com/watch?v=HkdSv3QPhNw%3F%26controls%3D0%3Fautoplay%3D0%26color%3Dwhite%26cc_lang_pref%3Den%26cc_load_policy%3D0%26enablejsapi%3D1%26frameborder%3D0%26hl%3Den%26rel%3D0%26origin%3Dhttps%253A%252F%252Fwww.meta.com

Avem asistentul nostru inteligent, Meta AI, care rulează pe Orion. Acesta înțelege la ce vă uitați în lumea fizică și vă poate ajuta cu vizualizări utile. Orion utilizează același model Llama care alimentează astăzi experiențele AI care rulează pe ochelarii inteligenți Ray-Ban Meta, plus modele de cercetare personalizate pentru a demonstra potențialele cazuri de utilizare pentru dezvoltarea viitoare a dispozitivelor portabile.

Puteți efectua un apel video hands-free în timpul deplasării pentru a vă pune la curent cu prietenii și familia în timp real și puteți rămâne conectat pe WhatsApp și Messenger pentru a vizualiza și trimite mesaje. Nu trebuie să scoateți telefonul, să îl deblocați, să găsiți aplicația potrivită și să îi spuneți prietenului dvs. că întârziați la cină - puteți face toate acestea prin intermediul ochelarilor dvs.

https://youtube.com/watch?v=el7lUVvu8Bo%3F%26controls%3D0%3Fautoplay%3D0%26color%3Dwhite%26cc_lang_pref%3Den%26cc_load_policy%3D0%26enablejsapi%3D1%26frameborder%3D0%26hl%3Den%26rel%3D0%26origin%3Dhttps%253A%252F%252Fwww.meta.com

Puteți juca jocuri AR partajate cu familia din cealaltă parte a țării sau cu prietenul dvs. de pe cealaltă parte a canapelei. Iar ecranul mare al Orion vă permite să efectuați mai multe activități în același timp, cu mai multe ferestre, pentru a face lucruri fără a fi nevoit să vă plimbați cu laptopul.

Experiențele disponibile astăzi pe Orion vor ajuta la trasarea foii de parcurs pentru linia noastră de ochelari AR pentru consumatori în viitor. Echipele noastre vor continua să itereze și să construiască noi experiențe sociale imersive, alături de partenerii noștri dezvoltatori, și abia așteptăm să împărtășim ce urmează.

Un prototip de produs cu scop precis

Deși Orion nu va ajunge în mâinile consumatorilor, nu faceți nicio greșeală: Aceasta este nu un prototip de cercetare. Este cel mai rafinat prototip de produs pe care l-am dezvoltat vreodată și este cu adevărat reprezentativ pentru ceva care ar putea livrați consumatorilor. În loc să ne grăbim să îl punem pe rafturi, am decis să ne concentrăm mai întâi pe dezvoltarea internă, ceea ce înseamnă că putem continua să construim rapid și să depășim limitele tehnologiei și ale experiențelor.

Și asta înseamnă că vom ajunge mai repede la un produs de consum și mai bun.

Ce urmează

Două obstacole majore au stat mult timp în calea ochelarilor AR de larg consum: progresele tehnologice necesare pentru a oferi un ecran mare într-un format compact de ochelari și necesitatea unor experiențe AR utile și convingătoare care să poată rula pe acești ochelari. Orion reprezintă o piatră de hotar uriașă, oferind pentru prima dată adevărate experiențe AR care rulează pe un hardware rezonabil de elegant.

Acum că am împărtășit Orion cu lumea, ne concentrăm pe câteva lucruri:

• Reglarea calității afișajului AR pentru a face imaginile și mai clare
• Optimizarea ori de câte ori putem pentru a face factorul de formă și mai mic
• Construirea la scară largă pentru a le face mai accesibile

În următorii câțiva ani, vă puteți aștepta să vedeți noi dispozitive de la noi care se bazează pe eforturile noastre de cercetare și dezvoltare. Și o serie de inovații Orion au fost extinse la produsele noastre de consum actuale, precum și la foaia de parcurs a produselor noastre viitoare. Am optimizat unii dintre algoritmii noștri de percepție spațială, care rulează atât pe Meta Quest 3S și Orion. În timp ce sistemul de intrare prin privire și gesturi subtile a fost proiectat inițial pentru Orion, intenționăm să îl folosim și în produsele viitoare. De asemenea, explorăm utilizarea brățărilor EMG în viitoarele produse de consum.

Orion nu este doar o fereastră spre viitor - este o privire asupra posibilităților foarte reale pe care le avem la îndemână astăzi. L-am construit în căutarea a ceea ce facem cel mai bine: să ajutăm oamenii să se conecteze. De la ochelarii Ray-Ban Meta la Orion, am văzut binele care poate veni din faptul că oamenii pot fi mai prezenți și mai puternici în lumea fizică, chiar și în timp ce beneficiază de toată bogăția adăugată pe care o oferă lumea digitală.

Credem că nu ar trebui să trebuiască să alegeți între cele două. Iar cu următoarea platformă de calcul, nu va trebui să o faceți.

---

Pentru mai multe informații despre Orion, consultați aceste articole de blog:

• Orion's Compute Puck: Povestea din spatele dispozitivului care a contribuit la realizarea ochelarilor noștri AR
• De la zero la unu: modul în care siliciul și cipurile noastre personalizate revoluționează AR
• Clar ca cristalul: Ghidurile noastre de undă din carbură de siliciu și calea către FoV-ul mare al Orion