Autor: Kristián Ivančo

In 2017, Reality Labs Chief Scientist Michael Abrash, backed by Meta Founder & CEO Mark Zuckerberg, established a new, secret team within what was then Oculus Research to build the foundation of the next computing platform. Their herculean task: Create a custom silicon solution that could support the unique demands of future augmented reality glasses—a technical feat that required reimagining every component for an all-day wearable AR glasses form factor that simply didn’t exist yet.

Unghiul frontal al prototipului ochelarilor Orion AR.

Factor de formă compact, spațiu problematic considerabil

Growing from just a few researchers to hundreds of people on the product side, the custom silicon team was built on the premise that AR glasses couldn’t rely on the silicon available in today’s smartphones. And it’s a premise borne out by the several custom chips inside Orion, our first true AR glasses product prototype.

"Construirea navei pe măsură ce aceasta părăsește portul - exact asta făceam", spune Jeremy Snodgrass, director de strategie pentru tehnologii avansate. "A trebuit să mărim o echipă care era modestă și să construim simultan aceste cipuri. A fost fascinant să văd cum conducerea aducea noi angajați la bord, dezvoltând în același timp o cultură care aprecia agilitatea. Nimic nu era problema altcuiva. Luai o vâslă și începeai să vâslești, chiar dacă nu era exact ceea ce ai fost angajat să faci. A fost o perioadă foarte, foarte interesantă."

"Aproape totul despre Orion a fost nou pentru lume în multe feluri", este de acord directorul tehnic al arhitecturii Display, Mike Yee. "Unele dintre idei au existat, dar nimeni nu și-a asumat proiectul de cercetare pentru a construi efectiv o pereche de ochelari AR care să poată fi purtați toată ziua."

Echipa a trebuit să ofere o experiență AR convingătoare cu un consum de energie cât mai redus posibil. Factorul de formă al ochelarilor nu poate disipa decât o cantitate limitată de căldură și nu poate găzdui decât o capacitate limitată a bateriei. Prin urmare, experiențele pe care ochelarii le pot oferi depind complet de siliciu. Cu alte cuvinte, dacă mențineți constante capacitățile termice și ale bateriei, singura modalitate de a oferi o anumită experiență este de a optimiza siliciul.

“Designing a new architecture for Orion required the team to not only push existing technologies like wireless and displays aggressively but also to take risks on new technologies,” says Director of Product Management Neeraj Choubey. “For instance, the team developed a machine learning (ML) accelerator without a clear use case at the time, driven by the strong conviction that ML would become increasingly important in Meta’s products. On Orion, every ML accelerator is utilized, and in some cases, they’re oversubscribed, serving functions such as eye tracking and hand tracking. Similarly, the team developed custom compression protocols to reduce bandwidth and power consumption as data moved from the compute puck to the display. Developing custom silicon to achieve Orion’s form factor goals required both a tolerance for high ambiguity and meticulous attention to detail to deliver an incredibly complex system architecture.”

"Cea mai mare provocare pe care am avut-o a fost furnizarea de grafică redată cu lumea 3D blocată, împreună cu sunet spațializat care este redat astfel încât pare să emane dintr-un obiect virtual", notează Snodgrass. "A trebuit să încadrăm toate aceste componente electronice în capacitatea termică și spațiul fizic, iar apoi să le facem să funcționeze pe baterie, astfel încât să nu se încingă prea tare. Și a trebuit să facem toate acestea într-un factor de formă real al ochelarilor - nu un vizor mare, așa cum vedeți de obicei în categorie."

"Știam cum să oferim puterea de calcul necesară pentru a da viață viziunii noastre pentru Orion, dar ne-am confruntat cu o sarcină descurajantă: reducerea consumului de energie de 100 de ori", spune Robert Shearer, director de soluții SoC. "Acest lucru ne-a impus să depășim limitele proiectării siliciului, adoptând metodologii din diverse colțuri ale industriei - de la IoT la calculul de înaltă performanță - și inventând noi abordări pentru a acoperi diferențele. Partenerii noștri din industrie au crezut că suntem nebuni, și poate că nu s-au înșelat în totalitate. Dar exact de asta a fost nevoie: de dorința de a contesta înțelepciunea convențională și de a regândi totul. Construirea unui computer care îmbină perfect lumea virtuală și cea fizică necesită o înțelegere profundă a contextului, depășind cu mult ceea ce pot oferi platformele de calcul existente. În esență, am reinventat modul în care computerele interacționează cu oamenii, ceea ce a însemnat reimaginarea modului în care construim siliciu de la zero."

Componente exterioare Orion.

Magia microLED-urilor

Au existat momente în care lucrurile au întârziat sau a apărut o provocare tehnică aparent insurmontabilă, când a fost greu să menținem ritmul și moralul. Dar echipa a fost rezistentă, găsind căi de ocolire a obstacolelor - sau pur și simplu doborându-le.

Să luăm, de exemplu, ecranul lui Orion. Echipa de siliciu a fost responsabilă pentru siliciul din proiectorul ecranului care se află în colțurile ochelarilor.

"Pentru acele proiectoare, a existat o întrebare deschisă cu privire la posibilitatea de a obține microLED-urile într-o matrice cu o eficiență și o luminozitate suficient de ridicate pentru a implementa un afișaj cu câmp vizual larg", spune Snodgrass. "Existau mari îndoieli că am putea - că ar fi posibil în intervalul de timp pe care îl aveam în vedere - deoarece aceasta era o tehnologie foarte incipientă."

"Ne-am dat seama foarte devreme că trebuie să regândim multe dintre paradigmele de dezvoltare a produselor", adaugă Yee. "Cantitatea de lumină de care aveți nevoie pentru a realiza un afișaj utilizabil este mult mai puternică pentru ochelarii AR, deoarece, ca afișaj portabil, concurați cu soarele. Așadar, avem nevoie de niveluri de energie care să rivalizeze cu acesta - sau cel puțin acesta este obiectivul. Nu am ajuns încă acolo, dar acesta este un aspect important. Și asta înseamnă că aveți nevoie de surse de lumină pentru un ecran care sunt capabile de acest lucru și aveți nevoie de circuite care pot controla acest lucru. Și, în același timp, trebuie să îl faci mic".

Siliciu personalizat care conduce µLED-urile Orion.

În timp ce microLED-urile păreau cea mai potrivită sursă de lumină pentru proiectoare, siliciul a contribuit la deblocarea potențialului acestora.

"În cazul ecranelor, vorbim despre înălțimea pixelilor, care reprezintă distanța dintre punctele centrale ale pixelilor adiacenți", explică Yee. "Pentru televizoare, aceste distanțe sunt de sute de microni. În telefon, sunt multe, multe zeci de microni. Iar noi trebuia să reducem aceste distanțe la o singură cifră. Singurul producător de semiconductori cunoscut care putea ajunge acolo era siliciul."

Activitatea a fost complicată de faptul că suprafața din spate a ecranului trebuia să fie o bucată de siliciu și nimeni în lume nu proiectase siliciu pentru microLED-uri.

"La acea vreme, echipele de cercetare care existau reprofilaseră toate afișajele cu cristale lichide pe siliciu pentru a pune microLED-uri", spune Yee. "Nimeni nu proiectase până atunci un backplane pentru microLED-uri. Și ne-am confruntat cu o provocare destul de unică, deoarece este o componentă optică. Trebuie să fie plată. Nu o poți zgâria. Trebuie să aibă toate aceste caracteristici, deoarece atunci când vă uitați prin ghidurile de undă, prin proiectoare, vă uitați literalmente la suprafața superioară a bucății de siliciu."

Echipa de siliciu a dezvoltat o serie complexă de platforme de testare pentru aceste ecrane microLED care au implicat o coordonare strânsă cu furnizorii noștri globali. MicroLED-urile au o amprentă globală, provenind dintr-un anumit loc și fiind apoi transferate într-un alt loc unde au fost puse pe o plachetă. Plăcile au fost apoi expediate pentru a fi tăiate într-o anumită formă, urmate de o călătorie în SUA pentru a fi lipite împreună cu o altă placă, apoi expediate înapoi pe glob pentru ca modulul real să fie construit și testat. A fost un proces extrem de complicat, iar echipa Silicon a dezvoltat vehicule de testare pentru a testa fiecare etapă.

De asemenea, echipa a trebuit să găsească o modalitate de a furniza energie afișajelor microLED în volumul minuscul al colțurilor ochelarilor. Echipa noastră analogică a dezvoltat un cip personalizat de gestionare a energiei care se potrivește în acel volum.

"Livrarea de energie este crucială pentru astfel de dispozitive portabile cu factor de formă mic, unde dimensiunea bateriei este limitată și spațiul este limitat", notează Jihong Ren, director al Analog and Mixed Signal Systems. "Soluția noastră personalizată de circuite integrate de gestionare a alimentării utilizează tehnologii de ultimă oră pentru a optimiza eficiența energetică pentru sarcina noastră specifică de lucru la nivel de sistem, toate acestea încadrându-se în constrângerile de spațiu disponibile. Realizarea acestei soluții optime a necesitat o strânsă colaborare interdisciplinară cu echipele noastre mecanice, electrice, SoC, μLED și termice, asigurând o integrare perfectă a tuturor componentelor și maximizând performanța generală."

"Aceasta a fost o realizare uimitoare nu doar în domeniul ingineriei, ci și al managementului organizațional: reunirea unei echipe, lucrul pe diferite fusuri orare și cu toți acești furnizori diferiți", adaugă Snodgrass. "Într-un fel, gestionarea organizatorică a fost o provocare la fel de mare ca și îndeplinirea specificațiilor tehnice."

"Nu numai că designul este personalizat, dar și întregul proces de fabricație este personalizat", adaugă Yee. "Suntem norocoși să avem niște parteneri minunați în industrie care ne-au ajutat să facem acest lucru posibil. Ei văd potențialul pe termen lung al afișajelor AR ca întreg și, cu siguranță, viziunea Meta în acest sens. Așa că au fost dispuși să colaboreze cu noi pentru a realiza aceste personalizări și optimizări care să permită acest afișaj."

Ochelari Orion AR.

Iterarea întâlnește accelerarea

A existat o buclă de feedback strânsă între echipa de siliciu și mințile strălucite din Reality Labs Research și XR Tech care dezvoltau algoritmi. Cele din urmă echipe furnizau acești algoritmi, pe care primele îi transpuneau în hardware, eliminând costurile generale ale software-ului care rulează un procesor de uz general. Acest lucru însemna că algoritmii ar fi rulat la o putere mai mică, dar însemna, de asemenea, că echipa de siliciu era blocată. Odată ce algoritmii au fost întăriți, aceștia nu mai puteau face modificări.

"Să zicem că XR Tech dezvolta o anumită disciplină algoritmică", explică Ohad Meitav, director pentru arhitectură și algoritmi la Silicon Accelerators. "Ei dețin stiva algoritmică și performanța acesteia. Echipa mea, în colaborare cu ei, ar decide apoi cum să accelereze algoritmul, cum să întărească anumite părți ale algoritmului și cum să îl introducă efectiv în hardware într-un mod care să funcționeze foarte eficient. Apoi, XR Tech își va adapta pachetul software pentru a ține cont de hardware. Este un proces foarte iterativ."

O altă poveste de succes este colaborarea echipei de siliciu cu Reality Labs Research pentru a crea un nou algoritm de reproiectare.

"Aveam nevoie ca algoritmul de reproiectare să suporte o varietate de distorsiuni și corecții diferite", notează arhitectul Silicon Steve Clohset. "Algoritmul dezvoltat de RL-R pe care am ajuns să îl folosim nu este utilizat în calculul general. Și până în prezent, se dovedește a fi un instrument destul de puternic."

Odată ce algoritmii au fost întăriți și hardware-ul a fost optimizat, echipa de introducere a siliciului a testat cipurile personalizate.

"Chipset-ul de siliciu personalizat al Orion este plin de complexitate", spune directorul senior al sistemului și infrastructurii end-to-end, Liping Guo. "Crearea și validarea cipurilor independente și a interoperabilităților între acestea într-o perioadă scurtă de timp reprezintă o provocare incredibilă. Din fericire, operăm într-un mediu integrat pe verticală, în care Reality Labs deține întregul pachet - de la siliciu și firmware de nivel scăzut la sistemul de operare, software și experiențe de nivel superior. Am profitat din plin de acest lucru, lucrând îndeaproape cu partenerii noștri interfuncționali, și am transferat integrarea noastră între stive în etapa de validare a siliciului. Orion a fost proiectul nostru pilot pentru această metodologie - ne-am dezvoltat mușchii shift-left și am creat o bază solidă pentru ca Reality Labs să beneficieze de toate avantajele siliciului personalizat în viitor."

După instalare, a venit timpul să optimizăm pentru software.

"Există un proces iterativ în care se începe cu un pachet software complet neoptimizat, doar pentru ca totul să fie pornit și să funcționeze", spune Snodgrass. "Apoi, unul câte unul, treceți prin subsisteme și începeți să optimizați software-ul pentru acel hardware specific - inclusiv reducerea cantității de memorie pe care o utilizează software-ul. Hardware-ul ar putea fi proiectat frumos, dar nu veți obține eficiența energetică teoretică dacă nu investiți la fel de mult sau mai mult timp pentru ca software-ul să profite pe deplin de hardware. Aceasta este povestea lui Orion: hardware și software optimizate la maxim. Nu lăsați niciun picojoule sau miliwatt în urmă."

Și deși Orion poate fi un prototip, munca depusă pentru acesta are un potențial considerabil de a influența foaia de parcurs a Meta.

"Privim IP-urile de siliciu pe care le construim ca platforme, în sensul că acestea sunt IP-uri valoroase pe care le vom îmbunătăți de la o generație sau de la un produs la altul", adaugă Meitav. "Toți algoritmii de viziune computerizată și grafică nu sunt construiți doar pentru Orion. Ei vor continua să informeze produsele viitoare."

Activitatea noastră în domeniul siliciului implică crearea de soluții noi și, în același timp, colaborarea strânsă cu partenerii. De fapt, influența echipei de siliciu se extinde dincolo de Orion, atât la Ochelari Ray-Ban Meta and Meta Quest headsets today—even though they both use third-party chips. The silicon team regularly shares their work with the mixed reality team, showing what’s possible in terms of power efficiency. The MR team then shares those findings with partners like Qualcomm to help inform future chip designs. And because the silicon team uses the same off-the-shelf digital signal processors (DSPs) as Ray-Ban Meta glasses, they’ve been able to share lessons learned and best practices when implementing and writing code for those DSPs to help improve the audio experiences available on our AI glasses.

And that knowledge sharing goes both ways: The MR team has given the silicon team insights on things like Asynchronous TimeWarp and Application SpaceWarp in production.

"Ceea ce face o persoană în producție este mult mai interesant decât ceva ce am putea face cu un prototip", spune Clohset. "Am încercat să integrăm cât mai mult posibil ceea ce făceau ei cu urzelile."

Ambiguitate < Ambiție

Deoarece Orion a fost cu adevărat zero la unu, echipele implicate au trebuit să se confrunte cu o cantitate exagerată de ambiguitate.

"Cu Orion, nu pot supraestima cât de complicate au devenit lucrurile din cauza ambiguității", spune Clohset. "Când faci un computer, de exemplu, în general ai o idee bună despre cum va fi afișajul. Dar noi nu știam ce va fi ghidul de undă în cele din urmă, așa că a trebuit să eșantionăm diferite ghiduri de undă și să găsim un mecanism care să poată face față celui mai rău scenariu, deoarece nu știam unde vor ateriza lucrurile. O optimizare aici ar concola cu toate aceste alte alegeri și ai ajunge la această matrice cu toate aceste lucruri diferite pe care le aveai ca suport și încercai să le validezi pentru că nu știai unde va ateriza produsul în șase luni."

It’s important to note that Orion isn’t just a pair of AR glasses—it’s a three-part constellation of hardware. A lot of the processing happens on the compute puck, which necessitates a strong connection between it and the glasses. Add the surface EMG wristband into the loop, and the system architecture becomes even more complicated.

"Aceasta a fost o provocare enormă pentru echipele care trebuiau să o rezolve, iar toate acestea funcționează", spune Snodgrass. "A fost o colaborare uimitoare între echipa de siliciu, echipa wireless și echipele de software din întreaga organizație."

Discul de calcul al lui Orion.

"Cu Orion, am construit o întreagă echipă cu o mare diversitate de ingineri, iar aceștia au reușit să proiecteze o conductă nouă", adaugă Clohset. "Este o conductă care gestionează șase grade de libertate de mișcare a obiectelor în spațiul 3D. Aceasta utilizează propriul driver de afișare personalizat. A trebuit să facem corecții cu adevărat unice ale calității imaginii. Și cred că provocarea pentru noi a fost că, deoarece acesta a fost un proiect zero la unu, nu a existat nicio specificație existentă pe care să o ajustăm și să o îmbunătățim. Totul aici este complet nou, așa că am avut latitudinea de a face totul."

Much like the puck has some dormant features hidden beneath the surface, the custom silicon punches above its weight, too. While Orion doesn’t allow the user to take photos with its RGB cameras, the silicon is capable of supporting it, as well as codec avatars. And just as the puck helped unlock a true glasses form factor by offloading much of the compute, Orion’s custom silicon proved a necessary piece of the AR puzzle.

"Pentru a da viață unei experiențe zero la unu precum ochelarii AR, aveți nevoie de siliciu personalizat - stop complet", explică Snodgrass. "În timp, dacă există o piață, atunci furnizorii de siliciu vor dezvolta produse pentru a satisface cererea. Dar pentru zero-la-unu, nu poți lua ceva care există pe raft, care este destinat unui produs diferit și să-l potrivești într-o matriță nouă. Trebuie să investești în ceva personalizat. Iar pentru a da viață acestor experiențe zero-la-unu, aveți nevoie de o colaborare largă între partenerii software, designerii industriali, inginerii mecanici și nu numai."

"Prin eliberarea de modelele mentale tradiționale, am creat ceva cu adevărat remarcabil", adaugă Shearer. "Credem că această platformă de calcul reprezintă viitorul tehnologiei - unul care va revoluționa modul în care trăim, muncim și interacționăm unii cu alții. Suntem încântați să fim în fruntea acestei inovații, depășind limitele a ceea ce este posibil și contribuind la modelarea cursului istoriei."

When we first began giving demos of Orion early this year I was reminded of a line that you hear a lot at Meta—in fact it was even in our first letter to prospective shareholders back in 2012: Code wins arguments. We probably learned as much about this product space from a few months of real-life demos than we did from the years of work it took to make them. There is just no substitute for actually building something, putting it in people’s hands, and learning from how they react to it.

Orion wasn’t our only example of that this year. Our mixed reality hardware and AI glasses have both reached a new level of quality and accessibility. The stability of those platforms allows our software developers to move much faster on everything from operating systems to new AI features. This is how I see the metaverse starting to come into greater focus and why I’m so confident that the coming year will be the most important one in the history of Reality Labs.

2024 a fost anul în care ochelarii cu inteligență artificială au dat lovitura. Când am început să fabricăm ochelari inteligenți în 2021, ne-am gândit că aceștia ar putea fi un prim pas frumos către ochelarii AR pe care doream să îi construim în cele din urmă. În timp ce căștile de realitate mixtă sunt pe cale să devină o platformă de calcul de uz general, la fel ca PC-urile de astăzi, am văzut ochelarii ca fiind evoluția naturală a platformelor de calcul mobile de astăzi. Așa că am vrut să începem să învățăm din lumea reală cât mai curând posibil.

The biggest thing we’ve learned is that glasses are by far the best form factor for a truly AI-native device. In fact they might be the first hardware category to be completely defined by AI from the beginning. For many people, glasses are the place where an AI assistant makes the most sense, especially when it’s a multimodal system that can truly understand the world around you.

We’re right at the beginning of the S-curve for this entire product category, and there are endless opportunities ahead. One of the things I’m most excited about for 2025 is the evolution of AI assistants into tools that don’t just respond to a prompt when you ask for help but can become a proactive helper as you go about your day. At Connect we showed how Live AI on glasses can become more of a real-time participant when you’re getting things done. As this feature begins rolling out in early access this month we’ll see the first step toward a new kind of personalized AI assistant.

It won’t be the last. We’re currently in the middle of an industry-wide push to make AI-native hardware. You’re seeing phone and PC makers scramble to rebuild their products to put AI assistants at their core. But I think a much bigger opportunity is to make devices that are AI-native from the start, and I’m confident that glasses are going to be the first to get there. Meta’s Chief Research Scientist Michael Abrash has been talking about the potential of a personalized, context-aware AI assistant on glasses for many years, and building the technologies that make it possible has been a huge focus of our research teams.

Realitate mixtă has been another place where having the right product in the hands of a lot of people has been a major accelerant for progress. We’ve seen Meta Quest 3 get better month after month as we continue to iterate on the core system passthrough, multitasking, spatial user interfaces, and more. All these gains extended to Quest 3S the moment it launched. This meant the $299 Quest 3S was in many respects a better headset on day 1 than the $499 Quest 3 was when it first launched in 2023. And the entire Quest 3 family keeps getting better with every update.

In 2025 we’ll see the next iteration of this as Quest 3S brings a lot more people into mixed reality for the first time. While Quest 3 has been a hit among people excited to own the very best device on the market, Quest 3S is expected to be heavily gifted in 2024. Sales were strong over the Black Friday weekend, and we’re expecting a surge of people activating their new headsets over the holiday break.

Acest lucru va continua o tendință care s-a conturat în ultimul an: creșterea numărului de noi utilizatori care caută o gamă mai largă de lucruri de făcut cu căștile lor. Dorim ca acești noi utilizatori să vadă magia MR și să rămână alături de noi pe termen lung, motiv pentru care finanțăm dezvoltatorii să creeze noile tipuri de aplicații și jocuri pe care le caută.

A existat un aflux semnificativ de tineri, în special, și aceștia au gravitat în jurul jocurilor multiplayer sociale și competitive, precum și al conținutului freemium. Și titluri precum BEHEMOTH de la Skydance, Batman: Arkham Shadow (care tocmai a câștigat premiul pentru cel mai bun joc AR/VR la The Game Awards!), și Metro Awakening a arătat încă o dată că unele dintre cele mai bune jocuri noi pe care le produce industria noastră sunt acum posibile doar pe căștile de astăzi.

As the number of people in MR grows, the quality of the social experience it can deliver is growing in tandem. This is at the heart of what Meta is trying to achieve with Reality Labs and where the greatest potential of the metaverse will be unlocked: “the chance to create the most social platform ever” is how we described it when we first began working on it. We took two steps forward on this front in 2024: first with a broad set of improvements to Horizon Worlds including its expansion to mobile, and second with the next-generation Meta Avatars system that lets people represent themselves across our apps and headsets. And as the visual quality and overall experience with these systems improve, more people are getting their first glimpse of a social metaverse. We’re seeing similar trends with new Quest 3S users spending more time in Horizon Worlds, making it a Top 3 immersive app for Quest 3S, and people continue creating new Meta Avatars across mobile and MR.

Introducerea realității mixte în mod curent a contribuit la iluminarea a ceea ce va urma. Una dintre primele tendințe pe care le-am descoperit după lansarea Quest 3 anul trecut a fost că oamenii folosesc realitatea mixtă pentru a viziona videoclipuri în timp ce fac mai multe lucruri în casă - spală vasele sau dau cu aspiratorul în camera de zi. Acesta a fost un prim semnal că oamenii adoră să aibă un ecran virtual mare pe care îl pot lua oriunde și îl pot plasa în lumea fizică din jurul lor. Am văzut cum această tendință a luat amploare, cu tot felul de experiențe de divertisment în creștere rapidă în întreaga familie Quest 3. Funcții noi precum YouTube Co-Watch arată cât de mult potențial există pentru un tip cu totul nou de experiență de divertisment social în metavers.

That’s why James Cameron, one of the most technologically innovative storytellers of our lifetimes, is now working to help more filmmakers and creators produce great 3D content for Meta Quest. While 3D films have been produced for decades, there’s never been a way to view them that’s quite as good as an MR headset, and next year more people will own a headset than ever before. “We’re at a true, historic inflection point,"Jim said when we launched our new partnership this month.

This is happening alongside a larger shift Mark Rabkin shared at Connect this year: Our vision for Horizon OS is to build a new kind of general purpose computing platform capable of running every kind of software, supporting every kind of user, and open to every kind of creator and developer. Our recent releases for 2D/3D multi-tasking, panel positioning, better hand tracking, Windows Remote Desktop integration, and Open Store have started to build momentum along this new path. Horizon OS is on track to be the first platform that supports the full spectrum of experiences from immersive VR to 2D screens, mobile apps, and virtual desktops—and the developer community is central to that success.

Următorul mare pas către metavers va combina ochelarii cu inteligență artificială cu tipul de experiență de realitate augmentată adevărată pe care am dezvăluit-o anul acesta cu Orion. Nu se întâmplă des să ai o privire în viitor și să vezi o tehnologie complet nouă care îți arată încotro se îndreaptă lucrurile. Oamenii care au văzut Orion au înțeles imediat ce înseamnă pentru viitor, la fel ca oamenii care au văzut primele computere personale luând formă la Xerox PARC în anii 1970 ("în zece minute a fost evident pentru mine că toate computerele vor funcționa așa într-o zi", a spus Steve Jobs mai târziu despre demonstrația sa din 1979 a Xerox Alto).

Faptul că am putut să pun oamenii într-o mașină a timpului și să le arăt cum va arăta următoarea platformă de calcul a fost un punct culminant al anului 2024 și al carierei mele de până acum. Dar impactul real al Orion va fi în produsele pe care le vom livra în continuare și în modul în care ne va ajuta să înțelegem mai bine ce le place oamenilor la ochelarii AR și ce trebuie îmbunătățit. Am petrecut ani de zile lucrând la cercetarea utilizatorilor, exerciții de planificare a produselor și studii experimentale, încercând să înțelegem cum ar trebui să funcționeze ochelarii AR, iar această muncă ne-a permis să construim Orion. Dar ritmul progresului va fi mult mai rapid de acum înainte, acum că avem un produs real în jurul căruia să ne construim intuiția.

This has been the lesson time and again over the last decade at Reality Labs. The most important thing you can do when you’re trying to invent the future is to ship things and learn from how real people use them. They won’t always be immediate smash hits, but they’ll always teach you something. And when you land on things that really hit the mark, like mixed reality on Quest 3 or AI on glasses, that’s when you put your foot on the gas. This is what will make 2025 such a special year: With the right devices on the market, people experiencing them for the first time, and developers discovering all the opportunities ahead, it’s time to accelerate.

Welcome back for another episode of Boz To The Future, a podcast from Reality Labs. In today’s episode, our host, Meta CTO and Head of Reality Labs Andrew “Boz” Bosworth, is joined by Meta’s VP of Wearables Alex Himel.

Echipa lui Himel lucrează la unele dintre cele mai dificile probleme tehnice din industrie, toate în scopul de a contribui la construirea următoarei platforme de calcul. La fel ca Bosworth, Himel este un lider cu vechime în Meta, ocupând numeroase funcții de conducere în cadrul afacerii în cei peste 15 ani petrecuți în companie.

Bosworth și Himel abordează o serie de subiecte, inclusiv dispozitivele portabile, realitatea augmentată și modul în care AI accelerează și îmbunătățește tipurile de experiențe încorporate în Ochelari Ray-Ban Meta și produsele viitoare.

They go deep on Orion and the positive reception it’s received since Mark Zuckerberg announced it at Connect. Just as Steve Jobs recognized the Alto as a turning point in computing, Bosworth asserted that, while we may disagree about the details, it’s hard to argue against this as the future. Himel and Bosworth go on to talk about the tremendous value of prototyping and building, saying how much more they’ve learned about Orion and its input paradigms in the three weeks of using it compared to the years spent building it.

Ei au vorbit, de asemenea, despre rolul crucial al inteligenței artificiale în dispozitivele purtabile și despre modul în care aceasta devine din ce în ce mai utilă în viața de zi cu zi - mai ales acum, când puteți întreba Meta AI despre lucrurile pe care le vedeți și le puteți folosi pentru a seta memento-uri vizuale.

Himel vorbește, de asemenea, despre experiența sa profundă într-un alt tip de stivă: sandvișurile. Cu șapte ani la activ, lucrând în faimosul Lange's Little Store din Chappaqua, NY, unde a crescut, Himel și Bosworth analizează ce face un sandviș grozav, unde merg cu adevărat roșiile și ce pâine este superioară.

Vă puteți conecta la Boz către viitor on Apple Podcasts, Spotify, and wherever you listen to podcasts.

You can follow Himel on Threads. You can follow Bosworth on Instagram, Twitter/X, and Threads @boztank.

Back in 2019, the Orion team prepared an important demo for Meta Founder & CEO Mark Zuckerberg, showcasing potential waveguides for augmented reality glasses—a pivotal moment when theoretical calculations on paper were brought to life. And it was a demo that changed everything.

“Wearing the glasses with glass-based waveguides and multiple plates, it felt like you were in a disco,” recalls Optical Scientist Pasqual Rivera. “There were rainbows everywhere, and it was so distracting—you weren’t even looking at the AR content. Then, you put on the glasses with silicon carbide waveguides, and it was like you were at the symphony listening to a quiet, classical piece. You could actually pay attention to the full experience of what we were building. It was a total game changer.”

Yet as clear (pun intended) as the choice of silicon carbide as a substrate seems today, when we first started down the road to AR glasses a decade ago, it was anything but.

"Carbura de siliciu este în mod normal puternic dopată cu azot", spune Rivera. "Este verde și, dacă devine suficient de gros, pare negru. Nu ai cum să faci o lentilă optică din el. Este un material electronic. Există un motiv pentru care are această culoare, și este din cauza proprietăților electronice."

"Carbura de siliciu există ca material de mult timp", este de acord Giuseppe Calafiore, director tehnic AR Waveguides. "Principala sa aplicație este electronica de mare putere. Să luăm ca exemplu vehiculele electrice: Toate vehiculele electrice au nevoie de un cip - dar acel cip trebuie să fie capabil și de o putere foarte mare, să miște roțile și să conducă acest lucru. Se pare că nu se poate face acest lucru cu un substrat de siliciu obișnuit, care este cel care produce cipurile pe care le folosim în computerele și electronicele noastre. Aveți nevoie de o platformă care să vă permită să treceți prin curenți mari, putere mare, iar acel material este carbura de siliciu."

Până când discuțiile privind sursele de energie regenerabilă au început să se intensifice, piața pentru aceste seturi de cipuri de mare putere nu era nici pe departe de mărimea pieței cipurilor pentru electronicele de consum. Carbura de siliciu a fost întotdeauna scumpă și nu a existat un stimulent prea mare pentru a reduce costurile, deoarece, pentru dimensiunea cipurilor pe care le fabricați pentru o mașină, prețul substratului era tolerabil.

"Dar se pare că carbura de siliciu are și unele dintre proprietățile de care avem nevoie pentru ghidurile de undă și optică", spune Calafiore. "Indicele de refracție este principala proprietate care ne interesează. Iar carbura de siliciu are un indice de refracție ridicat, ceea ce înseamnă că este capabilă să canalizeze și să emită o cantitate mare de date optice. Vă puteți gândi la aceasta ca la o lățime de bandă optică - la fel cum aveți lățime de bandă pentru internet și doriți ca aceasta să fie suficient de mare pentru a putea trimite cantități uriașe de date prin acel canal. Același lucru este valabil și pentru dispozitivele optice."

The higher a material’s refractive index, the higher its étendue, so you can send more optical data through that channel.

"Canalul în cazul nostru este ghidul nostru de undă, iar o extensie mai mare se traduce printr-un câmp vizual mai mare", explică Calafiore. "Cu cât este mai mare indicele de refracție al unui material, cu atât este mai mare câmpul vizual pe care îl poate suporta afișajul."

Drumul către indicele de refracție corect

Când Calafiore s-a alăturat echipei Oculus Research în 2016, sticla cu cel mai mare indice de refracție pe care echipa o avea la dispoziție era de 1,8 - ceea ce necesita stivuirea mai multor plăci pentru a obține câmpul vizual dorit. Dincolo de artefactele optice nedorite, linia de asamblare a devenit din ce în ce mai complicată, deoarece primele două ghiduri de undă trebuiau să fie perfect aliniate, iar apoi acea stivă trebuia să fie perfect aliniată cu un al treilea ghid de undă.

"Nu numai că era scump, dar a fost imediat evident că nu puteai avea trei bucăți de sticlă per lentilă într-o pereche de ochelari", își amintește Calafiore. "Erau prea grele, iar grosimea era prohibitiv de mare și urâtă - nimeni nu le-ar fi cumpărat. Așa că ne-am întors de unde am plecat: am încercat să creștem indicele de refracție al substratului pentru a reduce numărul de plăci necesare."

The first material the team looked into was lithium niobate, which has a refractive index of roughly 2.3—quite a bit higher than the glass at 1.8.

"Ne-am dat seama că trebuie doar să stivuim două plăci și că poate am putea chiar să ne descurcăm cu o singură placă pentru a acoperi în continuare câmpul vizual", spune Calafiore. "Aproape în paralel, am început să ne uităm la alte materiale - așa ne-am dat seama, alături de furnizorii noștri din 2019, că carbura de siliciu, în forma sa cea mai pură, este de fapt foarte transparentă. De asemenea, se întâmplă să aibă cel mai mare indice de refracție cunoscut pentru o aplicație optică, care este de 2,7."

Aceasta reprezintă o creștere de 17,4% față de niobatul de litiu și o creștere de 50% față de sticlă, pentru cei care țin scorul acasă.

"Cu câteva modificări ale aceluiași echipament care era deja utilizat în industrie, a fost posibil să se obțină carbură de siliciu transparentă", spune Calafiore. "Puteai doar să schimbi procesul, să fii mult mai atent și, în loc să optimizezi pentru proprietățile electronice, să optimizezi pentru proprietățile optice: transparență, uniformitatea indicelui de refracție etc."

Costul potențial al compromisului

La acea vreme, echipa Reality Labs a fost prima care a încercat să treacă de la plachete opace de carbură de siliciu la plachete transparente. Și pentru că carbura de siliciu este unul dintre cele mai dure materiale cunoscute, este nevoie, în esență, de unelte diamantate pentru a o tăia sau a o poliza. Ca urmare, costurile de inginerie nerecurente au fost foarte ridicate, astfel încât substratul rezultat a fost destul de scump.

Deși există alternative mai eficiente din punct de vedere al costurilor, la fel ca în cazul oricărei tehnologii, fiecare are compromisuri. Și pe măsură ce câmpul de vizualizare crește spre câmpul de vizualizare Orion, lider în industrie, de aproximativ 70 de grade, apar noi probleme precum imaginile fantomă și curcubeele.

"Găsirea soluției optime pentru un afișaj AR cu câmp vizual larg este plină de compromisuri între performanță și costuri", explică Barry Silverstein, director de cercetare științifică. "Costurile pot fi adesea reduse, dar dacă performanța nu este suficientă, costurile nu vor conta în cele din urmă."

Imaginile fantomă sunt ca niște ecouri vizuale ale imaginii principale proiectate pe ecran. Curcubeele sunt dungi de lumină colorate care sunt create atunci când lumina ambientală se reflectă în ghidul de undă. "Să zicem că conduceți noaptea cu luminile mașinilor în mișcare în jurul dumneavoastră", spune Silverstein. "Veți avea curcubee care se mișcă, de asemenea. Sau dacă sunteți pe plajă și jucați volei, iar soarele strălucește, veți avea o dungă de curcubeu care se mișcă odată cu voi și veți rata lovitura. Iar una dintre proprietățile miraculoase ale carburii de siliciu este că scapă de acele curcubee."

"Celălalt avantaj al carburii de siliciu pe care niciunul dintre celelalte materiale nu îl are este conductivitatea termică", adaugă Calafiore. "Plasticul este un izolator teribil. Sticla, niobatul de litiu, același lucru. Carbura de siliciu este transparentă, arată ca sticla și ghici ce: conduce căldura."

Astfel, în iulie 2020, echipa a stabilit că carbura de siliciu a fost alegerea optimă din trei motive principale: Acesta a condus la un factor de formă îmbunătățit, deoarece a necesitat doar o singură placă și structuri de montare mai mici, a avut proprietăți optice mai bune și a fost mai ușor decât sticla cu două plăci.

Secretul gravurii oblice

Cu materialul în minte, următoarea problemă a fost fabricarea ghidurilor de undă - și, în special, o tehnică neconvențională de gratare numită "slant etch".

"Rețeaua este nanostructura care cuplează și decuplează lumina din lentilă", explică Calafiore. "Iar pentru ca carbura de siliciu să funcționeze, grătarul trebuie să fie gravat oblic. În loc să fie verticale, liniile grătarului trebuie să fie înclinate în diagonală."

"Am fost primii care au realizat gravura oblică direct pe dispozitive", spune directorul de cercetare Nihar Mohanty. "Întreaga industrie obișnuia să se bazeze pe nanoimprimare, care nu funcționează pentru substraturile cu un indice de refracție atât de mare. Acesta este motivul pentru care nimeni altcineva din lume nu s-a gândit la utilizarea carburii de siliciu."

Dar, deoarece gravura oblică este o tehnologie imatură, majoritatea furnizorilor și fabricilor de cipuri semiconductoare nu dispun de instrumentele necesare.

"În 2019, eu și managerul meu de la acea vreme, Matt Colburn, am înființat propria noastră instalație, deoarece nu exista nimic în lume care să poată produce ghiduri de undă din carbură de siliciu gravate și unde să putem dovedi tehnologia dincolo de scara de laborator", explică Mohanty. "A fost o investiție uriașă și am stabilit acolo întreaga linie de producție. Sculele au fost făcute la comandă pentru noi de către partenerii noștri, iar procesul a fost dezvoltat in-house în Meta, deși sistemele noastre sunt de nivel de cercetare, deoarece nu existau sisteme de nivel de producție. Am lucrat cu un partener de producție pentru a dezvolta unelte și procese de gravură oblică de calitate industrială. Și acum că am arătat ce este posibil cu carbura de siliciu, dorim ca și alții din industrie să înceapă să producă propriile instrumente."

Cu cât mai multe companii investesc în carbură de siliciu de calitate optică și dezvoltă echipamente, cu atât mai puternică va deveni categoria de ochelari AR pentru consumatori.

Nu mai alergăm după curcubee

While technological inevitability is a myth, the stars certainly seem to be aligning in silicon carbide’s favor. And although the team continues to investigate alternatives, there’s a strong sense that the right people have come together at the right time under the right market conditions to build AR glasses using this material.

"Orion a demonstrat că carbura de siliciu este o opțiune viabilă pentru ochelarii AR", spune Silverstein, "iar acum observăm interes în lanțul de aprovizionare de pe trei continente diferite, unde se urmărește intens această oportunitate. Carbura de siliciu va ieși învingătoare. În opinia mea, este doar o chestiune de timp."

Și multe se pot întâmpla în acest timp - la fel cum s-au schimbat lucrurile de când am cultivat primele noastre cristale clare de carbură de siliciu.

"Toți acești producători de carbură de siliciu au mărit masiv oferta ca răspuns la boom-ul așteptat al vehiculelor electrice", remarcă Calafiore. "Chiar acum, există o supracapacitate care nu exista când construiam Orion. Așa că acum, deoarece oferta este mare și cererea este scăzută, costul substratului a început să scadă."

"Furnizorii sunt foarte încântați de noua oportunitate de a produce carbură de siliciu de calitate optică - la urma urmei, fiecare lentilă de ghid de undă reprezintă o cantitate mare de material în raport cu un cip electronic, iar toate capacitățile lor existente se aplică acestui nou spațiu", adaugă Silverstein. "Umplerea fabricii este esențială, iar scalarea fabricii este visul. Dimensiunea plachetei contează, de asemenea: Cu cât este mai mare, cu atât costul este mai mic - dar și complexitatea procesului crește. Acestea fiind spuse, am văzut furnizori care au trecut de la plachete de patru inci la plachete de opt inci, iar unii lucrează la precursori pentru plachete de 12 inci, care ar produce exponențial mai multe perechi de ochelari AR."

Aceste progrese ar trebui să contribuie la scăderea continuă a costurilor. Este încă devreme, dar viitorul începe să se contureze.

"La începutul oricărei noi revoluții tehnologice, încerci o grămadă de lucruri", spune Calafiore. "Uitați-vă la televizor: Am început cu tuburile catodice, apoi am trecut la televizoarele cu plasmă LED și acum la microLED-uri. Am trecut prin mai multe tehnologii și arhitecturi diferite. Pe măsură ce cauți, o mulțime de căi nu ajung nicăieri, dar există unele la care te întorci mereu ca fiind cele mai promițătoare. Nu suntem la capătul drumului și nu putem reuși singuri, dar carbura de siliciu este un material minunat care merită investiția."

"Lumea este trează acum", adaugă Silverstein. "Am demonstrat cu succes că carbura de siliciu poate fi flexibilă în electronică și fotonică. Este un material care ar putea avea aplicații viitoare în calculul cuantic. Și vedem semne că este posibil să reducem semnificativ costul. Mai sunt multe lucruri de făcut, dar potențialul este uriaș."

TL;DR:

• Today at Connect, Mark Zuckerberg unveiled Orion—our first pair of true AR glasses, previously codenamed Project Nazare.
• With an industry-leading field of view, silicon carbide lenses, intricate waveguides, uLED projectors, and more, Orion is our most advanced and most polished product prototype to date.
• În prezent, continuăm optimizarea produselor și reducerea costurilor în timp ce ne îndreptăm către un dispozitiv de consum scalabil care va revoluționa modul în care oamenii interacționează cu lumea.

---

"Construim ochelari AR."

Five simple words, spoken five years ago. With them, we planted a flag on our vision of a future where we no longer have to make the false choice between a world of information at our fingertips and the physical world all around us.

Și acum, cinci ani mai târziu, alte cinci cuvinte care vor schimba din nou jocul:

Am construit ochelari AR.

La Meta, misiunea noastră este simplă: să oferim oamenilor puterea de a construi comunități și de a aduce lumea mai aproape. Iar la Reality Labs, construim instrumente care îi ajută pe oameni să se simtă conectați oricând, oriunde. De aceea, ne străduim să construim următoarea platformă de calcul care pune oamenii în centru, astfel încât aceștia să poată fi mai prezenți, mai conectați și mai puternici în lume.

Ochelari Ray-Ban Meta au demonstrat puterea de a oferi oamenilor acces hands-free la părțile cheie ale vieții lor digitale din viața lor fizică. Putem vorbi cu un asistent AI inteligent, ne putem conecta cu prietenii și putem surprinde momentele care contează - toate acestea fără a fi nevoiți să scoatem vreodată telefonul. Acești ochelari eleganți se integrează perfect în viața noastră de zi cu zi, iar oamenii îi adoră.

Cu toate acestea, în timp ce Ray-Ban Meta a deschis o categorie cu totul nouă de ochelari fără afișaj supraîncărcați de AI, industria XR a visat mult timp la ochelari AR adevărați - un produs care combină beneficiile unui afișaj holografic mare și asistență AI personalizată într-un factor de formă confortabil, elegant, purtabil toată ziua.

And today, we’ve pushed that dream closer to reality with the unveiling of Orion, which we believe is the most advanced pair of AR glasses ever made. In fact, it might be the most challenging consumer electronics device produced since the smartphone. Orion is the result of breakthrough inventions in virtually every field of modern computing—building on the work we’ve been doing at Reality Labs for the last decade. It’s packed with entirely new technologies, including the most advanced AR display ever assembled and custom silicon that enables powerful AR experiences to run on a pair of glasses using a fraction of the power and weight of an MR headset.

Orion’s input system seamlessly combines voice, eye gaze, and hand tracking with an EMG wristband that lets you swipe, click, and scroll while keeping your arm resting comfortably by your side, letting you stay present in the world and with the people around you as you interact with rich digital content.

Începând de astăzi la Connect și continuând pe tot parcursul anului, vom deschide accesul la prototipul nostru de produs Orion pentru angajații Meta și audiențe externe selectate, astfel încât echipa noastră de dezvoltare să poată învăța, itera și construi spre linia noastră de produse de ochelari AR pentru consumatori, pe care intenționăm să începem să o livrăm în viitorul apropiat.

De ce ochelari AR?

Există trei motive principale pentru care ochelarii AR sunt esențiali pentru deblocarea următorului mare salt în informatica orientată către om.

1. Acestea permit experiențe digitale care nu sunt constrânse de limitele unui ecran de smartphone. Cu ajutorul ecranelor holografice mari, puteți folosi lumea fizică drept pânză, plasând conținut și experiențe 2D și 3D oriunde doriți.
2. Acestea integrează perfect inteligența artificială contextuală care poate detecta și înțelege lumea din jurul dumneavoastră pentru a anticipa și a răspunde proactiv nevoilor dumneavoastră.
3. Sunt ușoare și ideale pentru utilizare atât în interior, cât și în exterior - și permit oamenilor să vadă fața reală, ochii reali și expresiile reale ale celorlalți.

Aceasta este steaua nordică spre care s-a îndreptat industria noastră: un produs care combină confortul și caracterul imediat al dispozitivelor portabile cu un ecran mare, o lățime de bandă mare și inteligență artificială contextualizată într-un factor de formă pe care oamenii se simt confortabil să-l poarte în viața de zi cu zi.

Factor de formă compact, provocări complicate

De ani de zile, ne confruntăm cu o alegere falsă - fie căști de realitate virtuală și mixtă care permit experiențe profunde și imersive într-un factor de formă voluminos, fie ochelari care sunt ideali pentru utilizare pe tot parcursul zilei, dar care nu oferă aplicații și experiențe vizuale bogate din cauza lipsei unui ecran mare și a puterii de calcul corespunzătoare.

Dar noi vrem totul, fără compromisuri. De ani de zile, lucrăm din greu pentru a lua experiențele spațiale incredibile oferite de căștile VR și MR și pentru a miniaturiza tehnologia necesară pentru a oferi aceste experiențe într-o pereche de ochelari ușori și eleganți. Realizarea factorului de formă, furnizarea de afișaje holografice, dezvoltarea de experiențe AR convingătoare și crearea de noi paradigme de interacțiune om-computer (HCI) - și toate acestea într-un singur produs coerent - reprezintă una dintre cele mai dificile provocări cu care s-a confruntat vreodată industria noastră. A fost o provocare atât de mare încât am crezut că avem mai puțin de 10% șanse de a reuși.

Până acum.

Un ecran revoluționar într-un factor de formă de neegalat

La aproximativ 70 de grade, Orion are cel mai mare câmp vizual în cel mai mic factor de formă al ochelarilor AR de până acum. Acest câmp de vizualizare deblochează cazuri de utilizare cu adevărat imersive pentru Orion, de la ferestre multitasking și divertisment pe ecran mare la holograme de oameni în mărime naturală - tot conținutul digital care se poate îmbina perfect cu vizualizarea lumii fizice.

Pentru Orion, câmpul vizual a fost Sfântul Graal. Ne ciocneam de legile fizicii și trebuia să îndoim fasciculele de lumină în moduri în care acestea nu se îndoaie în mod natural - și trebuia să facem acest lucru într-un pachet de putere măsurat în miliwați.

Instead of glass, we made the lenses from silicon carbide—a novel application for AR glasses. Silicon carbide is incredibly lightweight, it doesn’t result in optical artifacts or stray light, and it has a high refractive index—all optical properties that are key to a large field of view. The waveguides themselves have really intricate and complex nano-scale 3D structures to diffract or spread light in the ways necessary to achieve this field of view. And the projectors are uLEDs—a new type of display technology that’s super small and extremely power efficient.

Orion este fără îndoială o pereche de ochelari, atât la aspect, cât și la atingere, cu lentile transparente. Spre deosebire de căștile MR sau de alți ochelari AR din prezent, puteți vedea în continuare ochii și expresiile reale ale celorlalți, astfel încât să puteți fi prezenți și să împărtășiți experiența cu persoanele din jurul dvs. Au fost necesare zeci de inovații pentru a reduce designul industrial la o formă de ochelari contemporană, pe care să vă simțiți confortabil să o purtați în fiecare zi. Orion este o realizare a miniaturizării - componentele sunt împachetate până la o fracțiune de milimetru. Și am reușit să încorporăm șapte camere și senzori minusculi în marginile ramei.

A trebuit să menținem precizia optică la o zecime din grosimea unui fir de păr uman. Iar sistemul poate detecta mișcări minuscule - cum ar fi extinderea sau contracția cadrelor la diferite temperaturi ale camerei - și apoi corectează digital alinierea optică necesară, totul în câteva milisecunde. Am realizat cadrele din magneziu - același material utilizat la mașinile de curse F1 și la navele spațiale - deoarece este ușor, dar rigid, astfel încât menține elementele optice aliniate și conduce eficient căldura.

Încălzire și răcire

Odată ce am spart afișajul (fără a face un joc de cuvinte) și am depășit problemele de fizică, a trebuit să facem față provocării reprezentate de calculul foarte puternic, alături de consumul foarte redus de energie și de nevoia de disipare a căldurii. Spre deosebire de căștile MR de astăzi, nu poți introduce un ventilator într-o pereche de ochelari. Așa că a trebuit să fim creativi. Multe dintre materialele utilizate pentru răcirea Orion sunt similare cu cele folosite de NASA pentru răcirea sateliților din spațiu.

We built highly specialized custom silicon that’s extremely power efficient and optimized for our AI, machine perception, and graphics algorithms. We built multiple custom chips and dozens of highly custom silicon IP blocks inside those chips. That lets us take the algorithms necessary for hand and eye tracking as well as simultaneous localization and mapping (SLAM) technology that normally takes hundreds of milliwatts of power—and thus generates a corresponding amount of heat—and shrink it down to just a few dozen milliwatts.

Și da, siliciul personalizat continuă să joace un rol esențial în dezvoltarea produselor la Reality Labs, în ciuda a ceea ce ați putut citi în altă parte. 😎

EMG fără efort

Every new computing platform brings with it a paradigm shift in the way we interact with our devices. The invention of the mouse helped pave the way for the graphical user interfaces (GUIs) that dominate our world today, and smartphones didn’t start to really gain traction until the advent of the touch screen. And the same rule holds true for wearables.

We’ve spoken about our work with electromyography, or EMG, for years, driven by our belief that input for AR glasses needs to be fast, convenient, reliable, subtle, and socially acceptable. And now, that work is ready for prime time.

Sistemul de intrare și interacțiune Orion combină perfect vocea, privirea și urmărirea mâinii cu o brățară EMG care vă permite să glisați, să faceți clic și să derulați cu ușurință.

It works—and feels—like magic. Imagine taking a photo on your morning jog with a simple tap of your fingertips or navigating menus with barely perceptible movements of your hands. Our wristband combines a high-performance textile with embedded EMG sensors to detect the electrical signals generated by even the tiniest muscle movements. An on-device ML processor then interprets those EMG signals to produce input events that are transmitted wirelessly to the glasses. The system adapts to you, so it gets better and more capable at recognizing the most subtle gestures over time. And today, we’re sharing more about our support for external research focused on expanding the equity and accessibility potential of EMG wristbands.

Faceți cunoștință cu Wireless Compute Puck

True AR glasses must be wireless, and they must also be small.So we built a wireless compute puck for Orion. It takes some of the load off of the glasses, enabling longer battery life and a better form factor complete with low latency.

Ochelarii rulează toți algoritmii de urmărire a mâinii, urmărire a ochilor, SLAM și grafica specializată de blocare a lumii AR, în timp ce logica aplicației rulează pe puc pentru a păstra ochelarii cât mai ușori și mai compacți posibil.

Pucul are procesoare duble, inclusiv unul proiectat la comandă chiar aici, la Meta, și oferă puterea de calcul necesară pentru redarea grafică cu latență redusă, inteligență artificială și unele percepții suplimentare ale mașinii.

Și pentru că este mic și elegant, puteți arunca cu ușurință pucul într-o geantă sau în buzunar și să vă vedeți de treabă, fără obligații.

Experiențe AR

Bineînțeles, ca orice piesă hardware, este la fel de bună ca lucrurile pe care le puteți faceți cu el. Și, deși suntem încă la început, experiențele oferite de Orion sunt o idee interesantă a ceea ce va urma.

We’ve got our smart assistant, Meta AI, running on Orion. It understands what you’re looking at in the physical world and can help you with useful visualizations. Orion uses the same Llama model that powers AI experiences running on Ray-Ban Meta smart glasses today, plus custom research models to demonstrate potential use cases for future wearables development.

Puteți efectua un apel video hands-free în timpul deplasării pentru a vă pune la curent cu prietenii și familia în timp real și puteți rămâne conectat pe WhatsApp și Messenger pentru a vizualiza și trimite mesaje. Nu trebuie să scoateți telefonul, să îl deblocați, să găsiți aplicația potrivită și să îi spuneți prietenului dvs. că întârziați la cină - puteți face toate acestea prin intermediul ochelarilor dvs.

Puteți juca jocuri AR partajate cu familia din cealaltă parte a țării sau cu prietenul dvs. de pe cealaltă parte a canapelei. Iar ecranul mare al Orion vă permite să efectuați mai multe activități în același timp, cu mai multe ferestre, pentru a face lucruri fără a fi nevoit să vă plimbați cu laptopul.

Experiențele disponibile astăzi pe Orion vor ajuta la trasarea foii de parcurs pentru linia noastră de ochelari AR pentru consumatori în viitor. Echipele noastre vor continua să itereze și să construiască noi experiențe sociale imersive, alături de partenerii noștri dezvoltatori, și abia așteptăm să împărtășim ce urmează.

Un prototip de produs cu scop precis

Deși Orion nu va ajunge în mâinile consumatorilor, nu faceți nicio greșeală: Aceasta este nu un prototip de cercetare. Este cel mai rafinat prototip de produs pe care l-am dezvoltat vreodată și este cu adevărat reprezentativ pentru ceva care ar putea livrați consumatorilor. În loc să ne grăbim să îl punem pe rafturi, am decis să ne concentrăm mai întâi pe dezvoltarea internă, ceea ce înseamnă că putem continua să construim rapid și să depășim limitele tehnologiei și ale experiențelor.

Și asta înseamnă că vom ajunge mai repede la un produs de consum și mai bun.

Ce urmează

Două obstacole majore au stat mult timp în calea ochelarilor AR de larg consum: progresele tehnologice necesare pentru a oferi un ecran mare într-un format compact de ochelari și necesitatea unor experiențe AR utile și convingătoare care să poată rula pe acești ochelari. Orion reprezintă o piatră de hotar uriașă, oferind pentru prima dată adevărate experiențe AR care rulează pe un hardware rezonabil de elegant.

Acum că am împărtășit Orion cu lumea, ne concentrăm pe câteva lucruri:

• Reglarea calității afișajului AR pentru a face imaginile și mai clare
• Optimizarea ori de câte ori putem pentru a face factorul de formă și mai mic
• Construirea la scară largă pentru a le face mai accesibile

In the next few years, you can expect to see new devices from us that build on our R&D efforts. And a number of Orion’s innovations have been extended to our current consumer products today as well as our future product roadmap. We’ve optimized some of our spatial perception algorithms, which are running on both Meta Quest 3S and Orion. While the eye gaze and subtle gestural input system was originally designed for Orion, we plan to use it in future products. And we’re exploring the use of EMG wristbands across future consumer products as well.

Orion nu este doar o fereastră spre viitor - este o privire asupra posibilităților foarte reale pe care le avem la îndemână astăzi. L-am construit în căutarea a ceea ce facem cel mai bine: să ajutăm oamenii să se conecteze. De la ochelarii Ray-Ban Meta la Orion, am văzut binele care poate veni din faptul că oamenii pot fi mai prezenți și mai puternici în lumea fizică, chiar și în timp ce beneficiază de toată bogăția adăugată pe care o oferă lumea digitală.

Credem că nu ar trebui să trebuiască să alegeți între cele două. Iar cu următoarea platformă de calcul, nu va trebui să o faceți.

Last year at Connect, we unveiled Orion—our first true pair of AR glasses. The culmination of our work at Reality Labs over the last decade, Orion combines the benefits of a large holographic display and personalized AI assistance in a comfortable, all-day wearable form factor. It got some attention for its industry-leading field of view, silicon carbide waveguides, uLED projectors, and more. But today, we’re turning our attention to an unsung hero of Orion: the compute puck.

Conceput pentru a se strecura ușor în buzunar sau în geantă, astfel încât să îl puteți purta aproape oriunde în timpul zilei, pucul descarcă puterea de procesare a Orion pentru a rula logica aplicației și pentru a permite o formă mai convingătoare și mai mică pentru ochelari. Acesta se conectează fără fir la ochelari și la brățara EMG pentru o experiență fără întreruperi.

Setați-l și uitați-l, nu?

Dar povestea din spate a pucului - chiar și ca prototip - este implicată, cu un arc dramatic pe care nu l-ai ghici niciodată după aspectul său.

"Când construiești așa ceva, începi să intri în limitele fizicii", explică Rahul Prasad, director de gestionare a produselor. "În ultimii 50 de ani, Legea lui Moore a făcut ca totul să fie mai mic, mai rapid și cu o putere mai mică. Problema este că acum începi să te lovești de limite privind cantitatea de căldură pe care o poți disipa, cantitatea de baterie pe care o poți comprima și cantitatea de performanță a antenei pe care o poți introduce într-un obiect de o anumită dimensiune."

În timp ce retrospectiva poate fi 20/20, potențialul pucului nu a fost imediat evident. Când ești primul care construiește ceva, trebuie să explorezi toate posibilitățile, fără să lași nicio piatră neîntoarsă. Cum construiești ceva pe care unii l-ar putea considera mai degrabă un accesoriu nedorit decât o parte esențială a pachetului?

"Știam că pucul era un dispozitiv suplimentar pe care le ceream oamenilor să îl poarte cu ei", notează Jared Van Cleave, Product Design Engineering Manager, "așa că am analizat cum să transformăm bug-ul într-o caracteristică."

În cele din urmă, această etică a dat roade, deoarece pucul stoarce o mulțime de computere (și chiar mai mult siliciu personalizat proiectat de Meta pentru AI și percepția mașinilor) într-o dimensiune mică. Acest lucru a fost esențial pentru a ajuta Orion să treacă de la domeniul science fiction la realitate.

"Dacă nu ați avea pucul, nu ați putea avea experiențele pe care Orion le oferă în factorul său de formă - punct", spune Prasad. "O experiență AR bună necesită performanțe foarte ridicate: rate ridicate ale cadrelor, latență extrem de scăzută, gestionare fină a rețelelor wireless și a energiei etc. Puck-ul și ochelarii trebuie să fie coproiectați pentru a lucra împreună foarte strâns, nu doar la nivelul aplicației, ci și la nivelul sistemului de operare, firmware-ului și hardware-ului. Și chiar dacă s-ar coproiecta un smartphone pentru a funcționa cu ochelari AR, cerințele de performanță ridicate ar consuma bateria telefonului și ar absorbi capacitatea de calcul din cazurile de utilizare a telefonului. Pe de altă parte, pucul are propria sa baterie de mare capacitate, SoC de înaltă performanță și un co-procesor AI personalizat Meta-designed optimizat pentru Orion."

Desigur, pucul nu a fost proiectat peste noapte. A necesitat ani de muncă iterativă.

"Nu știam cum ar fi vrut oamenii să interacționeze cu Orion din punct de vedere al intrărilor - nu exista nimic din ceea ce puteam elabora pe piață", spune managerul de produs Matt Resman. "Dacă vă uitați la primele noastre prototipuri de ochelari, acestea erau niște căști masive care cântăreau trei sau patru kilograme. Iar atunci când încerci să construiești un produs, este foarte dificil să înțelegi experiența utilizatorului dacă nu ai factorul de formă potrivit. Cu pucul, am putut să realizăm prototipuri foarte rapid pentru a începe să înțelegem cum îl vor folosi oamenii."

Numit Omega în primele zile, pucul a fost inițial imaginat de ceea ce era atunci Oculus Research ca o bandă în formă de Ω care ar merge în jurul gâtului utilizatorului și ar fi conectată la ochelari...

... până când unele noi inovații ale echipei wireless Reality Labs, printre altele, le-au permis să taie cablul. Acest lucru a permis un factor de formă mai portabil sau de buzunar / în geantă, care a deschis o mulțime de posibilități.

"La acel moment, apelarea realității augmentate era încă un caz de utilizare primar", explică Van Cleave. "Pucul era locul în care erau ancorate videoclipurile holografice. Îl puneai pe masă, cu bancul de senzori îndreptat spre tine, îți făcea o imagine și apoi proiecta persoana cu care vorbeai de pe suprafața pucului pentru apel."

"Orion este despre conectarea oamenilor și despre a ne aduce împreună", spune Resman. "Unul dintre conceptele inițiale pentru puc a fost să ajute la crearea acestui sentiment de prezență cu alți oameni și să permită această formă mai bogată de comunicare."

"Nu seamănă cu nimic din ceea ce ați văzut vreodată - dispozitivul are potențialul de a crea interacțiuni cu adevărat amuzante și unice", adaugă designerul industrial Emron Henry. "Experiența utilizatorului seamănă puțin cu eliberarea unui duh dintr-o sticlă, în care hologramele ies fără probleme din dispozitiv și se dizolvă înapoi în el."

După cum probabil vă puteți da seama până acum, pucul are mai mult potențial decât ceea ce a devenit în cele din urmă o caracteristică. În plus față de senzorii și camerele care ar fi fost utilizate pentru apelurile AR, pucul are senzori haptici și senzori 6DOF care i-ar putea permite să fie utilizat ca un controler urmărit pentru a selecta și manipula obiecte virtuale și a juca jocuri AR. Echipa a explorat, de asemenea, intrările tactile capacitive și de forță, astfel încât pucul să poată servi ca un gamepad atunci când este ținut atât în modul portret, cât și în modul peisaj.

"Vorbeam despre nevoia de a purta acest lucru în plus", spune Van Cleave. "Cum îl putem face mai util? A existat un întreg curent de lucru în jurul acestui subiect. Iar la un moment dat, ipoteza era că jocurile AR vor fi acest caz de utilizare mortal."

La început, am știut că trebuie să explorăm posibilitățile pucului de a face lucruri pe care telefoanele nu le pot face. În cele din urmă, am ajuns să folosim privirea ochilor, EMG și urmărirea mâinii pentru jocurile AR, cum ar fi Stargazer și Pong, dar am creat diverse demo-uri și jocuri care foloseau pucul ca un controler în primele zile ale Orion.

Explorări redate ale pucului ca un controler 6DOF pentru jocuri AR precum Pong.

"Pentru că nu este un telefon, asta ne-a oferit multă libertate de design", adaugă Prasad. "Poate fi mai gros, îl pot face mai rotunjit, astfel încât să se potrivească confortabil în mână ca un controler. Este destul de incredibil că pucul este de fapt mai mic decât un telefon obișnuit, dar este mai puternic decât un telefon, deoarece are un co-procesor Meta-designed pentru inteligență artificială și percepția mașinilor."

Echipa a analizat modul în care un joc AR de calitate ar putea fi diferit de un joc MR sau de un joc pe consolă. Aceasta a însemnat explorarea diferitelor posibilități pentru un controler de joc AR, inclusiv joystick-uri, dispunerea fizică a butoanelor, butoane de declanșare și altele.

"Nu am ajuns să construim niciunul dintre acele lucruri", notează Van Cleave. "Am creat prototipuri, dar nu am făcut niciodată o construcție completă. Am vrut să păstrăm lucrurile simple. Am vrut să facem aceste interfețe moi, dar nu să facem butoane fizice, mecanice."

Și, deși senzorii și haptica nu au fost activate în prototipul produsului finit, acestea au servit o funcție integrală în timpul dezvoltării, permițând echipelor să depună erori prin simpla atingere a părții superioare a dispozitivului de câteva ori pentru a declanșa un raport de eroare.

Pe măsură ce inteligența artificială a început să ocupe locul central ca un caz de utilizare cheie, calculul a devenit din ce în ce mai important. În cele din urmă, pucul găzduiește conectivitatea wireless, puterea de calcul și capacitatea bateriei Orion - o realizare tehnică uriașă în sine - toate acestea contribuind la reducerea greutății și a factorului de formă al ochelarilor, disipând în același timp mult mai multă energie termică datorită suprafeței sale.

De-a lungul evoluției sale, un lucru a rămas același: pucul este mai mult decât se vede cu ochiul liber. Adoptarea ideilor neconvenționale a permis echipelor noastre să exploreze, să depășească limitele și să construiască viitorul.

"Definim o categorie care nu prea există încă", remarcă Henry. "Așa cum v-ați aștepta cu cercetarea și dezvoltarea, au existat începuturi și opriri de-a lungul drumului. Cum se vor aștepta utilizatorii să interacționeze cu hologramele? Ar prefera să utilizeze o telecomandă AR sau urmărirea mâinii, privirea ochilor și EMG sunt suficiente pentru a introduce date? Ce se simte intuitiv, fără fricțiune, familiar și util?"

"Mai degrabă decât să privim pucul ca pe o simplă piatră, ne-am întrebat ce altceva am putea oferi pentru a-l diferenția și mai mult de telefoane și pentru a justifica de ce ai vrea să îl porți cu tine", recunoaște Resman. "Puterea sa brută de calcul și designul său practic - care a contribuit la deblocarea unui factor de formă pentru ochelari pe care îl puteți purta în mod realist toată ziua - oferă în cele din urmă suficientă valoare? Sarcina noastră este să ajutăm să răspundem la aceste întrebări."

"La început, ne-am concentrat pe ceea ce putem face noi și nu poate face un telefon", adaugă Van Cleave. "Telefoanele trebuie să aibă ecran, trebuie să aibă o anumită dispunere fizică a butoanelor pe care utilizatorii o așteaptă. Iar noi nu avem aceste constrângeri. Pucul nostru de calcul poate fi orice vrem noi să fie."