Welcome back for another episode of Boz To The Future, a podcast from Reality Labs. In today’s episode, our host, Meta CTO and Head of Reality Labs Andrew “Boz” Bosworth, is joined by Meta’s VP of Wearables Alex Himel.
Himel’s team works on some of the industry’s hardest technical problems, all in the service of helping to build the next computing platform. Like Bosworth, he’s a tenured leader at Meta, having filled numerous leadership roles across the business in his 15+ years at the company.
Bosworth and Himel cover a range of topics, including wearables, augmented reality, and how AI is accelerating and improving the kinds of experiences embedded in Ochelari Ray-Ban Meta and future products.
They go deep on Orion and the positive reception it’s received since Mark Zuckerberg announced it at Conectare. Just as Steve Jobs recognized the Alto as a turning point in computing, Bosworth asserted that, while we may disagree about the details, it’s hard to argue against this as the future. Himel and Bosworth go on to talk about the tremendous value of prototyping and building, saying how much more they’ve learned about Orion and its input paradigms in the three weeks of using it compared to the years spent building it.
They also talked about the crucial role of AI in wearables, and how it’s becoming increasingly useful in everyday life—especially now that you’re able to ask Meta AI about things you’re seeing and use it to set visual reminders.
Himel also talks about his deep experience in a different kind of stack: sandwiches. With seven years under his belt working in the famous Lange’s Little Store in Chappaqua, NY, where he grew up, Himel and Bosworth get into what makes a great sandwich, where tomatoes really go, and which bread is superior.
You can tune in to Boz to the Future on Apple Podcasts, Spotify, and wherever you listen to podcasts.
Back in 2019, the Orion team prepared an important demo for Meta Founder & CEO Mark Zuckerberg, showcasing potential waveguides for augmented reality glasses—a pivotal moment when theoretical calculations on paper were brought to life. And it was a demo that changed everything.
“Wearing the glasses with glass-based waveguides and multiple plates, it felt like you were in a disco,” recalls Optical Scientist Pasqual Rivera. “There were rainbows everywhere, and it was so distracting—you weren’t even looking at the AR content. Then, you put on the glasses with silicon carbide waveguides, and it was like you were at the symphony listening to a quiet, classical piece. You could actually pay attention to the full experience of what we were building. It was a total game changer.”
Yet as clear (pun intended) as the choice of silicon carbide as a substrate seems today, when we first started down the road to AR glasses a decade ago, it was anything but.
“Silicon carbide is normally heavily nitrogen-doped,” says Rivera. “It’s green, and if it gets thick enough, it looks black. There’s no way you could make an optical lens out of it. It’s an electronic material. There’s a reason it’s that color, and it’s because of electronic properties.”
“Silicon carbide has been around as a material for a long time,” agrees AR Waveguides Tech Lead Giuseppe Calafiore. “Its main application is high-power electronics. Take electric vehicles: All EVs require a chip—but that chip must also be capable of very high power, moving the wheels, and driving this thing. It turns out you can’t do it with the regular silicon substrate, which is what makes the chips that we use in our computers and electronics. You need a platform that allows you to go through high currents, high power, and that material is silicon carbide.”
Until fairly recent discussions around renewable energy sources started to heat up, the market for these high-power chipsets was nowhere near the size of the market for chips for consumer electronics. Silicon carbide has always been expensive, and there wasn’t much incentive to bring costs down because, for the size of chip that you make for a car, the price of the substrate was tolerable.
“But it turns out that silicon carbide also has some of the properties that we need for waveguides and optics,” Calafiore says. “The refractive index is the key property that we care about. And silicon carbide has a high refractive index, which means that it’s capable of channeling in and outputting a large quantity of optical data. You can think of it as optical bandwidth—just like you have bandwidth for the internet, and you want it to be large enough so that you can send huge amounts of data through that channel. The same goes for optical devices.”
The higher a material’s refractive index, the higher its étendue, so you can send more optical data through that channel.
“The channel in our case is our waveguide, and a larger étendue translates to a larger field of view,” explains Calafiore. “The larger the refractive index of a material, the larger field of view the display can support.”
The Road to the Right Refractive Index
When Calafiore first joined what was then Oculus Research in 2016, the highest refractive index glass the team had at its disposal was 1.8—which required stacking multiple plates to achieve the desired field of view. Undesirable optical artifacts aside, the assembly line became increasingly complicated as the first two waveguides had to be perfectly aligned, and then that stack had to be perfectly aligned with a third waveguide.
“Not only was it expensive, it was immediately obvious that you couldn’t have three pieces of glass per lens in a pair of glasses,” Calafiore recalls. “They were too heavy, and the thickness was prohibitively large and ugly—nobody would buy it. So we went back to square one: trying to boost the refractive index of the substrate to reduce the number of plates needed.”
The first material the team looked into was lithium niobate, which has a refractive index of roughly 2.3—quite a bit higher than the glass at 1.8.
“We realized that we only had to stack two plates and could maybe even manage with one plate to still cover the field of view,” says Calafiore. “Almost in parallel, we started looking at other materials—which is how we figured out alongside our suppliers in 2019 that silicon carbide, in its purest form, is actually very transparent. It also happens to have the highest refractive index known for an optical application, which is 2.7.”
That’s a 17.4% increase over lithium niobate and a 50% bump over glass, for those keeping score at home.
“With a few modifications to the very same equipment that was used in the industry already, it was possible to get transparent silicon carbide,” Calafiore says. “You could just change the process, be a lot more careful, and instead of optimizing for electronic properties, you optimize for optical properties: transparency, uniformity of the refractive index, etc.”
The Potential Cost of Compromise
At that time, the Reality Labs team was the first to even attempt moving from opaque silicon carbide wafers to transparent ones. And because silicon carbide is one of the hardest known materials, it essentially requires diamond tooling to cut or polish it. As a result, the non-recurring engineering costs were very high, so the resulting substrate was quite expensive.
While more cost-effective alternatives exist, as with any technology, they each have tradeoffs. And as the field of view increases towards Orion’s industry-leading field of view of approximately 70 degrees, new issues arise like ghost images and rainbows.
“Finding the optimum solution for a wide field of view AR display is fraught with tradeoffs between performance and costs,” explains Director of Research Science Barry Silverstein. “Costs can often be driven down, but if performance doesn’t cut it, costs won’t ultimately matter.”
Ghost images are like visual echoes of the primary image being projected onto the display. Rainbows are colorful streaks of light that are created when ambient light reflects off of the waveguide. “Say you’re driving at night with moving car lights around you,” says Silverstein. “You’re going to have rainbows that move, too. Or if you’re out on the beach playing volleyball and the sun’s shining, you’re going to get a rainbow streak that’s moving with you and you’ll miss your shot. And one of the miraculous properties of silicon carbide is that it gets rid of those rainbows.”
“The other advantage of silicon carbide that none of the other materials have is thermal conductivity,” Calafiore adds. “Plastic is a terrible insulator. Glass, lithium niobate, same thing. You go to silicon carbide and it’s transparent, looks like glass, and guess what: It conducts heat.”
So in July 2020, the team determined that silicon carbide was the optimum choice for three primary reasons: It led to an improved form factor because it required only a single plate and smaller mounting structures, it had better optical properties, and it was lighter than dual-plate glass.
The Secret of Slant Etch
With the material in mind, the next nut to crack was the fabrication of the waveguides—and specifically, an unconventional grating technique called slant etch.
“The grating is the nanostructure that in-couples and out-couples the light from the lens,” explains Calafiore. “And for silicon carbide to work, the grating needs to be slant etch. Instead of being vertical, you want the lines of the grating to be sloped diagonally.”
“We were the first ones to do slant etch directly on the devices,” says Research Manager Nihar Mohanty. “The whole industry used to rely on nano imprint, which doesn’t work for substrates with such a high refractive index. That’s why no one else in the world had thought about doing silicon carbide.”
But because slant etch is an immature technology, most semiconductor chip suppliers and factories lack the necessary tools.
“Back in 2019, my manager at the time, Matt Colburn, and I established our own facility as there was nothing in the world that could produce etched silicon carbide waveguides and where we could prove out the technology beyond the labscale,” explains Mohanty. “It was a huge investment, and we established the whole pipeline there. The tooling was custom-made for us by our partners, and the process was developed in-house in Meta, though our systems are research-grade because there were no manufacturing-grade systems out there. We worked with a manufacturing partner to develop manufacturing-grade slant etch tooling and processes. And now that we’ve shown what’s possible with silicon carbide, we want others in the industry to start making tools of their own.”
The more companies that invest in optical-grade silicon carbide and develop equipment, the stronger the category of consumer AR glasses will become.
No Longer Chasing Rainbows
While technological inevitability is a myth, the stars certainly seem to be aligning in silicon carbide’s favor. And although the team continues to investigate alternatives, there’s a strong sense that the right people have come together at the right time under the right market conditions to build AR glasses using this material.
“Orion proved that silicon carbide is a viable option for AR glasses,” says Silverstein, “and we’re now seeing interest across the supply chain on three different continents where they’re heavily pursuing this as an opportunity. Silicon carbide will come out on top. It’s just a matter of time in my book.”
And a lot can happen in that time—much like the way the tables have turned since we grew our first clear silicon carbide crystals.
“All of these silicon carbide manufacturers had cranked up the supply massively in response to the expected EV boom,” notes Calafiore. “Right now, there’s an overcapacity that didn’t exist when we were building Orion. So now, because supply is high and demand is low, the cost of the substrate has started to come down.”
“Suppliers are very excited by the new opportunity of manufacturing optical-grade silicon carbide—after all, each waveguide lens represents a large amount of material relative to an electronic chip, and all of their existing capabilities apply to this new space,” adds Silverstein. “Filling your factory is essential, and scaling your factory is the dream. The size of the wafer matters, too: The bigger the wafer, the lower the cost—but the complexity of the process also goes up. That said, we’ve seen suppliers move from four-inch to eight-inch wafers, and some are working on precursors to 12-inch wafers, which would yield exponentially more pairs of AR glasses.”
These advancements should help continue to drive costs down. It’s still early days, but the future is coming into focus.
“At the beginning of any new technological revolution, you try a bunch of things,” says Calafiore. “Look at television: We started with cathode-ray tubes, and then we went to the LED plasma TVs and now microLEDs. We went through several different technologies and architectures. As you pathfind, lots of paths end up nowhere, but there are some that you just keep coming back to as the most promising. We’re not at the end of the road, and we can’t do it alone, but silicon carbide is a wonder material that is well worth the investment.”
“The world is awake now,” adds Silverstein. “We’ve successfully shown that silicon carbide can flex across electronics and photonics. It’s a material that could have future applications in quantum computing. And we’re seeing signs that it’s possible to significantly reduce the cost. There’s a lot of work left to be done, but the potential upside here is huge.”
Astăzi la Conectare, Mark Zuckerberg a dezvăluit Orion - prima noastră pereche de ochelari AR adevărați, cu nume de cod anterior Proiectul Nazare.
Cu un câmp vizual lider în industrie, lentile din carbură de siliciuOrion este prototipul nostru de produs cel mai avansat și cel mai rafinat de până acum, cu ghiduri de undă complexe, proiectoare uLED și multe altele.
În prezent, continuăm optimizarea produselor și reducerea costurilor în timp ce ne îndreptăm către un dispozitiv de consum scalabil care va revoluționa modul în care oamenii interacționează cu lumea.
"Construim ochelari AR."
Cinci cuvinte simple, vorbit acum cinci ani. Împreună cu ei, am plantat un steag pe viziunea noastră despre un viitor în care nu mai trebuie să facem falsa alegere între o lume a informațiilor la îndemâna noastră și lumea fizică din jurul nostru.
Și acum, cinci ani mai târziu, alte cinci cuvinte care vor schimba din nou jocul:
La Meta, misiunea noastră este simplă: să oferim oamenilor puterea de a construi comunități și de a aduce lumea mai aproape. Iar la Reality Labs, construim instrumente care îi ajută pe oameni să se simtă conectați oricând, oriunde. De aceea, ne străduim să construim următoarea platformă de calcul care pune oamenii în centru, astfel încât aceștia să poată fi mai prezenți, mai conectați și mai puternici în lume.
Ochelari Ray-Ban Meta au demonstrat puterea de a oferi oamenilor acces hands-free la părțile cheie ale vieții lor digitale din viața lor fizică. Putem vorbi cu un asistent AI inteligent, ne putem conecta cu prietenii și putem surprinde momentele care contează - toate acestea fără a fi nevoiți să scoatem vreodată telefonul. Acești ochelari eleganți se integrează perfect în viața noastră de zi cu zi, iar oamenii îi adoră.
Cu toate acestea, în timp ce Ray-Ban Meta a deschis o categorie cu totul nouă de ochelari fără afișaj supraîncărcați de AI, industria XR a visat mult timp la ochelari AR adevărați - un produs care combină beneficiile unui afișaj holografic mare și asistență AI personalizată într-un factor de formă confortabil, elegant, purtabil toată ziua.
Iar astăzi, am împins acest vis mai aproape de realitate odată cu dezvăluirea Orioncare, în opinia noastră, este cea mai avansată pereche de ochelari AR fabricată vreodată. De fapt, ar putea fi cel mai provocator dispozitiv electronic de consum produs de la smartphone. Orion este rezultatul unor invenții revoluționare în aproape fiecare domeniu al informaticii moderne - bazându-se pe munca pe care am făcut-o la Reality Labs în ultimul deceniu. Este dotat cu tehnologii complet noi, inclusiv cel mai avansat ecran AR asamblat vreodată și silicon personalizat care permite rularea unor experiențe AR puternice pe o pereche de ochelari folosind o fracțiune din puterea și greutatea unei căști MR.
Sistemul de intrare Orion combină perfect vocea, privirea și urmărirea mâinii cu un Brățară EMG care vă permite să glisați, să faceți clic și să derulați în timp ce brațul dvs. se odihnește confortabil lângă dvs., permițându-vă să rămâneți prezent în lume și cu oamenii din jurul dvs. în timp ce interacționați cu conținut digital bogat.
Începând de astăzi la Connect și continuând pe tot parcursul anului, vom deschide accesul la prototipul nostru de produs Orion pentru angajații Meta și audiențe externe selectate, astfel încât echipa noastră de dezvoltare să poată învăța, itera și construi spre linia noastră de produse de ochelari AR pentru consumatori, pe care intenționăm să începem să o livrăm în viitorul apropiat.
De ce ochelari AR?
Există trei motive principale pentru care ochelarii AR sunt esențiali pentru deblocarea următorului mare salt în informatica orientată către om.
Acestea permit experiențe digitale care nu sunt constrânse de limitele unui ecran de smartphone. Cu ajutorul ecranelor holografice mari, puteți folosi lumea fizică drept pânză, plasând conținut și experiențe 2D și 3D oriunde doriți.
Acestea integrează perfect inteligența artificială contextuală care poate detecta și înțelege lumea din jurul dumneavoastră pentru a anticipa și a răspunde proactiv nevoilor dumneavoastră.
Sunt ușoare și ideale pentru utilizare atât în interior, cât și în exterior - și permit oamenilor să vadă fața reală, ochii reali și expresiile reale ale celorlalți.
Aceasta este steaua nordică spre care s-a îndreptat industria noastră: un produs care combină confortul și caracterul imediat al dispozitivelor portabile cu un ecran mare, o lățime de bandă mare și inteligență artificială contextualizată într-un factor de formă pe care oamenii se simt confortabil să-l poarte în viața de zi cu zi.
Factor de formă compact, provocări complicate
De ani de zile, ne confruntăm cu o alegere falsă - fie căști de realitate virtuală și mixtă care permit experiențe profunde și imersive într-un factor de formă voluminos, fie ochelari care sunt ideali pentru utilizare pe tot parcursul zilei, dar care nu oferă aplicații și experiențe vizuale bogate din cauza lipsei unui ecran mare și a puterii de calcul corespunzătoare.
Dar noi vrem totul, fără compromisuri. De ani de zile, lucrăm din greu pentru a lua experiențele spațiale incredibile oferite de căștile VR și MR și pentru a miniaturiza tehnologia necesară pentru a oferi aceste experiențe într-o pereche de ochelari ușori și eleganți. Realizarea factorului de formă, furnizarea de afișaje holografice, dezvoltarea de experiențe AR convingătoare și crearea de noi paradigme de interacțiune om-computer (HCI) - și toate acestea într-un singur produs coerent - reprezintă una dintre cele mai dificile provocări cu care s-a confruntat vreodată industria noastră. A fost o provocare atât de mare încât am crezut că avem mai puțin de 10% șanse de a reuși.
Până acum.
Un ecran revoluționar într-un factor de formă de neegalat
La aproximativ 70 de grade, Orion are cel mai mare câmp vizual în cel mai mic factor de formă al ochelarilor AR de până acum. Acest câmp de vizualizare deblochează cazuri de utilizare cu adevărat imersive pentru Orion, de la ferestre multitasking și divertisment pe ecran mare la holograme de oameni în mărime naturală - tot conținutul digital care se poate îmbina perfect cu vizualizarea lumii fizice.
Pentru Orion, câmpul vizual a fost Sfântul Graal. Ne ciocneam de legile fizicii și trebuia să îndoim fasciculele de lumină în moduri în care acestea nu se îndoaie în mod natural - și trebuia să facem acest lucru într-un pachet de putere măsurat în miliwați.
În loc de sticlă, am realizat lentilele din carbură de siliciu-o nouă aplicație pentru ochelarii AR. Carbură de siliciu este incredibil de ușor, nu produce artefacte optice sau lumină vagabondă și are un indice de refracție ridicat - toate proprietățile optice esențiale pentru un câmp vizual mare. Ghidurile de undă în sine au structuri 3D la scară nanometrică foarte complicate și complexe pentru a difracta sau răspândi lumina în mod necesar pentru a obține acest câmp vizual. Iar proiectoarele sunt uLED - un nou tip de tehnologie de afișare care este foarte mică și extrem de eficientă energetic.
Orion este fără îndoială o pereche de ochelari, atât la aspect, cât și la atingere, cu lentile transparente. Spre deosebire de căștile MR sau de alți ochelari AR din prezent, puteți vedea în continuare ochii și expresiile reale ale celorlalți, astfel încât să puteți fi prezenți și să împărtășiți experiența cu persoanele din jurul dvs. Au fost necesare zeci de inovații pentru a reduce designul industrial la o formă de ochelari contemporană, pe care să vă simțiți confortabil să o purtați în fiecare zi. Orion este o realizare a miniaturizării - componentele sunt împachetate până la o fracțiune de milimetru. Și am reușit să încorporăm șapte camere și senzori minusculi în marginile ramei.
A trebuit să menținem precizia optică la o zecime din grosimea unui fir de păr uman. Iar sistemul poate detecta mișcări minuscule - cum ar fi extinderea sau contracția cadrelor la diferite temperaturi ale camerei - și apoi corectează digital alinierea optică necesară, totul în câteva milisecunde. Am realizat cadrele din magneziu - același material utilizat la mașinile de curse F1 și la navele spațiale - deoarece este ușor, dar rigid, astfel încât menține elementele optice aliniate și conduce eficient căldura.
Încălzire și răcire
Odată ce am spart afișajul (fără a face un joc de cuvinte) și am depășit problemele de fizică, a trebuit să facem față provocării reprezentate de calculul foarte puternic, alături de consumul foarte redus de energie și de nevoia de disipare a căldurii. Spre deosebire de căștile MR de astăzi, nu poți introduce un ventilator într-o pereche de ochelari. Așa că a trebuit să fim creativi. Multe dintre materialele utilizate pentru răcirea Orion sunt similare cu cele folosite de NASA pentru răcirea sateliților din spațiu.
Am construit siliciu personalizat extrem de specializat care este extrem de eficient din punct de vedere energetic și optimizat pentru algoritmii noștri de inteligență artificială, percepție artificială și grafică. Am construit mai multe cipuri personalizate și zeci de blocuri IP de siliciu foarte personalizate în interiorul acestor cipuri. Acest lucru ne permite să luăm algoritmii necesari pentru urmărirea mâinii și a ochilor, precum și tehnologia de localizare și cartografiere simultană (SLAM), care în mod normal necesită sute de miliwați de putere - și astfel generează o cantitate corespunzătoare de căldură - și să o reducem la doar câteva zeci de miliwați.
Și da, siliciul personalizat continuă să joace un rol esențial în dezvoltarea produselor la Reality Labs, în ciuda a ceea ce ați putut citi în altă parte. 😎
EMG fără efort
Fiecare nouă platformă de calcul aduce cu sine o schimbare de paradigmă în modul în care interacționăm cu dispozitivele noastre. Inventarea mouse-ului a contribuit la deschiderea drumului pentru interfețele grafice cu utilizatorul (GUI) care domină lumea noastră de astăzi, iar smartphone-urile nu au început să câștige cu adevărat teren până la apariția ecranului tactil. Aceeași regulă este valabilă și pentru dispozitivele portabile.
Am vorbit despre munca noastră cu electromiografie, sau EMG, timp de ani de zile, motivat de convingerea noastră că introducerea datelor pentru ochelarii AR trebuie să fie rapidă, convenabilă, fiabilă, subtilă și acceptabilă din punct de vedere social. Iar acum, această muncă este pregătită pentru prime time.
Sistemul de intrare și interacțiune Orion combină perfect vocea, privirea și urmărirea mâinii cu o brățară EMG care vă permite să glisați, să faceți clic și să derulați cu ușurință.
Funcționează și se simte ca prin magie. Imaginați-vă făcând o fotografie în timpul alergării de dimineață cu o simplă atingere a vârfurilor degetelor sau navigând prin meniuri cu mișcări abia perceptibile ale mâinilor. Brățara noastră combină un material textil de înaltă performanță cu senzori EMG încorporați pentru a detecta semnalele electrice generate chiar și de cele mai mici mișcări musculare. Un procesor ML de pe dispozitiv interpretează apoi aceste semnale EMG pentru a produce evenimente de intrare care sunt transmise fără fir către ochelari. Sistemul se adaptează la dumneavoastră, astfel încât devine din ce în ce mai bun și mai capabil să recunoască cele mai subtile gesturi în timp. Și astăzi, vă împărtășim mai multe despre sprijinul nostru pentru cercetarea externă axată pe extinderea potențialului de echitate și accesibilitate al brățărilor EMG.
Faceți cunoștință cu Wireless Compute Puck
Ochelarii cu adevărat AR trebuie să fie wireless și, de asemenea, mici.Așa că am construit un puc de calcul fără fir pentru Orion. Acesta preia o parte din sarcina ochelarilor, permițând o durată de viață mai lungă a bateriei și un factor de formă mai bun, cu latență scăzută.
Ochelarii rulează toți algoritmii de urmărire a mâinii, urmărire a ochilor, SLAM și grafica specializată de blocare a lumii AR, în timp ce logica aplicației rulează pe puc pentru a păstra ochelarii cât mai ușori și mai compacți posibil.
Pucul are procesoare duble, inclusiv unul proiectat la comandă chiar aici, la Meta, și oferă puterea de calcul necesară pentru redarea grafică cu latență redusă, inteligență artificială și unele percepții suplimentare ale mașinii.
Și pentru că este mic și elegant, puteți arunca cu ușurință pucul într-o geantă sau în buzunar și să vă vedeți de treabă, fără obligații.
Experiențe AR
Bineînțeles, ca orice piesă hardware, este la fel de bună ca lucrurile pe care le puteți faceți cu el. Și, deși suntem încă la început, experiențele oferite de Orion sunt o idee interesantă a ceea ce va urma.
Avem asistentul nostru inteligent, Meta AI, care rulează pe Orion. Acesta înțelege la ce vă uitați în lumea fizică și vă poate ajuta cu vizualizări utile. Orion utilizează același model Llama care alimentează astăzi experiențele AI care rulează pe ochelarii inteligenți Ray-Ban Meta, plus modele de cercetare personalizate pentru a demonstra potențialele cazuri de utilizare pentru dezvoltarea viitoare a dispozitivelor portabile.
Puteți efectua un apel video hands-free în timpul deplasării pentru a vă pune la curent cu prietenii și familia în timp real și puteți rămâne conectat pe WhatsApp și Messenger pentru a vizualiza și trimite mesaje. Nu trebuie să scoateți telefonul, să îl deblocați, să găsiți aplicația potrivită și să îi spuneți prietenului dvs. că întârziați la cină - puteți face toate acestea prin intermediul ochelarilor dvs.
Puteți juca jocuri AR partajate cu familia din cealaltă parte a țării sau cu prietenul dvs. de pe cealaltă parte a canapelei. Iar ecranul mare al Orion vă permite să efectuați mai multe activități în același timp, cu mai multe ferestre, pentru a face lucruri fără a fi nevoit să vă plimbați cu laptopul.
Experiențele disponibile astăzi pe Orion vor ajuta la trasarea foii de parcurs pentru linia noastră de ochelari AR pentru consumatori în viitor. Echipele noastre vor continua să itereze și să construiască noi experiențe sociale imersive, alături de partenerii noștri dezvoltatori, și abia așteptăm să împărtășim ce urmează.
Un prototip de produs cu scop precis
Deși Orion nu va ajunge în mâinile consumatorilor, nu faceți nicio greșeală: Aceasta este nu un prototip de cercetare. Este cel mai rafinat prototip de produs pe care l-am dezvoltat vreodată și este cu adevărat reprezentativ pentru ceva care ar putea livrați consumatorilor. În loc să ne grăbim să îl punem pe rafturi, am decis să ne concentrăm mai întâi pe dezvoltarea internă, ceea ce înseamnă că putem continua să construim rapid și să depășim limitele tehnologiei și ale experiențelor.
Și asta înseamnă că vom ajunge mai repede la un produs de consum și mai bun.
Ce urmează
Două obstacole majore au stat mult timp în calea ochelarilor AR de larg consum: progresele tehnologice necesare pentru a oferi un ecran mare într-un format compact de ochelari și necesitatea unor experiențe AR utile și convingătoare care să poată rula pe acești ochelari. Orion reprezintă o piatră de hotar uriașă, oferind pentru prima dată adevărate experiențe AR care rulează pe un hardware rezonabil de elegant.
Acum că am împărtășit Orion cu lumea, ne concentrăm pe câteva lucruri:
Reglarea calității afișajului AR pentru a face imaginile și mai clare
Optimizarea ori de câte ori putem pentru a face factorul de formă și mai mic
Construirea la scară largă pentru a le face mai accesibile
În următorii câțiva ani, vă puteți aștepta să vedeți noi dispozitive de la noi care se bazează pe eforturile noastre de cercetare și dezvoltare. Și o serie de inovații Orion au fost extinse la produsele noastre de consum actuale, precum și la foaia de parcurs a produselor noastre viitoare. Am optimizat unii dintre algoritmii noștri de percepție spațială, care rulează atât pe Meta Quest 3S și Orion. În timp ce sistemul de intrare prin privire și gesturi subtile a fost proiectat inițial pentru Orion, intenționăm să îl folosim și în produsele viitoare. De asemenea, explorăm utilizarea brățărilor EMG în viitoarele produse de consum.
Orion nu este doar o fereastră spre viitor - este o privire asupra posibilităților foarte reale pe care le avem la îndemână astăzi. L-am construit în căutarea a ceea ce facem cel mai bine: să ajutăm oamenii să se conecteze. De la ochelarii Ray-Ban Meta la Orion, am văzut binele care poate veni din faptul că oamenii pot fi mai prezenți și mai puternici în lumea fizică, chiar și în timp ce beneficiază de toată bogăția adăugată pe care o oferă lumea digitală.
Credem că nu ar trebui să trebuiască să alegeți între cele două. Iar cu următoarea platformă de calcul, nu va trebui să o faceți.
Pentru mai multe informații despre Orion, consultați aceste articole de blog:
Last year at Connect, we unveiled Orion—our first true pair of AR glasses. The culmination of our work at Reality Labs over the last decade, Orion combines the benefits of a large holographic display and personalized AI assistance in a comfortable, all-day wearable form factor. It got some attention for its industry-leading field of view, silicon carbide waveguides, uLED projectors, and more. But today, we’re turning our attention to an unsung hero of Orion: the compute puck.
Designed to easily slip into your pocket or bag so you can bring it just about anywhere as you go about your day, the puck offloads Orion’s processing power to run application logic and enable a more compelling, smaller form factor for the glasses. It connects wirelessly to the glasses and EMG wristband for a seamless experience.
Set it and forget it, right?
But the puck’s backstory—even as a prototype—is involved, with a dramatic arc you’d never guess at from its appearance.
“When you’re building something like this, you start getting into the limits of physics,” explains Director of Product Management Rahul Prasad. “For the last 50 years, Moore’s Law has made everything smaller, faster, and lower power. The problem is that now you’re starting to hit limits on how much heat you can dissipate, how much battery you can compress, and how much antenna performance you can fit into a particular sized object.”
While hindsight may be 20/20, the puck’s potential wasn’t immediately obvious. When you’re the first to build something, you need to explore every possibility—leaving no stone unturned. How do you build something that some might think of as an undesirable accessory rather than a critical part of the package?
“We knew the puck was an extra device we were asking people to carry,” notes Product Design Engineering Manager Jared Van Cleave, “so we explored how to turn the bug into a feature.”
Ultimately, that ethos paid off in spades as the puck squeezes a lot of compute (and even more Meta-designed custom silicon for AI and machine perception) into a small size. This was instrumental in helping Orion go from the realm of science fiction into reality.
“If you didn’t have the puck, you wouldn’t be able to have the experiences that Orion offers in its form factor—period,” says Prasad. “A good AR experience demands really high performance: high frame rates, extremely low latency, fine-grained wireless and power management, etc. The puck and the glasses need to be co-designed to work really closely together, not just at the app layer, but also at the operating system, firmware, and hardware layers. And even if one were to co-design a smartphone to work with AR glasses, the demanding performance requirements would drain the phone battery and suck away compute capacity from phone use cases. On the other hand, the puck has its own high-capacity battery, high-performance SoC, and a custom Meta-designed AI co-processor optimized for Orion.”
Of course, the puck wasn’t designed overnight. It required years of iterative work.
“We didn’t know how people would want to interact with Orion from an input perspective—there was nothing we could draft off of in-market,” says Product Manager Matt Resman. “If you look at our early glasses prototypes, they were these massive headsets that weighed three or four pounds. And when you’re trying to build a product, it’s really difficult to understand the user experience if you’re not in the right form factor. With the puck, we were able to prototype very quickly to start understanding how people would use it.”
Codenamed Omega in the early days, the puck was initially envisioned by what was then Oculus Research as an Ω-shaped band that would go around the user’s neck and be hard-wired to the glasses…
… until some new innovations by the Reality Labs wireless team, among other things, allowed them to cut the cord. That enabled a more handheld or pocketable / in-bag form factor, which opened up a lot of possibilities.
“At that point, augmented reality calling was still a primary use case,” Van Cleave explains. “The puck was where the holographic videos would be anchored. You’d put it down on the table with the sensor bench facing you, imaging you, and then projecting who you were speaking to from the puck’s surface for the call.”
“Orion is about connecting people and bringing us together,” says Resman. “One of the initial concepts for the puck was to help create this sense of presence with other people and enable this richer form of communication.”
“It’s unlike anything you’ve ever seen—the device has the potential to create really fun and unique interactions,” adds Industrial Designer Emron Henry. “The user experience feels a bit like unleashing a genie from a bottle, where holograms seamlessly emerge from and dissolve back into the device.”
As you can probably tell by now, there’s more potential inside the puck than what ultimately got turned on as a feature. In addition to the sensors and cameras that would’ve been used for AR calling, the puck has haptics and 6DOF sensors that could enable it to be used as a tracked controller to select and manipulate virtual objects and play AR games. The team also explored capacitive and force touch input so the puck could serve as a gamepad when held in both portrait and landscape mode.
“We would talk about the need to carry this extra thing,” says Van Cleave. “How do we make it more useful? There was a whole workstream around it. And at one point, the hypothesis was that AR gaming was going to be this killer use case.”
Early on, we knew we needed to explore the possibilities of the puck doing things that phones cannot. Eventually, we landed on using eye gaze, EMG, and hand tracking for AR games, like Stargazer and Pong, but we prototyped various demos and games that used the puck as a controller in the early days of Orion.
0:00 / 0:00
0:00 / 0:00
0:00 / 0:00
Rendered explorations of the puck as a 6DOF controller for AR games like Pong.
“Because it’s not a phone, that gave us a lot of design freedom,” adds Prasad. “It can be thicker, I can make it more rounded so it fits comfortably in your hand as a controller. It’s pretty incredible that the puck is actually smaller than the average phone, but it’s more powerful than a phone because it has a Meta-designed co-processor for AI and machine perception.”
The team dug into the question of how a quality AR game might differ from a MR or console game. That meant exploring different affordances for an AR game controller, including joysticks, physical button layouts, trigger buttons, and more.
“We didn’t end up actually building any of that stuff,” Van Cleave notes. “We prototyped it, but we didn’t ever go for a full build. We wanted to keep it simple. We wanted to do these soft interfaces but not make physical, mechanical buttons.”
And while the sensors and haptics weren’t turned on in the finished product prototype, they served an integral function during development, letting teams file bugs by simply tapping on the top of the device a few times to trigger a bug report.
As AI began to take center stage as a key use case, compute came into increasingly sharp focus. In the end, the puck is home to Orion’s wireless connectivity, computing power, and battery capacity—a huge technical feat in itself—all of which helps reduce the weight and form factor of the glasses while dissipating a lot more thermals by virtue of its surface area.
Throughout its evolution, one thing has remained the same: There’s more to the puck than meets the untrained eye. Embracing unconventional ideas allowed our teams to explore, push boundaries, and build the future.
“We’re defining a category that doesn’t quite exist yet,” notes Henry. “As you’d expect with R&D, there were starts and stops along the way. How will users expect to interact with holograms? Would they prefer to use an AR remote or is hand tracking, eye gaze, and EMG sufficient for input? What feels intuitive, low-friction, familiar, and useful?”
“Rather than looking at the puck as just a rock, we asked ourselves what else we could provide to further differentiate it from phones and justify why you’d want to carry it around,” acknowledges Resman. “Does its raw compute power and practical design—which helped unlock a glasses form factor that you can realistically wear around all day—ultimately offer enough value? It’s our job to help answer these questions.”
“Early on, we shifted gears to focus on what we can do that a phone can’t do,” Van Cleave adds. “Phones need to have the screen, they need to have the certain physical button layout that users expect. And we don’t have those constraints. Our compute puck can be whatever we want it to be.”
Pentru mai multe informații despre Orion, consultați aceste articole de blog:
Astăzi la Conectare, Mark Zuckerberg a dezvăluit Orion - prima noastră pereche de ochelari AR adevărați, cu nume de cod anterior Proiectul Nazare.
Cu un câmp vizual lider în industrie, lentile din carbură de siliciuOrion este prototipul nostru de produs cel mai avansat și cel mai rafinat de până acum, cu ghiduri de undă complexe, proiectoare uLED și multe altele.
În prezent, continuăm optimizarea produselor și reducerea costurilor în timp ce ne îndreptăm către un dispozitiv de consum scalabil care va revoluționa modul în care oamenii interacționează cu lumea.
"Construim ochelari AR."
Cinci cuvinte simple, vorbit acum cinci ani. Împreună cu ei, am plantat un steag pe viziunea noastră despre un viitor în care nu mai trebuie să facem falsa alegere între o lume a informațiilor la îndemâna noastră și lumea fizică din jurul nostru.
Și acum, cinci ani mai târziu, alte cinci cuvinte care vor schimba din nou jocul:
La Meta, misiunea noastră este simplă: să oferim oamenilor puterea de a construi comunități și de a aduce lumea mai aproape. Iar la Reality Labs, construim instrumente care îi ajută pe oameni să se simtă conectați oricând, oriunde. De aceea, ne străduim să construim următoarea platformă de calcul care pune oamenii în centru, astfel încât aceștia să poată fi mai prezenți, mai conectați și mai puternici în lume.
Ochelari Ray-Ban Meta au demonstrat puterea de a oferi oamenilor acces hands-free la părțile cheie ale vieții lor digitale din viața lor fizică. Putem vorbi cu un asistent AI inteligent, ne putem conecta cu prietenii și putem surprinde momentele care contează - toate acestea fără a fi nevoiți să scoatem vreodată telefonul. Acești ochelari eleganți se integrează perfect în viața noastră de zi cu zi, iar oamenii îi adoră.
Cu toate acestea, în timp ce Ray-Ban Meta a deschis o categorie cu totul nouă de ochelari fără afișaj supraîncărcați de AI, industria XR a visat mult timp la ochelari AR adevărați - un produs care combină beneficiile unui afișaj holografic mare și asistență AI personalizată într-un factor de formă confortabil, elegant, purtabil toată ziua.
Iar astăzi, am împins acest vis mai aproape de realitate odată cu dezvăluirea Orioncare, în opinia noastră, este cea mai avansată pereche de ochelari AR fabricată vreodată. De fapt, ar putea fi cel mai provocator dispozitiv electronic de consum produs de la smartphone. Orion este rezultatul unor invenții revoluționare în aproape fiecare domeniu al informaticii moderne - bazându-se pe munca pe care am făcut-o la Reality Labs în ultimul deceniu. Este dotat cu tehnologii complet noi, inclusiv cel mai avansat ecran AR asamblat vreodată și silicon personalizat care permite rularea unor experiențe AR puternice pe o pereche de ochelari folosind o fracțiune din puterea și greutatea unei căști MR.
Sistemul de intrare Orion combină perfect vocea, privirea și urmărirea mâinii cu un Brățară EMG care vă permite să glisați, să faceți clic și să derulați în timp ce brațul dvs. se odihnește confortabil lângă dvs., permițându-vă să rămâneți prezent în lume și cu oamenii din jurul dvs. în timp ce interacționați cu conținut digital bogat.
Începând de astăzi la Connect și continuând pe tot parcursul anului, vom deschide accesul la prototipul nostru de produs Orion pentru angajații Meta și audiențe externe selectate, astfel încât echipa noastră de dezvoltare să poată învăța, itera și construi spre linia noastră de produse de ochelari AR pentru consumatori, pe care intenționăm să începem să o livrăm în viitorul apropiat.
De ce ochelari AR?
Există trei motive principale pentru care ochelarii AR sunt esențiali pentru deblocarea următorului mare salt în informatica orientată către om.
Acestea permit experiențe digitale care nu sunt constrânse de limitele unui ecran de smartphone. Cu ajutorul ecranelor holografice mari, puteți folosi lumea fizică drept pânză, plasând conținut și experiențe 2D și 3D oriunde doriți.
Acestea integrează perfect inteligența artificială contextuală care poate detecta și înțelege lumea din jurul dumneavoastră pentru a anticipa și a răspunde proactiv nevoilor dumneavoastră.
Sunt ușoare și ideale pentru utilizare atât în interior, cât și în exterior - și permit oamenilor să vadă fața reală, ochii reali și expresiile reale ale celorlalți.
Aceasta este steaua nordică spre care s-a îndreptat industria noastră: un produs care combină confortul și caracterul imediat al dispozitivelor portabile cu un ecran mare, o lățime de bandă mare și inteligență artificială contextualizată într-un factor de formă pe care oamenii se simt confortabil să-l poarte în viața de zi cu zi.
Factor de formă compact, provocări complicate
De ani de zile, ne confruntăm cu o alegere falsă - fie căști de realitate virtuală și mixtă care permit experiențe profunde și imersive într-un factor de formă voluminos, fie ochelari care sunt ideali pentru utilizare pe tot parcursul zilei, dar care nu oferă aplicații și experiențe vizuale bogate din cauza lipsei unui ecran mare și a puterii de calcul corespunzătoare.
Dar noi vrem totul, fără compromisuri. De ani de zile, lucrăm din greu pentru a lua experiențele spațiale incredibile oferite de căștile VR și MR și pentru a miniaturiza tehnologia necesară pentru a oferi aceste experiențe într-o pereche de ochelari ușori și eleganți. Realizarea factorului de formă, furnizarea de afișaje holografice, dezvoltarea de experiențe AR convingătoare și crearea de noi paradigme de interacțiune om-computer (HCI) - și toate acestea într-un singur produs coerent - reprezintă una dintre cele mai dificile provocări cu care s-a confruntat vreodată industria noastră. A fost o provocare atât de mare încât am crezut că avem mai puțin de 10% șanse de a reuși.
Până acum.
Un ecran revoluționar într-un factor de formă de neegalat
La aproximativ 70 de grade, Orion are cel mai mare câmp vizual în cel mai mic factor de formă al ochelarilor AR de până acum. Acest câmp de vizualizare deblochează cazuri de utilizare cu adevărat imersive pentru Orion, de la ferestre multitasking și divertisment pe ecran mare la holograme de oameni în mărime naturală - tot conținutul digital care se poate îmbina perfect cu vizualizarea lumii fizice.
Pentru Orion, câmpul vizual a fost Sfântul Graal. Ne ciocneam de legile fizicii și trebuia să îndoim fasciculele de lumină în moduri în care acestea nu se îndoaie în mod natural - și trebuia să facem acest lucru într-un pachet de putere măsurat în miliwați.
În loc de sticlă, am realizat lentilele din carbură de siliciu-o nouă aplicație pentru ochelarii AR. Carbură de siliciu este incredibil de ușor, nu produce artefacte optice sau lumină vagabondă și are un indice de refracție ridicat - toate proprietățile optice esențiale pentru un câmp vizual mare. Ghidurile de undă în sine au structuri 3D la scară nanometrică foarte complicate și complexe pentru a difracta sau răspândi lumina în mod necesar pentru a obține acest câmp vizual. Iar proiectoarele sunt uLED - un nou tip de tehnologie de afișare care este foarte mică și extrem de eficientă energetic.
Orion este fără îndoială o pereche de ochelari, atât la aspect, cât și la atingere, cu lentile transparente. Spre deosebire de căștile MR sau de alți ochelari AR din prezent, puteți vedea în continuare ochii și expresiile reale ale celorlalți, astfel încât să puteți fi prezenți și să împărtășiți experiența cu persoanele din jurul dvs. Au fost necesare zeci de inovații pentru a reduce designul industrial la o formă de ochelari contemporană, pe care să vă simțiți confortabil să o purtați în fiecare zi. Orion este o realizare a miniaturizării - componentele sunt împachetate până la o fracțiune de milimetru. Și am reușit să încorporăm șapte camere și senzori minusculi în marginile ramei.
A trebuit să menținem precizia optică la o zecime din grosimea unui fir de păr uman. Iar sistemul poate detecta mișcări minuscule - cum ar fi extinderea sau contracția cadrelor la diferite temperaturi ale camerei - și apoi corectează digital alinierea optică necesară, totul în câteva milisecunde. Am realizat cadrele din magneziu - același material utilizat la mașinile de curse F1 și la navele spațiale - deoarece este ușor, dar rigid, astfel încât menține elementele optice aliniate și conduce eficient căldura.
Încălzire și răcire
Odată ce am spart afișajul (fără a face un joc de cuvinte) și am depășit problemele de fizică, a trebuit să facem față provocării reprezentate de calculul foarte puternic, alături de consumul foarte redus de energie și de nevoia de disipare a căldurii. Spre deosebire de căștile MR de astăzi, nu poți introduce un ventilator într-o pereche de ochelari. Așa că a trebuit să fim creativi. Multe dintre materialele utilizate pentru răcirea Orion sunt similare cu cele folosite de NASA pentru răcirea sateliților din spațiu.
Am construit siliciu personalizat extrem de specializat care este extrem de eficient din punct de vedere energetic și optimizat pentru algoritmii noștri de inteligență artificială, percepție artificială și grafică. Am construit mai multe cipuri personalizate și zeci de blocuri IP de siliciu foarte personalizate în interiorul acestor cipuri. Acest lucru ne permite să luăm algoritmii necesari pentru urmărirea mâinii și a ochilor, precum și tehnologia de localizare și cartografiere simultană (SLAM), care în mod normal necesită sute de miliwați de putere - și astfel generează o cantitate corespunzătoare de căldură - și să o reducem la doar câteva zeci de miliwați.
Și da, siliciul personalizat continuă să joace un rol esențial în dezvoltarea produselor la Reality Labs, în ciuda a ceea ce ați putut citi în altă parte. 😎
EMG fără efort
Fiecare nouă platformă de calcul aduce cu sine o schimbare de paradigmă în modul în care interacționăm cu dispozitivele noastre. Inventarea mouse-ului a contribuit la deschiderea drumului pentru interfețele grafice cu utilizatorul (GUI) care domină lumea noastră de astăzi, iar smartphone-urile nu au început să câștige cu adevărat teren până la apariția ecranului tactil. Aceeași regulă este valabilă și pentru dispozitivele portabile.
Am vorbit despre munca noastră cu electromiografie, sau EMG, timp de ani de zile, motivat de convingerea noastră că introducerea datelor pentru ochelarii AR trebuie să fie rapidă, convenabilă, fiabilă, subtilă și acceptabilă din punct de vedere social. Iar acum, această muncă este pregătită pentru prime time.
Sistemul de intrare și interacțiune Orion combină perfect vocea, privirea și urmărirea mâinii cu o brățară EMG care vă permite să glisați, să faceți clic și să derulați cu ușurință.
Funcționează și se simte ca prin magie. Imaginați-vă făcând o fotografie în timpul alergării de dimineață cu o simplă atingere a vârfurilor degetelor sau navigând prin meniuri cu mișcări abia perceptibile ale mâinilor. Brățara noastră combină un material textil de înaltă performanță cu senzori EMG încorporați pentru a detecta semnalele electrice generate chiar și de cele mai mici mișcări musculare. Un procesor ML de pe dispozitiv interpretează apoi aceste semnale EMG pentru a produce evenimente de intrare care sunt transmise fără fir către ochelari. Sistemul se adaptează la dumneavoastră, astfel încât devine din ce în ce mai bun și mai capabil să recunoască cele mai subtile gesturi în timp. Și astăzi, vă împărtășim mai multe despre sprijinul nostru pentru cercetarea externă axată pe extinderea potențialului de echitate și accesibilitate al brățărilor EMG.
Faceți cunoștință cu Wireless Compute Puck
Ochelarii cu adevărat AR trebuie să fie wireless și, de asemenea, mici.Așa că am construit un puc de calcul fără fir pentru Orion. Acesta preia o parte din sarcina ochelarilor, permițând o durată de viață mai lungă a bateriei și un factor de formă mai bun, cu latență scăzută.
Ochelarii rulează toți algoritmii de urmărire a mâinii, urmărire a ochilor, SLAM și grafica specializată de blocare a lumii AR, în timp ce logica aplicației rulează pe puc pentru a păstra ochelarii cât mai ușori și mai compacți posibil.
Pucul are procesoare duble, inclusiv unul proiectat la comandă chiar aici, la Meta, și oferă puterea de calcul necesară pentru redarea grafică cu latență redusă, inteligență artificială și unele percepții suplimentare ale mașinii.
Și pentru că este mic și elegant, puteți arunca cu ușurință pucul într-o geantă sau în buzunar și să vă vedeți de treabă, fără obligații.
Experiențe AR
Bineînțeles, ca orice piesă hardware, este la fel de bună ca lucrurile pe care le puteți faceți cu el. Și, deși suntem încă la început, experiențele oferite de Orion sunt o idee interesantă a ceea ce va urma.
Avem asistentul nostru inteligent, Meta AI, care rulează pe Orion. Acesta înțelege la ce vă uitați în lumea fizică și vă poate ajuta cu vizualizări utile. Orion utilizează același model Llama care alimentează astăzi experiențele AI care rulează pe ochelarii inteligenți Ray-Ban Meta, plus modele de cercetare personalizate pentru a demonstra potențialele cazuri de utilizare pentru dezvoltarea viitoare a dispozitivelor portabile.
Puteți efectua un apel video hands-free în timpul deplasării pentru a vă pune la curent cu prietenii și familia în timp real și puteți rămâne conectat pe WhatsApp și Messenger pentru a vizualiza și trimite mesaje. Nu trebuie să scoateți telefonul, să îl deblocați, să găsiți aplicația potrivită și să îi spuneți prietenului dvs. că întârziați la cină - puteți face toate acestea prin intermediul ochelarilor dvs.
Puteți juca jocuri AR partajate cu familia din cealaltă parte a țării sau cu prietenul dvs. de pe cealaltă parte a canapelei. Iar ecranul mare al Orion vă permite să efectuați mai multe activități în același timp, cu mai multe ferestre, pentru a face lucruri fără a fi nevoit să vă plimbați cu laptopul.
Experiențele disponibile astăzi pe Orion vor ajuta la trasarea foii de parcurs pentru linia noastră de ochelari AR pentru consumatori în viitor. Echipele noastre vor continua să itereze și să construiască noi experiențe sociale imersive, alături de partenerii noștri dezvoltatori, și abia așteptăm să împărtășim ce urmează.
Un prototip de produs cu scop precis
Deși Orion nu va ajunge în mâinile consumatorilor, nu faceți nicio greșeală: Aceasta este nu un prototip de cercetare. Este cel mai rafinat prototip de produs pe care l-am dezvoltat vreodată și este cu adevărat reprezentativ pentru ceva care ar putea livrați consumatorilor. În loc să ne grăbim să îl punem pe rafturi, am decis să ne concentrăm mai întâi pe dezvoltarea internă, ceea ce înseamnă că putem continua să construim rapid și să depășim limitele tehnologiei și ale experiențelor.
Și asta înseamnă că vom ajunge mai repede la un produs de consum și mai bun.
Ce urmează
Două obstacole majore au stat mult timp în calea ochelarilor AR de larg consum: progresele tehnologice necesare pentru a oferi un ecran mare într-un format compact de ochelari și necesitatea unor experiențe AR utile și convingătoare care să poată rula pe acești ochelari. Orion reprezintă o piatră de hotar uriașă, oferind pentru prima dată adevărate experiențe AR care rulează pe un hardware rezonabil de elegant.
Acum că am împărtășit Orion cu lumea, ne concentrăm pe câteva lucruri:
Reglarea calității afișajului AR pentru a face imaginile și mai clare
Optimizarea ori de câte ori putem pentru a face factorul de formă și mai mic
Construirea la scară largă pentru a le face mai accesibile
În următorii câțiva ani, vă puteți aștepta să vedeți noi dispozitive de la noi care se bazează pe eforturile noastre de cercetare și dezvoltare. Și o serie de inovații Orion au fost extinse la produsele noastre de consum actuale, precum și la foaia de parcurs a produselor noastre viitoare. Am optimizat unii dintre algoritmii noștri de percepție spațială, care rulează atât pe Meta Quest 3S și Orion. În timp ce sistemul de intrare prin privire și gesturi subtile a fost proiectat inițial pentru Orion, intenționăm să îl folosim și în produsele viitoare. De asemenea, explorăm utilizarea brățărilor EMG în viitoarele produse de consum.
Orion nu este doar o fereastră spre viitor - este o privire asupra posibilităților foarte reale pe care le avem la îndemână astăzi. L-am construit în căutarea a ceea ce facem cel mai bine: să ajutăm oamenii să se conecteze. De la ochelarii Ray-Ban Meta la Orion, am văzut binele care poate veni din faptul că oamenii pot fi mai prezenți și mai puternici în lumea fizică, chiar și în timp ce beneficiază de toată bogăția adăugată pe care o oferă lumea digitală.
Credem că nu ar trebui să trebuiască să alegeți între cele două. Iar cu următoarea platformă de calcul, nu va trebui să o faceți.
Pentru mai multe informații despre Orion, consultați aceste articole de blog:
Today, we’re highlighting new research from Georgia Tech that helps train robots to perform basic everyday tasks using egocentric recordings from wearers of Meta’s Project Aria research glasses. Check out the video below, read the full story, or apply for your own Project Aria Research Kit.
Imagine having help completing everyday tasks in your home such as doing the laundry, washing dishes, and making repairs. We already use tools to help with these tasks, like washing machines, dishwashers, and electric drills. But what if you could have an even more powerful and flexible tool in the form of a humanoid robot that could learn from you and accelerate any number of physical projects on your to-do list?
Even if you had the available hardware system, teaching a robot to do everyday tasks can only be achieved through a slow and clunky data collection method called robot teleoperation. Until now. By using the Project Aria Research Kit, Professor Danfei Xu and the Robotic Learning and Reasoning Lab at Georgia Tech use the egocentric sensors on Aria glasses to create what they call “human data” for tasks that they want a humanoid robot to replicate. They use human data to dramatically reduce the amount of robot teleoperation data needed to train a robot’s policy—a breakthrough that could some day make humanoid robots capable of learning any number of tasks a human could demonstrate.
Kareer teleoperates the robot to capture co-training data for EgoMimic. Teleoperation can be difficult to scale and require significant human effort.
“Traditionally, collecting data for robotics means creating demonstration data,” says Simar Kareer, a PhD student in Georgia Tech’s School of Interactive Computing. “You operate the robot’s joints with a controller to move it and achieve the task you want, and you do this hundreds of times while recording sensor data, then train your models. This is slow and difficult. The only way to break that cycle is to detach the data collection from the robot itself.”
Today, robot policy models are trained with large amounts of targeted demonstration data specific to each narrow task at a high cost. Kareer hypothesizes that passively collected data from many researchers, like the data captured by Aria glasses, could instead be used to enable data creation for a much broader set of tasks to create more generally useful robots in the future.
Inspired by Project Aria și Ego-Exo4D which includes a massive egocentric dataset of over 3K hours of video recordings of daily-life activities, Kareer developed EgoMimic, a new algorithmic framework that utilizes human data and robot data for humanoid robot development.
“When I looked at Ego4D, I saw a dataset that’s the same as all the large robot datasets we’re trying to collect, except it’s with humans,” Kareer explains. “You just wear a pair of glasses, and you go do things. It doesn’t need to come from the robot. It should come from something more scalable and passively generated, which is us.” In Kareer’s research, Aria glasses were used to create human data for co-training the EgoMimic framework.
Kareer creates co-training human data by recording with Aria glasses while folding a t-shirt.
Aria glasses aren’t just used for human data collection in Georgia Tech’s research. They’re also used as an integral component of the robot’s real-time operation setup. Aria glasses are mounted to their humanoid robot platform just like a pair of eyes and serve as an integrated sensor package that enables the robot to perceive its environment in real time. The Aria Client SDK is utilized to stream Aria’s sensor data directly into the robot’s policy, running on an attached PC, which in turn controls the robot’s actuation. Using Aria glasses for both the data collection and the real-time perception pipeline minimizes the domain gap between the human demonstrator and the robot, paving the way for scaled human data generation for future robotics task training.
Aria glasses mounted to the top of the robot provide the system with sensor data that allows the robot to perceive and interact with the space.
Thanks to EgoMimic, Kareer achieved a 400% increase in his robot’s performance across various tasks vs previous methods with just 90 minutes of Aria recordings. The robot was also able to successfully perform these tasks in previously unseen environments.
In the future, humanoid robots could be trained at scale using egocentric data in order to perform a variety of tasks in the same way humans do.
“We look at Aria as an investment in the research community,” says James Fort, a Reality Labs Research Product Manager at Meta. “The more that the egocentric research community standardizes, the more researchers will be able to collaborate. It’s really through scaling with the community like this that we can start to solve bigger problems around how things are going to work in the future.”
Since its launch in 2020, Project Aria has enabled researchers across the world to advance the state of the art in machine perception and AI, through access to cutting-edge research hardware and open-source datasets, models, and tooling. Today, we’re excited to announce the next step in this journey: the introduction of Aria Gen 2 glasses. This next generation of hardware will unlock new possibilities across a wide range of research areas including machine perception, egocentric and contextual AI, and robotics.
0:00 / 0:00
For researchers looking to explore how AI systems can better understand the world from a human perspective, Aria Gen 2 glasses add a new set of capabilities to the Aria platform. They include a number of advances not found on any other device available today, and access to these breakthrough technologies will enable researchers to push the boundaries of what’s possible.
Compared to Aria Gen 1, Aria Gen 2’s unique value proposition includes:
State-of-the-art sensor suite: The upgraded sensor suite features an RGB camera, 6DOF SLAM cameras, eye tracking cameras, spatial microphones, IMUs, barometer, magnetometer, and GNSS. Compared to its predecessor, Aria Gen 1, the new generation introduces two innovative sensors embedded in the nosepad: a PPG sensor for measuring heart rate and a contact microphone to distinguish the wearer’s voice from that of bystanders.
Ultra low-power and on-device machine perception: SLAM, eye tracking, hand tracking, and speech recognition are all processed on-device using Meta’s custom silicon.
All-day usability: Aria Gen 2 glasses are capable of six to eight hours of continuous use, weigh about 75 grams, and have foldable arms for easy portability.
Interaction through audio: Users get audio feedback via best-in-class open-ear force-canceling speakers, enabling user-in-the-loop system prototyping.
Our decade-long journey to create the next computing platform has led to the development of these critical technologies. At Meta, teams at Reality Labs Research and the FAIR AI lab will use them to advance our long-term research vision. Making them available to academic and commercial research labs through Project Aria will further advance open research and public understanding of a key set of technologies that we believe will help shape the future of computing and AI.
The open research enabled by Project Aria since 2020 has already led to important work, including the creation of open-source tools in wide use across academia and industry. The Ego-Exo4D dataset, collected using the first generation of Aria glasses, has become a foundational tool across modern computer vision and the growing field of robotics. Researchers at Georgia Tech recently showed how the Aria Research Kit can help humanoid robots learn to assist people in the home, while teams at BMW used it to explore how to integrate augmented and virtual reality systems into smart vehicles.
And Aria is also enabling the development of new technologies for accessibility. The first-generation Aria glasses were utilized by Carnegie Mellon University in their NavCog project, which aimed to build technologies to assist blind and low-vision individuals with indoor navigation. Building on this foundation, the Aria Gen 2 glasses are now being leveraged by Envision, a company dedicated to creating solutions for people who are blind or have low vision. Envision is exploring the integration of its Ally AI assistant and spatial audio using the latest Aria Gen 2 glasses to enhance indoor navigation and accessibility experiences.
0:00 / 0:00
Envision used the on-device SLAM capabilities of Aria Gen 2, along with spatial audio features via onboard speakers, to assist blind and low-vision individuals seamlessly navigate indoor environments. This innovative use of the technologies, which is still in the exploratory and research phase, exemplifies how researchers can leverage Aria Gen 2 glasses for prototyping AI experiences based on egocentric observations. The advanced sensors and on-device machine perception capabilities, including SLAM, eye tracking, hand tracking, and audio interactions, also make them ideal for data collection for research and robotics applications.
Over the coming months, we’ll share more details about the timing of device availability to partners. Researchers interested in accessing Aria Gen 2 can sign up to receive updates. We’re excited to see how researchers will leverage Aria Gen 2 to pave the way for future innovations that will shape the next computing platform.
Ray-Ban a fost un nume iconic în moda ochelarilor timp de decenii. Dar în colaborare cu Meta (fostul Facebook), au lansat un produs care depășește limitele - Ochelari inteligenți Ray-Ban Meta. Această fuziune a designului clasic cu tehnologia modernă oferă o experiență unică atât pentru pasionații de modă, cât și pentru iubitorii de tehnologie.
La prima vedere: Clasic cu un twist
La prima vedere, par a fi Ray-Bans clasici - rame negre elegante, manoperă premium și o carcasă elegantă din piele ecologică. Dar uitați-vă mai atent și veți realiza că ascund mai mult decât stil - sunt ochelari cu cameră încorporată, microfon, difuzoare și conectivitate smartphone.
Ce poate face Ray-Ban Meta?
Captare video și foto: O cameră discretă pe ramă vă permite să surprindeți lumea din punctul dvs. de vedere - fără mâini.
Muzică și apeluri: Cu difuzoare direcționale și microfoane încorporate, puteți prelua apeluri sau asculta muzică fără căști.
Sincronizare cu aplicația Meta View: Tot ceea ce înregistrați se sincronizează automat cu aplicația, gata pentru a fi partajat pe rețelele de socializare.
Control vocal: Datorită suportului pentru asistentul vocal, vă puteți controla ochelarii cu simple comenzi vocale - ideal pentru condus, sport sau utilizare în deplasare.
Pentru cine sunt acestea?
Ochelarii Ray-Ban Meta sunt perfecți pentru creatori de conținut, influenceri, călătorisau oricine dorește să imortalizeze momente fără să scoată telefonul. De asemenea, sunt ideale pentru utilizare comercială - ideal pentru documentare rapidă, transmisii live sau apeluri video mobile.
Verdict final: Eleganță inteligentă fără compromisuri
Dacă sunteți în căutarea unor ochelari care îmbină moda clasică cu tehnologia de top, Ray-Ban Meta este alegerea clară. Ei nu sunt doar un accesoriu elegant - ei sunt ochelari inteligenți care redefinesc modul în care vedem și surprindem lumea din jurul nostru.
O actualizare importantă pentru Ochelari Ray-Ban Meta proprietari astăzi: Aplicația Meta View este acum aplicația Meta AI pe iOS și Android. Pe lângă un nume nou, aplicația de însoțire a ochelarilor AI primește o actualizare, cu funcții noi pentru a vă face experiența mai distractivă, mai utilă și mai personală ca niciodată. Suntem aici pentru a vă ghida prin schimbări. Dar stați liniștit, caracteristicile de bază pe care le-ați cunoscut vor rămâne aceleași.
Ochelarii au apărut ca cea mai interesantă nouă categorie de hardware din era inteligenței artificiale, ochelarii Ray-Ban Meta fiind lider în definirea posibilităților. Suntem încântați să aducem aceleași experiențe vocale care au făcut ochelarii noștri atât de populari pe mai multe suprafețe, cum ar fi aplicația Meta AI.
Prietenos și familiar
În timp ce aplicația Meta AI are un nume și un aspect nou, aceasta este în continuare aplicația însoțitoare pentru ochelarii Ray-Ban Meta pe care îi cunoașteți și îi iubiți. Fotografiile și clipurile video existente pe care le-ați capturat cu ochelarii, setările dispozitivului și funcțiile cu care sunteți familiarizat din Meta View sunt încă disponibile în noua aplicație. De asemenea, migrăm automat setările media și ale dispozitivului existente din Meta View în aplicația Meta AI, astfel încât să nu pierdeți niciun moment. Și, la fel ca în ultima noastră actualizare, puteți utiliza aplicația Meta AI pentru a împerechea și gestiona până la șapte perechi de ochelari.
O aplicație însoțitoare all-in-one
Sunteți nou la ochelarii Ray-Ban Meta? Aplicația Meta AI este partenerul dvs. all-in-one pentru configurarea și gestionarea dispozitivului. Puteți importa, vizualiza și partaja fotografiile și clipurile video capturate cu ochelarii dvs. AI direct din aplicație. De asemenea, veți utiliza aplicația Meta AI pentru a vă configura setările, a vă actualiza software-ul și a gestiona opțiunile de confidențialitate. Puteți configura comenzi vocale din aplicație, astfel încât să vă puteți folosi ochelarii cu mâinile libere, și chiar să vă reglați setările camerei.
Prin integrarea Meta AI și a tot ceea ce oferă în aplicația însoțitoare, îți îmbunătățim experiența cu ochelarii Ray-Ban Meta. Puteți fi creativ cu fotografiile de pe ochelari direct în aplicația Meta AI - după ce importați fotografiile, cereți Meta AI în aplicație să adauge, să elimine sau să schimbe părți ale imaginii.
Descoperiți un oraș nou? Rugați Meta AI să vă spună mai multe despre un punct de reper local. Puteți accesa și gestiona amintirile salvate pentru a vă îmbunătăți răspunsurile personalizate de la Meta AI în aplicație și pe ochelari în timp. De asemenea, puteți începe o conversație cu Meta AI pe ochelarii Ray-Ban Meta, apoi o puteți accesa în fila de istoric din aplicație pentru a relua de unde ați rămas.
Caracteristici noi și notabile în aplicație
Aplicația Meta AI a fost concepută pentru a vă ajuta să găsiți inspirație și să profitați la maximum de ochelarii dvs.
Noul Descoperiți hrana vă permite să vedeți cum folosesc alte persoane inteligența artificială pentru a realiza lucruri. Este o modalitate excelentă de a găsi idei noi. Reciclați o solicitare inteligentă sau remixați-o pentru a o face proprie. Și, ca întotdeauna, tu ești în control: Conversațiile tale cu Meta AI nu sunt publice, cu excepția cazului în care alegi să le partajezi în feed.
Deși vorbitul cu inteligența artificială folosind vocea nu este ceva nou, folosim Llama 4 în aplicația Meta AI pentru a vă oferi răspunsuri care par mai personale, relevante și conversaționale. Experiența se integrează cu alte funcții, cum ar fi generarea și editarea imaginilor, care acum pot fi realizate toate prin intermediul unei conversație vocală sau text cu asistentul dvs. AI în aplicație.
De asemenea, am inclus o demonstrație a unei experiențe vocale pe care o construim, care este o tehnologie de vorbire full-duplex, pe care o puteți activa și dezactiva pentru a o testa în aplicația Meta AI. Această funcție nu are acces la informații în timp real, astfel încât este posibil să întâmpinați probleme tehnice sau inconsecvențe. Vom continua să strângem feedback pentru a o îmbunătăți în timp.
Și pentru a facilita multitasking-ul, puteți continua să utilizați funcțiile vocale Meta AI în timp ce faceți alte lucruri pe telefon, cu o pictogramă vizibilă care vă anunță când microfonul este utilizat.
Conversațiile vocale din aplicația Meta AI, inclusiv demonstrația duplex completă, sunt disponibile pentru început în SUA, Canada, Australia și Noua Zeelandă.* Pentru a afla mai multe despre modul în care vă puteți gestiona experiența în aplicația Meta AI și puteți comuta între moduri, vizitați centru de asistență.
Inteligență pentru tine
Aplicația Meta AI utilizează Llama 4 pentru a vă ajuta să rezolvați probleme, să vă mișcați mai ușor de-a lungul zilei și să înțelegeți mai bine lumea din jurul dvs. Și cu capacitatea de a căuta pe internet, vă poate ajuta să obțineți recomandări, să aprofundați un subiect și să rămâneți conectat cu prietenii și familia.
Ne folosim experiența noastră de zeci de ani personalizarea experiențelor oamenilor pe platformele noastre pentru a face Meta AI mai personal. Îi puteți spune lui Meta AI să rețină detalii specifice despre dvs. (cum ar fi faptul că vă place să călătoriți și să învățați limbi noi), iar acesta poate reține detalii importante din indicii contextuale. Meta AI oferă, de asemenea, răspunsuri mai relevante la întrebările tale, bazându-se pe informații pe care ați ales deja să le împărtășiți pe Facebook și Instagram (dacă acestea sunt adăugate la același centru de conturi), cum ar fi detaliile profilului și conținutul care vă place sau cu care vă implicați. Răspunsurile personalizate sunt disponibile de astăzi în SUA și Canada.
Suntem abia la început
Aceasta este prima versiune a aplicației Meta AI și intenționăm să o iterăm și să o îmbunătățim în timp. Meta AI este construită pentru a ajunge să vă cunoască, astfel încât răspunsurile sale să fie mai utile. Este ușor să vorbești cu ea, astfel încât să interacționezi cu ea mai ușor și mai natural. Și este mai conectat, astfel încât să poată împărtăși lucruri de la oamenii și locurile la care țineți.
The AI glasses—Shiny Black Skyler frames with Polarized Green sun lenses—were the perfect accessory to capture photos and videos throughout the day while also helping her get ready. From taking calls hands-free and listening to music or a podcast to getting answers from Meta AI on the fly, Ray-Ban Meta glasses make any pre-event routine anything but.
This isn’t the first time our AI glasses have gone high fashion. Earlier this year, Gray debuted our sold-out Ray-Ban Meta x Coperni Limited Edition frames on the runway at Paris Fashion Week. Ray-Ban Meta glasses are fashion’s most useful tech-accessory, gaining traction among editors, stylists, and models from the pages of magazines to the runway—and now on the red carpet of fashion’s biggest night of the year.
“I’m still radiating from the night!” said Amelia Gray. “And to know that I will be able to relive so many of those special moments from my own perspective is truly surreal. It’s an entirely new way to experience and share these once-in-a-lifetime moments, and I couldn’t be more excited to be part of Ray-Ban Meta’s Met Gala debut. ”
Inside the event, Gray was joined by Charli XCX, Jeff Goldblum, Jenna Ortega, Kim Kardashian, Nicki Minaj, Rosé, Shaboozey, and Taraji P. Henson as guests at Instagram’s table along with Adam Mosseri and Eva Chen.
Photographer: Quil Lemons
And off the carpet, Instagram și Threads hosted a number of icons who are driving the cultural conversation forward at The Mark Hotel for our 5th annual Watch Party. More than 50 creators and pop culture and fashion commentators gathered to watch the red carpet arrivals and share real-time looks on Instagram and Threads.
CREDIT: Huy Luong
Styles may come and go, but fashion is forever. And the future of AI glasses is looking bright.
Găsește-ți potrivirea
Ray-Ban Meta Wayfarer (Standard)
De la balama la balama: 131 mmÎnălțimea lentilei: 41 mmLățimea obiectivului: 50 mmLățimea podului: 22 mmLungimea tâmplei: 150 mm
Ray-Ban Meta Wayfarer (mari)
De la balama la balama: 137 mmÎnălțimea lentilei: 44 mmLățimea lentilei: 53 mmLățimea podului: 22 mmLungimea tâmplei: 155 mm
Ray-Ban Meta Headliner (LBF)
De la balama la balama: 134 mmÎnălțimea lentilei: 44 mmLățimea lentilei: 51 mmLățimea podului: 23 mmLungimea tâmplei: 150 mm
Ray-Ban Meta Skyler (Standard)
De la balama la balama: 133 mmÎnălțimea lentilei: 42 mmLățimea lentilei: 52 mmLățimea podului: 20 mmLungimea tâmplei: 150 mm
Care este dimensiunea cadrului?
Dimensiunea cadrului se referă la lățimea orizontală a cadrului măsurată între centrul balamalei stângi și cel al balamalei drepte. Ramele noastre sunt disponibile în una sau dimensiuni multiple.
Liniile roșii indică lățimea de la articulație la articulație
Cum știu care este mărimea potrivită pentru mine?
Pentru a găsi dimensiunea corectă a cadrului, utilizați o riglă pentru a măsura din balama în balama distanța de o pereche de ochelari pe care o dețineți deja și care vi se potrivește bine. Luați în considerare toleranța interval de +/- 4 mm.
Ghid privind starea ambalajelor
Nou
Ambalajul original cu sigiliul de securitate intact
Nou - desfăcut
Ambalaj neambalat fără sigiliu de securitate
Ambalaj nou (cu sigiliu de securitate): Acest ambalaj este complet nedeschis, cu sigiliul de securitate original care asigură că produsul nu a fost niciodată falsificat. Este alegerea ideală pentru clienții care preferă ca produsul să rămână în starea sa originală și doresc să aibă garanția că produsul nu a fost deschis sau returnat. Prețul pentru acest ambalaj este mai mare deoarece este complet nou și neatins.
Nou - neambalat (fără sigiliu de securitate): Acest ambalaj a fost despachetat, dar produsul nu a fost utilizat. Sigiliul de securitate a fost îndepărtat, ceea ce înseamnă că ambalajul a fost deschis (de exemplu, ca urmare a unei returnări în termen de 14 zile), dar produsul în sine este încă nou și nevătămat. Ambalajul neambalat este mai ieftin, deoarece nu mai conține sigiliul original, dar pentru clienții care nu sunt preocupați de un pachet neambalat, acesta este încă o alegere excelentă la un preț mai mic.
RO 
EN 
BG 
CS 
ET 
EL 
HR 
HU 
LT 
LV 
FR 
NL 
PL 
PT 
SL 
SK