Autor: Kristián Ivančo

In 2017, Reality Labs Chief Scientist Michael Abrash, backed by Meta Founder & CEO Mark Zuckerberg, established a new, secret team within what was then Oculus Research to build the foundation of the next computing platform. Their herculean task: Create a custom silicon solution that could support the unique demands of future augmented reality glasses—a technical feat that required reimagining every component for an all-day wearable AR glasses form factor that simply didn’t exist yet.

Prednji kut prototipa Orion AR naočala.

Kompaktni oblik, znatan prostor za rješavanje problema

Growing from just a few researchers to hundreds of people on the product side, the custom silicon team was built on the premise that AR glasses couldn’t rely on the silicon available in today’s smartphones. And it’s a premise borne out by the several custom chips inside Orion, our first true AR glasses product prototype.

„Graditi brod dok isplovljava iz luke - to je upravo ono što smo radili“, kaže direktor strategije za napredne tehnologije Jeremy Snodgrass. „Morali smo proširiti ono što je bio skroman tim dok smo istovremeno gradili ove čipove. Bilo je fascinantno vidjeti kako vodstvo dovodi nove zaposlenike, a istovremeno razvija kulturu koja cijeni agilnost. Ništa nije bio tuđi problem. Uzeli biste veslo i počeli veslati, čak i ako to nije bilo baš ono za što ste bili angažirani. Bilo je to vrlo, vrlo uzbudljivo vrijeme.“

„Gotovo sve u vezi s Orionom bilo je novo za svijet na mnogo načina“, slaže se tehnički direktor tvrtke Display Architecture Mike Yee. „Neke od ideja su već postojale, ali nitko se nije prihvatio istraživačkog projekta kako bi zapravo izgradio cjelodnevne AR naočale koje se mogu nositi.“

Tim je morao pružiti uvjerljivo AR iskustvo uz što manju potrošnju energije. Oblik naočala može raspršiti samo određenu količinu topline i može primiti samo određeni kapacitet baterije. Kao rezultat toga, iskustva koja je moguće pružiti na naočalama u potpunosti ovise o siliciju. Drugim riječima, ako održavate konstantne toplinske i kapacitete baterije, jedini način da se pruži određeno iskustvo je optimizacija silicija.

“Designing a new architecture for Orion required the team to not only push existing technologies like wireless and displays aggressively but also to take risks on new technologies,” says Director of Product Management Neeraj Choubey. “For instance, the team developed a machine learning (ML) accelerator without a clear use case at the time, driven by the strong conviction that ML would become increasingly important in Meta’s products. On Orion, every ML accelerator is utilized, and in some cases, they’re oversubscribed, serving functions such as eye tracking and hand tracking. Similarly, the team developed custom compression protocols to reduce bandwidth and power consumption as data moved from the compute puck to the display. Developing custom silicon to achieve Orion’s form factor goals required both a tolerance for high ambiguity and meticulous attention to detail to deliver an incredibly complex system architecture.”

„Najveći izazov s kojim smo se suočili bio je isporučiti 3D renderiranu grafiku zaključanu u svijet, zajedno sa prostornim zvukom koji se renderira tako da se čini kao da dolazi iz virtualnog objekta“, napominje Snodgrass. „Morali smo uklopiti svu tu elektroniku u toplinski kapacitet i fizički prostor, a zatim je pokretati baterijom kako se ne bi previše zagrijala. I sve smo to morali učiniti u stvarnom obliku naočala - ne u velikom viziru kakav obično viđate u toj kategoriji.“

„Znali smo kako osigurati potrebnu računalnu snagu kako bismo oživjeli našu viziju za Orion, ali suočili smo se sa zastrašujućim zadatkom: smanjenjem potrošnje energije za faktor 100“, kaže direktor SoC rješenja Robert Shearer. „To je od nas zahtijevalo da pomaknemo granice dizajna silicija, prihvaćajući metodologije iz različitih kutova industrije - od interneta stvari do visokoučinkovitog računarstva - i izmišljajući nove pristupe za premošćivanje jaza. Naši industrijski partneri mislili su da smo ludi, a možda nisu bili sasvim u krivu. Ali upravo je to bilo potrebno: spremnost da se izazove konvencionalna mudrost i preispita sve. Izgradnja računala koje besprijekorno spaja virtualni i fizički svijet zahtijeva duboko razumijevanje konteksta, daleko nadilazeći ono što postojeće računalne platforme mogu ponuditi. U biti, ponovno smo izmislili način na koji računala komuniciraju s ljudima, što je značilo ponovno osmišljavanje načina na koji gradimo silicij od temelja.“

Vanjske komponente Oriona.

Čarolija mikroLED dioda

Bilo je trenutaka kada su stvari kasnile s rokovima ili se pojavio naizgled nepremostiv tehnički izazov kada je bilo teško održati zamah i moral. Ali tim je bio otporan, pronalazio je puteve zaobilaženja prepreka - ili ih jednostavno rušio.

Uzmimo, na primjer, Orionov zaslon. Tim za silicij bio je odgovoran za silicij u projektoru koji se nalazi u kutovima naočala.

„Za te projektore, postojalo je otvoreno pitanje možemo li dobiti mikroLED diode u nizu s dovoljno visokom učinkovitošću i svjetlinom kako bismo mogli prikazati široko vidno polje“, kaže Snodgrass. „Postojala je ogromna sumnja da bismo to mogli - da je to moguće u vremenskom okviru koji smo razmatrali - jer je ovo bila vrlo rana tehnologija.“

„Vrlo rano smo shvatili da moramo preispitati mnoge paradigme razvoja proizvoda“, dodaje Yee. „Količina svjetlosti koja vam je potrebna za izradu upotrebljivog zaslona je znatno veća za AR naočale jer se, kao nosivi zaslon, natječete sa suncem. Dakle, potrebne su nam razine energije koje tome konkuriraju - ili je barem to cilj. Još nismo sasvim tamo, ali to je veliki dio toga. A to znači da su vam potrebni izvori svjetlosti za zaslon koji su to sposobni i potreban vam je sklop koji to može kontrolirati. A istovremeno, morate ga učiniti sićušnim.“

Prilagođeni silicij koji pokreće Orionove µLED diode.

Iako su se microLED diode činile najprikladnijim izvorom svjetlosti za projektore, silicij je pomogao osloboditi njihov potencijal.

„Kod zaslona govorimo o razmacima između piksela, što su udaljenosti između središnjih točaka susjednih piksela“, objašnjava Yee. „Za televizore, te udaljenosti su stotine mikrona. U vašem telefonu ima mnogo, mnogo desetaka mikrona. I morali smo to svesti na jednoznamenkaste brojke. Jedina poznata proizvodnja poluvodiča koja je to mogla postići bila je silicij.“

Rad je komplicirala činjenica da je stražnja površina zaslona morala biti od komada silicija, a nitko na svijetu nije dizajnirao silicij za microLED diode.

„U to vrijeme, istraživački timovi koji su postojali prenamijenili su tekuće kristale na silicijskim zaslonima kako bi na njih stavili mikroLED diode“, kaže Yee. „Nitko nikada prije nije dizajnirao zadnju ploču za mikroLED diode. I suočili smo se s prilično jedinstvenim izazovom jer je to optička komponenta. Mora biti ravna. Ne možete je ogrebati. Mora imati sve te karakteristike jer kada gledate kroz valovode, kroz projektore, doslovno gledate gornju površinu komada silicija.“

Silicijski tim razvio je složenu seriju testnih platformi za ove microLED zaslone, što je uključivalo blisku suradnju s našim globalnim dobavljačima. MikroLED diode imaju globalni otisak, nastaju na jednom mjestu, a zatim se prenose na drugo mjesto gdje su stavljene na pločicu. Pločice su zatim otpremljene na rezanje u određeni oblik, nakon čega slijedi putovanje u SAD kako bi se spojile s drugom pločicom, a zatim otpremljene natrag preko svijeta kako bi se sam modul izgradio i testirao. Bio je to izuzetno kompliciran proces, a silicijski tim razvio je testna vozila kako bi dokazao svaki korak.

Tim je također trebao pronaći način za napajanje microLED zaslona u malom volumenu kutova naočala. Naš analogni tim razvio je prilagođeni čip za upravljanje napajanjem koji stane unutar tog volumena.

„Isporuka napajanja ključna je za tako male nosive uređaje, gdje je veličina baterije ograničena, a prostor izuzetno važan“, napominje direktor analognih i miješanih signalnih sustava Jihong Ren. „Naše prilagođeno rješenje za upravljanje napajanjem IC-om koristi najsuvremenije tehnologije za optimizaciju energetske učinkovitosti za naše specifično opterećenje na razini sustava, a sve to uz istovremeno uklapanje u ograničenja dostupnog prostora. Postizanje ovog optimalnog rješenja zahtijevalo je blisku interdisciplinarnu suradnju s našim mehaničkim, električnim, SoC, μLED i termalnim timovima, osiguravajući besprijekornu integraciju svih komponenti i maksimiziranje ukupnih performansi.“

„To je bio nevjerojatan podvig ne samo inženjerstva već i organizacijskog upravljanja: okupljanje tima, rad u različitim vremenskim zonama i sa svim tim različitim dobavljačima“, dodaje Snodgrass. „U nekim aspektima, upravljanje svim tim organizacijski bilo je jednako izazovno kao i ispunjavanje tehničkih specifikacija.“

„Ne samo da je dizajn prilagođen, već je i cijeli proces izrade prilagođen“, dodaje Yee. „Sretni smo što imamo neke divne partnere u industriji koji su nam pomogli da se to ostvari. Oni vide dugoročni potencijal u AR zaslonima u cjelini i svakako Metinu viziju za to. Stoga su bili spremni surađivati s nama kako bismo ostvarili te prilagodbe i optimizacije koje će omogućiti taj zaslon.“

Orion AR naočale.

Iteracija susreće ubrzanje

Postojala je uska povratna sprega između silicijskog tima i briljantnih umova u Reality Labs Researchu i XR Techu koji su razvijali algoritme. Potonji timovi bi osigurali te algoritme, koje bi prvi preveli u hardver, uklanjajući opterećenje općeg softvera koji pokreće CPU. To je značilo da bi algoritmi radili s manjom potrošnjom energije, ali je također značilo da je silicijski tim bio vezan za njih. Nakon što su algoritmi ojačani, više nisu mogli unositi promjene.

„Recimo da je XR Tech algoritamski razvijao određenu disciplinu“, objašnjava Ohad Meitav, direktor Silicon Accelerators Architecture and Algorithms. „Oni posjeduju algoritamski stog i njegove performanse. Moj tim, u suradnji s njima, tada bi odlučio kako ubrzati algoritam, kako ojačati dijelove algoritma i kako ga zapravo ugraditi u hardver na način da radi super učinkovito. Zatim bi XR Tech prilagodio svoj softverski stog kako bi uzeo u obzir hardver. To je vrlo iterativni proces.“

Još jedna priča o uspjehu je suradnja silicijskog tima s Reality Labs Researchom na razvoju novog algoritma reprojekcije.

„Trebali smo algoritam reprojekcije koji podržava niz različitih izobličenja i korekcija“, napominje silicijski arhitekt Steve Clohset. „Algoritam koji je razvio RL-R, a koji smo na kraju koristili, ne koristi se u općem računarstvu. I do danas se pokazuje kao prilično moćan alat.“

Nakon što su algoritmi ojačani, a hardver optimiziran, tim za razvoj silicija podvrgnuo je prilagođene čipove svojim nastojanjima.

„Orionov prilagođeni silicijski čipset prepun je složenosti“, kaže viši direktor za end-to-end sustave i infrastrukturu Liping Guo. „Uvođenje i validacija samostalnih čipova i interoperabilnosti među njima u kratkom vremenskom razdoblju nevjerojatno je izazovna. Srećom, poslujemo unutar vertikalno integriranog okruženja u kojem Reality Labs posjeduje cijeli stog - od silicija i firmvera niske razine do operativnog sustava, softvera i iskustava gornjeg sloja. U potpunosti smo iskoristili to, blisko surađujući s našim međufunkcionalnim partnerima i pomaknuvši našu međuskladnu integraciju u fazi validacije silicija. Orion je bio naš pilotni projekt za ovu metodologiju - izgradili smo našu snagu i stvorili snažne temelje za Reality Labs da u budućnosti iskoristi sve prednosti prilagođenog silicija.“

I nakon što je spomenuto, bilo je vrijeme za optimizaciju softvera.

„Postoji iterativni proces u kojem počinjete s potpuno neoptimiziranim softverskim paketom, samo da biste sve pokrenuli i radili“, kaže Snodgrass. „A zatim, jedan po jedan, prolazite kroz podsustave i počinjete optimizirati softver za taj specifični hardver - uključujući smanjenje količine memorije koju softver koristi. Hardver može biti lijepo dizajniran, ali nećete postići teoretsku energetsku učinkovitost osim ako ne uložite jednako ili više vremena da softver iskoristi sve prednosti hardvera. Dakle, to je priča o Orionu: hardver i softver optimizirani do kraja. Ne ostavljajte ni pikojul ni milivat.“

I premda Orion možda jest prototip, rad koji je u njega uložen ima znatan potencijal utjecati na Metin plan razvoja.

„Na silicijske IP-ove koje gradimo gledamo kao na platforme u smislu da su to vrijedni IP-ovi koje ćemo poboljšavati iz jedne generacije ili jednog proizvoda u drugi“, dodaje Meitav. „Svi algoritmi računalnog vida i grafike nisu izgrađeni samo za Orion. Oni će informirati buduće proizvode.“

Naš rad sa silicijem uključuje stvaranje novih rješenja uz blisku suradnju s partnerima. Utjecaj silicijskog tima proteže se izvan Oriona na oba... Ray-Ban Meta naočale and Meta Quest headsets today—even though they both use third-party chips. The silicon team regularly shares their work with the mixed reality team, showing what’s possible in terms of power efficiency. The MR team then shares those findings with partners like Qualcomm to help inform future chip designs. And because the silicon team uses the same off-the-shelf digital signal processors (DSPs) as Ray-Ban Meta glasses, they’ve been able to share lessons learned and best practices when implementing and writing code for those DSPs to help improve the audio experiences available on our AI glasses.

And that knowledge sharing goes both ways: The MR team has given the silicon team insights on things like Asynchronous TimeWarp and Application SpaceWarp in production.

„Ono što osoba radi u proizvodnji daleko je zanimljivije od nečega što bismo mogli učiniti s prototipom“, kaže Clohset. „Pokušali smo što više integrirati ono što su radili s deformacijama.“

Dvosmislenost < Ambicija

Budući da je Orion doista bio omjer od nula do jedan, uključeni timovi su se nužno morali nositi s prekomjernom količinom dvosmislenosti.

„S Orionom, ne mogu dovoljno naglasiti koliko je dvosmislenost stvari komplicirala“, kaže Clohset. „Kada izrađujete računalo, na primjer, općenito imate dobru ideju o tome kakav će biti zaslon. Ali nismo znali kakav će valovod na kraju biti, pa smo morali isprobati različite valovode i smisliti mehanizam koji bi mogao podnijeti najgori mogući scenarij jer nismo znali gdje će se stvari odvijati. Jedna optimizacija ovdje bi se spojila sa svim tim drugim izborima i završili biste s ovom matricom svih tih različitih stvari koje ste imali kao potporu i pokušali validirati jer niste znali gdje će se proizvod odvijati za šest mjeseci.“

It’s important to note that Orion isn’t just a pair of AR glasses—it’s a three-part constellation of hardware. A lot of the processing happens on the compute puck, which necessitates a strong connection between it and the glasses. Add the surface EMG wristband into the loop, and the system architecture becomes even more complicated.

„To je bio iznimno izazov za timove da riješe, a sve to jednostavno funkcionira“, kaže Snodgrass. „Bila je to nevjerojatna suradnja između silicijskog tima, bežičnog tima i softverskih timova u cijeloj organizaciji.“

Orionov računalni pak.

„S Orionom smo okupili cijeli tim sa širokim spektrom inženjera, a oni su uspjeli dizajnirati potpuno novi cjevovod“, dodaje Clohset. „To je cjevovod koji obrađuje kretanje objekata u šest stupnjeva slobode u 3D prostoru. Koristi vlastiti prilagođeni upravljački program za prikaz. Morali smo napraviti zaista jedinstvene korekcije kvalitete slike. Mislim da je izazov za nas bio taj što, budući da je ovo bio projekt od nule do jedan, nije bilo postojeće specifikacije za podešavanje i poboljšanje. Sve ovdje je potpuno novo, pa smo imali slobodu da sve napravimo.“

Much like the puck has some dormant features hidden beneath the surface, the custom silicon punches above its weight, too. While Orion doesn’t allow the user to take photos with its RGB cameras, the silicon is capable of supporting it, as well as codec avatars. And just as the puck helped unlock a true glasses form factor by offloading much of the compute, Orion’s custom silicon proved a necessary piece of the AR puzzle.

„Da biste oživjeli iskustvo od nule do jedan poput AR naočala, potreban vam je prilagođeni silikon - točka“, objašnjava Snodgrass. „Tijekom vremena, ako postoji tržište, dobavljači silikona će razviti proizvode kako bi zadovoljili potražnju. Ali za iskustvo od nule do jedan ne možete jednostavno uzeti nešto što postoji s police, a namijenjeno je drugom proizvodu, i uklopiti to u novi kalup. Morate uložiti u nešto prilagođeno. A da biste oživjeli ta iskustva od nule do jedan, potrebna vam je široka suradnja između softverskih partnera, industrijskih dizajnera, strojarskih inženjera i drugih.“

„Oslobađajući se tradicionalnih mentalnih modela, stvorili smo nešto uistinu izvanredno“, dodaje Shearer. „Vjerujemo da ova računalna platforma predstavlja budućnost tehnologije – onu koja će revolucionirati način na koji živimo, radimo i međusobno komuniciramo. Uzbuđeni smo što smo na čelu ove inovacije, pomičući granice mogućeg i pomažući u oblikovanju tijeka povijesti.“

When we first began giving demos of Orion early this year I was reminded of a line that you hear a lot at Meta—in fact it was even in our first letter to prospective shareholders back in 2012: Code wins arguments. We probably learned as much about this product space from a few months of real-life demos than we did from the years of work it took to make them. There is just no substitute for actually building something, putting it in people’s hands, and learning from how they react to it.

Orion wasn’t our only example of that this year. Our mixed reality hardware and AI glasses have both reached a new level of quality and accessibility. The stability of those platforms allows our software developers to move much faster on everything from operating systems to new AI features. This is how I see the metaverse starting to come into greater focus and why I’m so confident that the coming year will be the most important one in the history of Reality Labs.

2024. je bila godina kada su AI naočale doživjele svoj zamah. Kada smo 2021. godine počeli proizvoditi pametne naočale, mislili smo da bi one mogle biti dobar prvi korak prema AR naočalama koje smo na kraju željeli izraditi. Iako su naočale za miješanu stvarnost na putu da postanu računalna platforma opće namjene, slično današnjim osobnim računalima, naočale smo vidjeli kao prirodnu evoluciju današnjih mobilnih računalnih platformi. Stoga smo htjeli što prije početi učiti iz stvarnog svijeta.

The biggest thing we’ve learned is that glasses are by far the best form factor for a truly AI-native device. In fact they might be the first hardware category to be completely defined by AI from the beginning. For many people, glasses are the place where an AI assistant makes the most sense, especially when it’s a multimodal system that can truly understand the world around you.

We’re right at the beginning of the S-curve for this entire product category, and there are endless opportunities ahead. One of the things I’m most excited about for 2025 is the evolution of AI assistants into tools that don’t just respond to a prompt when you ask for help but can become a proactive helper as you go about your day. At Connect we showed how Live AI on glasses can become more of a real-time participant when you’re getting things done. As this feature begins rolling out in early access this month we’ll see the first step toward a new kind of personalized AI assistant.

It won’t be the last. We’re currently in the middle of an industry-wide push to make AI-native hardware. You’re seeing phone and PC makers scramble to rebuild their products to put AI assistants at their core. But I think a much bigger opportunity is to make devices that are AI-native from the start, and I’m confident that glasses are going to be the first to get there. Meta’s Chief Research Scientist Michael Abrash has been talking about the potential of a personalized, context-aware AI assistant on glasses for many years, and building the technologies that make it possible has been a huge focus of our research teams.

Mješovita stvarnost has been another place where having the right product in the hands of a lot of people has been a major accelerant for progress. We’ve seen Meta Quest 3 get better month after month as we continue to iterate on the core system passthrough, multitasking, spatial user interfaces, and more. All these gains extended to Quest 3S the moment it launched. This meant the $299 Quest 3S was in many respects a better headset on day 1 than the $499 Quest 3 was when it first launched in 2023. And the entire Quest 3 family keeps getting better with every update.

In 2025 we’ll see the next iteration of this as Quest 3S brings a lot more people into mixed reality for the first time. While Quest 3 has been a hit among people excited to own the very best device on the market, Quest 3S is expected to be heavily gifted in 2024. Sales were strong over the Black Friday weekend, and we’re expecting a surge of people activating their new headsets over the holiday break.

Ovo će nastaviti trend koji se oblikovao tijekom prošle godine: rast broja novih korisnika koji traže širi raspon stvari koje mogu raditi sa svojim slušalicama. Želimo da ti novi korisnici vide čaroliju MR-a i ostanu s nama dugoročno, zbog čega financiramo razvojne programere za izradu novih vrsta aplikacija i igara koje traže.

Došlo je do značajnog priljeva, posebno mlađih ljudi, a oni gravitiraju prema društvenim i kompetitivnim igrama za više igrača, kao i prema freemium sadržaju. I naslovi poput Skydanceov BEHEMOTH, Batman: Arkham Shadow (koja je upravo osvojila nagradu za najbolju AR/VR igru na The Game Awards!), i Buđenje u metrou još je jednom pokazalo da su neke od najboljih novih igara koje naša industrija proizvodi sada moguće samo na današnjim slušalicama.

As the number of people in MR grows, the quality of the social experience it can deliver is growing in tandem. This is at the heart of what Meta is trying to achieve with Reality Labs and where the greatest potential of the metaverse will be unlocked: “the chance to create the most social platform ever” is how we described it when we first began working on it. We took two steps forward on this front in 2024: first with a broad set of improvements to Horizon Worlds including its expansion to mobile, and second with the next-generation Meta Avatars system that lets people represent themselves across our apps and headsets. And as the visual quality and overall experience with these systems improve, more people are getting their first glimpse of a social metaverse. We’re seeing similar trends with new Quest 3S users spending more time in Horizon Worlds, making it a Top 3 immersive app for Quest 3S, and people continue creating new Meta Avatars across mobile and MR.

Uvođenje mješovite stvarnosti u mainstream pomoglo je rasvijetliti što će se sljedeće dogoditi. Jedan od prvih trendova koje smo otkrili nakon lansiranja Questa 3 prošle godine bio je korištenje mješovite stvarnosti za gledanje videozapisa dok obavljaju više zadataka istovremeno kod kuće - peru suđe ili usisavaju svoje dnevne sobe. To je bio rani signal da ljudi vole imati veliki virtualni ekran koji mogu ponijeti bilo gdje i postaviti u fizičkom svijetu oko sebe. Vidjeli smo kako taj trend raste sa svim vrstama zabavnih iskustava koja brzo rastu u cijeloj Quest 3 obitelji. Nove značajke poput YouTube Co-Watcha pokazati koliki je potencijal za potpuno novu vrstu društvenog zabavnog iskustva u metaverzumu.

That’s why James Cameron, one of the most technologically innovative storytellers of our lifetimes, is now working to help more filmmakers and creators produce great 3D content for Meta Quest. While 3D films have been produced for decades, there’s never been a way to view them that’s quite as good as an MR headset, and next year more people will own a headset than ever before. “We’re at a true, historic inflection point,"Jim said when we launched our new partnership this month.

This is happening alongside a larger shift Mark Rabkin shared at Connect this year: Our vision for Horizon OS is to build a new kind of general purpose computing platform capable of running every kind of software, supporting every kind of user, and open to every kind of creator and developer. Our recent releases for 2D/3D multi-tasking, panel positioning, better hand tracking, Windows Remote Desktop integration, and Open Store have started to build momentum along this new path. Horizon OS is on track to be the first platform that supports the full spectrum of experiences from immersive VR to 2D screens, mobile apps, and virtual desktops—and the developer community is central to that success.

Sljedeći veliki korak prema metaverzumu kombinirat će AI naočale s pravom vrstom iskustva proširene stvarnosti koju smo ove godine predstavili s Orionom. Nije često da dobijete uvid u budućnost i vidite potpuno novu tehnologiju koja vam pokazuje kamo stvari idu. Ljudi koji su vidjeli Orion odmah su shvatili što to znači za budućnost, slično kao i ljudi koji su vidjeli kako se prva osobna računala oblikuju u Xerox PARC-u 1970-ih („u roku od deset minuta bilo mi je očito da će sva računala jednog dana raditi ovako“, rekao je kasnije Steve Jobs o svojoj demonstraciji Xerox Alta 1979. godine).

Mogućnost stavljanja ljudi u vremeplov i pokazivanja kako će izgledati sljedeća računalna platforma bio je vrhunac 2024. - i moje dosadašnje karijere. Ali pravi utjecaj Oriona bit će u proizvodima koje ćemo sljedeće isporučivati i načinima na koje nam pomaže da bolje razumijemo što ljudi vole kod AR naočala i što treba poboljšati. Godinama smo radili na istraživanju korisnika, vježbama planiranja proizvoda i eksperimentalnim studijama pokušavajući razumjeti kako bi AR naočale trebale funkcionirati, i taj rad nam je omogućio da izgradimo Orion. Ali tempo napretka bit će puno brži od sada nadalje kada imamo pravi proizvod oko kojeg možemo graditi svoju intuiciju.

This has been the lesson time and again over the last decade at Reality Labs. The most important thing you can do when you’re trying to invent the future is to ship things and learn from how real people use them. They won’t always be immediate smash hits, but they’ll always teach you something. And when you land on things that really hit the mark, like mixed reality on Quest 3 or AI on glasses, that’s when you put your foot on the gas. This is what will make 2025 such a special year: With the right devices on the market, people experiencing them for the first time, and developers discovering all the opportunities ahead, it’s time to accelerate.

Welcome back for another episode of Boz To The Future, a podcast from Reality Labs. In today’s episode, our host, Meta CTO and Head of Reality Labs Andrew “Boz” Bosworth, is joined by Meta’s VP of Wearables Alex Himel.

Himelov tim radi na nekim od najtežih tehničkih problema u industriji, a sve u službi izgradnje sljedeće računalne platforme. Poput Boswortha, on je stalni voditelj u Meti, obnašajući brojne vodeće uloge u cijelom poslovanju tijekom svojih više od 15 godina u tvrtki.

Bosworth i Himel pokrivaju niz tema, uključujući nosive uređaje, proširenu stvarnost i kako umjetna inteligencija ubrzava i poboljšava vrste iskustava ugrađenih u Ray-Ban Meta naočale i buduće proizvode.

They go deep on Orion and the positive reception it’s received since Mark Zuckerberg announced it at Connect. Just as Steve Jobs recognized the Alto as a turning point in computing, Bosworth asserted that, while we may disagree about the details, it’s hard to argue against this as the future. Himel and Bosworth go on to talk about the tremendous value of prototyping and building, saying how much more they’ve learned about Orion and its input paradigms in the three weeks of using it compared to the years spent building it.

Također su razgovarali o ključnoj ulozi umjetne inteligencije u nosivim uređajima i kako ona postaje sve korisnija u svakodnevnom životu - posebno sada kada možete pitati Meta AI o stvarima koje vidite i koristiti je za postavljanje vizualnih podsjetnika.

Himel također govori o svom bogatom iskustvu u drugoj vrsti sendviča: sendvičima. Sa sedam godina iskustva u poznatom Lange's Little Storeu u Chappaqui, NY, gdje je odrastao, Himel i Bosworth istražuju što čini odličan sendvič, gdje se rajčice zaista koriste i koji je kruh bolji.

Možete se uključiti Boz u budućnost on Apple Podcasts, Spotify, and wherever you listen to podcasts.

You can follow Himel on Threads. You can follow Bosworth on Instagram, Twitter/X, and Threads @boztank.

Back in 2019, the Orion team prepared an important demo for Meta Founder & CEO Mark Zuckerberg, showcasing potential waveguides for augmented reality glasses—a pivotal moment when theoretical calculations on paper were brought to life. And it was a demo that changed everything.

“Wearing the glasses with glass-based waveguides and multiple plates, it felt like you were in a disco,” recalls Optical Scientist Pasqual Rivera. “There were rainbows everywhere, and it was so distracting—you weren’t even looking at the AR content. Then, you put on the glasses with silicon carbide waveguides, and it was like you were at the symphony listening to a quiet, classical piece. You could actually pay attention to the full experience of what we were building. It was a total game changer.”

Yet as clear (pun intended) as the choice of silicon carbide as a substrate seems today, when we first started down the road to AR glasses a decade ago, it was anything but.

„Silicijev karbid je obično jako dopiran dušikom“, kaže Rivera. „Zelene je boje, a ako postane dovoljno gust, izgleda crno. Nema šanse da se od njega napravi optička leća. To je elektronički materijal. Postoji razlog zašto je te boje, a to je zbog elektroničkih svojstava.“

„Silicijev karbid postoji kao materijal već dugo vremena“, slaže se Giuseppe Calafiore, tehnički voditelj AR Waveguidesa. „Njegova glavna primjena je elektronika velike snage. Uzmimo za primjer električna vozila: sva električna vozila zahtijevaju čip - ali taj čip također mora biti sposoban za vrlo veliku snagu, pomicanje kotača i upravljanje ovom stvari. Ispada da to ne možete učiniti s običnom silicijskom podlogom, koja je ono što čini čipove koje koristimo u našim računalima i elektronici. Potrebna vam je platforma koja vam omogućuje prolazak kroz velike struje, veliku snagu, a taj materijal je silicijev karbid.“

Sve do relativno nedavnih rasprava o obnovljivim izvorima energije, tržište za ove visokosnažne čipove nije bilo ni blizu veličine tržišta za čipove za potrošačku elektroniku. Silicijev karbid oduvijek je bio skup i nije bilo puno poticaja za smanjenje troškova jer je, za veličinu čipa koji se proizvodi za automobil, cijena podloge bila podnošljiva.

„No ispada da silicijev karbid također ima neka svojstva koja su nam potrebna za valovode i optiku“, kaže Calafiore. „Indeks loma ključno je svojstvo koje nas zanima. A silicijev karbid ima visoki indeks loma, što znači da je sposoban kanalizirati i odašiljati veliku količinu optičkih podataka. Možete to smatrati optičkom propusnošću - baš kao što imate propusnost za internet i želite da bude dovoljno velika da možete slati ogromne količine podataka putem tog kanala. Isto vrijedi i za optičke uređaje.“

The higher a material’s refractive index, the higher its étendue, so you can send more optical data through that channel.

„Kanal je u našem slučaju naš valovod, a veći étendue znači veće vidno polje“, objašnjava Calafiore. „Što je veći indeks loma materijala, to je veće vidno polje koje zaslon može podržati.“

Put do pravog indeksa loma

Kada se Calafiore prvi put pridružio tadašnjem Oculus Researchu 2016. godine, staklo s najvišim indeksom loma koje je tim imao na raspolaganju bilo je 1,8 - što je zahtijevalo slaganje više ploča kako bi se postiglo željeno vidno polje. Osim neželjenih optičkih artefakata, proizvodna traka postajala je sve kompliciranija jer su prva dva valovoda morala biti savršeno poravnata, a zatim taj snop morao biti savršeno poravnat s trećim valovodom.

„Ne samo da je bilo skupo, već je odmah bilo očito da se u naočalama ne mogu imati tri komada stakla po leći“, prisjeća se Calafiore. „Bile su preteške, a debljina pretjerano velika i ružna - nitko ih nije htio kupiti. Stoga smo se vratili na početak: pokušali smo povećati indeks loma podloge kako bismo smanjili broj potrebnih ploča.“

The first material the team looked into was lithium niobate, which has a refractive index of roughly 2.3—quite a bit higher than the glass at 1.8.

„Shvatili smo da moramo složiti samo dvije ploče i da bismo možda čak mogli uspjeti s jednom pločom da i dalje pokrijemo vidno polje“, kaže Calafiore. „Gotovo paralelno, počeli smo istraživati i druge materijale - tako smo zajedno s našim dobavljačima 2019. godine shvatili da je silicijev karbid, u svom najčišćem obliku, zapravo vrlo proziran. Također ima najveći indeks loma poznat za optičku primjenu, koji iznosi 2,7.“

To je povećanje od 17,41 TP3T u odnosu na litijev niobat i porast od 501 TP3T u odnosu na staklo, za one koji vode računa kod kuće.

„Uz nekoliko modifikacija iste opreme koja se već koristila u industriji, bilo je moguće dobiti prozirni silicijev karbid“, kaže Calafiore. „Mogli ste jednostavno promijeniti proces, biti puno pažljiviji i umjesto optimizacije elektroničkih svojstava, optimizirati optička svojstva: prozirnost, ujednačenost indeksa loma itd.“

Potencijalni trošak kompromisa

U to vrijeme, tim Reality Labsa bio je prvi koji je uopće pokušao prijeći s neprozirnih na prozirne pločice silicij-karbida. A budući da je silicij-karbid jedan od najtvrđih poznatih materijala, za rezanje ili poliranje u biti je potrebna dijamantna obrada. Kao rezultat toga, jednokratni inženjerski troškovi bili su vrlo visoki, pa je rezultirajuća podloga bila prilično skupa.

Iako postoje isplativije alternative, kao i kod svake tehnologije, svaka od njih ima svoje nedostatke. Kako se vidno polje povećava prema Orionovom vodećem vidnom polju u industriji od približno 70 stupnjeva, pojavljuju se novi problemi poput slika duhova i duga.

„Pronalaženje optimalnog rješenja za AR zaslon sa širokim vidnim poljem prepuno je kompromisa između performansi i troškova“, objašnjava direktor istraživačke znanosti Barry Silverstein. „Troškovi se često mogu smanjiti, ali ako ih performanse ne smanje, troškovi u konačnici neće biti važni.“

Slike duhova su poput vizualnih odjeka primarne slike koja se projicira na zaslon. Duge su šarene pruge svjetlosti koje nastaju kada se ambijentalna svjetlost reflektira od valovoda. „Recimo da vozite noću s pokretnim svjetlima automobila oko vas“, kaže Silverstein. „Imat ćete i duge koje se pomiču. Ili ako ste na plaži i igrate odbojku, a sunce sja, dobit ćete duginu prugu koja se pomiče s vama i promašit ćete svoj udarac. A jedno od čudesnih svojstava silicijevog karbida je da uklanja te duge.“

„Druga prednost silicijevog karbida koju nijedan drugi materijal nema je toplinska vodljivost“, dodaje Calafiore. „Plastika je užasan izolator. Staklo, litijev niobat, ista stvar. Uzmete silicijev karbid i on je proziran, izgleda kao staklo i pogodite što: provodi toplinu.“

Stoga je u srpnju 2020. tim utvrdio da je silicijev karbid optimalan izbor iz tri glavna razloga: doveo je do poboljšanog faktora oblika jer je zahtijevao samo jednu ploču i manje montažne strukture, imao je bolja optička svojstva i bio je lakši od dvostrukog stakla.

Tajna kosog jetkanja

Imajući materijal na umu, sljedeći izazov bio je izrada valovoda - i to nekonvencionalna tehnika rešetke nazvana koso jetkanje.

„Rešetka je nanostruktura koja spaja i odvaja svjetlost iz leće“, objašnjava Calafiore. „A da bi silicijev karbid funkcionirao, rešetka mora biti koso nagrizena. Umjesto da bude okomita, želite da linije rešetke budu dijagonalno nagnute.“

„Bili smo prvi koji su izravno na uređajima izvodili koso jetkanje“, kaže voditeljica istraživanja Nihar Mohanty. „Cijela se industrija prije oslanjala na nano otisak, koji ne funkcionira za podloge s tako visokim indeksom loma. Zato nitko drugi na svijetu nije razmišljao o radu sa silicijevim karbidom.“

No, budući da je koso jetkanje nezrela tehnologija, većini dobavljača i tvornica poluvodičkih čipova nedostaju potrebni alati.

„Davne 2019. godine, moj tadašnji menadžer, Matt Colburn, i ja osnovali smo vlastiti pogon jer nije postojalo ništa na svijetu što bi moglo proizvoditi valovode od jetkanog silicijevog karbida i gdje bismo mogli isprobati tehnologiju izvan laboratorijskih razmjera“, objašnjava Mohanty. „Bila je to ogromna investicija i tamo smo uspostavili cijeli proces. Alat su nam po mjeri izradili naši partneri, a proces je razvijen interno u Meti, iako su naši sustavi istraživačke kvalitete jer nije bilo sustava proizvodne kvalitete. Surađivali smo s proizvodnim partnerom kako bismo razvili alate i procese za koso jetkanje proizvodne kvalitete. A sada kada smo pokazali što je moguće sa silicijevim karbidom, želimo da i drugi u industriji počnu izrađivati vlastite alate.“

Što više tvrtki ulaže u optički silicijev karbid i razvija opremu, to će jača postati kategorija AR naočala za potrošače.

Više ne jurim duge

While technological inevitability is a myth, the stars certainly seem to be aligning in silicon carbide’s favor. And although the team continues to investigate alternatives, there’s a strong sense that the right people have come together at the right time under the right market conditions to build AR glasses using this material.

„Orion je dokazao da je silicijev karbid održiva opcija za AR naočale“, kaže Silverstein, „i sada vidimo interes u cijelom lancu opskrbe na tri različita kontinenta gdje to intenzivno koriste kao priliku. Silicijev karbid će se istaknuti. Po mom mišljenju, to je samo pitanje vremena.“

I mnogo se toga može dogoditi u tom vremenu - slično kao što se situacija okrenula otkako smo uzgojili naše prve kristale prozirnog silicijevog karbida.

„Svi ovi proizvođači silicijevog karbida znatno su povećali ponudu kao odgovor na očekivani procvat električnih vozila“, napominje Calafiore. „Trenutno postoji prekapacitet koji nije postojao kada smo gradili Orion. Dakle, sada, budući da je ponuda velika, a potražnja niska, cijena podloge počela je padati.“

„Dobavljači su vrlo uzbuđeni novom prilikom proizvodnje silicijevog karbida optičke kvalitete - uostalom, svaka leća valovoda predstavlja veliku količinu materijala u odnosu na elektronički čip, a sve njihove postojeće mogućnosti primjenjuju se na ovaj novi prostor“, dodaje Silverstein. „Popunjavanje vaše tvornice je ključno, a skaliranje vaše tvornice je san. Veličina pločice je također važna: što je pločica veća, to je niži trošak - ali složenost procesa također raste. Uz to, vidjeli smo dobavljače kako prelaze s pločica od četiri inča na osam inča, a neki rade na prekursorima pločica od 12 inča, što bi dalo eksponencijalno više parova AR naočala.“

Ovi napredci trebali bi pomoći u daljnjem smanjenju troškova. Još je rano, ali budućnost se nazira.

„Na početku svake nove tehnološke revolucije isprobavate hrpu stvari“, kaže Calafiore. „Pogledajte televiziju: Počeli smo s katodnim cijevima, zatim smo prešli na LED plazma televizore, a sada na mikroLED. Prošli smo kroz nekoliko različitih tehnologija i arhitektura. Dok tražite put, mnogi putevi ne završavaju nigdje, ali postoje neki na koje se jednostavno stalno vraćate kao na najperspektivnije. Nismo na kraju puta i ne možemo to učiniti sami, ali silicijev karbid je čudesan materijal u koji se isplati uložiti.“

„Svijet se sada probudio“, dodaje Silverstein. „Uspješno smo pokazali da se silicijev karbid može primjenjivati u elektronici i fotonici. To je materijal koji bi mogao imati buduću primjenu u kvantnom računarstvu. I vidimo znakove da je moguće značajno smanjiti troškove. Puno je toga još za napraviti, ali potencijalna prednost ovdje je ogroman.“

TL;DR:

• Today at Connect, Mark Zuckerberg unveiled Orion—our first pair of true AR glasses, previously codenamed Project Nazare.
• With an industry-leading field of view, silicon carbide lenses, intricate waveguides, uLED projectors, and more, Orion is our most advanced and most polished product prototype to date.
• Sada nastavljamo s optimizacijama proizvoda i snižavanjem troškova dok se krećemo prema skalabilnom potrošačkom uređaju koji će revolucionirati način na koji ljudi komuniciraju sa svijetom.

---

„Izrađujemo AR naočale.“

Five simple words, spoken five years ago. With them, we planted a flag on our vision of a future where we no longer have to make the false choice between a world of information at our fingertips and the physical world all around us.

A sada, pet godina kasnije, još pet riječi koje će ponovno promijeniti pravila igre:

Izradili smo AR naočale.

U Meti, naša misija je jednostavna: dati ljudima moć da izgrade zajednicu i zbliže svijet. A u Reality Labsu gradimo alate koji pomažu ljudima da se osjećaju povezanima bilo kada i bilo gdje. Zato radimo na izgradnji sljedeće računalne platforme koja ljude stavlja u središte kako bi mogli biti prisutniji, povezaniji i osnaženiji u svijetu.

Ray-Ban Meta naočale pokazali su moć pružanja ljudima pristupa ključnim dijelovima njihovog digitalnog života bez upotrebe ruku iz njihovog fizičkog života. Možemo razgovarati s pametnim AI asistentom, povezati se s prijateljima i zabilježiti trenutke koji su važni - sve to bez potrebe da ikada izvadimo telefon. Ove elegantne naočale besprijekorno se uklapaju u naš svakodnevni život i ljudi ih apsolutno obožavaju.

Iako je Ray-Ban Meta otvorio potpuno novu kategoriju naočala bez zaslona, napunjenih umjetnom inteligencijom, XR industrija već dugo sanja o pravim AR naočalama - proizvodu koji kombinira prednosti velikog holografskog zaslona i personalizirane umjetne inteligencije u udobnom, elegantnom i cjelodnevno nosivom obliku.

And today, we’ve pushed that dream closer to reality with the unveiling of Orion, which we believe is the most advanced pair of AR glasses ever made. In fact, it might be the most challenging consumer electronics device produced since the smartphone. Orion is the result of breakthrough inventions in virtually every field of modern computing—building on the work we’ve been doing at Reality Labs for the last decade. It’s packed with entirely new technologies, including the most advanced AR display ever assembled and custom silicon that enables powerful AR experiences to run on a pair of glasses using a fraction of the power and weight of an MR headset.

Orion’s input system seamlessly combines voice, eye gaze, and hand tracking with an EMG wristband that lets you swipe, click, and scroll while keeping your arm resting comfortably by your side, letting you stay present in the world and with the people around you as you interact with rich digital content.

Počevši od danas u Connectu, pa sve do kraja godine, otvaramo pristup prototipu našeg Orion proizvoda za zaposlenike tvrtke Meta i odabranu vanjsku publiku kako bi naš razvojni tim mogao učiti, unapređivati i graditi prema našoj liniji proizvoda za AR naočale za široku potrošnju, koju planiramo početi isporučivati u bliskoj budućnosti.

Zašto AR naočale?

Postoje tri glavna razloga zašto su AR naočale ključne za otključavanje sljedećeg velikog skoka u računarstvu orijentiranom na ljude.

1. Omogućuju digitalna iskustva koja nisu ograničena ograničenjima zaslona pametnog telefona. S velikim holografskim zaslonima možete koristiti fizički svijet kao svoje platno, postavljajući 2D i 3D sadržaj i iskustva gdje god želite.
2. Besprijekorno integriraju kontekstualnu umjetnu inteligenciju koja može osjetiti i razumjeti svijet oko vas kako bi predvidjela i proaktivno odgovorila na vaše potrebe.
3. Lagane su i izvrsne za unutarnju i vanjsku upotrebu - i omogućuju ljudima da vide pravo lice, prave oči i prave izraze lica.

To je zvijezda sjevernjača prema kojoj je naša industrija gradila: proizvod koji kombinira praktičnost i neposrednost nosivih uređaja s velikim zaslonom, brzim ulazom i kontekstualiziranom umjetnom inteligencijom u obliku koji ljudi osjećaju ugodno noseći u svakodnevnom životu.

Kompaktni oblik, složeni izazovi

Godinama smo se suočavali s lažnim izborom - ili slušalice za virtualnu i miješanu stvarnost koje omogućuju duboka, impresivna iskustva u glomaznom obliku ili naočale koje su idealne za cjelodnevnu upotrebu, ali ne nude bogate vizualne aplikacije i iskustva s obzirom na nedostatak velikog zaslona i odgovarajuće računalne snage.

Ali mi želimo sve, bez kompromisa. Godinama smo naporno radili na tome da nevjerojatna prostorna iskustva koja pružaju VR i MR naočale pretvorimo u minijaturiziranu tehnologiju potrebnu za isporuku tih iskustava u lagane, elegantne naočale. Savršeno oblikovanje, isporuka holografskih zaslona, razvoj uvjerljivih AR iskustava i stvaranje novih paradigmi interakcije čovjeka i računala (HCI) - i sve to u jednom kohezivnom proizvodu - jedan je od najtežih izazova s kojima se naša industrija ikada suočila. Bilo je toliko izazovno da smo mislili da imamo manje od 10 posto šanse da to uspješno izvedemo.

Do sada.

Revolucionarni zaslon u neusporedivom formatu

S otprilike 70 stupnjeva, Orion ima najveće vidno polje u najmanjem formatu AR naočala do danas. To vidno polje otključava uistinu impresivne slučajeve upotrebe za Orion, od prozora za više zadataka istovremeno i zabave na velikom zaslonu do holograma ljudi u prirodnoj veličini - sav digitalni sadržaj koji se može besprijekorno stopiti s vašim pogledom na fizički svijet.

Za Orion, vidno polje bilo je naš sveti gral. Suočavali smo se sa zakonima fizike i morali smo savijati snopove svjetlosti na načine na koje se oni prirodno ne savijaju - i to smo morali učiniti u energetskoj ovojnici mjerenoj u milivatima.

Instead of glass, we made the lenses from silicon carbide—a novel application for AR glasses. Silicon carbide is incredibly lightweight, it doesn’t result in optical artifacts or stray light, and it has a high refractive index—all optical properties that are key to a large field of view. The waveguides themselves have really intricate and complex nano-scale 3D structures to diffract or spread light in the ways necessary to achieve this field of view. And the projectors are uLEDs—a new type of display technology that’s super small and extremely power efficient.

Orion su nepogrešivo naočale, i izgledom i osjećajem - s prozirnim lećama. Za razliku od MR slušalica ili drugih AR naočala danas, i dalje možete vidjeti prave oči i izraze lica jedno drugome, tako da možete biti prisutni i podijeliti iskustvo s ljudima oko sebe. Deseci inovacija bili su potrebni kako bi se industrijski dizajn sveo na suvremeni oblik naočala koje biste mogli udobno nositi svaki dan. Orion je podvig minijaturizacije - komponente su spakirane u djelić milimetra. Uspjeli smo ugraditi sedam sićušnih kamera i senzora u okvire.

Morali smo održavati optičku preciznost na jednoj desetini debljine vlasi ljudske kose. Sustav može detektirati sitne pokrete - poput okvira koji se šire ili skupljaju na različitim sobnim temperaturama - a zatim digitalno ispraviti potrebno optičko poravnanje, sve unutar milisekundi. Okvire smo napravili od magnezija - istog materijala koji se koristi u trkaćim automobilima Formule 1 i svemirskim letjelicama - jer je lagan, a opet krut, pa održava optičke elemente u poravnanju i učinkovito odvodi toplinu.

Grijanje i hlađenje

Nakon što smo "razbili" zaslon (bez igre riječi) i prevladali fizikalne probleme, morali smo se suočiti s izazovom stvarno snažnog računalstva uz stvarno nisku potrošnju energije i potrebu za odvođenjem topline. Za razliku od današnjih MR slušalica, ne možete ugurati ventilator u naočale. Stoga smo morali biti kreativni. Mnogi materijali koji se koriste za hlađenje Oriona slični su onima koje NASA koristi za hlađenje satelita u svemiru.

We built highly specialized custom silicon that’s extremely power efficient and optimized for our AI, machine perception, and graphics algorithms. We built multiple custom chips and dozens of highly custom silicon IP blocks inside those chips. That lets us take the algorithms necessary for hand and eye tracking as well as simultaneous localization and mapping (SLAM) technology that normally takes hundreds of milliwatts of power—and thus generates a corresponding amount of heat—and shrink it down to just a few dozen milliwatts.

I da, prilagođeni silikon i dalje igra ključnu ulogu u razvoju proizvoda u Reality Labsu, unatoč onome što ste možda negdje drugdje pročitali. 😎

EMG bez napora

Every new computing platform brings with it a paradigm shift in the way we interact with our devices. The invention of the mouse helped pave the way for the graphical user interfaces (GUIs) that dominate our world today, and smartphones didn’t start to really gain traction until the advent of the touch screen. And the same rule holds true for wearables.

We’ve spoken about our work with electromyography, or EMG, for years, driven by our belief that input for AR glasses needs to be fast, convenient, reliable, subtle, and socially acceptable. And now, that work is ready for prime time.

Orionov sustav unosa i interakcije besprijekorno kombinira glas, pogled i praćenje ruke s EMG narukvicom koja vam omogućuje jednostavno prevlačenje, klikanje i pomicanje.

It works—and feels—like magic. Imagine taking a photo on your morning jog with a simple tap of your fingertips or navigating menus with barely perceptible movements of your hands. Our wristband combines a high-performance textile with embedded EMG sensors to detect the electrical signals generated by even the tiniest muscle movements. An on-device ML processor then interprets those EMG signals to produce input events that are transmitted wirelessly to the glasses. The system adapts to you, so it gets better and more capable at recognizing the most subtle gestures over time. And today, we’re sharing more about our support for external research focused on expanding the equity and accessibility potential of EMG wristbands.

Upoznajte bežični računalni puck

True AR glasses must be wireless, and they must also be small.So we built a wireless compute puck for Orion. It takes some of the load off of the glasses, enabling longer battery life and a better form factor complete with low latency.

Naočale pokreću sve algoritme za praćenje ruku, praćenje očiju, SLAM i specijalizirane algoritme za zaključavanje AR svijeta, dok se logika aplikacije izvršava na paku kako bi naočale bile što lakše i kompaktnije.

Pak ima dva procesora, uključujući jedan posebno dizajniran ovdje u Meti, i pruža računalnu snagu potrebnu za renderiranje grafike s niskom latencijom, umjetnu inteligenciju i dodatnu strojnu percepciju.

A budući da je malen i elegantan, pak možete udobno ubaciti u torbu ili džep i obavljati svoje poslove - bez ikakvih obaveza.

AR iskustva

Naravno, kao i sa svakim hardverom, dobar je samo onoliko koliko je dobro ono što možete učiniti s tim. I premda je još rano, iskustva koja pruža Orion uzbudljiv su uvid u ono što dolazi.

We’ve got our smart assistant, Meta AI, running on Orion. It understands what you’re looking at in the physical world and can help you with useful visualizations. Orion uses the same Llama model that powers AI experiences running on Ray-Ban Meta smart glasses today, plus custom research models to demonstrate potential use cases for future wearables development.

Možete u pokretu obaviti videopoziv bez upotrebe ruku kako biste se u stvarnom vremenu čuli s prijateljima i obitelji, a možete ostati povezani putem WhatsAppa i Messengera kako biste pregledavali i slali poruke. Nema potrebe vaditi telefon, otključavati ga, tražiti pravu aplikaciju i obavještavati prijatelja da kasnite na večeru - sve to možete učiniti putem naočala.

Možete igrati zajedničke AR igre s obitelji na drugom kraju zemlje ili s prijateljem na drugom kraju kauča. A Orionov veliki zaslon omogućuje vam obavljanje više zadataka istovremeno s više prozora kako biste obavili stvari bez potrebe za nošenjem prijenosnog računala.

Iskustva dostupna na Orionu danas pomoći će u definiranju plana za našu liniju AR naočala za potrošače u budućnosti. Naši će timovi nastaviti s ponavljanjem i izgradnjom novih impresivnih društvenih iskustava, zajedno s našim partnerskim razvojnim programerima, i jedva čekamo podijeliti što slijedi.

Svrhovit prototip proizvoda

Iako Orion neće doći u ruke potrošača, nemojte se zavaravati: Ovo je ne istraživački prototip. To je najdotjeraniji prototip proizvoda koji smo ikada razvili - i on je zaista reprezentativan za nešto što mogao isporučiti potrošačima. Umjesto da žurimo s stavljanjem na police, odlučili smo se prvo usredotočiti na interni razvoj, što znači da možemo brzo nastaviti graditi i pomicati granice tehnologije i iskustava.

A to znači da ćemo brže doći do još boljeg potrošačkog proizvoda.

Što slijedi

Dvije glavne prepreke dugo su stajale na putu razvoja AR naočala za široku potrošnju: tehnološki prodori potrebni za pružanje velikog zaslona u kompaktnom obliku naočala i potreba za korisnim i uvjerljivim AR iskustvima koja se mogu pokretati na tim naočalama. Orion je velika prekretnica koja prvi put pruža prava AR iskustva koja rade na razumno elegantnom hardveru.

Sada kada smo podijelili Orion sa svijetom, usredotočeni smo na nekoliko stvari:

• Podešavanje kvalitete AR prikaza kako bi vizualni prikazi bili još oštriji
• Optimiziramo gdje god možemo kako bismo oblik učinili još manjim
• Gradnja u velikim razmjerima kako bi bili pristupačniji

In the next few years, you can expect to see new devices from us that build on our R&D efforts. And a number of Orion’s innovations have been extended to our current consumer products today as well as our future product roadmap. We’ve optimized some of our spatial perception algorithms, which are running on both Meta Quest 3S and Orion. While the eye gaze and subtle gestural input system was originally designed for Orion, we plan to use it in future products. And we’re exploring the use of EMG wristbands across future consumer products as well.

Orion nije samo prozor u budućnost - to je pogled na vrlo stvarne mogućnosti koje su nam danas dostupne. Izgradili smo ga u našoj težnji za onim što najbolje radimo: pomaganjem ljudima da se povežu. Od Ray-Ban Meta naočala do Oriona, vidjeli smo dobrobit koju može proizaći iz toga što ljudima omogućujemo da ostanu prisutniji i osnaženiji u fizičkom svijetu, čak i dok koriste sva dodatna bogatstva koja digitalni svijet nudi.

Vjerujemo da ne biste trebali birati između njih dvoje. A sa sljedećom računalnom platformom, nećete morati.

Last year at Connect, we unveiled Orion—our first true pair of AR glasses. The culmination of our work at Reality Labs over the last decade, Orion combines the benefits of a large holographic display and personalized AI assistance in a comfortable, all-day wearable form factor. It got some attention for its industry-leading field of view, silicon carbide waveguides, uLED projectors, and more. But today, we’re turning our attention to an unsung hero of Orion: the compute puck.

Dizajniran da se lako uvuče u džep ili torbu, tako da ga možete ponijeti gotovo bilo gdje tijekom dana, pak rasterećuje Orionovu procesorsku snagu za pokretanje aplikacijske logike i omogućuje uvjerljiviji, manji oblik naočala. Bežično se povezuje s naočalama i EMG narukvicom za besprijekorno iskustvo.

Postavi i zaboravi, zar ne?

Ali pozadinska priča paka - čak i kao prototipa - je složena, s dramatičnim lukom koji nikada ne biste pogodili na temelju njegovog izgleda.

„Kada gradite nešto ovakvo, počinjete ulaziti u granice fizike“, objašnjava direktor upravljanja proizvodima Rahul Prasad. „Posljednjih 50 godina, Mooreov zakon je sve učinio manjim, bržim i energetski manje energetskim. Problem je što sada počinjete nailaziti na ograničenja u pogledu količine topline koju možete raspršiti, količine baterije koju možete komprimirati i performansi antene koju možete smjestiti u objekt određene veličine.“

Iako retrospektiva može biti 20/20, potencijal paka nije bio odmah očit. Kada ste prvi koji nešto gradi, morate istražiti svaku mogućnost - ne ostavljajući kamen na kamenu. Kako izgraditi nešto što bi neki mogli smatrati nepoželjnim dodatkom, a ne ključnim dijelom paketa?

„Znali smo da je pak dodatni uređaj koji smo tražili od ljudi da nose“, napominje voditelj inženjerskog dizajna proizvoda Jared Van Cleave, „pa smo istražili kako pretvoriti bubu u značajku.“

U konačnici, taj etos se isplatio u izobilju jer pak u malu veličinu stišće mnogo računalnih resursa (i još više prilagođenog silicija dizajniranog od strane Meta za umjetnu inteligenciju i strojnu percepciju). To je bilo ključno u pomaganju Orionu da prijeđe iz područja znanstvene fantastike u stvarnost.

„Da nemate pak, ne biste mogli imati iskustva koja Orion nudi u svom formatu - točka“, kaže Prasad. „Dobro AR iskustvo zahtijeva stvarno visoke performanse: visoku brzinu kadrova, izuzetno nisku latenciju, precizno upravljanje bežičnom vezom i napajanjem itd. Pak i naočale moraju biti zajednički dizajnirani da blisko surađuju, ne samo na razini aplikacije, već i na razini operativnog sustava, firmvera i hardvera. Čak i ako bi se zajednički dizajnirao pametni telefon za rad s AR naočalama, zahtjevni zahtjevi za performansama ispraznili bi bateriju telefona i isisali računalni kapacitet iz slučajeva upotrebe telefona. S druge strane, pak ima vlastitu bateriju velikog kapaciteta, visokoučinkoviti SoC i prilagođeni AI koprocesor dizajniran od strane Meta, optimiziran za Orion.“

Naravno, pak nije dizajniran preko noći. Zahtijevao je godine iterativnog rada.

„Nismo znali kako bi ljudi htjeli komunicirati s Orionom s gledišta unosa podataka - nije bilo ničega što bismo mogli skicirati s tržišta“, kaže voditelj proizvoda Matt Resman. „Ako pogledate naše rane prototipove naočala, to su bile te masivne slušalice koje su težile tri ili dva kilograma. A kada pokušavate izraditi proizvod, stvarno je teško razumjeti korisničko iskustvo ako niste u pravom formatu. S puckom smo mogli vrlo brzo izraditi prototip kako bismo počeli shvaćati kako bi ga ljudi koristili.“

Kodnog naziva Omega u ranim danima, pak je isprva zamišljen od strane tadašnjeg Oculus Researcha kao traka u obliku slova Ω koja bi se stavljala oko vrata korisnika i bila bi čvrsto povezana s naočalama...

... sve dok im neke nove inovacije bežičnog tima Reality Labsa, između ostalog, nisu omogućile da se riješe kabela. To je omogućilo oblik koji se lakše nosi u ruci ili džepu / u torbi, što je otvorilo mnogo mogućnosti.

„U tom trenutku, pozivanje proširenom stvarnošću još je uvijek bilo primarni slučaj upotrebe“, objašnjava Van Cleave. „Pak je bio mjesto gdje bi se holografski videozapisi usidrili. Stavili biste ga na stol sa senzorskom klupom okrenutom prema vama, snimajući vas, a zatim biste projicirali s kim razgovarate s površine paka tijekom poziva.“

„Orion se bavi povezivanjem ljudi i njihovim okupljanjem“, kaže Resman. „Jedan od početnih koncepata za pak bio je pomoći u stvaranju osjećaja prisutnosti s drugim ljudima i omogućiti ovaj bogatiji oblik komunikacije.“

„To je nešto što nikada niste vidjeli – uređaj ima potencijal stvoriti zaista zabavne i jedinstvene interakcije“, dodaje industrijski dizajner Emron Henry. „Korisničko iskustvo pomalo se osjeća kao oslobađanje duha iz boce, gdje hologrami neprimjetno izlaze iz uređaja i ponovno se otapaju u njemu.“

Kao što vjerojatno već možete vidjeti, u paku se krije više potencijala nego što je na kraju postalo dio funkcije. Osim senzora i kamera koji bi se koristili za AR pozivanje, pak ima haptičke i 6DOF senzore koji bi mu omogućili korištenje kao praćenog kontrolera za odabir i manipuliranje virtualnim objektima te igranje AR igara. Tim je također istražio kapacitivni i forsirani dodirni unos kako bi pak mogao poslužiti kao gamepad kada se drži i u portretnom i u pejzažnom načinu.

„Razgovarali bismo o potrebi nošenja ove dodatne stvari“, kaže Van Cleave. „Kako je možemo učiniti korisnijom? Postojao je cijeli radni tok oko toga. I u jednom trenutku, hipoteza je bila da će AR igranje biti taj ubojiti slučaj upotrebe.“

U ranoj fazi smo znali da moramo istražiti mogućnosti paka da radi stvari koje telefoni ne mogu. Na kraju smo se odlučili za korištenje pogleda, EMG-a i praćenja ruku za AR igre, poput Stargazera i Ponga, ali smo u ranim danima Oriona izradili prototipove raznih demo verzija i igara koje su koristile pak kao kontroler.

Renderirana istraživanja paka kao 6DOF kontroler za AR igre poput Ponga.

„Budući da nije telefon, to nam je dalo puno dizajnerske slobode“, dodaje Prasad. „Može biti deblji, mogu ga učiniti zaobljenijim kako bi udobno stajao u ruci kao kontroler. Prilično je nevjerojatno da je pak zapravo manji od prosječnog telefona, ali je snažniji od telefona jer ima koprocesor koji je dizajnirao Meta za umjetnu inteligenciju i strojnu percepciju.“

Tim se pozabavio pitanjem kako se kvalitetna AR igra može razlikovati od MR ili konzolske igre. To je značilo istraživanje različitih mogućnosti za AR kontroler igara, uključujući joysticke, raspored fizičkih tipki, okidačke tipke i još mnogo toga.

„Na kraju nismo ništa od toga zapravo izgradili“, primjećuje Van Cleave. „Napravili smo prototip, ali nikada nismo išli na potpunu izradu. Željeli smo da sve bude jednostavno. Željeli smo napraviti ova softverska sučelja, ali ne i fizičke, mehaničke gumbe.“

I premda senzori i haptika nisu bili uključeni u prototipu gotovog proizvoda, imali su ključnu funkciju tijekom razvoja, omogućujući timovima da prijave greške jednostavnim dodirom na vrh uređaja nekoliko puta kako bi se pokrenulo izvješće o grešci.

Kako je umjetna inteligencija počela zauzimati središnje mjesto kao ključni slučaj upotrebe, računalstvo je došlo u sve oštriji fokus. Na kraju krajeva, pak je dom Orionove bežične povezivosti, računalne snage i kapaciteta baterije - što je samo po sebi ogroman tehnički podvig - a sve to pomaže u smanjenju težine i oblika naočala, a istovremeno raspršuje puno više topline zbog svoje površine.

Kroz cijelu svoju evoluciju, jedna stvar je ostala ista: pak nudi više nego što se vidi na prvi pogled. Prihvaćanje nekonvencionalnih ideja omogućilo je našim timovima da istražuju, pomiču granice i grade budućnost.

„Definiramo kategoriju koja još ne postoji“, napominje Henry. „Kao što biste i očekivali s istraživanjem i razvojem, bilo je početaka i zaustavljanja na tom putu. Kako će korisnici očekivati interakciju s hologramima? Bi li radije koristili AR daljinski upravljač ili je praćenje ruke, pogled i EMG dovoljni za unos? Što se čini intuitivnim, bez trenja, poznatim i korisnim?“

„Umjesto da na pak gledamo samo kao na kamen, pitali smo se što još možemo ponuditi kako bismo ga dodatno razlikovali od telefona i opravdali zašto biste ga htjeli nositi sa sobom“, priznaje Resman. „Nude li njegova sirova računalna snaga i praktičan dizajn – koji su pomogli u oblikovanju naočala koje realno možete nositi cijeli dan – u konačnici dovoljno vrijednosti? Naš je posao pomoći u odgovorima na ta pitanja.“

„U početku smo promijenili smjer kako bismo se usredotočili na ono što možemo učiniti, a što telefon ne može“, dodaje Van Cleave. „Telefoni moraju imati zaslon, moraju imati određeni fizički raspored tipki koji korisnici očekuju. A mi nemamo ta ograničenja. Naš računalni paket može biti što god želimo.“