Autors: Kristians Ivančo

In 2017, Reality Labs Chief Scientist Michael Abrash, backed by Meta Founder & CEO Mark Zuckerberg, established a new, secret team within what was then Oculus Research to build the foundation of the next computing platform. Their herculean task: Create a custom silicon solution that could support the unique demands of future augmented reality glasses—a technical feat that required reimagining every component for an all-day wearable AR glasses form factor that simply didn’t exist yet.

Orion AR briļļu prototipa priekšējais leņķis.

Kompakts formas faktors, ievērojama problēmtelpa

Growing from just a few researchers to hundreds of people on the product side, the custom silicon team was built on the premise that AR glasses couldn’t rely on the silicon available in today’s smartphones. And it’s a premise borne out by the several custom chips inside Orion, our first true AR glasses product prototype.

"Veidojot kuģi, kad tas izbrauc no ostas - tieši to mēs arī darījām," saka progresīvo tehnoloģiju stratēģijas direktors Džeremijs Snodgrass. "Mums vajadzēja palielināt to, kas bija neliela komanda, vienlaikus veidojot šīs mikroshēmas. Bija aizraujoši vērot, kā vadība pieņēma darbā jaunus darbiniekus, vienlaikus veidojot kultūru, kurā tiek novērtēta veiklība. Nekas nebija kāda cita problēma. Tu paņem airu un sāc airēt, pat ja tas nebija tieši tas, kam tevi pieņēma darbā. Tas bija ļoti, ļoti aizraujošs laiks."

"Gandrīz viss Orion bija jaunums daudzējādā ziņā," piekrīt Display Architecture tehniskais direktors Maiks Jī (Mike Yee). "Dažas no idejām jau bija zināmas, bet neviens nebija uzņēmies pētniecības projektu, lai faktiski izveidotu visu dienu valkājamu AR briļļu pāri."

Komandai bija jānodrošina pārliecinoša AR pieredze ar pēc iespējas mazāku enerģijas patēriņu. Briļļu formas faktors var izkliedēt tikai tik daudz siltuma, un tajā var ievietot tikai tik lielu akumulatora ietilpību. Rezultātā pieredze, ko ir iespējams nodrošināt ar šīm brillēm, ir pilnībā atkarīga no silīcija. Citiem vārdiem sakot, ja siltuma un akumulatora jauda ir nemainīga, vienīgais veids, kā nodrošināt noteiktu pieredzi, ir optimizēt silīciju.

“Designing a new architecture for Orion required the team to not only push existing technologies like wireless and displays aggressively but also to take risks on new technologies,” says Director of Product Management Neeraj Choubey. “For instance, the team developed a machine learning (ML) accelerator without a clear use case at the time, driven by the strong conviction that ML would become increasingly important in Meta’s products. On Orion, every ML accelerator is utilized, and in some cases, they’re oversubscribed, serving functions such as eye tracking and hand tracking. Similarly, the team developed custom compression protocols to reduce bandwidth and power consumption as data moved from the compute puck to the display. Developing custom silicon to achieve Orion’s form factor goals required both a tolerance for high ambiguity and meticulous attention to detail to deliver an incredibly complex system architecture.”

"Mūsu lielākais izaicinājums bija nodrošināt 3D grafiku, kas atveidota ar pasaules bloķēšanu, kā arī telpisku skaņu, kas atveidota tā, ka šķiet, ka tā nāk no virtuāla objekta," norāda Snodgrass. "Mums vajadzēja ietilpināt visu šo elektroniku termālajā ietilpībā un fiziskajā telpā un pēc tam darbināt to ar akumulatoru, lai tā pārāk neuzkarst. Un mums tas viss bija jāizdara, izmantojot īstu briļļu formu - nevis lielu vizieri, kādu parasti redzam šajā kategorijā."

"Mēs zinājām, kā nodrošināt nepieciešamo skaitļošanas jaudu, lai īstenotu mūsu redzējumu par Orion, taču mums bija sarežģīts uzdevums: samazināt enerģijas patēriņu 100 reizes," saka SoC risinājumu direktors Roberts Šīrers. "Tas prasīja, lai mēs paplašinātu silīcija konstrukcijas robežas, izmantojot metodoloģijas no dažādām nozares jomām - no lietu interneta līdz augstas veiktspējas skaitļošanai - un izgudrojot jaunas pieejas, lai novērstu atšķirības. Mūsu nozares partneri domāja, ka mēs esam traki, un, iespējams, viņi nebija pilnīgi nemaldīgi. Taču tieši tas bija vajadzīgs: vēlme apstrīdēt vispārpieņemto gudrību un visu pārdomāt no jauna. Lai izveidotu datoru, kas nevainojami apvieno virtuālo un fizisko pasauli, ir nepieciešama dziļa izpratne par kontekstu, kas krietni pārsniedz to, ko var piedāvāt esošās skaitļošanas platformas. Būtībā mēs esam no jauna izgudrojuši veidu, kā datori mijiedarbojas ar cilvēkiem, un tas nozīmēja no jauna izdomāt, kā mēs veidojam silīciju no pašiem pamatiem."

Orion ārējās sastāvdaļas.

MicroLED maģija

Bija brīži, kad darbi atpalika no grafika vai radās šķietami nepārvarams tehnisks izaicinājums, kad bija grūti saglabāt dinamiku un morāli. Taču komanda bija izturīga un atrada ceļus, kā apiet šķēršļus, vai vienkārši tos nojauca.

Piemēram, Orion displejs. Silīcija komanda bija atbildīga par silīciju displeja projektorā, kas atrodas briļļu stūros.

"Attiecībā uz šiem projektoriem bija atklāts jautājums, vai mēs spēsim iegūt microLED matricu ar pietiekami augstu efektivitāti un spilgtumu, lai varētu izmantot displeju ar plašu redzamības lauku," saka Snodgrass. "Bija milzīgas šaubas, vai mēs to spēsim - vai tas būs iespējams paredzētajā laikā, jo šī tehnoloģija bija ļoti jauna."

"Mēs ļoti agri sapratām, ka mums ir jāpārdomā daudzas produktu izstrādes paradigmas," piebilst Jī. "Gaismas daudzums, kas nepieciešams, lai izveidotu lietojamu displeju, AR brillēm ir daudz lielāks, jo kā valkājams displejs jūs konkurējat ar sauli. Tāpēc mums ir nepieciešams tāds enerģijas līmenis, kas konkurē ar to - vai vismaz tāds ir mērķis. Mēs vēl neesam to sasnieguši, bet tas ir liela daļa no tā. Tas nozīmē, ka displejam ir vajadzīgi gaismas avoti, kas spēj to nodrošināt, un shēmas, kas spēj to kontrolēt. Un tajā pašā laikā tas ir jāpadara mazs."

Pielāgots silīcijs, kas vada Orion µLED.

Lai gan microLED šķita vispiemērotākais gaismas avots projektoriem, silīcijs palīdzēja atraisīt to potenciālu.

"Displejos mēs runājam par pikseļu attālumiem, kas ir attālumi starp blakus esošo pikseļu centra punktiem," skaidro Jī. "Televizoriem šie attālumi ir simtiem mikronu. Tālrunī tie ir daudzi, daudzi desmiti mikronu. Un mums vajadzēja samazināt šo skaitli līdz viencipara skaitlim. Vienīgais zināmais pusvadītāju ražošanas veids, kas to varēja panākt, bija silīcijs."

Darbu sarežģīja tas, ka displeja aizmugurējai virsmai bija jābūt no silīcija, bet neviens pasaulē nebija izstrādājis silīciju mikroLED.

"Tajā laikā visas pētnieku komandas bija izmantojušas šķidro kristālu uz silīcija displejiem, lai uz tiem uzliktu mikroLED," saka Jī. "Neviens iepriekš nebija izstrādājis pamatplānu microLED. Un mēs saskārāmies ar diezgan unikālu izaicinājumu, jo tas ir optisks komponents. Tai jābūt plaknai. To nevar saskrāpēt. Tai jābūt ar visām šīm īpašībām, jo, skatoties caur viļņvadiem, caur projektoriem, jūs burtiski skatāties uz silīcija gabala augšējo virsmu."

Silīcija komanda izstrādāja sarežģītu virkni testēšanas platformu šiem microLED displejiem, kas ietvēra ciešu koordināciju ar mūsu globālajiem piegādātājiem. MikroLED displejiem ir globāla izcelsme - tie tika izgatavoti vienā vietā un pēc tam pārcelti uz citu vietu, kur tie tika uzklāti uz plāksnītes. Pēc tam plāksnītes tika nosūtītas, lai tās sagrieztu noteiktā formā, un tad tās tika nosūtītas uz ASV, lai salīmētu kopā ar citu plāksnīti, un tad nosūtītas atpakaļ pāri zemeslodei, lai izveidotu un testētu faktisko moduli. Tas bija ārkārtīgi sarežģīts process, un silīcija komanda izstrādāja testa transportlīdzekļus, lai pārbaudītu katru posmu.

Komandai bija arī jāatrod veids, kā piegādāt elektroenerģiju microLED displejiem, kas atrodas niecīgajos briļļu stūros. Mūsu analogu komanda izstrādāja pielāgotu enerģijas pārvaldības mikroshēmu, kas ietilpa šajā tilpumā.

"Enerģijas padeve ir ļoti svarīga šādām maza izmēra valkājamām ierīcēm, kur akumulatora izmērs ir ierobežots un vieta ir ļoti ierobežota," norāda Analogo un jaukto signālu sistēmu direktors Džihongs Rens (Jihong Ren). "Mūsu pielāgotais barošanas pārvaldības integrālās shēmas risinājums izmanto modernākās tehnoloģijas, lai optimizētu energoefektivitāti mūsu specifiskajai darba slodzei sistēmas līmenī, vienlaikus iekļaujoties pieejamās vietas ierobežojumos. Lai panāktu šo optimālo risinājumu, bija nepieciešama cieša starpdisciplināra sadarbība ar mūsu mehānikas, elektrotehnikas, SoC, μLED un siltuma komandām, nodrošinot visu komponentu nevainojamu integrāciju un maksimālu kopējo veiktspēju."

"Tas bija apbrīnojams ne tikai inženiertehnisks, bet arī organizatorisks sasniegums: apvienot komandu, strādāt dažādās laika joslās un ar visiem šiem dažādajiem piegādātājiem," piebilst Snodgrass. "Savā ziņā organizatoriskā pārvaldība bija tikpat liels izaicinājums kā tehnisko specifikāciju izpilde."

"Pielāgots ir ne tikai dizains, bet arī viss izgatavošanas process," piebilst Jī. "Mums ir paveicies, ka mums ir brīnišķīgi partneri šajā nozarē, kas palīdzēja to īstenot. Viņi saskata ilgtermiņa potenciālu AR displejos kopumā un, protams, Meta redzējumu par to. Tāpēc viņi ir gatavi sadarboties ar mums, lai veiktu pielāgojumus un optimizācijas, kas ļautu izmantot šo displeju."

Orion AR brilles.

Iterācija tiekas ar paātrinājumu

Starp silīcija komandu un izcilajiem prātiem Reality Labs Research un XR Tech, kas izstrādā algoritmus, bija cieša atgriezeniskā saite. Pēdējās komandas nodrošināja šos algoritmus, kurus pirmās komandas pārtulkoja aparatūrā, novēršot vispārējas nozīmes CPU darbināmas programmatūras pieskaitāmās izmaksas. Tas nozīmēja, ka algoritmi darbosies ar mazāku jaudu, bet tas arī nozīmēja, ka silīcija komanda būs piesaistīta. Tiklīdz algoritmi bija nostiprināti, viņi vairs nevarēja veikt izmaiņas.

"Teiksim, ka XR Tech izstrādāja noteiktu disciplīnu algoritmiski," skaidro Silicon Accelerators arhitektūras un algoritmu direktors Ohads Meitavs. "Viņiem pieder algoritmu kaudze un tās veiktspēja. Mana komanda, sadarbojoties ar viņiem, tad izlemtu, kā paātrināt algoritmu, kā padarīt algoritma daļas stingrākas un kā to faktiski ievietot aparatūrā tā, lai tas darbotos ļoti efektīvi. Tad XR Tech pielāgotu savu programmatūras pakotni, lai ņemtu vērā aparatūru. Tas ir ļoti iteratīvs process."

Vēl viens veiksmes stāsts ir silīcija komandas sadarbība ar Reality Labs Research, lai izstrādātu jaunu reprojekcijas algoritmu.

"Mums bija nepieciešams, lai reprojekcijas algoritms atbalstītu dažādus izkropļojumus un korekcijas," norāda silīcija arhitekts Stīvs Klohets. "RL-R izstrādātais algoritms, ko mēs galu galā izmantojām, netiek izmantots vispārējos skaitļošanas procesos. Un līdz pat šai dienai tas ir izrādījies diezgan spēcīgs rīks."

Kad algoritmi bija nostiprināti un aparatūra optimizēta, silīcija sagatavošanas komanda izmēģināja pielāgotās mikroshēmas.

"Orion pielāgotais silīcija mikroshēmu komplekts ir sarežģīts," saka "End-to-End" sistēmu un infrastruktūras vecākais direktors Lipings Guo. "Īsā laikā izveidot un apstiprināt atsevišķas mikroshēmas un to savstarpējo savietojamību ir neticami sarežģīti. Par laimi, mēs darbojamies vertikāli integrētā vidē, kur Reality Labs pieder visa pakete - no silīcija un zema līmeņa programmaparatūras līdz operētājsistēmai, programmatūrai un augšējā slāņa pieredzei. Mēs to pilnībā izmantojām, cieši sadarbojoties ar saviem starpfunkcionālajiem partneriem, un mainījāmies, atstājot mūsu starppaketes integrāciju silīcija validācijas posmā. Orion bija mūsu izmēģinājuma brauciens ar šo metodoloģiju - mēs attīstījām savus "shift-left" muskuļus un izveidojām stingru pamatu, lai Reality Labs varētu pilnībā izmantot pielāgota silīcija priekšrocības nākotnē."

Un pēc izveides bija pienācis laiks optimizēt programmatūru.

"Ir iteratīvs process, kurā jūs sākat ar pilnīgi neoptimizētu programmatūras kaudzi, lai viss tiktu palaists un darbotos," saka Snodgrass. "Pēc tam pa kārtai tiek veikta apakšsistēmu optimizācija, lai optimizētu programmatūru konkrētajai aparatūrai, tostarp samazinot programmatūras izmantotās atmiņas apjomu. Aparatūra var būt lieliski izstrādāta, bet jūs nesasniegsiet teorētisko energoefektivitāti, ja neieguldīsiet tikpat daudz vai vairāk laika, lai programmatūra pilnībā izmantotu aparatūras priekšrocības. Tāds ir Orion stāsts: līdz galam optimizēta aparatūra un programmatūra. Neviens pikodžouls vai milivats nav atstāts novārtā."

Lai gan Orion, iespējams, ir prototips, tā izstrādē paveiktajam darbam ir ievērojams potenciāls ietekmēt Meta ceļvedi.

"Uz mūsu izstrādātajiem silīcija IP mēs raugāmies kā uz platformām tādā nozīmē, ka tie ir vērtīgi IP, kurus mēs pilnveidosim no vienas paaudzes vai viena produkta uz citu," piebilst Meitavs. "Visi datorredzes un grafikas algoritmi nav radīti tikai Orion. Tie tiks izmantoti turpmākajos produktos."

Mūsu darbs ar silīciju ietver jaunu risinājumu radīšanu, vienlaikus cieši sadarbojoties ar partneriem. Patiesībā silīcija komandas ietekme sniedzas ārpus Orion un aptver gan Ray-Ban Meta brilles and Meta Quest headsets today—even though they both use third-party chips. The silicon team regularly shares their work with the mixed reality team, showing what’s possible in terms of power efficiency. The MR team then shares those findings with partners like Qualcomm to help inform future chip designs. And because the silicon team uses the same off-the-shelf digital signal processors (DSPs) as Ray-Ban Meta glasses, they’ve been able to share lessons learned and best practices when implementing and writing code for those DSPs to help improve the audio experiences available on our AI glasses.

And that knowledge sharing goes both ways: The MR team has given the silicon team insights on things like Asynchronous TimeWarp and Application SpaceWarp in production.

"Tas, ko cilvēks dara ražošanā, ir daudz interesantāk nekā tas, ko mēs varētu izdarīt ar prototipu," saka Klohsets. "Mēs centāmies pēc iespējas vairāk integrēt to, ko viņi darīja ar izšuvumiem."

Neskaidrība < Ambīcijas

Tā kā Orion bija patiešām nulle pret vienu, iesaistītajām komandām pēc nepieciešamības nācās saskarties ar nesamērīgi daudz neskaidrību.

"Ar Orion es nevaru pārspīlēt, cik sarežģītu situāciju padarīja neskaidrība," saka Klohsets. "Kad jūs, piemēram, izgatavojat datoru, jums parasti ir laba ideja par to, kāds būs displejs. Bet mēs nezinājām, kāds galu galā būs viļņvads, tāpēc mums nācās izmēģināt dažādus viļņvadus un izdomāt mehānismu, kas varētu tikt galā ar vissliktāko scenāriju, jo mēs nezinājām, kur viss nonāks. Viena optimizācija šeit sasaucās ar visām pārējām izvēlēm, un galu galā izveidojās matrica ar visām šīm dažādajām lietām, kuras jums vajadzēja atbalstīt un mēģināt apstiprināt, jo jūs nezinājāt, kur produkts nonāks pēc sešiem mēnešiem."

It’s important to note that Orion isn’t just a pair of AR glasses—it’s a three-part constellation of hardware. A lot of the processing happens on the compute puck, which necessitates a strong connection between it and the glasses. Add the surface EMG wristband into the loop, and the system architecture becomes even more complicated.

"Tas komandām bija milzīgs izaicinājums, un tas viss vienkārši darbojas," saka Snodgrass. "Tā bija apbrīnojama sadarbība starp silīcija komandu, bezvadu komandu un programmatūras komandām visā organizācijā."

Oriona skaitļošanas ripa.

"Kopā ar Orion mēs izveidojām veselu komandu ar plašu inženieru loku, un viņi varēja izstrādāt pilnīgi jaunu cauruļvadu," piebilst Klohsets. "Tas ir cauruļvads, kas apstrādā sešu brīvības pakāpju objektu kustību 3D telpā. Tas izmanto savu pielāgotu displeja draiveri. Mums bija jāveic patiešām unikālas attēla kvalitātes korekcijas. Un, manuprāt, mūsu izaicinājums bija tas, ka, tā kā šis bija nulle viens projekts, nebija nekādas esošās specifikācijas, ko varētu pielāgot un uzlabot. Šeit viss ir pilnīgi jauns, tāpēc mums bija rīcības brīvība."

Much like the puck has some dormant features hidden beneath the surface, the custom silicon punches above its weight, too. While Orion doesn’t allow the user to take photos with its RGB cameras, the silicon is capable of supporting it, as well as codec avatars. And just as the puck helped unlock a true glasses form factor by offloading much of the compute, Orion’s custom silicon proved a necessary piece of the AR puzzle.

"Lai īstenotu tādu nulles-līdz-vienai pieredzi kā AR brilles, ir nepieciešams pielāgots silīcijs - pilnīga apstāšanās," skaidro Snodgrass. "Laika gaitā, ja būs tirgus, tad silīcija ražotāji izstrādās produktus, lai apmierinātu pieprasījumu. Taču, lai izveidotu "nulle pret vienu", jūs nevarat vienkārši paņemt no plaukta kaut ko tādu, kas ir paredzēts citam produktam, un ievietot to jaunā veidnē. Ir jāiegulda investīcijas kādā pielāgotā izstrādājumā. Un, lai īstenotu šo zero-to-one pieredzi, ir nepieciešama plaša sadarbība starp programmatūras partneriem, rūpnieciskajiem dizaineriem, mehānikas inženieriem un citiem."

"Atbrīvojoties no tradicionālajiem domāšanas modeļiem, mēs esam radījuši kaut ko patiesi ievērojamu," piebilst Šīrers. "Mēs uzskatām, ka šī skaitļošanas platforma ir tehnoloģiju nākotne, kas revolucionizēs mūsu dzīves, darba un savstarpējās mijiedarbības veidu. Mēs esam sajūsmā, ka varam būt šīs inovācijas priekšgalā, paplašinot iespējamā robežas un palīdzot veidot vēstures gaitu."

When we first began giving demos of Orion early this year I was reminded of a line that you hear a lot at Meta—in fact it was even in our first letter to prospective shareholders back in 2012: Code wins arguments. We probably learned as much about this product space from a few months of real-life demos than we did from the years of work it took to make them. There is just no substitute for actually building something, putting it in people’s hands, and learning from how they react to it.

Orion wasn’t our only example of that this year. Our mixed reality hardware and AI glasses have both reached a new level of quality and accessibility. The stability of those platforms allows our software developers to move much faster on everything from operating systems to new AI features. This is how I see the metaverse starting to come into greater focus and why I’m so confident that the coming year will be the most important one in the history of Reality Labs.

2024. gads bija gads, kad mākslīgā intelekta brilles sasniedza savu augstāko līmeni. Kad 2021. gadā sākām ražot viedās brilles, mēs domājām, ka tās varētu būt labs pirmais solis ceļā uz AR brillēm, ko mēs galu galā vēlējāmies izveidot. Lai gan jauktās realitātes austiņas ir ceļā uz to, lai kļūtu par vispārējas nozīmes skaitļošanas platformu, līdzīgi kā mūsdienu personālie datori, mēs uzskatījām brilles par dabisku mūsdienu mobilo skaitļošanas platformu attīstību. Tāpēc mēs vēlējāmies pēc iespējas ātrāk sākt mācīties no reālās pasaules.

The biggest thing we’ve learned is that glasses are by far the best form factor for a truly AI-native device. In fact they might be the first hardware category to be completely defined by AI from the beginning. For many people, glasses are the place where an AI assistant makes the most sense, especially when it’s a multimodal system that can truly understand the world around you.

We’re right at the beginning of the S-curve for this entire product category, and there are endless opportunities ahead. One of the things I’m most excited about for 2025 is the evolution of AI assistants into tools that don’t just respond to a prompt when you ask for help but can become a proactive helper as you go about your day. At Connect we showed how Live AI on glasses can become more of a real-time participant when you’re getting things done. As this feature begins rolling out in early access this month we’ll see the first step toward a new kind of personalized AI assistant.

It won’t be the last. We’re currently in the middle of an industry-wide push to make AI-native hardware. You’re seeing phone and PC makers scramble to rebuild their products to put AI assistants at their core. But I think a much bigger opportunity is to make devices that are AI-native from the start, and I’m confident that glasses are going to be the first to get there. Meta’s Chief Research Scientist Michael Abrash has been talking about the potential of a personalized, context-aware AI assistant on glasses for many years, and building the technologies that make it possible has been a huge focus of our research teams.

Jauktā realitāte has been another place where having the right product in the hands of a lot of people has been a major accelerant for progress. We’ve seen Meta Quest 3 get better month after month as we continue to iterate on the core system passthrough, multitasking, spatial user interfaces, and more. All these gains extended to Quest 3S the moment it launched. This meant the $299 Quest 3S was in many respects a better headset on day 1 than the $499 Quest 3 was when it first launched in 2023. And the entire Quest 3 family keeps getting better with every update.

In 2025 we’ll see the next iteration of this as Quest 3S brings a lot more people into mixed reality for the first time. While Quest 3 has been a hit among people excited to own the very best device on the market, Quest 3S is expected to be heavily gifted in 2024. Sales were strong over the Black Friday weekend, and we’re expecting a surge of people activating their new headsets over the holiday break.

Tādējādi turpināsies tendence, kas iezīmējās pagājušajā gadā: jaunu lietotāju skaita pieaugums, kuri meklē plašāku darbību klāstu, izmantojot savas austiņas. Mēs vēlamies, lai šie jaunie lietotāji saskatītu MR burvību un paliktu ilgāku laiku, tāpēc mēs finansējam izstrādātājus, lai tie radītu jauna veida lietotnes un spēles, ko viņi meklē.

Īpaši liels ir jauniešu pieplūdums, un viņi pievēršas sociālajām un konkurētspējīgajām multiplayer spēlēm, kā arī bezmaksas saturam. Un tādi tituli kā Skydance's BEHEMOTH, Betmens: Arkhemas ēna (kas tikko ieguva balvu kā labākā AR/VR spēle The Game Awards!), un Metro atmoda vēlreiz apliecināja, ka dažas no labākajām jaunajām spēlēm, ko ražo mūsu nozare, tagad ir iespējams spēlēt tikai ar mūsdienu austiņām.

As the number of people in MR grows, the quality of the social experience it can deliver is growing in tandem. This is at the heart of what Meta is trying to achieve with Reality Labs and where the greatest potential of the metaverse will be unlocked: “the chance to create the most social platform ever” is how we described it when we first began working on it. We took two steps forward on this front in 2024: first with a broad set of improvements to Horizon Worlds including its expansion to mobile, and second with the next-generation Meta Avatars system that lets people represent themselves across our apps and headsets. And as the visual quality and overall experience with these systems improve, more people are getting their first glimpse of a social metaverse. We’re seeing similar trends with new Quest 3S users spending more time in Horizon Worlds, making it a Top 3 immersive app for Quest 3S, and people continue creating new Meta Avatars across mobile and MR.

Jauktās realitātes ienākšana mainstreamā ir palīdzējusi noskaidrot, kas notiks tālāk. Viena no pirmajām tendencēm, ko mēs atklājām pēc Quest 3 palaišanas pagājušajā gadā, bija tā, ka cilvēki izmantoja jaukto realitāti, lai skatītos videoklipus, vienlaikus veicot vairākus uzdevumus mājās - mazgājot traukus vai slaucot putekļus dzīvojamā istabā. Tas bija agrīns signāls, ka cilvēkiem patīk liels virtuālais ekrāns, ko var paņemt līdzi jebkur un novietot fiziskajā pasaulē ap sevi. Mēs esam novērojuši, ka šī tendence strauji attīstās, un visā Quest 3 saimē strauji pieaug visdažādāko izklaides iespēju klāsts. Jaunas funkcijas, piemēram, YouTube Co-Watch parāda, cik liels potenciāls ir pavisam jauna veida sociālajai izklaidei metaversālā.

That’s why James Cameron, one of the most technologically innovative storytellers of our lifetimes, is now working to help more filmmakers and creators produce great 3D content for Meta Quest. While 3D films have been produced for decades, there’s never been a way to view them that’s quite as good as an MR headset, and next year more people will own a headset than ever before. “We’re at a true, historic inflection point,"Jim said when we launched our new partnership this month.

This is happening alongside a larger shift Mark Rabkin shared at Connect this year: Our vision for Horizon OS is to build a new kind of general purpose computing platform capable of running every kind of software, supporting every kind of user, and open to every kind of creator and developer. Our recent releases for 2D/3D multi-tasking, panel positioning, better hand tracking, Windows Remote Desktop integration, and Open Store have started to build momentum along this new path. Horizon OS is on track to be the first platform that supports the full spectrum of experiences from immersive VR to 2D screens, mobile apps, and virtual desktops—and the developer community is central to that success.

Nākamais lielais solis uz metaversālu apvienos mākslīgā intelekta brilles ar īstu papildinātās realitātes pieredzi, ko šogad atklājām ar Orion. Nereti gadās ieskatīties nākotnē un ieraudzīt pilnīgi jaunu tehnoloģiju, kas parāda, uz kurieni viss virzās. Cilvēki, kas redzēja Orion, uzreiz saprata, ko tas nozīmē nākotnei, līdzīgi kā cilvēki, kas redzēja, kā 70. gados Xerox PARC veidojās pirmie personālie datori ("desmit minūšu laikā man bija skaidrs, ka visi datori kādreiz darbosies šādi," vēlāk Stīvs Džobss teica par savu 1979. gada Xerox Alto demonstrāciju).

Iespēja ievietot cilvēkus laika mašīnā un parādīt viņiem, kā izskatīsies nākamā skaitļošanas platforma, bija 2024. gada un manas līdzšinējās karjeras nozīmīgākais notikums. Taču patiesā Orion ietekme būs nākamajos produktos, ko mēs piegādāsim, un veidos, kā tas palīdzēs mums labāk saprast, kas cilvēkiem patīk AR brillēs un kas ir jāuzlabo. Mēs gadiem ilgi strādājām pie lietotāju izpētes, produktu plānošanas vingrinājumiem un eksperimentāliem pētījumiem, lai saprastu, kā vajadzētu darboties AR brillēm, un šis darbs ļāva mums izveidot Orion. Taču tagad, kad mums ir reāls produkts, uz kura balstīt savu intuīciju, progresa temps būs daudz straujāks.

This has been the lesson time and again over the last decade at Reality Labs. The most important thing you can do when you’re trying to invent the future is to ship things and learn from how real people use them. They won’t always be immediate smash hits, but they’ll always teach you something. And when you land on things that really hit the mark, like mixed reality on Quest 3 or AI on glasses, that’s when you put your foot on the gas. This is what will make 2025 such a special year: With the right devices on the market, people experiencing them for the first time, and developers discovering all the opportunities ahead, it’s time to accelerate.

Welcome back for another episode of Boz To The Future, a podcast from Reality Labs. In today’s episode, our host, Meta CTO and Head of Reality Labs Andrew “Boz” Bosworth, is joined by Meta’s VP of Wearables Alex Himel.

Himela komanda strādā pie sarežģītākajām tehniskajām problēmām nozarē, lai palīdzētu izveidot nākamo skaitļošanas platformu. Tāpat kā Bosvorts, arī Himels ir ilggadējs Meta vadītājs, kurš vairāk nekā 15 gadu laikā uzņēmumā ir ieņēmis vairākus vadošus amatus visā uzņēmumā.

Bosvorts un Himels aplūko dažādas tēmas, tostarp valkājamās ierīces, papildināto realitāti un to, kā mākslīgais intelekts paātrina un uzlabo pieredzes veidus, kas ietverti Ray-Ban Meta brilles un nākotnes produktiem.

They go deep on Orion and the positive reception it’s received since Mark Zuckerberg announced it at Connect. Just as Steve Jobs recognized the Alto as a turning point in computing, Bosworth asserted that, while we may disagree about the details, it’s hard to argue against this as the future. Himel and Bosworth go on to talk about the tremendous value of prototyping and building, saying how much more they’ve learned about Orion and its input paradigms in the three weeks of using it compared to the years spent building it.

Viņi runāja arī par mākslīgā intelekta izšķirošo lomu valkājamo ierīču jomā un par to, kā tas kļūst aizvien noderīgāks ikdienā - īpaši tagad, kad varat uzdot Meta AI jautājumus par lietām, ko redzat, un izmantot to, lai iestatītu vizuālus atgādinājumus.

Himels stāsta arī par savu lielo pieredzi cita veida kaudzēs - sviestmaizēs. Septiņus gadus strādājis slavenajā Lange's Little Store Čappakā, Ņujorkas štatā, kur viņš ir uzaudzis, Himels un Bosvorts iztirzā, kas veido lielisku sviestmaizi, kur patiešām der tomāti un kura maize ir labāka.

Varat pieslēgties Boz uz nākotni on Apple Podcasts, Spotify, and wherever you listen to podcasts.

You can follow Himel on Threads. You can follow Bosworth on Instagram, Twitter/X, and Threads @boztank.

Back in 2019, the Orion team prepared an important demo for Meta Founder & CEO Mark Zuckerberg, showcasing potential waveguides for augmented reality glasses—a pivotal moment when theoretical calculations on paper were brought to life. And it was a demo that changed everything.

“Wearing the glasses with glass-based waveguides and multiple plates, it felt like you were in a disco,” recalls Optical Scientist Pasqual Rivera. “There were rainbows everywhere, and it was so distracting—you weren’t even looking at the AR content. Then, you put on the glasses with silicon carbide waveguides, and it was like you were at the symphony listening to a quiet, classical piece. You could actually pay attention to the full experience of what we were building. It was a total game changer.”

Yet as clear (pun intended) as the choice of silicon carbide as a substrate seems today, when we first started down the road to AR glasses a decade ago, it was anything but.

"Parasti silīcija karbīds ir ļoti bagātināts ar slāpekli," saka Rivera. "Tas ir zaļš, un, ja tas kļūst pietiekami biezs, izskatās melns. No tā nekādi nevar izgatavot optisko lēcu. Tas ir elektronisks materiāls. Tas ir iemesls, kāpēc tas ir šādā krāsā, un tas ir elektronisko īpašību dēļ."

"Silīcija karbīds kā materiāls ir izmantots jau ilgu laiku," piekrīt AR viļņvadu tehniskais vadītājs Džuzepe Kalafiore. "Tā galvenais pielietojums ir lieljaudas elektronikā. Piemēram, elektriskie transportlīdzekļi: Visiem elektriskajiem transportlīdzekļiem ir nepieciešama mikroshēma, bet šai mikroshēmai ir jāspēj nodrošināt arī ļoti lielu jaudu, kustināt riteņus un vadīt šo ierīci. Izrādās, ka to nevar izdarīt ar parasto silīcija substrātu, no kura tiek izgatavotas mikroshēmas, ko mēs izmantojam datoros un elektronikā. Ir vajadzīga platforma, kas ļauj izmantot lielas strāvas un jaudas, un šis materiāls ir silīcija karbīds."

Kamēr pavisam nesen nesākās diskusijas par atjaunojamajiem enerģijas avotiem, šo lieljaudas mikroshēmu tirgus ne tuvu nebija tik liels kā plaša patēriņa elektronikas mikroshēmu tirgus. Silīcija karbīds vienmēr ir bijis dārgs, un nebija lielas motivācijas samazināt izmaksas, jo tāda izmēra mikroshēmai, kāda tiek ražota automašīnai, substrāta cena bija pieņemama.

"Taču izrādās, ka silīcija karbīdam piemīt arī dažas īpašības, kas mums nepieciešamas viļņvadiem un optikai," saka Kalafjērs. "Galvenā īpašība, kas mūs interesē, ir refrakcijas indekss. Un silīcija karbīdam ir augsts refrakcijas koeficients, kas nozīmē, ka tas spēj novadīt un izvadīt lielu optisko datu daudzumu. Var domāt par to kā par optisko joslas platumu - gluži tāpat kā jums ir interneta joslas platums, un jūs vēlaties, lai tas būtu pietiekami liels, lai pa šo kanālu varētu nosūtīt milzīgu datu apjomu. Tas pats attiecas uz optiskām ierīcēm."

The higher a material’s refractive index, the higher its étendue, so you can send more optical data through that channel.

"Mūsu gadījumā kanāls ir viļņvads, un lielāks ētendue nozīmē lielāku redzamības lauku," skaidro Kalafjērs. "Jo lielāks ir materiāla refrakcijas koeficients, jo lielāku redzamības lauku var nodrošināt displejs."

Ceļš uz pareizo refrakcijas koeficientu

Kad Kalafjērs 2016. gadā pirmo reizi pievienojās toreizējai Oculus Research, komandas rīcībā esošais augstākais refrakcijas koeficients bija 1,8, tāpēc vajadzēja sakraut vairākas plāksnes, lai iegūtu vēlamo redzes lauku. Ja neskaita nevēlamos optiskos artefaktus, montāžas līnija kļuva arvien sarežģītāka, jo pirmie divi viļņvadi bija perfekti jāsaskaņo, un pēc tam šis kaudze bija perfekti jāsaskaņo ar trešo viļņvadu.

"Tas bija ne tikai dārgi, bet arī uzreiz kļuva skaidrs, ka brilles nevar būt no trim stikla gabaliem katrā lēcu pārī," atceras Kalafjērs. "Tās bija pārāk smagas, un to biezums bija pārāk liels un neglīts - neviens tās nepirktu. Tāpēc mēs atgriezāmies pie sākuma: mēģinājām palielināt pamatnes refrakcijas koeficientu, lai samazinātu nepieciešamo plākšņu skaitu."

The first material the team looked into was lithium niobate, which has a refractive index of roughly 2.3—quite a bit higher than the glass at 1.8.

"Mēs sapratām, ka mums vajadzēja salikt tikai divas plāksnes un varbūt pat varēja iztikt ar vienu plāksni, lai pārklātu redzamības lauku," saka Kalafjērs. "Gandrīz paralēli mēs sākām pētīt citus materiālus - tā mēs kopā ar piegādātājiem 2019. gadā noskaidrojām, ka silīcija karbīds tā tīrākajā formā patiesībā ir ļoti caurspīdīgs. Tam ir arī augstākais zināmais optiskā pielietojuma refrakcijas koeficients, kas ir 2,7."

Tas ir 17,4% pieaugums salīdzinājumā ar litija niobātu un 50% pieaugums salīdzinājumā ar stiklu, lai tie, kas mājās skaita rādītājus.

"Ar dažām modifikācijām tajās pašās iekārtās, kas jau tika izmantotas rūpniecībā, bija iespējams iegūt caurspīdīgu silīcija karbīdu," stāsta Kalafjore. "Varēja tikai mainīt procesu, būt daudz uzmanīgākiem, un tā vietā, lai optimizētu elektroniskās īpašības, optimizēt optiskās īpašības: caurspīdīgumu, refrakcijas indeksa vienmērīgumu utt."

Kompromisa iespējamās izmaksas

Tolaik Reality Labs komanda bija pirmā, kas pat mēģināja pāriet no necaurspīdīgām silīcija karbīda plāksnēm uz caurspīdīgām. Tā kā silīcija karbīds ir viens no cietākajiem zināmajiem materiāliem, tā griešanai vai pulēšanai ir nepieciešami dimanta instrumenti. Rezultātā vienreizējās inženiertehniskās izmaksas bija ļoti augstas, tāpēc iegūtais substrāts bija diezgan dārgs.

Lai gan pastāv ekonomiski izdevīgākas alternatīvas, tāpat kā jebkurai citai tehnoloģijai, katrai no tām ir savi kompromisi. Un, palielinoties redzamības laukam līdz Orion nozarē vadošajam redzamības laukam, kas ir aptuveni 70 grādu, rodas jaunas problēmas, piemēram, spoku attēli un varavīksnes.

"Lai atrastu optimālo risinājumu AR displejam ar plašu redzamības lauku, ir jārod kompromiss starp veiktspēju un izmaksām," skaidro pētniecības zinātnes direktors Barijs Silveršteins. "Izmaksas bieži vien var samazināt, bet, ja veiktspēja nav pietiekama, izmaksām galu galā nav nozīmes."

Spoku attēli ir kā uz displeja projicētā galvenā attēla vizuālās atbalsis. Varavīksnes ir krāsainas gaismas svītras, kas rodas, kad apkārtējā gaisma atstarojas no viļņvada. "Pieņemsim, ka jūs braucat naktī, kad ap jums ir kustīgi automašīnu lukturi," saka Silveršteins. "Jums būs arī kustīgas varavīksnes. Vai arī, ja esat pludmalē, spēlējot volejbolu, un spīd saule, jums radīsies varavīksnes svītra, kas kustēsies kopā ar jums, un jūs palaidīsiet garām savu šāvienu. Un viena no brīnumainām silīcija karbīda īpašībām ir tā, ka tas atbrīvojas no šīm varavīksnēm."

"Vēl viena silīcija karbīda priekšrocība, kas nepiemīt nevienam citam materiālam, ir siltumvadītspēja," piebilst Kalafjērs. "Plastmasa ir briesmīgs izolators. Stikls, litija niobāts - tas pats. Pāriet uz silīcija karbīdu, un tas ir caurspīdīgs, izskatās kā stikls, un uzminiet ko: tas vada siltumu."

Tāpēc 2020. gada jūlijā komanda noteica, ka silīcija karbīds ir optimālā izvēle trīs galveno iemeslu dēļ: Tas ļāva uzlabot formas faktoru, jo tam bija nepieciešama tikai viena plāksne un mazākas montāžas struktūras, tam bija labākas optiskās īpašības un tas bija vieglāks nekā stikla plāksne ar divām plāksnēm.

Slant Etch noslēpums

Ņemot vērā materiālu, nākamais uzdevums bija viļņvadu izgatavošana - un jo īpaši netradicionāla režģu izgatavošanas tehnika, ko sauc par slīpu kodināšanu.

"Režģis ir nanostruktūra, kas savieno un savieno gaismu no lēcas," skaidro Kalafjore. "Un, lai silīcija karbīds darbotos, režģim jābūt slīpi kodinātam. Tā vietā, lai režģa līnijas būtu vertikālas, ir nepieciešams, lai tās būtu slīpi slīpi pa diagonāli."

"Mēs bijām pirmie, kas veica slīpu kodināšanu tieši uz ierīcēm," stāsta pētniecības vadītājs Nihars Mohanti. "Visa nozare izmantoja nanoatspiedumu, kas nedarbojas substrātiem ar tik augstu refrakcijas koeficientu. Tāpēc neviens cits pasaulē nebija domājis par silīcija karbīda izgatavošanu."

Taču, tā kā slīpā kodināšana ir vēl nepieredzējusi tehnoloģija, lielākajai daļai pusvadītāju mikroshēmu piegādātāju un rūpnīcu trūkst nepieciešamo rīku.

"2019. gadā mēs ar toreizējo vadītāju Matu Kolbērnu (Matt Colburn) izveidojām savu ražotni, jo pasaulē nebija nekā tāda, kas varētu ražot kodinātus silīcija karbīda viļņvadus un kur mēs varētu pārbaudīt tehnoloģiju, kas pārsniegtu laboratorijas mērogus," skaidro Mohanti. "Tas bija milzīgs ieguldījums, un mēs tur izveidojām visu cauruļvadu. Instrumentus mums pēc pasūtījuma izgatavoja mūsu partneri, un process tika izstrādāts Meta uzņēmumā, lai gan mūsu sistēmas ir pētniecības klases, jo nebija ražošanas klases sistēmu. Mēs sadarbojāmies ar ražošanas partneri, lai izstrādātu ražošanas klases slīpās kodināšanas instrumentus un procesus. Un tagad, kad esam parādījuši, kas ir iespējams ar silīcija karbīdu, mēs vēlamies, lai arī citi nozares pārstāvji sāktu ražot savus instrumentus."

Jo vairāk uzņēmumu ieguldīs optiskā silīcija karbīda ražošanā un izstrādās aprīkojumu, jo spēcīgāka kļūs patērētāju AR briļļu kategorija.

Vairs nevajag dzīties pakaļ varavīksnei

While technological inevitability is a myth, the stars certainly seem to be aligning in silicon carbide’s favor. And although the team continues to investigate alternatives, there’s a strong sense that the right people have come together at the right time under the right market conditions to build AR glasses using this material.

"Orion pierādīja, ka silīcija karbīds ir dzīvotspējīgs risinājums AR brillēm," saka Silveršteins, "un tagad mēs redzam, ka par to interesi izrāda piegādes ķēdes trīs dažādos kontinentos, kur viņi aktīvi izmanto šo iespēju. Silīcija karbīds būs labākais. Manuprāt, tas ir tikai laika jautājums."

Un šajā laikā var notikt ļoti daudz kas - līdzīgi kā tas, kā ir mainījušies notikumi kopš mūsu pirmo silīcija karbīda kristālu audzēšanas.

"Visi šie silīcija karbīda ražotāji, reaģējot uz gaidāmo elektromobiļu bumu, bija ievērojami palielinājuši piegādi," norāda Kalafjore. "Šobrīd ir jaudas pārpalikums, kas nepastāvēja, kad mēs būvējām Orion. Tā kā tagad piedāvājums ir liels, bet pieprasījums zems, substrāta izmaksas ir sākušas samazināties."

"Piegādātāji ir ļoti satraukti par jauno iespēju ražot optiskās kvalitātes silīcija karbīdu - galu galā katra viļņvada lēca ir liels materiāla daudzums, salīdzinot ar elektronisko mikroshēmu, un visas viņu esošās iespējas attiecas uz šo jauno telpu," piebilst Silveršteins. "Rūpnīcas piepildīšana ir būtiska, un rūpnīcas paplašināšana ir sapnis. Svarīgs ir arī plāksnītes izmērs: Jo lielāka plāksne, jo zemākas izmaksas, bet palielinās arī procesa sarežģītība. Tomēr mēs esam redzējuši, ka piegādātāji pāriet no četru collu uz astoņu collu platēm, un daži strādā pie 12 collu platēm, kas ļautu ražot eksponenciāli vairāk AR briļļu pāru."

Šiem sasniegumiem vajadzētu palīdzēt arī turpmāk samazināt izmaksas. Pagaidām vēl ir agri, bet nākotne jau ir iezīmējusies.

"Jebkuras jaunas tehnoloģiskās revolūcijas sākumā jūs izmēģināt vairākas lietas," saka Kalafjore. "Paskatieties uz televīziju: Mēs sākām ar katodstaru lampām, tad sākām ar LED plazmas televizoriem un tagad ar mikroLED. Mēs izmantojām vairākas dažādas tehnoloģijas un arhitektūras. Meklējot ceļu, daudzi ceļi beidzas nekur, bet ir daži, pie kuriem jūs pastāvīgi atgriežaties kā pie visdaudzsološākajiem. Mēs neesam ceļa galā, un mēs to nevaram izdarīt vieni paši, bet silīcija karbīds ir brīnumains materiāls, kurā ir vērts ieguldīt."

"Pasaule ir pamodusies," piebilst Silveršteins. "Mēs esam veiksmīgi pierādījuši, ka silīcija karbīds var elastīgi darboties elektronikā un fotonikā. Tas ir materiāls, ko nākotnē varētu izmantot kvantu skaitļošanā. Un mēs redzam pazīmes, ka ir iespējams ievērojami samazināt izmaksas. Vēl ir daudz darāmā, bet potenciāls ir milzīgs."

TL;DR:

• Today at Connect, Mark Zuckerberg unveiled Orion—our first pair of true AR glasses, previously codenamed Project Nazare.
• With an industry-leading field of view, silicon carbide lenses, intricate waveguides, uLED projectors, and more, Orion is our most advanced and most polished product prototype to date.
• Tagad mēs turpinām optimizēt produktus un samazināt izmaksas, lai izveidotu mērogojamu patēriņa ierīci, kas revolucionāri mainīs veidu, kā cilvēki mijiedarbojas ar pasauli.

---

"Mēs veidojam AR brilles."

Five simple words, spoken five years ago. With them, we planted a flag on our vision of a future where we no longer have to make the false choice between a world of information at our fingertips and the physical world all around us.

Un tagad, piecus gadus vēlāk, vēl pieci vārdi, kas atkal var mainīt spēles gaitu:

Mēs esam izveidojuši AR brilles.

Mūsu Meta misija ir vienkārša: sniegt cilvēkiem iespēju veidot kopienu un tuvināt pasauli. Un Reality Labs mēs radām rīkus, kas palīdz cilvēkiem justies savienotiem jebkurā laikā un jebkurā vietā. Tāpēc mēs strādājam, lai izveidotu nākamo skaitļošanas platformu, kuras centrā ir cilvēki, lai viņi varētu vairāk būt klātesoši, saistīti un pilnvērtīgi pasaulē.

Ray-Ban Meta brilles ir pierādījuši, ka ir iespējams nodrošināt cilvēkiem brīvroku piekļuvi galvenajām digitālās dzīves daļām no viņu fiziskās dzīves. Mēs varam sarunāties ar gudru mākslīgā intelekta asistentu, sazināties ar draugiem un iemūžināt svarīgus mirkļus - un tas viss bez nepieciešamības izvilkt telefonu. Šīs stilīgās brilles nevainojami iekļaujas mūsu ikdienas dzīvē, un cilvēki tās absolūti iemīlējuši.

Tomēr, lai gan Ray-Ban Meta atklāja pilnīgi jaunu bezdisplejveida briļļu kategoriju, ko papildina mākslīgais intelekts, XR nozare jau sen sapņo par īstām AR brillēm - produktu, kas apvieno liela hologrāfiskā displeja un personalizētas mākslīgā intelekta palīdzības priekšrocības ērtā, stilīgā, visu dienu valkājamā formā.

And today, we’ve pushed that dream closer to reality with the unveiling of Orion, which we believe is the most advanced pair of AR glasses ever made. In fact, it might be the most challenging consumer electronics device produced since the smartphone. Orion is the result of breakthrough inventions in virtually every field of modern computing—building on the work we’ve been doing at Reality Labs for the last decade. It’s packed with entirely new technologies, including the most advanced AR display ever assembled and custom silicon that enables powerful AR experiences to run on a pair of glasses using a fraction of the power and weight of an MR headset.

Orion’s input system seamlessly combines voice, eye gaze, and hand tracking with an EMG wristband that lets you swipe, click, and scroll while keeping your arm resting comfortably by your side, letting you stay present in the world and with the people around you as you interact with rich digital content.

Sākot no šodienas Connect un turpinot visa gada garumā, mēs atveram piekļuvi mūsu Orion produkta prototipam Meta darbiniekiem un izvēlētai ārējai auditorijai, lai mūsu izstrādes komanda varētu mācīties, pilnveidot un pilnveidot mūsu patērētājiem paredzēto AR briļļu produktu līniju, kuru mēs plānojam sākt piegādāt tuvākajā nākotnē.

Kāpēc AR brilles?

Ir trīs galvenie iemesli, kādēļ AR brilles ir atslēga nākamā lielā lēciena atklāšanai uz cilvēku orientētās skaitļošanas jomā.

1. Tie nodrošina digitālo pieredzi, ko neierobežo viedtālruņa ekrāna ierobežojumi. Izmantojot lielos hologrāfiskos displejus, jūs varat izmantot fizisko pasauli kā savu audeklu, izvietojot 2D un 3D saturu un pieredzi jebkurā vietā.
2. Tajos ir integrēts kontekstuāls mākslīgais intelekts, kas spēj uztvert un izprast apkārtējo pasauli, lai paredzētu un proaktīvi reaģētu uz jūsu vajadzībām.
3. Tās ir vieglas un lieliski piemērotas gan iekštelpām, gan āra telpām, un tās ļauj cilvēkiem saskatīt viens otra īsto seju, īstās acis un īstās izteiksmes.

Tā ir ziemeļu zvaigzne, uz kuru mūsu nozare ir virzījusies: produkts, kas apvieno valkājamo ierīču ērtības un tūlītēju lietojamību ar lielu displeju, liela joslas platuma ievadi un kontekstualizētu mākslīgo intelektuālo intelektu, turklāt tādā formā, ko cilvēki jūtas ērti valkāt ikdienā.

Kompakts formas faktors, sarežģīti izaicinājumi

Gadiem ilgi esam saskārušies ar nepareizu izvēli - vai nu virtuālās un jauktās realitātes austiņas, kas nodrošina dziļu un aizraujošu pieredzi lielgabarīta formātā, vai arī brilles, kas ir ideāli piemērotas lietošanai visas dienas garumā, bet nepiedāvā bagātīgas vizuālās lietotnes un pieredzi, jo nav liela displeja un atbilstošas skaitļošanas jaudas.

Bet mēs vēlamies visu, bez kompromisiem. Jau gadiem ilgi esam cītīgi strādājuši pie tā, lai VR un MR austiņas sniegtu neticamu telpisko pieredzi un miniaturizētu tehnoloģiju, kas nepieciešama šīs pieredzes nodrošināšanai vieglās un stilīgās brillēs. Izstrādāt formu, nodrošināt hologrāfiskos displejus, radīt pārliecinošu AR pieredzi un radīt jaunas cilvēka un datora mijiedarbības (HCI) paradigmas - un to visu paveikt vienā vienotā produktā - ir viens no sarežģītākajiem izaicinājumiem, ar ko mūsu nozare jebkad ir saskārusies. Tas bija tik liels izaicinājums, ka mēs domājām, ka mums ir mazāk nekā 10 % izredžu to veiksmīgi paveikt.

Līdz šim.

Pārsteidzošs displejs nepārspējamā formātā

Orion ir aptuveni 70 grādu liels redzes lauks līdz šim mazākajās AR briļļu formās. Šāds redzes lauks Orion paver patiesi aizraujošus izmantošanas gadījumus, sākot no daudzfunkcionāliem logiem un izklaides uz liela ekrāna un beidzot ar cilvēku hologrammām - visu digitālo saturu, kas var nevainojami saplūst ar jūsu skatījumu uz fizisko pasauli.

Orion redzamības lauks bija mūsu svētais grāls. Mums nācās saskarties ar fizikas likumiem un gaismas starus izliekt tā, kā tie dabiski neizliekas, un mums tas bija jādara, ņemot vērā milivatos mērāmo jaudu.

Instead of glass, we made the lenses from silicon carbide—a novel application for AR glasses. Silicon carbide is incredibly lightweight, it doesn’t result in optical artifacts or stray light, and it has a high refractive index—all optical properties that are key to a large field of view. The waveguides themselves have really intricate and complex nano-scale 3D structures to diffract or spread light in the ways necessary to achieve this field of view. And the projectors are uLEDs—a new type of display technology that’s super small and extremely power efficient.

Orion ir nepārprotami brilles gan izskata, gan izjūtas ziņā - ar caurspīdīgām lēcām. Atšķirībā no MR austiņām vai citām mūsdienu AR brillēm jūs joprojām varat redzēt citu cilvēku reālās acis un izteiksmes, lai jūs varētu būt klāt un dalīties pieredzē ar apkārtējiem. Bija nepieciešami desmitiem inovāciju, lai panāktu, ka rūpnieciskais dizains ir mūsdienīgs briļļu formas faktors, ko būtu ērti valkāt katru dienu. Orion ir miniaturizācijas sasniegums - komponenti ir iepakoti milimetra daļiņās. Mums izdevās rāmja apmalēs iestrādāt septiņas mazas kameras un sensorus.

Mums bija jāsaglabā optiskā precizitāte, kas bija viena desmitā daļa no cilvēka matu šķiedras biezuma. Sistēma var noteikt sīkas kustības, piemēram, kadri paplašinās vai sarūk dažādās telpas temperatūrās, un pēc tam digitāli koriģēt nepieciešamo optisko izlīdzināšanu milisekundes laikā. Mēs izgatavojām rāmjus no magnija - tā paša materiāla, ko izmanto F1 sacīkšu automašīnās un kosmosa kuģos, jo tas ir viegls, bet stingrs, tāpēc saglabā optisko elementu izlīdzinājumu un efektīvi novada siltumu.

Apkure un dzesēšana

Kad mēs atrisinājām displeja problēmu (bez pārspīlējuma) un pārvarējām fizikas problēmas, mums nācās risināt problēmu, kas saistīta ar patiešām jaudīgu skaitļošanu un patiešām mazu enerģijas patēriņu, kā arī siltuma izkliedēšanu. Atšķirībā no mūsdienu MR austiņām jūs nevarat ievietot ventilatoru briļļu pārī. Tāpēc mums bija jābūt radošiem. Daudzi materiāli, kas izmantoti Orion dzesēšanai, ir līdzīgi tiem, ko NASA izmanto satelītu dzesēšanai kosmosā.

We built highly specialized custom silicon that’s extremely power efficient and optimized for our AI, machine perception, and graphics algorithms. We built multiple custom chips and dozens of highly custom silicon IP blocks inside those chips. That lets us take the algorithms necessary for hand and eye tracking as well as simultaneous localization and mapping (SLAM) technology that normally takes hundreds of milliwatts of power—and thus generates a corresponding amount of heat—and shrink it down to just a few dozen milliwatts.

Un, jā, neskatoties uz to, ko esat lasījis citur, Reality Labs produktu izstrādē joprojām būtiska nozīme ir pielāgotam silīcija elementam. 😎

EMG bez piepūles

Every new computing platform brings with it a paradigm shift in the way we interact with our devices. The invention of the mouse helped pave the way for the graphical user interfaces (GUIs) that dominate our world today, and smartphones didn’t start to really gain traction until the advent of the touch screen. And the same rule holds true for wearables.

We’ve spoken about our work with electromyography, or EMG, for years, driven by our belief that input for AR glasses needs to be fast, convenient, reliable, subtle, and socially acceptable. And now, that work is ready for prime time.

Orion ievades un mijiedarbības sistēma nevainojami apvieno balss, acu skatiena un rokas izsekošanu ar EMG aproci, kas ļauj viegli pārcilāt, klikšķināt un ritināt.

It works—and feels—like magic. Imagine taking a photo on your morning jog with a simple tap of your fingertips or navigating menus with barely perceptible movements of your hands. Our wristband combines a high-performance textile with embedded EMG sensors to detect the electrical signals generated by even the tiniest muscle movements. An on-device ML processor then interprets those EMG signals to produce input events that are transmitted wirelessly to the glasses. The system adapts to you, so it gets better and more capable at recognizing the most subtle gestures over time. And today, we’re sharing more about our support for external research focused on expanding the equity and accessibility potential of EMG wristbands.

Iepazīstieties ar bezvadu skaitļošanas ierīci Puck

True AR glasses must be wireless, and they must also be small.So we built a wireless compute puck for Orion. It takes some of the load off of the glasses, enabling longer battery life and a better form factor complete with low latency.

Uz brillēm darbojas visi rokas izsekošanas, acu izsekošanas, SLAM un specializētie AR pasaules bloķēšanas grafikas algoritmi, savukārt lietotnes loģika darbojas uz ripas, lai brilles būtu pēc iespējas vieglākas un kompaktākas.

Šai ripai ir divi procesori, tostarp viens pēc pasūtījuma izstrādāts tieši šeit, Meta, un tā nodrošina skaitļošanas jaudu, kas nepieciešama grafikas atveidošanai ar zemu latentumu, mākslīgajam intelektam un dažām papildu mašīnu uztveres funkcijām.

Tā kā tas ir mazs un gluds, varat ērti iebāzt ripu somā vai kabatā un doties savās darīšanās - bez pieķeršanās.

AR pieredze

Protams, tāpat kā jebkura cita aparatūras daļa, tā ir tik laba, cik laba ir tā. darīt ar to. Un, lai gan vēl ir tikai sākumposms, Orion sniegtā pieredze ir aizraujošs priekšstats par to, kas gaidāms nākotnē.

We’ve got our smart assistant, Meta AI, running on Orion. It understands what you’re looking at in the physical world and can help you with useful visualizations. Orion uses the same Llama model that powers AI experiences running on Ray-Ban Meta smart glasses today, plus custom research models to demonstrate potential use cases for future wearables development.

Lai reālajā laikā sazinātos ar draugiem un ģimeni, varat veikt brīvroku videozvanu, un varat uzturēt savienojumu ar WhatsApp un Messenger, lai skatītu un sūtītu ziņojumus. Nav nepieciešams izvilkt tālruni, atbloķēt to, atrast pareizo lietotni un paziņot draugam, ka kavējat vakariņas - to visu varat izdarīt, izmantojot brilles.

Varat spēlēt koplietošanas AR spēles ar ģimeni otrā valsts malā vai ar draugu otrā dīvāna pusē. Orion lielais displejs ļauj veikt vairākus uzdevumus, izmantojot vairākus logus, lai paveiktu dažādus darbus un nevajadzētu nēsāt līdzi klēpjdatoru.

Orion šodien pieejamā pieredze palīdzēs iezīmēt mūsu AR briļļu līnijas ceļvedi nākotnē. Mūsu komandas kopā ar izstrādātāju partneriem turpinās pilnveidot un veidot jaunas aizraujošas sociālās pieredzes, un mēs nevaram vien sagaidīt, kad varēsim dalīties ar nākamajiem notikumiem.

Mērķtiecīgs produkta prototips

Lai gan Orion nenonāks līdz patērētājiem, nekļūdieties: Tas ir ne pētniecības prototips. Tas ir vispilnīgākais produkta prototips, kādu jebkad esam izstrādājuši, un tas patiesi reprezentē kaut ko tādu. varētu nosūtīt patērētājiem. Tā vietā, lai steigtos to laist veikalu plauktos, mēs nolēmām vispirms pievērsties iekšējai izstrādei, kas nozīmē, ka mēs varam ātri turpināt veidot un turpināt paplašināt tehnoloģijas un pieredzes robežas.

Tas nozīmē, ka mēs ātrāk izstrādāsim vēl labāku patēriņa produktu.

Kas notiks tālāk

Divi galvenie šķēršļi jau ilgu laiku ir kavējuši AR briļļu ieviešanu plaša patēriņa klases ierīcēs: tehnoloģiskais izrāviens, kas nepieciešams, lai nodrošinātu lielu displeju kompaktās briļļu formās, un nepieciešamība pēc noderīgas un pārliecinošas AR pieredzes, ko var izmantot šajās brillēs. Orion ir milzīgs pagrieziena punkts, kas pirmo reizi nodrošina patiesu AR pieredzi, kas darbojas uz samērā stilīgas aparatūras.

Tagad, kad esam iepazīstinājuši pasauli ar Orion, mēs koncentrējamies uz dažām lietām:

• AR displeja kvalitātes pielāgošana, lai attēli būtu vēl asāki.
• Optimizēšana, kur vien iespējams, lai padarītu formu vēl mazāku.
• Būvniecība mērogā, lai padarītu tos pieejamākus.

In the next few years, you can expect to see new devices from us that build on our R&D efforts. And a number of Orion’s innovations have been extended to our current consumer products today as well as our future product roadmap. We’ve optimized some of our spatial perception algorithms, which are running on both Meta Quest 3S and Orion. While the eye gaze and subtle gestural input system was originally designed for Orion, we plan to use it in future products. And we’re exploring the use of EMG wristbands across future consumer products as well.

Orion nav tikai logs nākotnē - tas ir ieskats reālās iespējās, kas ir sasniedzamas jau šodien. Mēs to izveidojām, cenšoties sasniegt to, ko darām vislabāk: palīdzot cilvēkiem veidot saikni. Sākot ar Ray-Ban Meta brillēm un beidzot ar Orion, mēs esam redzējuši, cik daudz laba var panākt, ļaujot cilvēkiem būt klātesošākiem un pilnvērtīgākiem fiziskajā pasaulē, pat tad, kad viņi izmanto visas digitālās pasaules piedāvātās bagātības.

Mēs uzskatām, ka jums nav jāizvēlas starp abām iespējām. Un ar nākamo skaitļošanas platformu jums tas nebūs jādara.

Last year at Connect, we unveiled Orion—our first true pair of AR glasses. The culmination of our work at Reality Labs over the last decade, Orion combines the benefits of a large holographic display and personalized AI assistance in a comfortable, all-day wearable form factor. It got some attention for its industry-leading field of view, silicon carbide waveguides, uLED projectors, and more. But today, we’re turning our attention to an unsung hero of Orion: the compute puck.

Izstrādāts tā, lai to varētu viegli iebāzt kabatā vai somā un jūs to varētu ņemt līdzi jebkurā vietā, kad dodaties savā ikdienas gaitās, un tas atslogo Orion procesora jaudu, lai darbinātu lietojumprogrammu loģiku un nodrošinātu pārliecinošāku, mazāku briļļu formu. Tas bezvadu režīmā savienojas ar brillēm un EMG aproci, nodrošinot viengabalainu lietošanas pieredzi.

Iestatiet un aizmirstiet, vai ne?

Taču ripas vēsture - pat prototipa stadijā - ir saistoša, ar dramatisku loku, par kuru jūs nekad nenojaušat pēc tās izskata.

"Veidojot kaut ko līdzīgu, jūs sākat pārvarēt fizikas robežas," skaidro produktu vadības direktors Rahuls Prāsads. "Pēdējo 50 gadu laikā Mūra likums visu ir padarījis mazāku, ātrāku un ar mazāku jaudu. Problēma ir tā, ka tagad jūs sākat saskarties ar ierobežojumiem attiecībā uz to, cik daudz siltuma jūs varat izkliedēt, cik lielu akumulatoru jūs varat saspiest un cik lielu antenas veiktspēju jūs varat ievietot konkrēta izmēra objektā."

Lai gan retrospektīvais skatījums var būt 20/20, ripas potenciāls nebija acīmredzams uzreiz. Ja esat pirmais, kas kaut ko rada, jums ir jāizpēta visas iespējas, neatstājot nevienu akmeni uz akmens. Kā izveidot kaut ko tādu, ko daži varētu uzskatīt par nevēlamu aksesuāru, nevis par svarīgu komplekta daļu?

"Mēs zinājām, ka ripa ir papildu ierīce, ko mēs lūdzam cilvēkiem nēsāt līdzi," norāda produktu dizaina inženierijas vadītājs Džareds Van Klīvs, "tāpēc mēs izpētījām, kā kļūdu pārvērst par funkciju."

Galu galā šī ētikas nostādne atmaksājās ar pīķiem, jo ripa nelielā izmērā iespiež daudz skaitļošanas (un vēl vairāk Meta izstrādāta pielāgota silīcija mākslīgajam intelektam un mašīnu uztverei). Tas palīdzēja Orion no zinātniskās fantastikas sfēras pārtapt realitātē.

"Ja jums nebūtu ripas, jūs nevarētu gūt pieredzi, ko Orion piedāvā savā formātā," saka Prasads. "Labai AR pieredzei ir nepieciešama patiešām augsta veiktspēja: augsts kadru ātrums, ārkārtīgi zema latence, smalka bezvadu un enerģijas pārvaldība utt. Pūķis un brilles ir jāprojektē tā, lai tie patiešām cieši sadarbotos ne tikai lietotņu līmenī, bet arī operētājsistēmas, programmaparatūras un aparatūras līmenī. Pat ja viedtālrunis būtu kopīgi izstrādāts darbam ar AR brillēm, augstas veiktspējas prasības iztukšotu tālruņa akumulatoru un atņemtu skaitļošanas jaudu tālruņa lietošanas gadījumiem. No otras puses, pulksteņbrillēm ir sava augstas kapacitātes baterija, augstas veiktspējas SoC un Meta izstrādāts mākslīgā intelekta kopprocesors, kas optimizēts Orion vajadzībām."

Protams, ripa netika radīta vienā naktī. Tas prasīja vairākus gadus ilgu iteratīvu darbu.

"Mēs nezinājām, kā cilvēki gribētu mijiedarboties ar Orion no ievades viedokļa - nebija nekā, ko mēs varētu izstrādāt, pamatojoties uz tirgū pieejamajiem datiem," saka produktu vadītājs Mets Resmans. "Ja paskatās uz mūsu agrīnajiem briļļu prototipiem, tās bija masīvas austiņas, kas svēra trīs vai četrus kilogramus. Un, kad jūs mēģināt izveidot produktu, ir ļoti grūti saprast lietotāja pieredzi, ja jums nav pareizā formas faktora. Ar riņķi mēs varējām ļoti ātri izveidot prototipu, lai sāktu saprast, kā cilvēki to izmantos."

Sākotnēji toreizējais Oculus Research to sākotnēji bija iecerējis kā Ω-veida joslu, kas būtu apvijama ap lietotāja kaklu un savienota ar brillēm...

... līdz brīdim, kad Reality Labs bezvadu komanda, cita starpā, ieviešot dažus jauninājumus, ļāva viņiem pārtraukt savienojumu. Tas ļāva izveidot vairāk kabatas vai kabatā/ somā ievietojamu ierīci, kas pavēra daudz iespēju.

"Tolaik paplašinātās realitātes zvani joprojām bija galvenais izmantošanas gadījums," skaidro Van Klīvs. "Hologrāfiskie videoklipi bija vieta, kur tie tika izvietoti hologrāfiski. Jūs to noliktu uz galda ar sensoru soliņu pret jums, attēlotu jūs un pēc tam no ripas virsmas projicētu to, ar ko jūs runājat, lai veiktu zvanu."

"Orion mērķis ir savienot cilvēkus un tuvināt mūs," saka Resmans. "Viena no sākotnējām ripas koncepcijām bija palīdzēt radīt šo klātbūtnes sajūtu ar citiem cilvēkiem un nodrošināt bagātāku saziņas veidu.""

"Tā nav līdzīga nekam citam, ko esat jebkad redzējuši - ierīcei ir potenciāls radīt patiešām jautras un unikālas mijiedarbības," piebilst rūpnieciskais dizainers Emrons Henrijs. "Lietotāja pieredze nedaudz atgādina džina izlaišanu no pudeles, kad hologrammas nemanāmi parādās no ierīces un atkal izšķīst tajā."

Kā jau tagad droši vien varat secināt, ripiņā ir vairāk potenciāla nekā tas, kas galu galā tika iekļauts kā funkcija. Papildus sensoriem un kamerām, kas tiktu izmantotas AR izsaukšanai, ripai ir arī haptika un 6DOF sensori, kas ļautu to izmantot kā izsekošanas kontrolieri, lai izvēlētos un manipulētu ar virtuāliem objektiem un spēlētu AR spēles. Komanda pētīja arī kapacitatīvo un spēka pieskāriena ievadi, lai ripu varētu izmantot kā spēļu bloku, kad to tur portretā un ainaviskā režīmā.

"Mēs runājām par nepieciešamību nēsāt šo papildu lietu," saka Van Klīvs. "Kā to padarīt noderīgāku? Ap to bija vesela darba grupa. Vienā brīdī tika izvirzīta hipotēze, ka AR spēlēšana būs galvenais izmantošanas gadījums."

Jau pašā sākumā mēs zinājām, ka mums ir jāizpēta iespējas, kā ar ripu izdarīt lietas, ko telefoni nespēj. Galu galā mēs izvēlējāmies izmantot acu skatienu, EMG un roku izsekošanu AR spēlēm, piemēram, Stargazer un Pong, bet Orion pirmsākumos mēs izstrādājām dažādus demo un spēļu prototipus, kuros ripa tika izmantota kā kontrolieris.

Renderēti pētījumi par ripu kā 6DOF kontrolieri AR spēlēm, piemēram, Pong.

"Tā kā tas nav tālrunis, tas mums deva lielu dizaina brīvību," piebilst Prasads. "Tas var būt biezāks, es varu to veidot noapaļotāku, lai tas ērti iederētos rokā kā kontrolieris. Tas ir diezgan neticami, ka ripa patiesībā ir mazāka par vidējo tālruni, bet tā ir jaudīgāka par tālruni, jo tajā ir Meta izstrādāts līdzprocesors mākslīgā intelekta un mašīniskās uztveres vajadzībām."

Komanda pētīja, kā kvalitatīva AR spēle varētu atšķirties no MR vai konsoles spēles. Tas nozīmēja izpētīt dažādas AR spēles kontroliera iespējas, tostarp džoistikus, fizisku pogu izkārtojumu, sprūda pogas un citas.

"Mēs galu galā neko no tā faktiski neuzbūvējām," norāda Van Klīvs. "Mēs izveidojām prototipu, bet tā arī nekad to pilnībā neuzbūvējām. Mēs vēlējāmies saglabāt vienkāršību. Mēs vēlējāmies izveidot šīs mīkstās saskarnes, bet ne fiziskas, mehāniskas pogas."

Lai gan gatavajā produkta prototipā sensori un haptika netika ieslēgti, tie pildīja neatņemamu funkciju izstrādes laikā, ļaujot komandām iesniegt kļūdas, vienkārši dažas reizes pieskaroties ierīces augšdaļai, lai ievadītu kļūdas ziņojumu.

Kad mākslīgais intelekts sāka ieņemt centrālo vietu kā galvenais izmantošanas gadījums, skaitļošanas tehnika kļuva arvien svarīgāka. Galu galā ripiņā ir izvietota Orion bezvadu savienojamība, skaitļošanas jauda un akumulatora ietilpība - milzīgs tehnisks sasniegums pats par sevi -, un tas viss palīdz samazināt briļļu svaru un formas faktoru, vienlaikus izkliedējot daudz vairāk siltuma, pateicoties tā virsmas laukumam.

Visā tās evolūcijas gaitā viena lieta ir palikusi nemainīga: ripa ir kas vairāk, nekā šķiet neapmācītam skatienam. Netradicionālu ideju pieņemšana ļāva mūsu komandām pētīt, pārkāpt robežas un veidot nākotni.

"Mēs definējam kategoriju, kas vēl neeksistē," norāda Henrijs. "Kā jau tas ir gaidāms pētniecības un izstrādes gadījumā, pa ceļam bija sākumi un apstāšanās. Kā lietotāji sagaida mijiedarbību ar hologrammām? Vai viņi labprātāk izmantotu AR tālvadības pulti, vai arī ievadei pietiek ar roku izsekošanu, acu skatienu un EMG? Kas ir intuitīvs, maz berzes, pazīstams un noderīgs?"

"Tā vietā, lai uz ripu raudzītos kā uz akmeni, mēs jautājām sev, ko vēl varētu piedāvāt, lai tā vēl vairāk atšķirtos no tālruņiem un pamatotu, kāpēc jūs vēlētos to nēsāt līdzi," atzīst Resmans. "Vai tā neapstrādātā skaitļošanas jauda un praktiskais dizains - kas palīdzēja atraisīt briļļu formas faktoru, kuru reāli var nēsāt visu dienu - galu galā piedāvā pietiekamu vērtību? Mūsu uzdevums ir palīdzēt atbildēt uz šiem jautājumiem."

"Sākumā mēs pārorientējāmies uz to, ko mēs varam izdarīt, ko nevar izdarīt tālrunis," piebilst Van Klīvs. "Telefoniem ir jābūt ekrānam, tiem ir jābūt noteiktam fizisku pogu izkārtojumam, ko lietotāji sagaida. Mums nav šo ierobežojumu. Mūsu skaitļošanas ripa var būt, kāda vien mēs vēlamies, lai tā būtu."