Szerző: Kristián Ivančo

In 2017, Reality Labs Chief Scientist Michael Abrash, backed by Meta Founder & CEO Mark Zuckerberg, established a new, secret team within what was then Oculus Research to build the foundation of the next computing platform. Their herculean task: Create a custom silicon solution that could support the unique demands of future augmented reality glasses—a technical feat that required reimagining every component for an all-day wearable AR glasses form factor that simply didn’t exist yet.

Az Orion AR szemüveg prototípusának elülső szöge.

Kompakt formafaktor, jelentős problémás hely

Growing from just a few researchers to hundreds of people on the product side, the custom silicon team was built on the premise that AR glasses couldn’t rely on the silicon available in today’s smartphones. And it’s a premise borne out by the several custom chips inside Orion, our first true AR glasses product prototype.

"A hajó építése, ahogy kihajózik a kikötőből - pontosan ezt csináltuk" - mondja Jeremy Snodgrass, az Advanced Technologies stratégiai igazgatója. "Egyszerre kellett megnövelnünk egy szerény csapatot, miközben ezeket a chipeket építettük. Lenyűgöző volt látni, ahogy a vezetőség új munkatársakat vett fel, miközben olyan kultúrát alakított ki, amely értékeli az agilitást. Semmi sem volt más problémája. Az ember felkapott egy evezőt, és elkezdett evezni, még akkor is, ha nem éppen erre a feladatra vették fel. Nagyon, nagyon izgalmas időszak volt."

"Az Orionnal kapcsolatban szinte minden sok szempontból új volt a világ számára" - ért egyet Mike Yee, a Display Architecture műszaki igazgatója. "Az ötletek egy része már létezett, de senki sem vállalta el azt a kutatási projektet, hogy valóban egy egész nap viselhető AR-szemüveget készítsen."

A csapatnak a lehető legalacsonyabb energiafogyasztás mellett kellett meggyőző AR-élményt nyújtania. A szemüveg formája csak bizonyos mennyiségű hőt képes elvezetni, és csak bizonyos mennyiségű akkumulátorkapacitás fér el benne. Ennek eredményeképpen a szemüveggel elérhető élmények teljesen a szilíciumtól függnek. Más szóval, ha a hő- és akkumulátor-kapacitást állandó értéken tartjuk, az adott élményt csak a szilícium optimalizálásával érhetjük el.

“Designing a new architecture for Orion required the team to not only push existing technologies like wireless and displays aggressively but also to take risks on new technologies,” says Director of Product Management Neeraj Choubey. “For instance, the team developed a machine learning (ML) accelerator without a clear use case at the time, driven by the strong conviction that ML would become increasingly important in Meta’s products. On Orion, every ML accelerator is utilized, and in some cases, they’re oversubscribed, serving functions such as eye tracking and hand tracking. Similarly, the team developed custom compression protocols to reduce bandwidth and power consumption as data moved from the compute puck to the display. Developing custom silicon to achieve Orion’s form factor goals required both a tolerance for high ambiguity and meticulous attention to detail to deliver an incredibly complex system architecture.”

"A legnagyobb kihívást a 3D-s, világra zárt renderelt grafika és a térbeli hangzás biztosítása jelentette, amelyet úgy rendereltünk, hogy úgy tűnjön, mintha egy virtuális tárgyból származna" - jegyzi meg Snodgrass. "Az összes ilyen elektronikát be kellett illesztenünk a hőkapacitásba és a fizikai térbe, majd akkumulátorral kellett működtetnünk, hogy ne melegedjen fel túlságosan. És mindezt egy valódi szemüvegformában kellett megvalósítanunk - nem pedig egy nagy vizorban, mint amilyet a kategóriában általában látni."

"Tudtuk, hogyan biztosíthatjuk a szükséges számítási teljesítményt az Orionról alkotott elképzeléseink megvalósításához, de egy ijesztő feladattal kellett szembenéznünk: az energiafogyasztás 100-szorosára csökkentésével" - mondja Robert Shearer, a SoC-megoldásokért felelős igazgató. "Ehhez a szilíciumtervezés határait kellett feszegetnünk, az iparág különböző szegleteiből - az IoT-től a nagy teljesítményű számítástechnikáig - származó módszertanokat felkarolva, és új megközelítéseket találva ki a szakadékok áthidalására. Ipari partnereink azt hitték, hogy őrültek vagyunk, és talán nem is tévedtek teljesen. De pontosan erre volt szükség: hajlandóságra, hogy megkérdőjelezzük a hagyományos bölcsességet és mindent újragondoljunk. A virtuális és a fizikai világot zökkenőmentesen egyesítő számítógép megépítése a kontextus mélyreható megértését igényli, ami messze meghaladja a meglévő számítási platformok nyújtotta lehetőségeket. Lényegében újra feltaláltuk a számítógépek és az emberek közötti interakciót, ami azt jelentette, hogy az alapoktól kezdve újra kellett gondolnunk, hogyan építjük a szilíciumot."

Orion külső alkatrészek.

A MicroLED varázsa

Voltak pillanatok, amikor a dolgok elmaradtak a tervezettől, vagy amikor egy leküzdhetetlennek tűnő technikai kihívás merült fel, amikor nehéz volt fenntartani a lendületet és a morált. A csapat azonban rugalmas volt, és megtalálta az akadályok megkerülését - vagy egyszerűen lerombolta őket.

Vegyük például az Orion kijelzőjét. A szilíciumcsapat volt felelős a szemüveg sarkában elhelyezett kijelzőprojektor szilíciumáért.

"Az említett projektorok esetében nyitott kérdés volt, hogy a microLED-eket elég nagy hatékonysággal és fényerővel tudjuk-e egy tömbben elhelyezni ahhoz, hogy széles látómezőjű kijelzőt tudjunk kialakítani" - mondja Snodgrass. "Óriási kétségek voltak afelől, hogy sikerül-e - hogy ez lehetséges-e az általunk figyelembe vett időkeretben -, mivel ez a technológia még nagyon új keletű volt."

"Már nagyon korán rájöttünk, hogy újra kell gondolnunk a termékfejlesztés számos paradigmáját" - teszi hozzá Yee. "Az AR-szemüvegek esetében a használható kijelzőhöz szükséges fénymennyiség sokkal világosabb, mivel viselhető kijelzőként a napfénnyel versenyezünk. Tehát olyan energiaszintre van szükségünk, amely vetekszik azzal - vagy legalábbis ez a cél. Még nem tartunk ott, de ez egy nagy része a célnak. Ez azt jelenti, hogy a kijelzőhöz olyan fényforrásokra van szükség, amelyek képesek erre, és olyan áramkörökre, amelyek képesek ezt vezérelni. És ugyanakkor apróvá is kell tenni."

Egyedi szilícium, amely az Orion µLED-eket vezérli.

Bár a mikroLED-ek tűntek a legmegfelelőbb fényforrásnak a kivetítőkhöz, a szilícium segített felszabadítani a bennük rejlő lehetőségeket.

"A kijelzők esetében a pixelosztásról beszélünk, ami a szomszédos pixelek középpontjai közötti távolságot jelenti" - magyarázza Yee. "A televíziók esetében ezek a távolságok több száz mikronok. A telefonon sok-sok tíz mikron. Ezt egy számjegyűre kellett csökkentenünk. Az egyetlen ismert félvezetőgyártó, amely ezt elérhette, a szilícium volt."

A munkát nehezítette, hogy a kijelző hátsó felületének szilíciumból kellett készülnie, és a világon még senki sem tervezett szilíciumot microLED-hez.

"Abban az időben a kutatócsoportok, amelyek ott voltak, mind átdolgozták a szilíciumon lévő folyadékkristályos kijelzőket, hogy mikroLED-eket helyezzenek el rajtuk" - mondja Yee. "Senki sem tervezett még hátlapot microLED-ek számára. És elég egyedi kihívással kellett szembenéznünk, mivel ez egy optikai komponens. Laposnak kell lennie. Nem lehet megkarcolni. Mindezekkel a tulajdonságokkal kell rendelkeznie, mert amikor a hullámvezetőkön és a kivetítőkön keresztül nézzük, akkor szó szerint a szilíciumdarab felső felületét látjuk."

A szilíciumcsapat komplex tesztplatformokat fejlesztett ki ezekhez a microLED kijelzőkhöz, amihez szorosan össze kellett hangolódnunk a globális beszállítóinkkal. A microLED-ek globális lábnyomot képeznek, egy helyről származnak, majd egy másik helyszínre szállították őket, ahol egy ostyára kerültek. Az ostyákat ezután elszállították, hogy egy adott formára vágják őket, majd az Egyesült Államokba utaztak, hogy egy másik ostyával összekapcsolják őket, majd visszaszállították a világ másik felére, hogy a tényleges modult megépítsék és teszteljék. Ez egy rendkívül bonyolult folyamat volt, és a szilíciumcsapat tesztjárműveket fejlesztett ki, hogy minden egyes lépést kipróbálhasson.

A csapatnak meg kellett találnia a módját annak is, hogy a szemüveg sarkaiban lévő apró térfogatban hogyan lehet a microLED kijelzőket energiával ellátni. Analóg csapatunk egy olyan egyedi energiagazdálkodási chipet fejlesztett ki, amely elfér ebben a térfogatban.

"Az energiaellátás kulcsfontosságú az ilyen kis méretű hordozható eszközök esetében, ahol az akkumulátor mérete korlátozott, és a hely szűkös" - jegyzi meg Jihong Ren, az analóg és vegyes jelrendszerek igazgatója. "Egyedi tápellátás-kezelő IC-megoldásunk a legmodernebb technológiákat használja ki, hogy optimalizálja az energiahatékonyságot az adott munkaterheléshez rendszerszinten, miközben mindezt úgy, hogy a rendelkezésre álló helyszűkében is elfér. Ennek az optimális megoldásnak az elérése szoros interdiszciplináris együttműködést igényelt a mechanikai, elektromos, SoC, μLED és termikus csapatainkkal, biztosítva az összes komponens zökkenőmentes integrációját és az általános teljesítmény maximalizálását."

"Ez nem csak a mérnöki, hanem a szervezeti irányítás elképesztő teljesítménye is volt: egy csapat összehozása, az időzónák közötti munka és a különböző beszállítókkal való együttműködés" - teszi hozzá Snodgrass. "Bizonyos szempontból mindezek szervezeti irányítása ugyanolyan nagy kihívás volt, mint a műszaki specifikációk teljesítése."

"Nemcsak a tervezés, hanem a teljes gyártási folyamat is személyre szabott" - teszi hozzá Yee. "Szerencsések vagyunk, hogy van néhány csodálatos partnerünk az iparágban, akik segítettek ebben. Ők hosszú távú potenciált látnak az AR kijelzők egészében, és természetesen Meta vízióját is. Így hajlandóak voltak együttműködni velünk, hogy ezeket a testreszabásokat és optimalizálásokat elvégezzük, hogy lehetővé tegyük ezt a kijelzőt."

Orion AR szemüveg.

Az ismétlés találkozik a gyorsulással

A szilíciumcsapat és a Reality Labs Research és az XR Tech algoritmusokat fejlesztő briliáns elméi között szoros visszacsatolás volt. Az utóbbi csapatok szolgáltatták ezeket az algoritmusokat, amelyeket az előbbiek lefordítottak hardverre, megszüntetve ezzel az általános célú CPU-futtató szoftverekkel járó többletköltségeket. Ez azt jelentette, hogy az algoritmusok alacsonyabb energiafelhasználás mellett futnak, de ez azt is jelentette, hogy a szilíciumcsapat be volt kötve. Ha az algoritmusokat egyszer keményítették, már nem tudtak változtatni rajtuk.

"Mondjuk az XR Tech egy bizonyos tudományágat fejlesztett algoritmikusan" - magyarázza Ohad Meitav, a Silicon Accelerators Architecture and Algorithms igazgatója. "Az algoritmikus stack és annak teljesítménye az övék. Az én csapatom, velük együttműködve, eldönti, hogyan gyorsítsuk fel az algoritmust, hogyan keményítsük meg az algoritmus egyes részeit, és hogyan helyezzük azt hardverre úgy, hogy az szuperhatékonyan fusson. Ezután az XR Tech a hardverhez igazítaná a szoftvercsomagot. Ez egy nagyon iteratív folyamat."

Egy másik sikertörténet a szilíciumcsapat és a Reality Labs Research együttműködése egy újszerű reprojekciós algoritmus kifejlesztésében.

"A reprojekciós algoritmusnak különböző torzulásokat és korrekciókat kellett támogatnia" - jegyzi meg Steve Clohset, a Silicon Architect. "Az RL-R által kifejlesztett algoritmus, amelyet végül használtunk, nem használatos az általános számítástechnikában. És a mai napig elég erős eszköznek bizonyul".

Miután az algoritmusokat megszilárdították és a hardvert optimalizálták, a szilícium-felvételi csapat tesztelte az egyedi chipeket.

"Az Orion egyedi szilícium chipkészlete tele van komplexitással" - mondja Liping Guo, az End-to-End rendszer és infrastruktúra vezető igazgatója. "Az önálló chipek és az azok közötti átjárhatóságok rövid időn belüli bevezetése és validálása hihetetlenül nagy kihívást jelent. Szerencsére egy vertikálisan integrált környezetben dolgozunk, ahol a Reality Labs birtokolja a teljes stacket - a szilíciumtól és az alacsony szintű firmware-től kezdve az operációs rendszeren és szoftveren át a felső rétegbeli tapasztalatokig. Ezt teljes mértékben kihasználtuk, szorosan együttműködve a többfunkciós partnereinkkel, és a szilícium validálási szakaszában váltottuk a többszintű integrációt. Az Orion volt ennek a módszertannak a kísérleti futama - kiépítettük a shift-left izmainkat, és erős alapot teremtettünk a Reality Labs számára, hogy a jövőben teljes mértékben kiaknázhassuk az egyedi szilícium előnyeit.""

A felhozatal után pedig eljött a szoftveroptimalizálás ideje.

"Van egy iteratív folyamat, amikor egy teljesen optimalizálatlan szoftvercsomaggal kezdünk, csak hogy minden beinduljon és működjön" - mondja Snodgrass. "Aztán egyesével végigmegyünk az alrendszereken, és elkezdjük optimalizálni a szoftvert az adott hardverre - beleértve a szoftver által használt memória mennyiségének csökkentését. A hardver lehet gyönyörűen megtervezett, de nem fogja elérni az elméleti energiahatékonyságot, hacsak nem fektet ugyanannyi vagy még több időt abba, hogy a szoftver teljes mértékben kihasználja a hardver előnyeit. Ez tehát az Orion története: a hardver és a szoftver a végletekig optimalizált. Egy pikojoule-t vagy milliwattot sem hagyunk hátra."

És bár az Orion csak egy prototípus, a benne végzett munka jelentős hatással lehet a Meta útitervére.

"A szilícium-IP-ket, amelyeket építünk, platformoknak tekintjük abban az értelemben, hogy ezek olyan értékes IP-k, amelyeket egyik generációról vagy termékről a másikra továbbfejlesztünk" - teszi hozzá Meitav. "A számítógépes látás és a grafikus algoritmusok nem csak az Orionhoz készülnek. A jövőbeni termékekben is felhasználásra kerülnek."

Szilíciumos munkánk újszerű megoldások létrehozását jelenti, miközben szorosan együttműködünk a partnerekkel. A szilíciumcsapat befolyása túlmutat az Orionon kívülre is kiterjed. Ray-Ban Meta szemüveg and Meta Quest headsets today—even though they both use third-party chips. The silicon team regularly shares their work with the mixed reality team, showing what’s possible in terms of power efficiency. The MR team then shares those findings with partners like Qualcomm to help inform future chip designs. And because the silicon team uses the same off-the-shelf digital signal processors (DSPs) as Ray-Ban Meta glasses, they’ve been able to share lessons learned and best practices when implementing and writing code for those DSPs to help improve the audio experiences available on our AI glasses.

And that knowledge sharing goes both ways: The MR team has given the silicon team insights on things like Asynchronous TimeWarp and Application SpaceWarp in production.

"Amit egy ember a gyártásban csinál, az sokkal érdekesebb, mint amit egy prototípussal tehetünk" - mondja Clohset. "Megpróbáltuk a lehető legjobban integrálni azt, amit ők csinálnak a warpingokkal."

Kétértelműség < Ambíció

Mivel az Orion valóban nulla az egyhez volt, az érintett csapatoknak szükségszerűen rendkívül sok kétértelműséggel kellett megbirkózniuk.

"Az Orion esetében nem tudom eléggé hangsúlyozni, hogy a kétértelműség mennyire bonyolulttá tette a dolgokat" - mondja Clohset. "Amikor például számítógépet készítünk, általában jó elképzelésünk van arról, hogy milyen lesz a kijelző. De mi nem tudtuk, hogy milyen lesz a hullámvezető, ezért különböző hullámvezetőket kellett kipróbálnunk, és olyan mechanizmust kellett kitalálnunk, amely a legrosszabb forgatókönyvvel is megbirkózik, mert nem tudtuk, hogy hol fognak landolni a dolgok. Egy optimalizálás itt összefolyt az összes többi választással, és a végén egy mátrixot kaptunk, amiben az összes különböző dolgot támogatni kellett, és megpróbáltuk validálni, mert nem tudtuk, hol fog landolni a termék hat hónap múlva.".

It’s important to note that Orion isn’t just a pair of AR glasses—it’s a three-part constellation of hardware. A lot of the processing happens on the compute puck, which necessitates a strong connection between it and the glasses. Add the surface EMG wristband into the loop, and the system architecture becomes even more complicated.

"Ez óriási kihívást jelentett a csapatok számára, és az egész egyszerűen működik" - mondja Snodgrass. "Ez egy csodálatos együttműködés volt a szilíciumcsapat, a vezeték nélküli csapat és a szoftvercsapatok között a szervezet egész területén."

Az Orion számítógépes korongja.

"Az Orionnal egy egész csapatot építettünk ki a mérnökök széles skálájából, és képesek voltak egy teljesen új csővezetéket tervezni" - teszi hozzá Clohset. "Ez egy olyan csővezeték, amely az objektumok hat szabadságfokú mozgását kezeli a 3D térben. Saját, egyedi kijelzőmeghajtót használ. Igazán egyedi képminőségi korrekciókat kellett végrehajtanunk. És azt hiszem, a kihívást az jelentette számunkra, hogy mivel ez egy nulláról az egyhez projekt volt, nem volt meglévő specifikáció, amelyet finomítani és javítani lehetett volna. Itt minden teljesen új, így mindenre volt mozgásterünk."

Much like the puck has some dormant features hidden beneath the surface, the custom silicon punches above its weight, too. While Orion doesn’t allow the user to take photos with its RGB cameras, the silicon is capable of supporting it, as well as codec avatars. And just as the puck helped unlock a true glasses form factor by offloading much of the compute, Orion’s custom silicon proved a necessary piece of the AR puzzle.

"Ahhoz, hogy egy olyan nulla az egyhez élményt, mint az AR-szemüvegek, életre keltsünk, egyedi szilikonra van szükségünk - teljes leállással" - magyarázza Snodgrass. "Idővel, ha van piac, akkor a szilíciumgyártók olyan termékeket fognak kifejleszteni, amelyek kielégítik a keresletet. De a nulla az egytől egyig esetében nem lehet csak úgy venni valamit, ami már létezik a polcról, és amit egy másik termékhez szántak, és beleilleszteni egy új formába. Valami egyedi termékbe kell beruházni. És ahhoz, hogy ezeket a nulla az egyhez élményeket életre keltsd, széles körű együttműködésre van szükség a szoftverpartnerek, ipari tervezők, gépészmérnökök és mások között."

"A hagyományos mentális modellektől való elszakadással valami igazán figyelemre méltót alkottunk" - teszi hozzá Shearer. "Hiszünk abban, hogy ez a számítástechnikai platform a technológia jövőjét jelenti - olyat, amely forradalmasítani fogja az életünket, a munkánkat és az egymással való interakcióinkat. Izgatottan várjuk, hogy ennek az innovációnak az élvonalába kerüljünk, kitolva a lehetséges határait, és segítve a történelem alakítását."

When we first began giving demos of Orion early this year I was reminded of a line that you hear a lot at Meta—in fact it was even in our first letter to prospective shareholders back in 2012: Code wins arguments. We probably learned as much about this product space from a few months of real-life demos than we did from the years of work it took to make them. There is just no substitute for actually building something, putting it in people’s hands, and learning from how they react to it.

Orion wasn’t our only example of that this year. Our mixed reality hardware and AI glasses have both reached a new level of quality and accessibility. The stability of those platforms allows our software developers to move much faster on everything from operating systems to new AI features. This is how I see the metaverse starting to come into greater focus and why I’m so confident that the coming year will be the most important one in the history of Reality Labs.

2024 volt az az év, amikor a mesterséges intelligencia-szemüvegek elérik a csúcspontjukat. Amikor 2021-ben elkezdtünk okosszemüveget készíteni, úgy gondoltuk, hogy ez egy szép első lépés lehet az AR-szemüvegek felé, amelyeket végül meg akartunk építeni. Míg a kevert valóság headsetek a mai PC-khez hasonló általános célú számítástechnikai platformmá válnak, mi a szemüvegeket a mai mobil számítástechnikai platformok természetes evolúciójának tekintettük. Ezért a lehető leghamarabb el akartuk kezdeni a valós világból való tanulást.

The biggest thing we’ve learned is that glasses are by far the best form factor for a truly AI-native device. In fact they might be the first hardware category to be completely defined by AI from the beginning. For many people, glasses are the place where an AI assistant makes the most sense, especially when it’s a multimodal system that can truly understand the world around you.

We’re right at the beginning of the S-curve for this entire product category, and there are endless opportunities ahead. One of the things I’m most excited about for 2025 is the evolution of AI assistants into tools that don’t just respond to a prompt when you ask for help but can become a proactive helper as you go about your day. At Connect we showed how Live AI on glasses can become more of a real-time participant when you’re getting things done. As this feature begins rolling out in early access this month we’ll see the first step toward a new kind of personalized AI assistant.

It won’t be the last. We’re currently in the middle of an industry-wide push to make AI-native hardware. You’re seeing phone and PC makers scramble to rebuild their products to put AI assistants at their core. But I think a much bigger opportunity is to make devices that are AI-native from the start, and I’m confident that glasses are going to be the first to get there. Meta’s Chief Research Scientist Michael Abrash has been talking about the potential of a personalized, context-aware AI assistant on glasses for many years, and building the technologies that make it possible has been a huge focus of our research teams.

Vegyes valóság has been another place where having the right product in the hands of a lot of people has been a major accelerant for progress. We’ve seen Meta Quest 3 get better month after month as we continue to iterate on the core system passthrough, multitasking, spatial user interfaces, and more. All these gains extended to Quest 3S the moment it launched. This meant the $299 Quest 3S was in many respects a better headset on day 1 than the $499 Quest 3 was when it first launched in 2023. And the entire Quest 3 family keeps getting better with every update.

In 2025 we’ll see the next iteration of this as Quest 3S brings a lot more people into mixed reality for the first time. While Quest 3 has been a hit among people excited to own the very best device on the market, Quest 3S is expected to be heavily gifted in 2024. Sales were strong over the Black Friday weekend, and we’re expecting a surge of people activating their new headsets over the holiday break.

Ezzel folytatódik az elmúlt évben kialakult tendencia: az új felhasználók számának növekedése, akik egyre többféle dolgot szeretnének csinálni a fejhallgatójukkal. Szeretnénk, ha ezek az új felhasználók megismernék az MR varázsát, és hosszú távon is kitartanának mellette, ezért támogatjuk a fejlesztőket, hogy az általuk keresett új típusú alkalmazásokat és játékokat készítsék el.

Különösen a fiatalabb korosztályok beáramlása volt jelentős, és ők a közösségi és versengő többjátékos játékok, valamint a freemium tartalmak felé vonzódnak. És az olyan címek, mint a Skydance BEHEMOTH-ja, Batman: Arkham Shadow (amely épp most nyerte el a legjobb AR/VR játék díját a The Game Awards-on!), és a Metro Awakening ismét megmutatta, hogy a legjobb új játékok közül néhányat csak a mai fejhallgatókon lehet játszani.

As the number of people in MR grows, the quality of the social experience it can deliver is growing in tandem. This is at the heart of what Meta is trying to achieve with Reality Labs and where the greatest potential of the metaverse will be unlocked: “the chance to create the most social platform ever” is how we described it when we first began working on it. We took two steps forward on this front in 2024: first with a broad set of improvements to Horizon Worlds including its expansion to mobile, and second with the next-generation Meta Avatars system that lets people represent themselves across our apps and headsets. And as the visual quality and overall experience with these systems improve, more people are getting their first glimpse of a social metaverse. We’re seeing similar trends with new Quest 3S users spending more time in Horizon Worlds, making it a Top 3 immersive app for Quest 3S, and people continue creating new Meta Avatars across mobile and MR.

A vegyes valóság elterjedése segített megvilágítani, hogy mi következik ezután. Az egyik első trend, amelyet a Quest 3 tavalyi megjelenése után fedeztünk fel, az volt, hogy az emberek a vegyes valóságot videók megtekintésére használják, miközben otthonukban több feladatot is elvégeznek - mosogatnak vagy porszívóznak a nappaliban. Ez egy korai jelzés volt arra, hogy az emberek szeretik, ha van egy nagy virtuális képernyőjük, amelyet bárhová magukkal vihetnek, és a fizikai világba helyezhetnek. Láthattuk, hogy ez a trend a Quest 3 család egészén keresztül gyorsan terjedő mindenféle szórakoztató élményt nyújt. Új funkciók, például YouTube Co-Watch megmutatja, hogy a metaversumban milyen nagy lehetőség rejlik egy teljesen újfajta közösségi szórakozási élményre.

That’s why James Cameron, one of the most technologically innovative storytellers of our lifetimes, is now working to help more filmmakers and creators produce great 3D content for Meta Quest. While 3D films have been produced for decades, there’s never been a way to view them that’s quite as good as an MR headset, and next year more people will own a headset than ever before. “We’re at a true, historic inflection point,"Jim said when we launched our new partnership this month.

This is happening alongside a larger shift Mark Rabkin shared at Connect this year: Our vision for Horizon OS is to build a new kind of general purpose computing platform capable of running every kind of software, supporting every kind of user, and open to every kind of creator and developer. Our recent releases for 2D/3D multi-tasking, panel positioning, better hand tracking, Windows Remote Desktop integration, and Open Store have started to build momentum along this new path. Horizon OS is on track to be the first platform that supports the full spectrum of experiences from immersive VR to 2D screens, mobile apps, and virtual desktops—and the developer community is central to that success.

A következő nagy lépés a metaversum felé kombinálni fogja az AI-szemüveget azzal a fajta valódi kiterjesztett valóságélménnyel, amelyet idén mutattunk be az Orionnal. Nem gyakran fordul elő, hogy az ember bepillantást nyer a jövőbe, és egy teljesen új technológiát lát, amely megmutatja, merre tartanak a dolgok. Azok, akik látták az Oriont, azonnal megértették, mit jelent a jövőre nézve, hasonlóan azokhoz, akik az 1970-es években a Xerox PARC-ben látták az első személyi számítógépek kialakulását ("tíz percen belül nyilvánvalóvá vált számomra, hogy egy nap minden számítógép így fog működni" - mondta később Steve Jobs a Xerox Alto 1979-es bemutatójáról).

A 2024-es év - és eddigi karrierem - egyik csúcspontja volt, hogy az embereket egy időgépbe ültethettem, és megmutathattam nekik, hogyan fog kinézni a következő számítástechnikai platform. Az Orion igazi hatása azonban a következő termékekben rejlik majd, és abban, hogy hogyan segít jobban megérteni, mit szeretnek az emberek az AR-szemüvegekben, és mit kell még javítani. Évekig dolgoztunk felhasználói kutatásokon, terméktervezési gyakorlatokon és kísérleti tanulmányokon, hogy megértsük, hogyan kellene működnie az AR-szemüvegeknek, és ez a munka tette lehetővé számunkra az Orion megépítését. Mostantól kezdve azonban sokkal gyorsabb lesz a fejlődés üteme, mivel már van egy valódi termékünk, amely köré építhetjük az intuíciónkat.

This has been the lesson time and again over the last decade at Reality Labs. The most important thing you can do when you’re trying to invent the future is to ship things and learn from how real people use them. They won’t always be immediate smash hits, but they’ll always teach you something. And when you land on things that really hit the mark, like mixed reality on Quest 3 or AI on glasses, that’s when you put your foot on the gas. This is what will make 2025 such a special year: With the right devices on the market, people experiencing them for the first time, and developers discovering all the opportunities ahead, it’s time to accelerate.

Welcome back for another episode of Boz To The Future, a podcast from Reality Labs. In today’s episode, our host, Meta CTO and Head of Reality Labs Andrew “Boz” Bosworth, is joined by Meta’s VP of Wearables Alex Himel.

Himel csapata az iparág legnehezebb technikai problémáin dolgozik, mindezt a következő számítástechnikai platform megalkotásának szolgálatában. Bosworth-hoz hasonlóan ő is a Meta tapasztalt vezetője, aki több mint 15 éve a vállalatnál töltött be számos vezetői pozíciót.

Bosworth és Himel számos témával foglalkozik, többek között a viselhető eszközökkel, a kiterjesztett valósággal, valamint azzal, hogy a mesterséges intelligencia hogyan gyorsítja fel és javítja az olyan élményeket, amelyek be vannak ágyazva a következőkbe Ray-Ban Meta szemüveg és jövőbeli termékek.

They go deep on Orion and the positive reception it’s received since Mark Zuckerberg announced it at Connect. Just as Steve Jobs recognized the Alto as a turning point in computing, Bosworth asserted that, while we may disagree about the details, it’s hard to argue against this as the future. Himel and Bosworth go on to talk about the tremendous value of prototyping and building, saying how much more they’ve learned about Orion and its input paradigms in the three weeks of using it compared to the years spent building it.

Beszéltek a mesterséges intelligencia kulcsfontosságú szerepéről is a viselhető eszközökben, és arról, hogy egyre hasznosabbá válik a mindennapi életben - különösen most, hogy a Meta AI-t megkérdezheted a látott dolgokról, és vizuális emlékeztetőket állíthatsz be vele.

Himel egy másfajta halomban szerzett mély tapasztalatairól is beszél: a szendvicsekről. Hét évet dolgozott a híres Lange's Little Store-ban a New York-i Chappaquában, ahol felnőtt, Himel és Bosworth pedig arról beszélgetnek, mitől lesz egy szendvics nagyszerű, hova való a paradicsom, és melyik kenyér a jobb.

Ráhangolódhat a Boz a jövőbe on Apple Podcasts, Spotify, and wherever you listen to podcasts.

You can follow Himel on Threads. You can follow Bosworth on Instagram, Twitter/X, and Threads @boztank.

Back in 2019, the Orion team prepared an important demo for Meta Founder & CEO Mark Zuckerberg, showcasing potential waveguides for augmented reality glasses—a pivotal moment when theoretical calculations on paper were brought to life. And it was a demo that changed everything.

“Wearing the glasses with glass-based waveguides and multiple plates, it felt like you were in a disco,” recalls Optical Scientist Pasqual Rivera. “There were rainbows everywhere, and it was so distracting—you weren’t even looking at the AR content. Then, you put on the glasses with silicon carbide waveguides, and it was like you were at the symphony listening to a quiet, classical piece. You could actually pay attention to the full experience of what we were building. It was a total game changer.”

Yet as clear (pun intended) as the choice of silicon carbide as a substrate seems today, when we first started down the road to AR glasses a decade ago, it was anything but.

"A szilícium-karbid általában erősen nitrogénnel dúsított" - mondja Rivera. "Zöld színű, és ha elég vastag lesz, akkor feketének tűnik. Kizárt, hogy optikai lencsét lehetne belőle készíteni. Ez egy elektronikus anyag. Nem véletlenül ilyen a színe, mégpedig az elektronikus tulajdonságai miatt."

"A szilícium-karbid már régóta ismert anyag" - ért egyet Giuseppe Calafiore, az AR Waveguides műszaki vezetője. "Fő alkalmazási területe a nagy teljesítményű elektronika. Vegyük az elektromos járműveket: Minden elektromos járműnek szüksége van egy chipre - de ennek a chipnek nagyon nagy teljesítményre is képesnek kell lennie, mozgatnia kell a kerekeket, és meg kell hajtania ezt a dolgot. Kiderült, hogy a hagyományos szilícium hordozóval, amelyből a számítógépekben és az elektronikában használt chipek készülnek, ez nem lehetséges. Olyan platformra van szükséged, amely lehetővé teszi a nagy áramerősséget és a nagy teljesítményt, és ez az anyag a szilícium-karbid."

Amíg a megújuló energiaforrásokkal kapcsolatos viták nemrégiben fel nem pezsdültek, az ilyen nagy teljesítményű chipkészletek piaca meg sem közelítette a fogyasztói elektronikai chipek piacának méretét. A szilícium-karbid mindig is drága volt, és nem volt nagy ösztönzés a költségek csökkentésére, mivel az autóba szánt chipek méretéhez képest a hordozó ára elviselhető volt.

"De kiderült, hogy a szilícium-karbid is rendelkezik néhány olyan tulajdonsággal, amelyre a hullámvezetőkhöz és az optikához van szükségünk" - mondja Calafiore. "A törésmutató a legfontosabb tulajdonság, ami minket érdekel. A szilícium-karbidnak pedig magas a törésmutatója, ami azt jelenti, hogy képes nagy mennyiségű optikai adatot becsatornázni és kiadni. Ezt optikai sávszélességnek is nevezhetjük - hasonlóan az internet sávszélességéhez, amelyet elég nagynak kell lennie ahhoz, hogy nagy mennyiségű adatot tudjunk átküldeni a csatornán. Ugyanez vonatkozik az optikai eszközökre is."

The higher a material’s refractive index, the higher its étendue, so you can send more optical data through that channel.

"A mi esetünkben a csatorna a hullámvezetőnk, és a nagyobb étendue nagyobb látómezőt jelent" - magyarázza Calafiore. "Minél nagyobb egy anyag törésmutatója, annál nagyobb látómezőt tud támogatni a kijelző."

A megfelelő törésmutatóhoz vezető út

Amikor Calafiore 2016-ban először csatlakozott az akkori Oculus Researchhez, a csapat rendelkezésére álló legmagasabb törésmutatójú üveg 1,8 volt, ami több lemez egymásra helyezését tette szükségessé a kívánt látómező eléréséhez. A nemkívánatos optikai artefaktumoktól eltekintve az összeszerelési sor egyre bonyolultabbá vált, mivel az első két hullámvezetőt tökéletesen kellett összehangolni, majd ezt a halmazt egy harmadik hullámvezetővel kellett tökéletesen összehangolni.

"Nemcsak drága volt, hanem azonnal nyilvánvalóvá vált, hogy egy szemüvegben nem lehet lencsénként három darab üveg" - emlékszik vissza Calafiore. "Túl nehezek voltak, a vastagságuk pedig megfizethetetlenül nagy és csúnya volt - senki sem vette volna meg. Így hát visszatértünk a kiindulóponthoz: megpróbáltuk növelni a szubsztrát törésmutatóját, hogy csökkentsük a szükséges lemezek számát."

The first material the team looked into was lithium niobate, which has a refractive index of roughly 2.3—quite a bit higher than the glass at 1.8.

"Rájöttünk, hogy csak két tányért kell egymásra raknunk, és talán még egy tányérral is beérjük, hogy még mindig lefedjük a látómezőt" - mondja Calafiore. "Szinte ezzel párhuzamosan elkezdtünk más anyagokat is megvizsgálni - így jöttünk rá a beszállítóinkkal együtt 2019-ben, hogy a szilícium-karbid a legtisztább formájában valójában nagyon is átlátszó. Történetesen ez rendelkezik a legmagasabb törésmutatóval is, amely optikai alkalmazásban ismert, ami 2,7."

Ez 17,4% növekedést jelent a lítium-niobáthoz képest, és 50% növekedést az üveghez képest, azok számára, akik otthon tartják a pontszámot.

"Néhány módosítással ugyanazon a berendezésen, amelyet az iparban már használtak, sikerült átlátszó szilíciumkarbidot előállítani" - mondja Calafiore. "Csak az eljárást kellett megváltoztatni, sokkal óvatosabbnak lenni, és az elektronikus tulajdonságok optimalizálása helyett az optikai tulajdonságokra optimalizálni: az átlátszóságra, a törésmutató egyenletességére stb.".

A kompromisszum lehetséges költségei

Akkoriban a Reality Labs csapata volt az első, amely egyáltalán megpróbált átlátszatlan szilíciumkarbid ostyákról áttérni az átlátszó ostyákra. És mivel a szilícium-karbid az egyik legkeményebb ismert anyag, a vágásához vagy csiszolásához alapvetően gyémánt szerszámokra van szükség. Ennek eredményeként az egyszeri mérnöki költségek nagyon magasak voltak, így az így kapott hordozó meglehetősen drága volt.

Bár léteznek költséghatékonyabb alternatívák, mint minden technológia esetében, mindegyiknek vannak kompromisszumai. És ahogy a látómező növekszik az Orion iparágvezető, körülbelül 70 fokos látómezeje felé, olyan új problémák merülnek fel, mint a szellemképek és a szivárványok.

"A széles látómezejű AR-kijelzők optimális megoldásának megtalálása a teljesítmény és a költségek közötti kompromisszumokkal jár" - magyarázza Barry Silverstein, a kutatási részleg tudományos igazgatója. "A költségeket gyakran le lehet szorítani, de ha a teljesítmény nem elég, a költségek végül nem számítanak."

A szellemképek olyanok, mint a kijelzőre vetített elsődleges kép vizuális visszhangjai. A szivárványok színes fénycsíkok, amelyek akkor jönnek létre, amikor a környezeti fény visszaverődik a hullámvezetőn. "Tegyük fel, hogy éjszaka vezetsz, és körülötted mozgó autófények vannak" - mondja Silverstein. "Szivárványok is lesznek, amelyek mozognak. Vagy ha a tengerparton röplabdázol, és süt a nap, akkor egy veled együtt mozgó szivárványcsíkot fogsz látni, és lemaradsz a lövésedről. A szilíciumkarbid egyik csodálatos tulajdonsága pedig az, hogy megszabadul ezektől a szivárványoktól."

"A szilíciumkarbid másik előnye, amellyel a többi anyag egyike sem rendelkezik, a hővezető képesség" - teszi hozzá Calafiore. "A műanyag szörnyű szigetelő. Az üveg, a lítium-niobát, ugyanez a helyzet. A szilícium-karbid átlátszó, úgy néz ki, mint az üveg, és képzeljük csak el: vezeti a hőt."

Így 2020 júliusában a csapat úgy döntött, hogy a szilíciumkarbid az optimális választás, három fő okból: Jobb optikai tulajdonságokkal rendelkezett, és könnyebb volt, mint a kétlemezes üveg.

A ferde metszés titka

Az anyagot szem előtt tartva a következő feladat a hullámvezetők gyártása volt - és különösen a ferde marás nevű, nem hagyományos rácsozási technika.

"A rács az a nanoszerkezet, amely be- és kikapcsolja a lencséből érkező fényt" - magyarázza Calafiore. "És ahhoz, hogy a szilíciumkarbid működjön, a rácsot ferdén kell marni. Ahelyett, hogy függőlegesen állna, a rács vonalainak átlósan kell ferdén állniuk"."

"Mi voltunk az elsők, akik közvetlenül az eszközökön végeztünk ferde maratást" - mondja Nihar Mohanty kutatási vezető. "Az egész iparág a nanoimprintre támaszkodott, ami nem működik az ilyen magas törésmutatójú szubsztrátumok esetében. Ezért nem gondolt senki más a világon arra, hogy szilícium-karbidot is készítsen."

Mivel azonban a ferde maratás még kiforratlan technológia, a legtöbb félvezetőchip-beszállító és -gyár nem rendelkezik a szükséges eszközökkel.

"2019-ben az akkori menedzseremmel, Matt Colburnnel létrehoztuk a saját üzemünket, mivel a világon nem volt semmi, ahol maratott szilícium-karbid hullámvezetőket tudtunk volna gyártani, és ahol a technológiát a laboratóriumi méreteken túl is kipróbálhattuk volna" - magyarázza Mohanty. "Hatalmas beruházás volt, és ott hoztuk létre az egész csővezetéket. A szerszámokat partnereink készítették számunkra, az eljárást pedig házon belül, a Metában fejlesztettük ki, bár a rendszereink kutatási minőségűek, mert nem voltak gyártási minőségű rendszerek. Egy gyártó partnerrel együttműködve fejlesztettük ki a gyártói minőségű ferde maratási szerszámokat és folyamatokat. És most, hogy megmutattuk, mi minden lehetséges a szilíciumkarbiddal, azt szeretnénk, ha az iparágban mások is elkezdenék a saját szerszámaik gyártását."

Minél több vállalat fektet be optikai minőségű szilícium-karbidba és fejleszt berendezéseket, annál erősebb lesz a fogyasztói AR-szemüvegek kategóriája.

Nem üldözzük tovább a szivárványt

While technological inevitability is a myth, the stars certainly seem to be aligning in silicon carbide’s favor. And although the team continues to investigate alternatives, there’s a strong sense that the right people have come together at the right time under the right market conditions to build AR glasses using this material.

"Az Orion bebizonyította, hogy a szilícium-karbid életképes lehetőség az AR-szemüvegek számára" - mondja Silverstein - "és most már három különböző kontinensen látjuk az érdeklődést az ellátási láncban, ahol erősen keresik ezt a lehetőséget. A szilícium-karbid lesz a befutó. Szerintem ez csak idő kérdése."

És ez idő alatt sok minden történhet - akárcsak az első tiszta szilícium-karbid kristályok növesztése óta, amikor is fordult a kocka.

"A szilíciumkarbid-gyártók mindegyike masszívan felpörgette a kínálatot a várható EV-boomra reagálva" - jegyzi meg Calafiore. "Jelenleg olyan túlkínálat van, amely nem létezett, amikor az Oriont építettük. Így most, hogy a kínálat magas, a kereslet pedig alacsony, a hordozó ára elkezdett csökkenni."

"A beszállítók nagyon izgatottak az optikai minőségű szilíciumkarbid gyártásának új lehetősége miatt - hiszen minden egyes hullámvezető lencse nagy mennyiségű anyagot jelent egy elektronikus chiphez képest, és minden meglévő képességük alkalmazható erre az új területre" - teszi hozzá Silverstein. "A gyár kitöltése alapvető fontosságú, a gyár méretnövelése pedig az álom. Az ostya mérete is számít: Minél nagyobb az ostya, annál alacsonyabb a költség - de a folyamat bonyolultsága is növekszik. Ennek ellenére láttuk, hogy a beszállítók a négy hüvelykes ostyákról áttértek a nyolc hüvelykes ostyákra, és néhányan már dolgoznak a 12 hüvelykes ostyák előfutárain, amelyek exponenciálisan több AR-szemüveget eredményeznének"."

Ezek a fejlesztések hozzájárulnak a költségek további csökkenéséhez. Még korai, de a jövő egyre inkább a figyelem középpontjába kerül.

"Minden új technológiai forradalom kezdetén egy csomó dolgot kipróbálunk" - mondja Calafiore. "Nézzük meg a televíziót: Katódsugárcsövekkel kezdtük, aztán jöttek a LED-es plazmatévék, most pedig a microLED-ek. Számos különböző technológián és architektúrán mentünk keresztül. Az útkeresés során sok út nem vezet sehova, de van néhány, amelyhez mindig visszatérünk, mint a legígéretesebbekhez. Nem vagyunk az út végén, és egyedül nem tudjuk megcsinálni, de a szilíciumkarbid egy olyan csodaanyag, amely megéri a befektetést."

"A világ felébredt" - teszi hozzá Silverstein. "Sikeresen megmutattuk, hogy a szilícium-karbid képes az elektronikában és a fotonikában rugalmasan használni. Ez egy olyan anyag, amely a jövőben a kvantumszámítástechnikában is alkalmazható lehet. És látjuk a jeleit annak, hogy jelentősen csökkenthető a költsége. Sok munka vár még ránk, de a potenciális előnyök óriásiak."

TL;DR:

• Today at Connect, Mark Zuckerberg unveiled Orion—our first pair of true AR glasses, previously codenamed Project Nazare.
• With an industry-leading field of view, silicon carbide lenses, intricate waveguides, uLED projectors, and more, Orion is our most advanced and most polished product prototype to date.
• Most folytatjuk a termékoptimalizálást és a költségek csökkentését, miközben egy olyan skálázható fogyasztói eszköz felé haladunk, amely forradalmasítani fogja az emberek interakcióját a világgal.

---

"AR-szemüveget készítünk."

Five simple words, spoken five years ago. With them, we planted a flag on our vision of a future where we no longer have to make the false choice between a world of information at our fingertips and the physical world all around us.

És most, öt évvel később, újabb öt szó, amely ismét megváltoztatja a játékot:

Építettünk AR-szemüveget.

A Meta küldetése egyszerű: adjuk meg az embereknek az erőt, hogy közösséget építsenek és közelebb hozzák egymáshoz a világot. A Reality Labsnél pedig olyan eszközöket fejlesztünk, amelyek segítségével az emberek bármikor és bárhol kapcsolatban érezhetik magukat. Ezért dolgozunk azon, hogy megalkossuk a következő számítástechnikai platformot, amely az embereket helyezi a középpontba, hogy jobban jelen lehessenek, kapcsolódhassanak és erőteljesebben élhessenek a világban.

Ray-Ban Meta szemüveg bebizonyították, hogy az emberek a digitális életük kulcsfontosságú részeihez a fizikai életükből kéz nélkül hozzáférhetnek. Beszélhetünk egy intelligens mesterséges intelligencia asszisztenssel, kapcsolatba léphetünk barátainkkal, és megörökíthetjük a fontos pillanatokat - mindezt anélkül, hogy valaha is elő kellene vennünk a telefont. Ezek a stílusos szemüvegek zökkenőmentesen illeszkednek a mindennapi életünkbe, és az emberek teljesen megszerették őket.

Míg a Ray-Ban Meta egy teljesen új kategóriát nyitott a kijelző nélküli, mesterséges intelligenciával felturbózott szemüvegek számára, az XR iparág már régóta álmodik egy valódi AR szemüvegről - egy olyan termékről, amely a nagy holografikus kijelző és a személyre szabott AI segítség előnyeit egy kényelmes, stílusos, egész nap viselhető formában egyesíti.

And today, we’ve pushed that dream closer to reality with the unveiling of Orion, which we believe is the most advanced pair of AR glasses ever made. In fact, it might be the most challenging consumer electronics device produced since the smartphone. Orion is the result of breakthrough inventions in virtually every field of modern computing—building on the work we’ve been doing at Reality Labs for the last decade. It’s packed with entirely new technologies, including the most advanced AR display ever assembled and custom silicon that enables powerful AR experiences to run on a pair of glasses using a fraction of the power and weight of an MR headset.

Orion’s input system seamlessly combines voice, eye gaze, and hand tracking with an EMG wristband that lets you swipe, click, and scroll while keeping your arm resting comfortably by your side, letting you stay present in the world and with the people around you as you interact with rich digital content.

A mai Connect-en kezdődően és az év folyamán a Meta munkatársai és kiválasztott külső közönség számára hozzáférést biztosítunk az Orion termék prototípusához, hogy a fejlesztőcsapatunk tanulhasson, iterálhasson és építhessen a fogyasztói AR-szemüveg termékcsalád felé, amelyet a közeljövőben tervezünk szállítani.

Miért AR szemüveg?

Három fő oka van annak, hogy az AR-szemüvegek kulcsfontosságúak az emberközpontú számítástechnika következő nagy ugrásának felszabadításában.

1. Olyan digitális élményeket tesznek lehetővé, amelyeket nem korlátoznak az okostelefonok képernyőjének korlátai. A nagyméretű holografikus kijelzőkkel a fizikai világot használhatja vászonként, és bárhol elhelyezhet 2D-s és 3D-s tartalmakat és élményeket.
2. Zökkenőmentesen integrálják a kontextuális mesterséges intelligenciát, amely képes érzékelni és megérteni az Önt körülvevő világot annak érdekében, hogy előre jelezze és proaktívan kezelje az Ön igényeit.
3. Könnyűek és kiválóan használhatók beltéri és kültéri használatra egyaránt - és lehetővé teszik, hogy az emberek lássák egymás valódi arcát, valódi szemét és valódi arckifejezéseit.

Ez az a csillag, amely felé iparágunk építkezik: egy olyan termék, amely a viselhető eszközök kényelmét és közvetlenségét nagy kijelzővel, nagy sávszélességű bemenettel és kontextusfüggő mesterséges intelligenciával kombinálja olyan formában, amelyet az emberek kényelmesen viselnek a mindennapi életükben.

Kompakt formafaktor, összetett kihívások

Évek óta hamis választás előtt állunk: vagy olyan virtuális és vegyes valóság headsetek, amelyek mély, magával ragadó élményeket tesznek lehetővé terjedelmes formában, vagy olyan szemüvegek, amelyek ideálisak az egész napos használatra, de nem kínálnak gazdag vizuális alkalmazásokat és élményeket, mivel nincs nagy kijelző és megfelelő számítási teljesítmény.

De mi mindent akarunk, kompromisszumok nélkül. Évek óta keményen dolgozunk azon, hogy a VR- és MR-headsetek által nyújtott hihetetlen térbeli élményeket egy könnyű, stílusos szemüvegbe miniatürizáljuk, és az ezekhez az élményekhez szükséges technológiát miniatürizáljuk. A formafaktor tökéletesítése, a holografikus kijelzők biztosítása, a lenyűgöző AR-élmények fejlesztése és az új ember-számítógép interakciós (HCI) paradigmák megalkotása - és mindez egyetlen egységes termékben - az egyik legnehezebb kihívás, amellyel iparágunk valaha is szembenézett. Olyannyira nagy kihívás, hogy úgy gondoltuk, kevesebb mint 10 százalék esélyünk van arra, hogy sikeresen véghezvisszük.

Mostanáig.

Úttörő kijelző egy páratlan formátumban

A körülbelül 70 fokos Orion a legnagyobb látómezővel rendelkezik az eddigi legkisebb AR-szemüveg formavilágában. Ez a látómező igazán magával ragadó felhasználási lehetőségeket nyit meg az Orion számára, a multitasking ablakoktól és a nagyképernyős szórakoztatástól kezdve az emberek életnagyságú hologramjaiig - minden olyan digitális tartalom, amely zökkenőmentesen illeszkedik a fizikai világról alkotott képhez.

Az Orion esetében a látómező volt a szent grál. A fizika törvényeivel ütköztünk, és a fénysugarakat olyan módon kellett elhajlítanunk, ahogyan azok a természetben nem hajlanak - és mindezt milliwattban mért teljesítményen belül kellett megtennünk.

Instead of glass, we made the lenses from silicon carbide—a novel application for AR glasses. Silicon carbide is incredibly lightweight, it doesn’t result in optical artifacts or stray light, and it has a high refractive index—all optical properties that are key to a large field of view. The waveguides themselves have really intricate and complex nano-scale 3D structures to diffract or spread light in the ways necessary to achieve this field of view. And the projectors are uLEDs—a new type of display technology that’s super small and extremely power efficient.

Az Orion összetéveszthetetlenül egy szemüveg, mind megjelenésében, mind tapintásában - átlátszó lencsékkel. Az MR-headsetekkel vagy más mai AR-szemüvegekkel ellentétben továbbra is láthatjuk egymás valódi szemét és arckifejezését, így jelen lehetünk, és megoszthatjuk az élményt a körülöttünk lévő emberekkel. Több tucatnyi újításra volt szükség ahhoz, hogy az ipari formatervet olyan korszerű szemüvegformát kapjunk, amelyet kényelmesen viselhetsz minden nap. Az Orion a miniatürizálás bravúrja - az alkatrészek a milliméter töredékére vannak összezsúfolva. És sikerült hét apró kamerát és érzékelőt beágyaznunk a keret peremébe.

Az optikai pontosságot az emberi hajszál vastagságának tizedénél kellett fenntartanunk. A rendszer pedig képes érzékelni az apró mozgásokat - például a különböző szobahőmérsékletű keretek tágulását vagy összehúzódását -, majd digitálisan korrigálni a szükséges optikai igazítást, mindezt ezredmásodperceken belül. A kereteket magnéziumból készítettük - ugyanabból az anyagból, amelyet az F1-es versenyautókban és űrhajókban használnak -, mert könnyű, mégis merev, így az optikai elemeket az igazításban tartja, és hatékonyan vezeti el a hőt.

Fűtés és hűtés

Miután feltörtük a kijelzőt (nem szándékos szóvicc) és leküzdöttük a fizikai problémákat, meg kellett oldanunk a kihívást, hogy a nagyon erős számítási teljesítményt a nagyon alacsony energiafogyasztás és a hőelvezetés szükségessége mellett is meg tudjuk oldani. A mai MR-headsetekkel ellentétben egy szemüvegbe nem lehet ventilátort dugni. Ezért kreatívnak kellett lennünk. Az Orion hűtéséhez használt anyagok nagy része hasonló azokhoz, amelyeket a NASA a világűrben lévő műholdak hűtésére használ.

We built highly specialized custom silicon that’s extremely power efficient and optimized for our AI, machine perception, and graphics algorithms. We built multiple custom chips and dozens of highly custom silicon IP blocks inside those chips. That lets us take the algorithms necessary for hand and eye tracking as well as simultaneous localization and mapping (SLAM) technology that normally takes hundreds of milliwatts of power—and thus generates a corresponding amount of heat—and shrink it down to just a few dozen milliwatts.

És igen, az egyedi szilícium továbbra is kritikus szerepet játszik a Reality Labs termékfejlesztésében, annak ellenére, amit máshol olvashattál. 😎

Könnyed EMG

Every new computing platform brings with it a paradigm shift in the way we interact with our devices. The invention of the mouse helped pave the way for the graphical user interfaces (GUIs) that dominate our world today, and smartphones didn’t start to really gain traction until the advent of the touch screen. And the same rule holds true for wearables.

We’ve spoken about our work with electromyography, or EMG, for years, driven by our belief that input for AR glasses needs to be fast, convenient, reliable, subtle, and socially acceptable. And now, that work is ready for prime time.

Az Orion beviteli és interakciós rendszere zökkenőmentesen ötvözi a hangot, a tekintetet és a kézkövetést egy EMG csuklópánttal, amellyel könnyedén lapozhat, kattinthat és görgethet.

It works—and feels—like magic. Imagine taking a photo on your morning jog with a simple tap of your fingertips or navigating menus with barely perceptible movements of your hands. Our wristband combines a high-performance textile with embedded EMG sensors to detect the electrical signals generated by even the tiniest muscle movements. An on-device ML processor then interprets those EMG signals to produce input events that are transmitted wirelessly to the glasses. The system adapts to you, so it gets better and more capable at recognizing the most subtle gestures over time. And today, we’re sharing more about our support for external research focused on expanding the equity and accessibility potential of EMG wristbands.

Ismerje meg a Wireless Compute Puckot

True AR glasses must be wireless, and they must also be small.So we built a wireless compute puck for Orion. It takes some of the load off of the glasses, enabling longer battery life and a better form factor complete with low latency.

A szemüveg futtatja az összes kézkövető, szemkövető, SLAM és speciális AR-világzáró grafikai algoritmust, míg az alkalmazás logikája a korongon fut, hogy a szemüveg a lehető legkönnyebb és legkompaktabb legyen.

A korong két processzorral rendelkezik, köztük egy itt a Meta-nál egyedileg tervezett processzorral, és ez biztosítja az alacsony késleltetésű grafikus rendereléshez, a mesterséges intelligenciához és néhány további gépi érzékeléshez szükséges számítási teljesítményt.

És mivel kicsi és karcsú, kényelmesen bedobhatja a korongot a táskájába vagy a zsebébe, és mehet a dolgára - kötöttségek nélkül.

AR élmények

Természetesen, mint minden hardver, ez is csak annyira jó, mint amennyire a dolgok, amelyeket do vele. És bár még korai, az Orion által nyújtott élmények izgalmas betekintést nyújtanak abba, ami még jönni fog.

We’ve got our smart assistant, Meta AI, running on Orion. It understands what you’re looking at in the physical world and can help you with useful visualizations. Orion uses the same Llama model that powers AI experiences running on Ray-Ban Meta smart glasses today, plus custom research models to demonstrate potential use cases for future wearables development.

Akár útközben is kezdeményezhet kihangosító nélküli videohívást, hogy valós időben beszélhessen barátaival és családtagjaival, és a WhatsApp és a Messenger alkalmazásban is kapcsolatban maradhat az üzenetek megtekintéséhez és elküldéséhez. Nem kell elővennie a telefonját, feloldania, megkeresnie a megfelelő alkalmazást, és tudatni a barátjával, hogy késik a vacsoráról - mindezt a szemüvegén keresztül is megteheti.

Megosztott AR-játékokat játszhatsz az ország másik felén élő családtagjaiddal vagy a kanapé másik felén ülő barátoddal. Az Orion nagyméretű kijelzője pedig lehetővé teszi, hogy több ablakkal több feladatot is elvégezzen, anélkül, hogy laptopot kellene cipelnie magával.

Az Orionon ma elérhető tapasztalatok segítenek majd a jövőbeni fogyasztói AR-szemüvegcsaládunk útitervét megrajzolni. Csapataink a fejlesztő partnereinkkel együtt folytatják a fejlesztést és új, magával ragadó közösségi élmények létrehozását, és már alig várjuk, hogy megosszuk velük, mi következik.

Egy céltudatos termék prototípusa

Bár az Orion nem kerül a fogyasztók kezébe, ne tévedjünk: Ez egy nem kutatási prototípus. Ez a legcsiszoltabb termékprototípus, amit valaha is kifejlesztettünk - és ez valóban reprezentatív valamire, ami lehetne a fogyasztóknak történő szállítás. Ahelyett, hogy siettettük volna a polcokra kerülést, úgy döntöttünk, hogy először a belső fejlesztésre összpontosítunk, ami azt jelenti, hogy gyorsan építkezhetünk, és továbbra is kitolhatjuk a technológia és az élmények határait.

Ez pedig azt jelenti, hogy gyorsabban jutunk el egy még jobb fogyasztói termékhez.

Mi következik ezután

Két nagy akadály állt régóta a mainstream fogyasztói AR-szemüvegek útjában: a technológiai áttörések, amelyek ahhoz szükségesek, hogy nagy kijelzőt tudjanak létrehozni egy kompakt szemüvegformátumban, valamint a hasznos és lenyűgöző AR-élmények szükségessége, amelyek a szemüvegeken futtathatók. Az Orion egy hatalmas mérföldkő, amely most először nyújt valódi AR-élményeket ésszerűen stílusos hardveren.

Most, hogy megosztottuk az Oriont a világgal, néhány dologra összpontosítunk:

• Az AR-kijelző minőségének hangolása a még élesebb megjelenítés érdekében
• Optimalizálás, ahol csak tudunk, hogy a formafaktor még kisebb legyen
• Méretarányos építés a megfizethetőbbé tétel érdekében

In the next few years, you can expect to see new devices from us that build on our R&D efforts. And a number of Orion’s innovations have been extended to our current consumer products today as well as our future product roadmap. We’ve optimized some of our spatial perception algorithms, which are running on both Meta Quest 3S and Orion. While the eye gaze and subtle gestural input system was originally designed for Orion, we plan to use it in future products. And we’re exploring the use of EMG wristbands across future consumer products as well.

Az Orion nem csupán egy ablak a jövőbe - hanem egy pillantás a ma elérhető, nagyon is valós lehetőségekre. Azzal a céllal építettük, amihez a legjobban értünk: segíteni az embereknek kapcsolatot teremteni. A Ray-Ban Meta szemüvegtől az Orionig láttuk, hogy milyen jót tesz az, ha az emberek a fizikai világban is jobban jelen vannak, és nagyobb hatalommal rendelkeznek, miközben a digitális világ minden további gazdagságát is kihasználják.

Úgy gondoljuk, hogy nem kellene választania a kettő között. A következő számítástechnikai platformmal pedig nem is kell.

Last year at Connect, we unveiled Orion—our first true pair of AR glasses. The culmination of our work at Reality Labs over the last decade, Orion combines the benefits of a large holographic display and personalized AI assistance in a comfortable, all-day wearable form factor. It got some attention for its industry-leading field of view, silicon carbide waveguides, uLED projectors, and more. But today, we’re turning our attention to an unsung hero of Orion: the compute puck.

Úgy tervezték, hogy könnyen becsússzon a zsebébe vagy a táskájába, így szinte bárhová magával viheti, amikor a napját tölti, a korong az Orion feldolgozási teljesítményét az alkalmazási logika futtatására fordítja, és lehetővé teszi a szemüveg meggyőzőbb, kisebb formájú kialakítását. A zökkenőmentes élmény érdekében vezeték nélkül csatlakozik a szemüveghez és az EMG csuklópánthoz.

Beállítani és elfelejteni, igaz?

De a korong háttértörténete - még prototípusként is - olyan drámai ívű, amelyet a megjelenése alapján nem is sejtenénk.

"Amikor valami ilyesmit építünk, a fizika határait kezdjük el feszegetni" - magyarázza Rahul Prasad termékmenedzsment igazgató. "Az elmúlt 50 évben a Moore-törvény mindent kisebbé, gyorsabbá és energiatakarékosabbá tett. A probléma az, hogy most már kezdünk eljutni a határokhoz, hogy mennyi hőt lehet elvezetni, mennyi akkumulátort lehet összenyomni, és mennyi antennateljesítményt lehet egy adott méretű objektumba beletenni.""

Bár a visszatekintés 20/20 lehet, a korongban rejlő potenciál nem volt azonnal nyilvánvaló. Ha elsőként építesz meg valamit, minden lehetőséget fel kell tárnod, és minden követ meg kell forgatnod. Hogyan építhetsz meg valamit, amiről egyesek azt gondolhatják, hogy inkább egy nemkívánatos kiegészítő, mint a csomag kritikus része?

"Tudtuk, hogy a korong egy extra eszköz, amit az emberektől kérünk, hogy hordjanak magukkal" - jegyzi meg Jared Van Cleave, a terméktervezésért felelős mérnöki vezető - "ezért azt vizsgáltuk, hogyan lehetne a hibát funkcióvá alakítani."

Végül ez az etika kifizetődött, mivel a korong sok számítási lehetőséget (és még több Meta által tervezett egyedi szilíciumot az AI és a gépi érzékelés számára) présel kis méretbe. Ez nagyban hozzájárult ahhoz, hogy az Orion a sci-fi birodalmából a valóságba lépjen.

"Ha nem lenne meg a korong, akkor nem tudnánk olyan élményeket szerezni, mint amilyeneket az Orion kínál a maga formavilágában - periódus" - mondja Prasad. "A jó AR-élmény igazán nagy teljesítményt igényel: magas képkocka sebességet, rendkívül alacsony késleltetést, finomra szabott vezeték nélküli és energiagazdálkodást stb. A korongot és a szemüveget úgy kell megtervezni, hogy nagyon szorosan együttműködjenek, nemcsak az alkalmazás, hanem az operációs rendszer, a firmware és a hardver szintjén is. És még ha egy okostelefont együtt terveznénk is az AR-szemüveggel való együttműködésre, az igényes teljesítménykövetelmények lemerítenék a telefon akkumulátorát, és elszívnák a számítási kapacitást a telefonos felhasználási esetektől. Ezzel szemben a korong saját, nagy kapacitású akkumulátorral, nagy teljesítményű SoC-vel és egy egyedi, Meta által tervezett, az Orionhoz optimalizált AI társprocesszorral rendelkezik."

Természetesen a korongot nem egyik napról a másikra tervezték. Évekig tartó iteratív munkára volt szükség.

"Nem tudtuk, hogy az emberek hogyan akarnak majd interakcióba lépni az Orionnal a bemenet szempontjából - nem volt semmi, amit a piacról le tudtunk volna venni" - mondja Matt Resman termékmenedzser. "Ha megnézzük a korai szemüveg prototípusainkat, azok hatalmas, három-négy kilós headsetek voltak. És amikor egy terméket próbálsz megalkotni, nagyon nehéz megérteni a felhasználói élményt, ha nem a megfelelő formátényezőt használod. A koronggal nagyon gyorsan tudtunk prototípusokat készíteni, hogy megértsük, hogyan használnák az emberek."

A korai időkben Omega kódnevű korongot az akkori Oculus Research eredetileg egy Ω-alakú szalagként képzelte el, amely a felhasználó nyakára kerül, és a szemüveghez van kötve....

... amíg a Reality Labs vezeték nélküli csapatának néhány újítása lehetővé nem tette számukra, hogy elvágják a kábelt. Ez lehetővé tette a kézben tartható vagy zsebben hordozható / táskába helyezhető formát, ami rengeteg lehetőséget nyitott meg.

"Akkoriban a kiterjesztett valósággal történő telefonálás még mindig az elsődleges felhasználási terület volt" - magyarázza Van Cleave. "A korong volt az a hely, ahol a holografikus videókat lehorgonyozták. Letetted az asztalra úgy, hogy az érzékelőpad feléd nézett, leképezett téged, majd a korong felületéről kivetítette, hogy kivel beszélsz a híváshoz"."

"Az Orion az emberek összekapcsolásáról és összehozásáról szól" - mondja Resman. "A korong egyik kezdeti koncepciója az volt, hogy segítsen megteremteni a jelenlét érzését más emberekkel, és lehetővé tegye a kommunikációnak ezt a gazdagabb formáját."

"Ez semmihez sem hasonlítható, amit valaha is láttál - az eszköz igazán szórakoztató és egyedi interakciókat hozhat létre" - teszi hozzá Emron Henry ipari tervező. "A felhasználói élmény kicsit olyan, mintha egy dzsinnt szabadítanánk ki a palackból, ahol a hologramok zökkenőmentesen bukkannak elő és oldódnak vissza az eszközbe."

Ahogy mostanra már valószínűleg láthatod, a korongban több lehetőség rejlik, mint amit végül funkcióként bekapcsoltak. Az AR-híváshoz használt érzékelők és kamerák mellett a korong haptikus és 6DOF érzékelőkkel is rendelkezik, amelyek lehetővé teszik, hogy követett vezérlőként használjuk virtuális tárgyak kiválasztására és manipulálására, valamint AR-játékok lejátszására. A csapat a kapacitív és erőérintéses bevitelt is vizsgálta, így a korong játékvezérlőként is szolgálhatna, ha portré- és tájoló módban tartanák.

"Arról beszélgettünk, hogy szükség van erre a plusz dologra" - mondja Van Cleave. "Hogyan tehetnénk hasznosabbá? Egy egész munkafolyamattal foglalkoztunk. És egy ponton az volt a hipotézis, hogy az AR-játékok lesznek a fő felhasználási területek."

Már korán tudtuk, hogy fel kell fedeznünk a korong azon lehetőségeit, amelyekkel a telefonok nem tudnak olyasmit tenni, amit a korongok nem tudnak. Végül a szem tekintet, az EMG és a kéz követése mellett döntöttünk az AR-játékokhoz, például a Stargazerhez és a Ponghoz, de az Orion korai időszakában különböző demókat és játékokat prototipizáltunk, amelyek a korongot kontrollerként használták.

A korong 6DOF kontrollerként való felhasználásának felfedezése olyan AR játékokhoz, mint a Pong.

"Mivel ez nem egy telefon, ez nagy tervezési szabadságot adott nekünk" - teszi hozzá Prasad. "Lehet vastagabb, kerekebbé tehetem, hogy kényelmesen illeszkedjen a kezedbe, mint egy kontroller. Elég hihetetlen, hogy a korong valójában kisebb, mint egy átlagos telefon, de erősebb, mint egy telefon, mert van benne egy Meta által tervezett társprocesszor a mesterséges intelligenciához és a gépi érzékeléshez."

A csapat annak a kérdésnek járt utána, hogy miben különbözhet egy minőségi AR-játék egy MR- vagy konzoljátéktól. Ez azt jelentette, hogy az AR játékvezérlő különböző lehetőségeit vizsgálták meg, beleértve a joystickokat, a fizikai gombok elrendezését, az indítógombokat és egyebeket.

"Végül nem építettünk meg semmit ezekből a dolgokból" - jegyzi meg Van Cleave. "Prototípusokat készítettünk, de soha nem építettük meg teljesen. Egyszerűnek akartuk tartani. Meg akartuk csinálni ezeket a puha interfészeket, de nem akartunk fizikai, mechanikus gombokat készíteni."

És bár az érzékelők és a haptika nem voltak bekapcsolva a kész termék prototípusában, a fejlesztés során szerves funkciót töltöttek be, lehetővé téve a csapatok számára, hogy a hibák bejelentését a készülék tetejének néhányszori megérintésével indítsák el.

Ahogy a mesterséges intelligencia mint kulcsfontosságú felhasználási mód kezdett a középpontba kerülni, a számítástechnika egyre inkább a figyelem középpontjába került. Végül a korong ad otthont az Orion vezeték nélküli csatlakoztathatóságának, számítási teljesítményének és akkumulátorkapacitásának - ami önmagában is hatalmas technikai teljesítmény -, és mindez segít csökkenteni a szemüveg súlyát és formáját, miközben a felületének köszönhetően sokkal több hőt vezet el.

A korong fejlődése során egy dolog nem változott: a korong több, mint ami a gyakorlatlan szemnek látszik. A szokatlan ötletek felkarolása lehetővé tette csapataink számára, hogy felfedezzék, feszegessék a határokat és építsék a jövőt.

"Olyan kategóriát határozunk meg, amely még nem igazán létezik" - jegyzi meg Henry. "Ahogy az a kutatás-fejlesztésnél elvárható, az út során voltak kezdetek és megállások. Hogyan fognak a felhasználók a hologramokkal interakcióba lépni? Inkább AR távirányítót használnának, vagy elegendő a kézkövetés, a tekintet és az EMG a bevitelhez? Mit éreznek intuitívnak, kevéssé súrlódónak, ismerősnek és hasznosnak?"

"Ahelyett, hogy a korongot csak egy kőnek tekintettük volna, azt kérdeztük magunktól, mi mást tudnánk még nyújtani, hogy még jobban megkülönböztessük a telefonoktól, és megindokoljuk, miért érdemes magunkkal hordani" - ismeri el Resman. "Vajon a nyers számítási teljesítménye és a praktikus kialakítása - amely segített feloldani egy olyan szemüvegformát, amelyet reálisan egész nap viselhetsz - végül is elég értéket nyújt?". A mi feladatunk, hogy segítsünk megválaszolni ezeket a kérdéseket."

"Korán váltottunk, és arra összpontosítottunk, hogy mit tudunk tenni, amit egy telefon nem tud" - teszi hozzá Van Cleave. "A telefonoknak rendelkezniük kell a képernyővel, és a felhasználók által elvárt bizonyos fizikai gombelrendezéssel. Nekünk nincsenek ilyen korlátaink. A mi számítógépeink olyanok lehetnek, amilyenek csak akarjuk."