Autor: Kristián Ivančo

In 2017, Reality Labs Chief Scientist Michael Abrash, backed by Meta Founder & CEO Mark Zuckerberg, established a new, secret team within what was then Oculus Research to build the foundation of the next computing platform. Their herculean task: Create a custom silicon solution that could support the unique demands of future augmented reality glasses—a technical feat that required reimagining every component for an all-day wearable AR glasses form factor that simply didn’t exist yet.

Kąt przedni prototypu okularów Orion AR.

Kompaktowa obudowa, dużo miejsca na problemy

Growing from just a few researchers to hundreds of people on the product side, the custom silicon team was built on the premise that AR glasses couldn’t rely on the silicon available in today’s smartphones. And it’s a premise borne out by the several custom chips inside Orion, our first true AR glasses product prototype.

"Budowanie statku, gdy wypływa z portu - to było dokładnie to, co robiliśmy" - mówi dyrektor ds. strategii zaawansowanych technologii Jeremy Snodgrass. "Musieliśmy powiększyć skromny zespół, jednocześnie budując te chipy. Fascynujące było obserwowanie, jak kierownictwo wprowadza nowych pracowników na pokład, jednocześnie rozwijając kulturę, która ceni zwinność. Nic nie było problemem kogoś innego. Podnosiłeś wiosło i zaczynałeś wiosłować, nawet jeśli nie było to dokładnie to, do czego zostałeś zatrudniony. To był bardzo, bardzo ekscytujący czas".

"Prawie wszystko w Orionie było nowe dla świata na wiele sposobów" - zgadza się dyrektor techniczny Display Architecture Mike Yee. "Niektóre pomysły już istniały, ale nikt nie podjął się projektu badawczego, aby faktycznie zbudować parę okularów AR do noszenia przez cały dzień".

Zespół musiał zapewnić atrakcyjne wrażenia AR przy jak najmniejszym zużyciu energii. Obudowa okularów może odprowadzać tylko tyle ciepła i może pomieścić tylko tyle baterii. W rezultacie wrażenia, które można zapewnić na okularach, są całkowicie zależne od krzemu. Innymi słowy, jeśli utrzymasz stałą pojemność cieplną i bateryjną, jedynym sposobem na zapewnienie danego doświadczenia jest optymalizacja krzemu.

“Designing a new architecture for Orion required the team to not only push existing technologies like wireless and displays aggressively but also to take risks on new technologies,” says Director of Product Management Neeraj Choubey. “For instance, the team developed a machine learning (ML) accelerator without a clear use case at the time, driven by the strong conviction that ML would become increasingly important in Meta’s products. On Orion, every ML accelerator is utilized, and in some cases, they’re oversubscribed, serving functions such as eye tracking and hand tracking. Similarly, the team developed custom compression protocols to reduce bandwidth and power consumption as data moved from the compute puck to the display. Developing custom silicon to achieve Orion’s form factor goals required both a tolerance for high ambiguity and meticulous attention to detail to deliver an incredibly complex system architecture.”

"Największym wyzwaniem było dostarczenie renderowanej grafiki 3D z blokadą świata, wraz z przestrzennym dźwiękiem, który jest renderowany tak, że wydaje się emanować z wirtualnego obiektu" - zauważa Snodgrass. "Musieliśmy dopasować całą tę elektronikę do pojemności cieplnej i przestrzeni fizycznej, a następnie uruchomić ją na baterii, aby nie nagrzewała się zbytnio. I musieliśmy to wszystko zrobić w rzeczywistej obudowie okularów - a nie w dużym wizjerze, jaki zwykle widuje się w tej kategorii".

"Wiedzieliśmy, jak zapewnić niezbędną moc obliczeniową, aby urzeczywistnić naszą wizję Oriona, ale stanęliśmy przed trudnym zadaniem: 100-krotnym zmniejszeniem zużycia energii" - mówi Robert Shearer, dyrektor ds. rozwiązań SoC. "Wymagało to od nas przesunięcia granic projektowania krzemu, przyjęcia metodologii z różnych zakątków branży - od IoT po wysokowydajne obliczenia - i wymyślenia nowych podejść w celu wypełnienia luk. Nasi partnerzy z branży uważali nas za szaleńców i być może nie do końca się mylili. Ale właśnie tego potrzebowaliśmy: chęci zakwestionowania konwencjonalnej mądrości i przemyślenia wszystkiego na nowo. Zbudowanie komputera, który płynnie łączy świat wirtualny i fizyczny, wymaga głębokiego zrozumienia kontekstu, znacznie wykraczającego poza to, co mogą zaoferować istniejące platformy obliczeniowe. Zasadniczo odkryliśmy na nowo sposób, w jaki komputery wchodzą w interakcję z ludźmi, co oznaczało ponowne wyobrażenie sobie, jak budujemy krzem od podstaw".

Elementy zewnętrzne Orion.

Magia diod MicroLED

Zdarzały się momenty, w których sprawy opóźniały się lub pojawiały się pozornie niemożliwe do pokonania wyzwania techniczne, kiedy trudno było utrzymać tempo i morale. Ale zespół był odporny, znajdując ścieżki omijające przeszkody - lub po prostu je pokonując.

Weźmy na przykład wyświetlacz Oriona. Zespół ds. krzemu był odpowiedzialny za krzem w projektorze wyświetlacza, który znajduje się w rogach okularów.

"W przypadku tych projektorów istniało otwarte pytanie, czy uda nam się uzyskać matrycę microLED o wystarczająco wysokiej wydajności i jasności, aby wdrożyć wyświetlacz o szerokim polu widzenia" - mówi Snodgrass. "Istniały ogromne wątpliwości, czy możemy - czy jest to możliwe w rozważanych przez nas ramach czasowych - ponieważ była to bardzo rodząca się technologia".

"Bardzo wcześnie zdaliśmy sobie sprawę, że musimy przemyśleć wiele paradygmatów rozwoju produktu" - dodaje Yee. "Ilość światła potrzebna do stworzenia użytecznego wyświetlacza jest znacznie jaśniejsza w przypadku okularów AR, ponieważ jako wyświetlacz do noszenia konkurujesz ze słońcem. Potrzebujemy więc poziomów energii, które z nim rywalizują - a przynajmniej taki jest cel. Jeszcze go nie osiągnęliśmy, ale to ważny element. A to oznacza, że potrzebne są źródła światła dla wyświetlacza, które są do tego zdolne i potrzebne są obwody, które mogą to kontrolować. A jednocześnie trzeba sprawić, by był mały".

Niestandardowy krzem napędzający diody µLED firmy Orion.

Podczas gdy diody microLED wydawały się najbardziej odpowiednim źródłem światła dla projektorów, krzem pomógł uwolnić ich potencjał.

"W przypadku wyświetlaczy mówimy o odstępach między pikselami, które są odległościami między punktami środkowymi sąsiednich pikseli" - wyjaśnia Yee. "W przypadku telewizorów odległości te wynoszą setki mikronów. W telefonie są to dziesiątki mikronów. Musieliśmy zmniejszyć te odległości do pojedynczych cyfr. Jedynym znanym półprzewodnikiem, który mógł to osiągnąć, był krzem".

Pracę komplikował fakt, że tylna powierzchnia wyświetlacza musiała być kawałkiem krzemu, a nikt na świecie nie projektował krzemu dla microLED.

"W tamtym czasie wszystkie zespoły badawcze, które tam były, zmieniły ciekłe kryształy na wyświetlaczach krzemowych, aby umieścić na nich mikroLED" - mówi Yee. "Nikt wcześniej nie zaprojektował backplane'u dla microLED. Stanęliśmy przed dość wyjątkowym wyzwaniem, ponieważ jest to element optyczny. Musi być płaski. Nie można go zarysować. Musi mieć wszystkie te cechy, ponieważ kiedy patrzysz przez falowody, przez projektory, dosłownie patrzysz na górną powierzchnię kawałka krzemu".

Zespół ds. krzemu opracował złożoną serię platform testowych dla tych wyświetlaczy microLED, które wymagały ścisłej koordynacji z naszymi globalnymi dostawcami. Wyświetlacze microLED mają globalny zasięg, pochodzą z jednego miejsca, a następnie są przenoszone do innego, gdzie są umieszczane na waflach. Wafle były następnie wysyłane w celu przycięcia do określonego kształtu, po czym następowała podróż do USA w celu połączenia z innym waflem, a następnie wysyłane z powrotem na cały świat w celu zbudowania i przetestowania rzeczywistego modułu. Był to niezwykle skomplikowany proces, a zespół krzemowy opracował pojazdy testowe, aby sprawdzić każdy etap.

Zespół musiał również znaleźć sposób na dostarczenie zasilania do wyświetlaczy microLED w niewielkiej objętości narożników okularów. Nasz zespół analogowy opracował niestandardowy układ zarządzania energią, który zmieścił się w tej objętości.

"Dostarczanie energii ma kluczowe znaczenie dla tak małych urządzeń do noszenia, gdzie rozmiar baterii jest ograniczony, a przestrzeń jest na wagę złota" - zauważa dyrektor ds. systemów analogowych i mieszanych Jihong Ren. "Nasze niestandardowe rozwiązanie Power Management IC wykorzystuje najnowocześniejsze technologie, aby zoptymalizować wydajność energetyczną dla naszego konkretnego obciążenia na poziomie systemu, a wszystko to przy jednoczesnym dopasowaniu do dostępnych ograniczeń przestrzennych. Osiągnięcie tego optymalnego rozwiązania wymagało ścisłej interdyscyplinarnej współpracy z naszymi zespołami mechanicznymi, elektrycznymi, SoC, μLED i termicznymi, zapewniając płynną integrację wszystkich komponentów i maksymalizując ogólną wydajność".

"To był niesamowity wyczyn nie tylko inżynieryjny, ale także organizacyjny: zebranie zespołu, praca w różnych strefach czasowych i z różnymi dostawcami" - dodaje Snodgrass. "Pod pewnymi względami zarządzanie tym wszystkim organizacyjnie było równie dużym wyzwaniem, jak spełnienie specyfikacji technicznych".

"Nie tylko projekt jest niestandardowy, ale cały proces produkcji jest niestandardowy" - dodaje Yee. "Mamy szczęście, że mamy wspaniałych partnerów w branży, którzy pomogli nam to osiągnąć. Widzą oni długoterminowy potencjał w wyświetlaczach AR jako całości i z pewnością wizję firmy Meta. Byli więc gotowi współpracować z nami, aby dokonać tych dostosowań i optymalizacji, aby umożliwić wyświetlanie".

Okulary AR firmy Orion.

Iteracja spotyka się z przyspieszeniem

Istniała ścisła pętla sprzężenia zwrotnego między zespołem krzemowym a genialnymi umysłami w Reality Labs Research i XR Tech opracowującymi algorytmy. Te drugie zespoły dostarczały te algorytmy, które te pierwsze przekładały na sprzęt, usuwając narzut oprogramowania ogólnego przeznaczenia uruchamianego na procesorze. Oznaczało to, że algorytmy działałyby przy niższym poborze mocy, ale oznaczało to również, że zespół krzemowy był zablokowany. Po wzmocnieniu algorytmów nie mogli już wprowadzać zmian.

"Powiedzmy, że XR Tech rozwija algorytmicznie pewną dyscyplinę" - wyjaśnia dyrektor ds. architektury i algorytmów w Silicon Accelerators, Ohad Meitav. "Są oni właścicielami stosu algorytmicznego i jego wydajności. Mój zespół, we współpracy z nimi, zdecydowałby następnie, jak przyspieszyć algorytm, jak wzmocnić części algorytmu i jak faktycznie umieścić go w sprzęcie w sposób, który działa super wydajnie. Następnie XR Tech dostosowuje swój stos oprogramowania do sprzętu. To bardzo iteracyjny proces".

Kolejnym sukcesem jest współpraca zespołu Silicon z Reality Labs Research w celu opracowania nowego algorytmu reprojekcji.

"Potrzebowaliśmy algorytmu reprojekcji do obsługi wielu różnych zniekształceń i poprawek" - zauważa Steve Clohset, Silicon Architect. "Algorytm opracowany przez RL-R, którego ostatecznie użyliśmy, nie jest używany w ogólnych obliczeniach. A do dziś okazuje się być całkiem potężnym narzędziem".

Gdy algorytmy zostały wzmocnione, a sprzęt zoptymalizowany, zespół zajmujący się wprowadzaniem krzemu przetestował niestandardowe chipy.

"Niestandardowy chipset krzemowy Orion jest bardzo złożony" - mówi Liping Guo, starszy dyrektor ds. kompleksowych systemów i infrastruktury. "Wprowadzenie i walidacja samodzielnych chipów i ich interoperacyjności w krótkim czasie jest niezwykle trudna. Na szczęście działamy w pionowo zintegrowanym środowisku, w którym Reality Labs jest właścicielem całego stosu - od krzemu i niskopoziomowego oprogramowania układowego po system operacyjny, oprogramowanie i doświadczenia wyższej warstwy. W pełni to wykorzystaliśmy, ściśle współpracując z naszymi wielofunkcyjnymi partnerami i pozostawiając integrację cross-stack na etapie walidacji krzemu. Orion był naszym pilotażowym uruchomieniem dla tej metodologii - zbudowaliśmy nasze mięśnie shift-left i stworzyliśmy solidne podstawy dla Reality Labs, aby w przyszłości czerpać pełne korzyści z niestandardowego krzemu".

Po uruchomieniu przyszedł czas na optymalizację pod kątem oprogramowania.

"Istnieje iteracyjny proces, w którym zaczynasz od całkowicie niezoptymalizowanego stosu oprogramowania, aby wszystko się uruchomiło" - mówi Snodgrass. "A następnie, jeden po drugim, przechodzisz przez podsystemy i zaczynasz optymalizować oprogramowanie pod kątem konkretnego sprzętu - w tym zmniejszając ilość pamięci używanej przez oprogramowanie. Sprzęt może być pięknie zaprojektowany, ale nie osiągniesz teoretycznej wydajności energetycznej, jeśli nie zainwestujesz tyle samo lub więcej czasu w oprogramowanie, aby w pełni wykorzystać możliwości sprzętu. Oto historia Oriona: sprzęt i oprogramowanie zoptymalizowane do granic możliwości. Nie zostawiamy za sobą ani jednego pikodżula czy miliwata".

I choć Orion może być prototypem, praca włożona w jego stworzenie może mieć znaczący wpływ na mapę drogową Mety.

"Patrzymy na krzemowe IP, które budujemy jako platformy w tym sensie, że są to cenione IP, które będziemy ulepszać z jednej generacji lub jednego produktu na drugi" - dodaje Meitav. "Wszystkie algorytmy wizji komputerowej i grafiki są tworzone nie tylko dla Oriona. Będą one wykorzystywane w przyszłych produktach".

Nasza praca nad krzemem obejmuje tworzenie nowatorskich rozwiązań przy jednoczesnej ścisłej współpracy z partnerami. W rzeczywistości wpływ zespołu krzemowego wykracza poza Orion i obejmuje zarówno Okulary Ray-Ban Meta and Meta Quest headsets today—even though they both use third-party chips. The silicon team regularly shares their work with the mixed reality team, showing what’s possible in terms of power efficiency. The MR team then shares those findings with partners like Qualcomm to help inform future chip designs. And because the silicon team uses the same off-the-shelf digital signal processors (DSPs) as Ray-Ban Meta glasses, they’ve been able to share lessons learned and best practices when implementing and writing code for those DSPs to help improve the audio experiences available on our AI glasses.

And that knowledge sharing goes both ways: The MR team has given the silicon team insights on things like Asynchronous TimeWarp and Application SpaceWarp in production.

"To, co dana osoba robi w produkcji, jest o wiele bardziej interesujące niż coś, co moglibyśmy zrobić z prototypem" - mówi Clohset. "Staraliśmy się jak najbardziej zintegrować to, co robią z osnowami".

Niejednoznaczność < Ambicja

Ponieważ Orion był naprawdę zero do jednego, zaangażowane zespoły musiały z konieczności radzić sobie z nadmierną ilością niejasności.

"W przypadku Oriona nie mogę przecenić tego, jak skomplikowane były te niejasności" - mówi Clohset. "Kiedy na przykład tworzysz komputer, zazwyczaj masz dobre wyobrażenie o tym, jaki będzie wyświetlacz. Ale nie wiedzieliśmy, czym ostatecznie będzie falowód, więc musieliśmy przetestować różne falowody i opracować mechanizm, który poradziłby sobie z najgorszym scenariuszem, ponieważ nie wiedzieliśmy, gdzie wszystko wyląduje. Jedna optymalizacja wiązała się ze wszystkimi innymi wyborami, co kończyło się macierzą wszystkich tych różnych rzeczy, które trzeba było wspierać i próbować zweryfikować, ponieważ nie było wiadomo, gdzie produkt wyląduje za sześć miesięcy".

It’s important to note that Orion isn’t just a pair of AR glasses—it’s a three-part constellation of hardware. A lot of the processing happens on the compute puck, which necessitates a strong connection between it and the glasses. Add the surface EMG wristband into the loop, and the system architecture becomes even more complicated.

"To było ogromne wyzwanie dla zespołów, a wszystko po prostu działa" - mówi Snodgrass. "To była niesamowita współpraca między zespołem krzemowym, zespołem bezprzewodowym i zespołami oprogramowania w całej organizacji".

Krążek obliczeniowy Oriona.

"W przypadku Oriona stworzyliśmy cały zespół z szeroką gamą inżynierów, którzy byli w stanie zaprojektować zupełnie nowy potok" - dodaje Clohset. "Jest to potok, który obsługuje ruch obiektów w przestrzeni 3D o sześciu stopniach swobody. Wykorzystuje on własny, niestandardowy sterownik wyświetlacza. Musieliśmy dokonać naprawdę wyjątkowych korekt jakości obrazu. Myślę, że wyzwaniem dla nas było to, że ponieważ był to projekt zero-to-one, nie było istniejącej specyfikacji, którą można by poprawić i ulepszyć. Wszystko tutaj jest zupełnie nowe, więc mieliśmy swobodę działania".

Much like the puck has some dormant features hidden beneath the surface, the custom silicon punches above its weight, too. While Orion doesn’t allow the user to take photos with its RGB cameras, the silicon is capable of supporting it, as well as codec avatars. And just as the puck helped unlock a true glasses form factor by offloading much of the compute, Orion’s custom silicon proved a necessary piece of the AR puzzle.

"Aby urzeczywistnić doświadczenie zero-to-one, takie jak okulary AR, potrzebujesz niestandardowego krzemu" - wyjaśnia Snodgrass. "Z biegiem czasu, jeśli pojawi się rynek, dostawcy krzemu opracują produkty, które zaspokoją popyt. Ale w przypadku zero-to-one nie można po prostu wziąć z półki czegoś, co jest przeznaczone dla innego produktu i dopasować go do nowej formy. Trzeba zainwestować w coś niestandardowego. Aby urzeczywistnić te zero-jedynkowe doświadczenia, potrzebna jest szeroka współpraca między partnerami w zakresie oprogramowania, projektantami przemysłowymi, inżynierami mechanikami i nie tylko".

"Uwalniając się od tradycyjnych modeli myślowych, stworzyliśmy coś naprawdę niezwykłego" - dodaje Shearer. "Wierzymy, że ta platforma obliczeniowa reprezentuje przyszłość technologii - taką, która zrewolucjonizuje sposób, w jaki żyjemy, pracujemy i wchodzimy ze sobą w interakcje. Cieszymy się, że możemy stać na czele tej innowacji, przesuwając granice tego, co możliwe i pomagając kształtować bieg historii".

When we first began giving demos of Orion early this year I was reminded of a line that you hear a lot at Meta—in fact it was even in our first letter to prospective shareholders back in 2012: Code wins arguments. We probably learned as much about this product space from a few months of real-life demos than we did from the years of work it took to make them. There is just no substitute for actually building something, putting it in people’s hands, and learning from how they react to it.

Orion wasn’t our only example of that this year. Our mixed reality hardware and AI glasses have both reached a new level of quality and accessibility. The stability of those platforms allows our software developers to move much faster on everything from operating systems to new AI features. This is how I see the metaverse starting to come into greater focus and why I’m so confident that the coming year will be the most important one in the history of Reality Labs.

Rok 2024 był rokiem, w którym okulary AI osiągnęły swój szczyt. Kiedy po raz pierwszy zaczęliśmy tworzyć inteligentne okulary w 2021 roku, pomyśleliśmy, że mogą one być dobrym pierwszym krokiem w kierunku okularów AR, które ostatecznie chcieliśmy zbudować. Podczas gdy zestawy słuchawkowe rzeczywistości mieszanej są na dobrej drodze, aby stać się platformą komputerową ogólnego przeznaczenia, podobnie jak dzisiejsze komputery PC, postrzegaliśmy okulary jako naturalną ewolucję dzisiejszych mobilnych platform komputerowych. Chcieliśmy więc jak najszybciej zacząć uczyć się od prawdziwego świata.

The biggest thing we’ve learned is that glasses are by far the best form factor for a truly AI-native device. In fact they might be the first hardware category to be completely defined by AI from the beginning. For many people, glasses are the place where an AI assistant makes the most sense, especially when it’s a multimodal system that can truly understand the world around you.

We’re right at the beginning of the S-curve for this entire product category, and there are endless opportunities ahead. One of the things I’m most excited about for 2025 is the evolution of AI assistants into tools that don’t just respond to a prompt when you ask for help but can become a proactive helper as you go about your day. At Connect we showed how Live AI on glasses can become more of a real-time participant when you’re getting things done. As this feature begins rolling out in early access this month we’ll see the first step toward a new kind of personalized AI assistant.

It won’t be the last. We’re currently in the middle of an industry-wide push to make AI-native hardware. You’re seeing phone and PC makers scramble to rebuild their products to put AI assistants at their core. But I think a much bigger opportunity is to make devices that are AI-native from the start, and I’m confident that glasses are going to be the first to get there. Meta’s Chief Research Scientist Michael Abrash has been talking about the potential of a personalized, context-aware AI assistant on glasses for many years, and building the technologies that make it possible has been a huge focus of our research teams.

Rzeczywistość mieszana has been another place where having the right product in the hands of a lot of people has been a major accelerant for progress. We’ve seen Meta Quest 3 get better month after month as we continue to iterate on the core system passthrough, multitasking, spatial user interfaces, and more. All these gains extended to Quest 3S the moment it launched. This meant the $299 Quest 3S was in many respects a better headset on day 1 than the $499 Quest 3 was when it first launched in 2023. And the entire Quest 3 family keeps getting better with every update.

In 2025 we’ll see the next iteration of this as Quest 3S brings a lot more people into mixed reality for the first time. While Quest 3 has been a hit among people excited to own the very best device on the market, Quest 3S is expected to be heavily gifted in 2024. Sales were strong over the Black Friday weekend, and we’re expecting a surge of people activating their new headsets over the holiday break.

Będzie to kontynuacja trendu, który ukształtował się w ciągu ostatniego roku: wzrost liczby nowych użytkowników, którzy szukają szerszego zakresu rzeczy do zrobienia ze swoimi zestawami słuchawkowymi. Chcemy, aby ci nowi użytkownicy dostrzegli magię MR i pozostali z nami na dłużej, dlatego też finansujemy deweloperów, aby tworzyli nowe rodzaje aplikacji i gier, których szukają.

W szczególności nastąpił znaczny napływ młodszych osób, które skłaniają się ku społecznościowym i konkurencyjnym grom wieloosobowym, a także zawartości freemium. A tytuły takie jak Skydance's BEHEMOTH, Batman: Arkham Shadow (która właśnie zdobyła nagrodę dla najlepszej gry AR/VR na The Game Awards!) oraz Metro Przebudzenie po raz kolejny pokazał, że niektóre z najlepszych nowych gier produkowanych przez naszą branżę są teraz możliwe tylko na dzisiejszych zestawach słuchawkowych.

As the number of people in MR grows, the quality of the social experience it can deliver is growing in tandem. This is at the heart of what Meta is trying to achieve with Reality Labs and where the greatest potential of the metaverse will be unlocked: “the chance to create the most social platform ever” is how we described it when we first began working on it. We took two steps forward on this front in 2024: first with a broad set of improvements to Horizon Worlds including its expansion to mobile, and second with the next-generation Meta Avatars system that lets people represent themselves across our apps and headsets. And as the visual quality and overall experience with these systems improve, more people are getting their first glimpse of a social metaverse. We’re seeing similar trends with new Quest 3S users spending more time in Horizon Worlds, making it a Top 3 immersive app for Quest 3S, and people continue creating new Meta Avatars across mobile and MR.

Wprowadzenie rzeczywistości mieszanej do głównego nurtu pomogło wyjaśnić, co będzie dalej. Jednym z pierwszych trendów, które odkryliśmy po premierze Quest 3 w zeszłym roku, było to, że ludzie używali rzeczywistości mieszanej do oglądania filmów podczas wielozadaniowości w domu - zmywania naczyń lub odkurzania salonu. Był to wczesny sygnał, że ludzie uwielbiają mieć duży wirtualny ekran, który można zabrać w dowolne miejsce i umieścić w fizycznym świecie wokół siebie. Widzieliśmy, jak ten trend się rozwija, a wszelkiego rodzaju doświadczenia rozrywkowe szybko rosną w całej rodzinie Quest 3. Nowe funkcje, takie jak YouTube Co-Watch pokazują, jak duży jest potencjał dla zupełnie nowego rodzaju rozrywki społecznościowej w metaverse.

That’s why James Cameron, one of the most technologically innovative storytellers of our lifetimes, is now working to help more filmmakers and creators produce great 3D content for Meta Quest. While 3D films have been produced for decades, there’s never been a way to view them that’s quite as good as an MR headset, and next year more people will own a headset than ever before. “We’re at a true, historic inflection point,"Jim said when we launched our new partnership this month.

This is happening alongside a larger shift Mark Rabkin shared at Connect this year: Our vision for Horizon OS is to build a new kind of general purpose computing platform capable of running every kind of software, supporting every kind of user, and open to every kind of creator and developer. Our recent releases for 2D/3D multi-tasking, panel positioning, better hand tracking, Windows Remote Desktop integration, and Open Store have started to build momentum along this new path. Horizon OS is on track to be the first platform that supports the full spectrum of experiences from immersive VR to 2D screens, mobile apps, and virtual desktops—and the developer community is central to that success.

Kolejny duży krok w kierunku metawersji będzie łączyć okulary AI z prawdziwym doświadczeniem rzeczywistości rozszerzonej, które ujawniliśmy w tym roku z Orionem. Nieczęsto zdarza się, że można spojrzeć w przyszłość i zobaczyć zupełnie nową technologię, która pokazuje, dokąd zmierzają rzeczy. Ludzie, którzy widzieli Oriona, natychmiast zrozumieli, co to oznacza dla przyszłości, podobnie jak ludzie, którzy widzieli pierwsze komputery osobiste nabierające kształtu w Xerox PARC w latach siedemdziesiątych ("w ciągu dziesięciu minut było dla mnie oczywiste, że wszystkie komputery będą kiedyś działać w ten sposób" - powiedział później Steve Jobs o swojej demonstracji Xerox Alto w 1979 roku).

Możliwość umieszczenia ludzi w wehikule czasu i pokazania im, jak będzie wyglądać następna platforma komputerowa, była punktem kulminacyjnym 2024 roku - i mojej dotychczasowej kariery. Ale prawdziwy wpływ Oriona będzie dotyczył produktów, które dostarczymy w następnej kolejności i sposobów, w jakie pomoże nam lepiej zrozumieć, co ludzie kochają w okularach AR, a co wymaga poprawy. Spędziliśmy lata pracując nad badaniami użytkowników, planowaniem produktów i badaniami eksperymentalnymi, próbując zrozumieć, jak powinny działać okulary AR, a ta praca umożliwiła nam zbudowanie Oriona. Ale tempo postępu będzie znacznie szybsze od teraz, gdy mamy prawdziwy produkt, na którym możemy budować naszą intuicję.

This has been the lesson time and again over the last decade at Reality Labs. The most important thing you can do when you’re trying to invent the future is to ship things and learn from how real people use them. They won’t always be immediate smash hits, but they’ll always teach you something. And when you land on things that really hit the mark, like mixed reality on Quest 3 or AI on glasses, that’s when you put your foot on the gas. This is what will make 2025 such a special year: With the right devices on the market, people experiencing them for the first time, and developers discovering all the opportunities ahead, it’s time to accelerate.

Welcome back for another episode of Boz To The Future, a podcast from Reality Labs. In today’s episode, our host, Meta CTO and Head of Reality Labs Andrew “Boz” Bosworth, is joined by Meta’s VP of Wearables Alex Himel.

Zespół Himela pracuje nad najtrudniejszymi problemami technicznymi w branży, a wszystko to w celu stworzenia kolejnej platformy obliczeniowej. Podobnie jak Bosworth, jest on wieloletnim liderem w Meta, pełniąc liczne funkcje kierownicze w całej firmie w ciągu ponad 15 lat pracy w firmie.

Bosworth i Himel omawiają szereg tematów, w tym urządzenia do noszenia, rzeczywistość rozszerzoną oraz sposób, w jaki sztuczna inteligencja przyspiesza i ulepsza rodzaje doświadczeń wbudowanych w urządzenia do noszenia. Okulary Ray-Ban Meta i przyszłych produktów.

They go deep on Orion and the positive reception it’s received since Mark Zuckerberg announced it at Connect. Just as Steve Jobs recognized the Alto as a turning point in computing, Bosworth asserted that, while we may disagree about the details, it’s hard to argue against this as the future. Himel and Bosworth go on to talk about the tremendous value of prototyping and building, saying how much more they’ve learned about Orion and its input paradigms in the three weeks of using it compared to the years spent building it.

Rozmawiali również o kluczowej roli sztucznej inteligencji w urządzeniach do noszenia i o tym, jak staje się ona coraz bardziej przydatna w życiu codziennym - zwłaszcza teraz, gdy możesz zapytać Meta AI o rzeczy, które widzisz i użyć jej do ustawienia wizualnych przypomnień.

Himel opowiada również o swoim głębokim doświadczeniu w innym rodzaju stosu: kanapkach. Mając za sobą siedem lat pracy w słynnym Lange's Little Store w Chappaqua w stanie Nowy Jork, gdzie dorastał, Himel i Bosworth zastanawiają się, co sprawia, że kanapka jest świetna, gdzie naprawdę trafiają pomidory i który chleb jest lepszy.

Możesz dostroić się do Boz to the Future on Apple Podcasts, Spotify, and wherever you listen to podcasts.

You can follow Himel on Threads. You can follow Bosworth on Instagram, Twitter/X, and Threads @boztank.

Back in 2019, the Orion team prepared an important demo for Meta Founder & CEO Mark Zuckerberg, showcasing potential waveguides for augmented reality glasses—a pivotal moment when theoretical calculations on paper were brought to life. And it was a demo that changed everything.

“Wearing the glasses with glass-based waveguides and multiple plates, it felt like you were in a disco,” recalls Optical Scientist Pasqual Rivera. “There were rainbows everywhere, and it was so distracting—you weren’t even looking at the AR content. Then, you put on the glasses with silicon carbide waveguides, and it was like you were at the symphony listening to a quiet, classical piece. You could actually pay attention to the full experience of what we were building. It was a total game changer.”

Yet as clear (pun intended) as the choice of silicon carbide as a substrate seems today, when we first started down the road to AR glasses a decade ago, it was anything but.

"Węglik krzemu jest zwykle silnie domieszkowany azotem" - mówi Rivera. "Jest zielony, a jeśli zrobi się wystarczająco gruby, wygląda na czarny. Nie ma możliwości, by zrobić z niego soczewkę optyczną. To materiał elektroniczny. Jest powód, dla którego ma taki kolor, a są nim właściwości elektroniczne".

"Węglik krzemu jest materiałem stosowanym już od dłuższego czasu" - zgadza się Giuseppe Calafiore, Tech Lead AR Waveguides. "Jego głównym zastosowaniem jest elektronika dużej mocy. Weźmy na przykład pojazdy elektryczne: Wszystkie pojazdy elektryczne wymagają chipa - ale ten chip musi być również zdolny do bardzo dużej mocy, poruszania kołami i napędzania tego czegoś. Okazuje się, że nie można tego zrobić za pomocą zwykłego podłoża krzemowego, z którego wykonane są chipy używane w naszych komputerach i elektronice. Potrzebna jest platforma, która pozwala na przesyłanie dużych prądów i dużej mocy, a tym materiałem jest węglik krzemu".

Dopóki całkiem niedawno nie rozgorzały dyskusje na temat odnawialnych źródeł energii, rynek układów scalonych o dużej mocy nie był nawet zbliżony do wielkości rynku układów dla elektroniki użytkowej. Węglik krzemu zawsze był drogi i nie było dużej motywacji do obniżania kosztów, ponieważ w przypadku chipów wielkości samochodu cena podłoża była akceptowalna.

"Okazuje się jednak, że węglik krzemu ma również pewne właściwości, których potrzebujemy w falowodach i optyce" - mówi Calafiore. "Kluczową właściwością, na której nam zależy, jest współczynnik załamania światła. A węglik krzemu ma wysoki współczynnik załamania światła, co oznacza, że jest w stanie kierować i wysyłać dużą ilość danych optycznych. Można o tym myśleć jako o przepustowości optycznej - podobnie jak w przypadku przepustowości Internetu, która powinna być wystarczająco duża, aby można było przesyłać przez nią ogromne ilości danych. To samo dotyczy urządzeń optycznych".

The higher a material’s refractive index, the higher its étendue, so you can send more optical data through that channel.

"Kanałem w naszym przypadku jest falowód, a większy étendue przekłada się na większe pole widzenia" - wyjaśnia Calafiore. "Im większy współczynnik załamania światła materiału, tym większe pole widzenia wyświetlacza".

Droga do właściwego współczynnika załamania światła

Kiedy Calafiore po raz pierwszy dołączył do ówczesnego Oculus Research w 2016 roku, najwyższy współczynnik załamania światła, jakim dysponował zespół, wynosił 1,8 - co wymagało układania wielu płytek w celu uzyskania pożądanego pola widzenia. Pomijając niepożądane artefakty optyczne, linia montażowa stawała się coraz bardziej skomplikowana, ponieważ pierwsze dwa falowody musiały być idealnie wyrównane, a następnie ten stos musiał być idealnie wyrównany z trzecim falowodem.

"Nie tylko było to drogie, ale od razu stało się oczywiste, że nie można mieć trzech kawałków szkła na soczewkę w parze okularów" - wspomina Calafiore. "Były zbyt ciężkie, a ich grubość była zbyt duża i brzydka - nikt by tego nie kupił. Wróciliśmy więc do punktu wyjścia: próbując zwiększyć współczynnik załamania światła podłoża, aby zmniejszyć liczbę potrzebnych płytek".

The first material the team looked into was lithium niobate, which has a refractive index of roughly 2.3—quite a bit higher than the glass at 1.8.

"Zdaliśmy sobie sprawę, że musimy ułożyć tylko dwie płytki, a może nawet poradzić sobie z jedną płytką, aby nadal pokryć pole widzenia" - mówi Calafiore. "Niemal równolegle zaczęliśmy przyglądać się innym materiałom - w ten sposób wraz z naszymi dostawcami w 2019 roku odkryliśmy, że węglik krzemu w swojej najczystszej postaci jest w rzeczywistości bardzo przezroczysty. Ma również najwyższy współczynnik załamania światła znany dla zastosowań optycznych, który wynosi 2,7".

Oznacza to wzrost o 17,4% w porównaniu do niobianu litu i 50% w porównaniu do szkła, dla tych, którzy liczą punkty w domu.

"Dzięki kilku modyfikacjom tego samego sprzętu, który był już używany w branży, możliwe było uzyskanie przezroczystego węglika krzemu" - mówi Calafiore. "Można było po prostu zmienić proces, być o wiele bardziej ostrożnym i zamiast optymalizować go pod kątem właściwości elektronicznych, zoptymalizować go pod kątem właściwości optycznych: przezroczystości, jednorodności współczynnika załamania światła itp.".

Potencjalny koszt kompromisu

W tamtym czasie zespół Reality Labs był pierwszym, który nawet próbował przejść z nieprzezroczystych płytek z węglika krzemu na przezroczyste. A ponieważ węglik krzemu jest jednym z najtwardszych znanych materiałów, do jego cięcia lub polerowania niezbędne są narzędzia diamentowe. W rezultacie jednorazowe koszty inżynieryjne były bardzo wysokie, więc uzyskane podłoże było dość drogie.

Chociaż istnieją bardziej opłacalne alternatywy, jak w przypadku każdej technologii, każda z nich ma swoje wady. A wraz ze wzrostem pola widzenia w kierunku wiodącego w branży pola widzenia Oriona wynoszącego około 70 stopni, pojawiają się nowe problemy, takie jak obrazy duchów i tęcze.

"Znalezienie optymalnego rozwiązania dla wyświetlacza AR o szerokim polu widzenia jest obarczone kompromisami między wydajnością a kosztami" - wyjaśnia dyrektor ds. badań naukowych Barry Silverstein. "Koszty często można obniżyć, ale jeśli wydajność nie jest wystarczająca, koszty nie będą miały znaczenia".

Obrazy-widma są jak wizualne echa głównego obrazu wyświetlanego na ekranie. Tęcze to kolorowe smugi światła, które powstają, gdy światło otoczenia odbija się od falowodu. "Powiedzmy, że jedziesz nocą z poruszającymi się światłami samochodów wokół ciebie" - mówi Silverstein. "Będziesz mieć tęcze, które również się poruszają. Albo jeśli jesteś na plaży i grasz w siatkówkę, a słońce świeci, będziesz mieć tęczową smugę, która porusza się razem z tobą i nie trafisz w piłkę". Jedną z cudownych właściwości węglika krzemu jest to, że pozbywa się tych tęcz".

"Kolejną zaletą węglika krzemu, której nie ma żaden inny materiał, jest przewodność cieplna" - dodaje Calafiore. "Plastik jest fatalnym izolatorem. Szkło, niobian litu, to samo. Węglik krzemu jest przezroczysty, wygląda jak szkło i zgadnij co: przewodzi ciepło".

W lipcu 2020 r. zespół ustalił, że węglik krzemu był optymalnym wyborem z trzech głównych powodów: Doprowadziło to do poprawy współczynnika kształtu, ponieważ wymagało tylko jednej płytki i mniejszych struktur montażowych, miało lepsze właściwości optyczne i było lżejsze niż szkło z dwoma płytkami.

Sekret wytrawiania skośnego

Mając na uwadze materiał, kolejnym orzechem do zgryzienia była produkcja falowodów - a konkretnie niekonwencjonalna technika siatki zwana trawieniem skośnym.

"Siatka jest nanostrukturą, która sprzęga i odsprzęga światło z soczewki", wyjaśnia Calafiore. "Aby węglik krzemu działał, siatka musi być wytrawiona ukośnie. Zamiast być pionowymi, linie siatki muszą być nachylone po przekątnej".

"Byliśmy pierwszymi, którzy wykonali trawienie skośne bezpośrednio na urządzeniach" - mówi kierownik badań Nihar Mohanty. "Cała branża polegała na nanodruku, który nie sprawdza się w przypadku podłoży o tak wysokim współczynniku załamania światła. Dlatego nikt inny na świecie nie pomyślał o zastosowaniu węglika krzemu".

Ponieważ jednak trawienie ukośne jest niedojrzałą technologią, większość dostawców i fabryk chipów półprzewodnikowych nie dysponuje odpowiednimi narzędziami.

"W 2019 roku wraz z moim ówczesnym kierownikiem, Mattem Colburnem, założyliśmy własny zakład, ponieważ na świecie nie było niczego, co mogłoby produkować falowody z wytrawionego węglika krzemu i gdzie moglibyśmy udowodnić, że technologia wykracza poza skalę laboratoryjną" - wyjaśnia Mohanty. "To była ogromna inwestycja i stworzyliśmy tam cały rurociąg. Oprzyrządowanie zostało wykonane na zamówienie przez naszych partnerów, a proces został opracowany we własnym zakresie w Meta, chociaż nasze systemy są klasy badawczej, ponieważ nie było tam systemów klasy produkcyjnej. Współpracowaliśmy z partnerem produkcyjnym, aby opracować narzędzia i procesy wytrawiania skośnego klasy produkcyjnej. A teraz, gdy pokazaliśmy, co jest możliwe w przypadku węglika krzemu, chcemy, aby inni w branży zaczęli tworzyć własne narzędzia".

Im więcej firm zainwestuje w węglik krzemu klasy optycznej i opracuje sprzęt, tym silniejsza stanie się kategoria konsumenckich okularów AR.

Już nie gonię za tęczą

While technological inevitability is a myth, the stars certainly seem to be aligning in silicon carbide’s favor. And although the team continues to investigate alternatives, there’s a strong sense that the right people have come together at the right time under the right market conditions to build AR glasses using this material.

"Orion udowodnił, że węglik krzemu jest realną opcją dla okularów AR", mówi Silverstein, "a teraz widzimy zainteresowanie w całym łańcuchu dostaw na trzech różnych kontynentach, gdzie mocno dążą do tego jako możliwości. Węglik krzemu wyjdzie z tego zwycięsko. Moim zdaniem to tylko kwestia czasu".

W tym czasie wiele może się wydarzyć - podobnie jak od czasu, gdy wyhodowaliśmy pierwsze przezroczyste kryształy węglika krzemu.

"Wszyscy ci producenci węglika krzemu znacznie zwiększyli podaż w odpowiedzi na oczekiwany boom na pojazdy elektryczne" - zauważa Calafiore. "Obecnie mamy do czynienia z nadwyżką mocy produkcyjnych, która nie istniała, gdy budowaliśmy Oriona. Tak więc teraz, ponieważ podaż jest wysoka, a popyt niski, koszt podłoża zaczął spadać".

"Dostawcy są bardzo podekscytowani nową możliwością produkcji węglika krzemu klasy optycznej - w końcu każda soczewka falowodu reprezentuje dużą ilość materiału w stosunku do układu elektronicznego, a wszystkie ich dotychczasowe możliwości mają zastosowanie w tej nowej przestrzeni" - dodaje Silverstein. "Wypełnienie fabryki jest niezbędne, a skalowanie fabryki jest marzeniem. Rozmiar wafla również ma znaczenie: Im większy wafel, tym niższy koszt, ale złożoność procesu również rośnie. To powiedziawszy, widzieliśmy, jak dostawcy przechodzą od czterocalowych do ośmiocalowych wafli, a niektórzy pracują nad prekursorami 12-calowych wafli, które dałyby wykładniczo więcej par okularów AR".

Te postępy powinny pomóc w dalszym obniżaniu kosztów. To wciąż wczesne dni, ale przyszłość staje się coraz bardziej realna.

"Na początku każdej nowej rewolucji technologicznej próbujesz wielu rzeczy" - mówi Calafiore. "Spójrzmy na telewizję: Zaczęliśmy od kineskopów, a następnie przeszliśmy do telewizorów plazmowych LED, a teraz microLED. Przeszliśmy przez kilka różnych technologii i architektur. Podczas poszukiwania ścieżek wiele z nich prowadzi donikąd, ale są też takie, do których wciąż się wraca jako do najbardziej obiecujących. Nie jesteśmy na końcu drogi i nie możemy zrobić tego sami, ale węglik krzemu jest cudownym materiałem, który jest wart inwestycji".

"Świat się obudził", dodaje Silverstein. "Udało nam się wykazać, że węglik krzemu może być elastyczny w elektronice i fotonice. Jest to materiał, który w przyszłości może znaleźć zastosowanie w obliczeniach kwantowych. Widzimy też oznaki, że możliwe jest znaczne obniżenie kosztów. Pozostało jeszcze wiele do zrobienia, ale potencjalne korzyści są ogromne".

TL;DR:

• Today at Connect, Mark Zuckerberg unveiled Orion—our first pair of true AR glasses, previously codenamed Project Nazare.
• With an industry-leading field of view, silicon carbide lenses, intricate waveguides, uLED projectors, and more, Orion is our most advanced and most polished product prototype to date.
• Obecnie kontynuujemy optymalizację produktów i obniżanie kosztów, dążąc do stworzenia skalowalnego urządzenia konsumenckiego, które zrewolucjonizuje sposób interakcji ludzi ze światem.

---

"Budujemy okulary AR".

Five simple words, spoken five years ago. With them, we planted a flag on our vision of a future where we no longer have to make the false choice between a world of information at our fingertips and the physical world all around us.

A teraz, pięć lat później, kolejne pięć słów, które mogą ponownie zmienić grę:

Stworzyliśmy okulary AR.

W Meta nasza misja jest prosta: dać ludziom możliwość budowania społeczności i zbliżania świata do siebie. W Reality Labs tworzymy narzędzia, które pomagają ludziom czuć się połączonymi w dowolnym miejscu i czasie. Dlatego pracujemy nad stworzeniem kolejnej platformy komputerowej, która stawia ludzi w centrum uwagi, aby mogli być bardziej obecni, połączeni i wzmocnieni w świecie.

Okulary Ray-Ban Meta zademonstrowały moc zapewniania ludziom bezdotykowego dostępu do kluczowych części ich cyfrowego życia z ich fizycznego życia. Możemy rozmawiać z inteligentnym asystentem AI, łączyć się ze znajomymi i uwieczniać ważne chwile - a wszystko to bez konieczności wyciągania telefonu. Te stylowe okulary idealnie wpasowują się w nasze codzienne życie, a ludzie absolutnie je uwielbiają.

Jednak podczas gdy Ray-Ban Meta otworzył zupełnie nową kategorię okularów bez wyświetlacza doładowanych sztuczną inteligencją, branża XR od dawna marzyła o prawdziwych okularach AR - produkcie, który łączy zalety dużego wyświetlacza holograficznego i spersonalizowanej pomocy AI w wygodnej, stylowej formie do noszenia przez cały dzień.

And today, we’ve pushed that dream closer to reality with the unveiling of Orion, which we believe is the most advanced pair of AR glasses ever made. In fact, it might be the most challenging consumer electronics device produced since the smartphone. Orion is the result of breakthrough inventions in virtually every field of modern computing—building on the work we’ve been doing at Reality Labs for the last decade. It’s packed with entirely new technologies, including the most advanced AR display ever assembled and custom silicon that enables powerful AR experiences to run on a pair of glasses using a fraction of the power and weight of an MR headset.

Orion’s input system seamlessly combines voice, eye gaze, and hand tracking with an EMG wristband that lets you swipe, click, and scroll while keeping your arm resting comfortably by your side, letting you stay present in the world and with the people around you as you interact with rich digital content.

Począwszy od dziś na Connect i przez cały rok, otwieramy dostęp do prototypu naszego produktu Orion dla pracowników Meta i wybranych odbiorców zewnętrznych, aby nasz zespół programistów mógł uczyć się, iterować i budować w kierunku naszej konsumenckiej linii okularów AR, którą planujemy rozpocząć w najbliższej przyszłości.

Dlaczego okulary AR?

Istnieją trzy główne powody, dla których okulary AR są kluczem do odblokowania kolejnego wielkiego skoku w dziedzinie komputerów zorientowanych na człowieka.

1. Umożliwiają one cyfrowe doświadczenia, które nie są ograniczone limitami ekranu smartfona. Dzięki dużym wyświetlaczom holograficznym możesz wykorzystać świat fizyczny jako płótno, umieszczając treści i doświadczenia 2D i 3D w dowolnym miejscu.
2. Płynnie integrują kontekstową sztuczną inteligencję, która może wyczuwać i rozumieć otaczający Cię świat, aby przewidywać i proaktywnie zaspokajać Twoje potrzeby.
3. Są lekkie i świetnie nadają się zarówno do użytku w pomieszczeniach, jak i na zewnątrz - i pozwalają ludziom zobaczyć swoje prawdziwe twarze, prawdziwe oczy i prawdziwe wyrazy twarzy.

To gwiazda północna, do której dąży nasza branża: produkt łączący wygodę i natychmiastowość urządzeń do noszenia z dużym wyświetlaczem, dużą przepustowością i kontekstową sztuczną inteligencją w formie, którą ludzie czują się komfortowo nosząc w swoim codziennym życiu.

Kompaktowa obudowa, złożone wyzwania

Przez lata staliśmy przed fałszywym wyborem - albo zestawy słuchawkowe do rzeczywistości wirtualnej i mieszanej, które zapewniają głębokie, wciągające wrażenia w nieporęcznej obudowie, albo okulary, które są idealne do całodziennego użytku, ale nie oferują bogatych aplikacji wizualnych i doświadczeń ze względu na brak dużego wyświetlacza i odpowiedniej mocy obliczeniowej.

Ale chcemy tego wszystkiego, bez kompromisów. Przez lata ciężko pracowaliśmy, aby wykorzystać niesamowite wrażenia przestrzenne zapewniane przez zestawy VR i MR oraz zminiaturyzować technologię niezbędną do dostarczenia tych doświadczeń w parze lekkich, stylowych okularów. Dopracowanie formy, dostarczanie holograficznych wyświetlaczy, opracowywanie atrakcyjnych doświadczeń AR i tworzenie nowych paradygmatów interakcji człowiek-komputer (HCI) - i zrobienie tego wszystkiego w jednym spójnym produkcie - jest jednym z najtrudniejszych wyzwań, przed jakimi kiedykolwiek stanęła nasza branża. Było to tak trudne, że myśleliśmy, że mamy mniej niż 10 procent szans na pomyślne wykonanie tego zadania.

Aż do teraz.

Przełomowy wyświetlacz w niezrównanej obudowie

Przy około 70 stopniach, Orion ma największe pole widzenia w najmniejszej jak dotąd obudowie okularów AR. To pole widzenia odblokowuje naprawdę wciągające przypadki użycia Oriona, od wielozadaniowych okien i rozrywki na dużym ekranie po naturalnej wielkości hologramy ludzi - wszystkie treści cyfrowe, które mogą płynnie łączyć się z widokiem świata fizycznego.

Dla Oriona pole widzenia było naszym świętym Graalem. Mierzyliśmy się z prawami fizyki i musieliśmy zginać wiązki światła w sposób, w jaki nie są one naturalnie zginane - i musieliśmy to zrobić w kopercie mocy mierzonej w miliwatach.

Instead of glass, we made the lenses from silicon carbide—a novel application for AR glasses. Silicon carbide is incredibly lightweight, it doesn’t result in optical artifacts or stray light, and it has a high refractive index—all optical properties that are key to a large field of view. The waveguides themselves have really intricate and complex nano-scale 3D structures to diffract or spread light in the ways necessary to achieve this field of view. And the projectors are uLEDs—a new type of display technology that’s super small and extremely power efficient.

Orion to bez wątpienia para okularów, zarówno pod względem wyglądu, jak i dotyku - w komplecie z przezroczystymi soczewkami. W przeciwieństwie do zestawów słuchawkowych MR lub innych dzisiejszych okularów AR, nadal możesz widzieć prawdziwe oczy i mimikę innych osób, dzięki czemu możesz być obecny i dzielić się doświadczeniami z ludźmi wokół ciebie. Dziesiątki innowacji były wymagane, aby projekt przemysłowy został zredukowany do współczesnego kształtu okularów, które można wygodnie nosić na co dzień. Orion to wyczyn miniaturyzacji - komponenty są upakowane do ułamka milimetra. Udało nam się osadzić siedem maleńkich kamer i czujników w obręczach oprawek.

Musieliśmy utrzymać precyzję optyczną na poziomie jednej dziesiątej grubości ludzkiego włosa. System może wykrywać niewielkie ruchy - takie jak rozszerzanie się lub kurczenie ramek w różnych temperaturach pokojowych - a następnie cyfrowo korygować niezbędne wyrównanie optyczne, a wszystko to w ciągu milisekund. Ramy wykonaliśmy z magnezu - tego samego materiału, którego używa się w samochodach wyścigowych F1 i statkach kosmicznych - ponieważ jest lekki, a jednocześnie sztywny, dzięki czemu utrzymuje elementy optyczne w jednej linii i skutecznie odprowadza ciepło.

Ogrzewanie i chłodzenie

Po złamaniu wyświetlacza (bez zamierzonej gry słów) i przezwyciężeniu problemów z fizyką, musieliśmy poradzić sobie z wyzwaniem naprawdę potężnych obliczeń przy naprawdę niskim zużyciu energii i potrzebie rozpraszania ciepła. W przeciwieństwie do dzisiejszych zestawów słuchawkowych MR, nie można umieścić wentylatora w parze okularów. Musieliśmy więc wykazać się kreatywnością. Wiele materiałów użytych do chłodzenia Oriona jest podobnych do tych używanych przez NASA do chłodzenia satelitów w przestrzeni kosmicznej.

We built highly specialized custom silicon that’s extremely power efficient and optimized for our AI, machine perception, and graphics algorithms. We built multiple custom chips and dozens of highly custom silicon IP blocks inside those chips. That lets us take the algorithms necessary for hand and eye tracking as well as simultaneous localization and mapping (SLAM) technology that normally takes hundreds of milliwatts of power—and thus generates a corresponding amount of heat—and shrink it down to just a few dozen milliwatts.

I tak, niestandardowy krzem nadal odgrywa kluczową rolę w rozwoju produktów w Reality Labs, pomimo tego, co można przeczytać gdzie indziej. 😎

EMG bez wysiłku

Every new computing platform brings with it a paradigm shift in the way we interact with our devices. The invention of the mouse helped pave the way for the graphical user interfaces (GUIs) that dominate our world today, and smartphones didn’t start to really gain traction until the advent of the touch screen. And the same rule holds true for wearables.

We’ve spoken about our work with electromyography, or EMG, for years, driven by our belief that input for AR glasses needs to be fast, convenient, reliable, subtle, and socially acceptable. And now, that work is ready for prime time.

System wprowadzania danych i interakcji Orion płynnie łączy głos, spojrzenie i śledzenie dłoni z opaską EMG, która umożliwia łatwe przesuwanie, klikanie i przewijanie.

It works—and feels—like magic. Imagine taking a photo on your morning jog with a simple tap of your fingertips or navigating menus with barely perceptible movements of your hands. Our wristband combines a high-performance textile with embedded EMG sensors to detect the electrical signals generated by even the tiniest muscle movements. An on-device ML processor then interprets those EMG signals to produce input events that are transmitted wirelessly to the glasses. The system adapts to you, so it gets better and more capable at recognizing the most subtle gestures over time. And today, we’re sharing more about our support for external research focused on expanding the equity and accessibility potential of EMG wristbands.

Poznaj bezprzewodowe urządzenie Compute Puck

True AR glasses must be wireless, and they must also be small.So we built a wireless compute puck for Orion. It takes some of the load off of the glasses, enabling longer battery life and a better form factor complete with low latency.

Okulary obsługują wszystkie algorytmy śledzenia dłoni, oczu, SLAM i wyspecjalizowane algorytmy graficzne blokujące świat AR, podczas gdy logika aplikacji działa na krążku, aby okulary były tak lekkie i kompaktowe, jak to tylko możliwe.

Krążek ma dwa procesory, w tym jeden zaprojektowany na zamówienie w Meta, i zapewnia moc obliczeniową niezbędną do renderowania grafiki o niskim opóźnieniu, sztucznej inteligencji i dodatkowej percepcji maszynowej.

A ponieważ jest mały i elegancki, możesz wygodnie wrzucić krążek do torby lub kieszeni i zająć się swoimi sprawami - bez żadnych zobowiązań.

Doświadczenia AR

Oczywiście, jak w przypadku każdego sprzętu, jest on tylko tak dobry, jak to, co można na nim zrobić. robić z nim. I choć to wciąż wczesne dni, doświadczenia oferowane przez Orion są ekscytującym spojrzeniem na to, co nadejdzie.

We’ve got our smart assistant, Meta AI, running on Orion. It understands what you’re looking at in the physical world and can help you with useful visualizations. Orion uses the same Llama model that powers AI experiences running on Ray-Ban Meta smart glasses today, plus custom research models to demonstrate potential use cases for future wearables development.

Możesz prowadzić rozmowy wideo bez użycia rąk, aby spotkać się z przyjaciółmi i rodziną w czasie rzeczywistym, a także pozostać w kontakcie z WhatsApp i Messenger, aby przeglądać i wysyłać wiadomości. Nie musisz wyciągać telefonu, odblokowywać go, szukać odpowiedniej aplikacji i informować znajomego, że spóźnisz się na kolację - wszystko to możesz zrobić przez okulary.

Możesz grać we wspólne gry AR z rodziną po drugiej stronie kraju lub z przyjacielem po drugiej stronie kanapy. A duży wyświetlacz Oriona pozwala na wielozadaniowość z wieloma oknami, aby załatwić sprawy bez konieczności noszenia ze sobą laptopa.

Doświadczenia dostępne dziś na Orion pomogą nakreślić mapę drogową dla naszej konsumenckiej linii okularów AR w przyszłości. Nasze zespoły będą kontynuować iterację i tworzyć nowe wciągające doświadczenia społecznościowe, wraz z naszymi partnerami programistycznymi, i nie możemy się doczekać, aby podzielić się tym, co będzie dalej.

Celowy prototyp produktu

Chociaż Orion nie trafi do rąk konsumentów, nie popełnij błędu: To jest nie prototyp badawczy. Jest to najbardziej dopracowany prototyp produktu, jaki kiedykolwiek opracowaliśmy - i jest naprawdę reprezentatywny dla czegoś, co może wysłać do konsumentów. Zamiast spieszyć się z wprowadzeniem go na półki sklepowe, postanowiliśmy najpierw skupić się na rozwoju wewnętrznym, co oznacza, że możemy szybko budować i nadal przesuwać granice technologii i doświadczeń.

A to oznacza, że szybciej uzyskamy jeszcze lepszy produkt konsumencki.

Co będzie dalej

Dwie główne przeszkody przez długi czas stały na drodze do okularów AR klasy konsumenckiej: przełom technologiczny niezbędny do dostarczenia dużego wyświetlacza w kompaktowej obudowie okularów oraz konieczność użytecznych i atrakcyjnych doświadczeń AR, które można uruchomić na tych okularach. Orion jest ogromnym kamieniem milowym, dostarczając po raz pierwszy prawdziwe doświadczenia AR działające na dość stylowym sprzęcie.

Teraz, gdy udostępniliśmy Oriona światu, skupiamy się na kilku rzeczach:

• Dostrajanie jakości wyświetlania AR w celu uzyskania jeszcze ostrzejszego obrazu
• Optymalizacja wszędzie tam, gdzie to możliwe, aby jeszcze bardziej zmniejszyć obudowę
• Budowanie na dużą skalę, aby uczynić je bardziej przystępnymi cenowo

In the next few years, you can expect to see new devices from us that build on our R&D efforts. And a number of Orion’s innovations have been extended to our current consumer products today as well as our future product roadmap. We’ve optimized some of our spatial perception algorithms, which are running on both Meta Quest 3S and Orion. While the eye gaze and subtle gestural input system was originally designed for Orion, we plan to use it in future products. And we’re exploring the use of EMG wristbands across future consumer products as well.

Orion to nie tylko okno w przyszłość - to spojrzenie na bardzo realne możliwości, które są w zasięgu ręki już dziś. Stworzyliśmy go w pogoni za tym, co robimy najlepiej: pomaganiem ludziom w nawiązywaniu kontaktów. Od okularów Ray-Ban Meta po Orion, widzieliśmy dobro, które może płynąć z umożliwienia ludziom pozostania bardziej obecnym i wzmocnionym w świecie fizycznym, nawet podczas korzystania z całego dodatkowego bogactwa, jakie ma do zaoferowania świat cyfrowy.

Wierzymy, że nie powinieneś musieć wybierać między tymi dwoma rozwiązaniami. A dzięki następnej platformie obliczeniowej nie będziesz musiał.

Last year at Connect, we unveiled Orion—our first true pair of AR glasses. The culmination of our work at Reality Labs over the last decade, Orion combines the benefits of a large holographic display and personalized AI assistance in a comfortable, all-day wearable form factor. It got some attention for its industry-leading field of view, silicon carbide waveguides, uLED projectors, and more. But today, we’re turning our attention to an unsung hero of Orion: the compute puck.

Zaprojektowany tak, aby można go było łatwo wsunąć do kieszeni lub torby, dzięki czemu można go zabrać ze sobą w dowolne miejsce w ciągu dnia, krążek odciąża moc obliczeniową Oriona, aby uruchomić logikę aplikacji i umożliwić bardziej atrakcyjną, mniejszą obudowę okularów. Łączy się bezprzewodowo z okularami i opaską EMG, zapewniając płynne działanie.

Ustaw i zapomnij, prawda?

Ale historia krążka - nawet jako prototyp - jest zaangażowana, z dramatycznym łukiem, którego nigdy nie zgadłbyś po jego wyglądzie.

"Kiedy budujesz coś takiego, zaczynasz przekraczać granice fizyki" - wyjaśnia dyrektor ds. zarządzania produktem, Rahul Prasad. "Przez ostatnie 50 lat prawo Moore'a sprawiło, że wszystko stało się mniejsze, szybsze i mniej energochłonne. Problem polega na tym, że teraz zaczynasz napotykać ograniczenia dotyczące ilości ciepła, które możesz rozproszyć, ilości baterii, którą możesz skompresować i wydajności anteny, którą możesz zmieścić w obiekcie o określonych rozmiarach".

Choć z perspektywy czasu może to być 20/20, potencjał krążka nie był od razu oczywisty. Kiedy budujesz coś jako pierwszy, musisz zbadać wszystkie możliwości - nie pozostawiając kamienia na kamieniu. Jak zbudować coś, co niektórzy mogą uważać za niepożądany dodatek, a nie krytyczną część pakietu?

"Wiedzieliśmy, że krążek jest dodatkowym urządzeniem, o noszenie którego prosimy ludzi" - zauważa Jared Van Cleave, kierownik ds. inżynierii projektowania produktów - "więc zastanawialiśmy się, jak zmienić błąd w funkcję".

Ostatecznie ten etos opłacił się w pełni, ponieważ krążek ściska dużo mocy obliczeniowej (i jeszcze więcej niestandardowego krzemu zaprojektowanego przez Metę dla sztucznej inteligencji i percepcji maszynowej) w niewielkim rozmiarze. Odegrało to kluczową rolę, pomagając Orionowi przejść ze sfery science fiction do rzeczywistości.

"Gdybyś nie miał krążka, nie byłbyś w stanie doświadczyć wrażeń, które oferuje Orion w swojej obudowie - kropka" - mówi Prasad. "Dobre doświadczenie AR wymaga naprawdę wysokiej wydajności: wysokiej liczby klatek na sekundę, ekstremalnie niskich opóźnień, precyzyjnego zarządzania łącznością bezprzewodową i energią itp. Krążek i okulary muszą być zaprojektowane tak, aby ściśle ze sobą współpracowały, nie tylko w warstwie aplikacji, ale także w systemie operacyjnym, oprogramowaniu układowym i warstwie sprzętowej. I nawet jeśli ktoś miałby współprojektować smartfon do pracy z okularami AR, wysokie wymagania dotyczące wydajności wyczerpałyby baterię telefonu i odciągnęłyby moc obliczeniową od przypadków użycia telefonu. Z drugiej strony, krążek ma własną baterię o dużej pojemności, wysokowydajny SoC i niestandardowy koprocesor AI zaprojektowany przez Metę, zoptymalizowany pod kątem Oriona".

Oczywiście krążek nie został zaprojektowany z dnia na dzień. Wymagało to lat iteracyjnej pracy.

"Nie wiedzieliśmy, w jaki sposób ludzie będą chcieli wchodzić w interakcję z Orionem z perspektywy danych wejściowych - nie było nic, co moglibyśmy wykorzystać na rynku" - mówi menedżer produktu Matt Resman. "Jeśli spojrzeć na nasze wczesne prototypy okularów, były to masywne zestawy słuchawkowe, które ważyły trzy lub cztery funty. A kiedy próbujesz zbudować produkt, naprawdę trudno jest zrozumieć wrażenia użytkownika, jeśli nie masz odpowiedniego współczynnika kształtu. W przypadku krążka byliśmy w stanie bardzo szybko wykonać prototyp, aby zacząć rozumieć, jak ludzie będą z niego korzystać".

Krążek o kryptonimie Omega został początkowo pomyślany przez ówczesną firmę Oculus Research jako opaska w kształcie litery Ω, która miałaby być zawieszona na szyi użytkownika i podłączona na stałe do okularów....

... aż do czasu, gdy kilka nowych innowacji wprowadzonych między innymi przez bezprzewodowy zespół Reality Labs pozwoliło im przeciąć przewód. Umożliwiło to bardziej poręczny lub kieszonkowy / w torbie współczynnik kształtu, który otworzył wiele możliwości.

"W tamtym momencie dzwonienie w rzeczywistości rozszerzonej było nadal głównym przypadkiem użycia" - wyjaśnia Van Cleave. "Krążek był miejscem, w którym zakotwiczone były filmy holograficzne. Kładłeś go na stole z ławką czujników skierowaną w Twoją stronę, obrazował Cię, a następnie wyświetlał z powierzchni krążka osobę, z którą rozmawiałeś".

"W Orion chodzi o łączenie ludzi i zbliżanie nas do siebie" - mówi Resman. "Jedną z początkowych koncepcji krążka była pomoc w stworzeniu poczucia obecności z innymi ludźmi i umożliwienie tej bogatszej formy komunikacji".

"To nie jest podobne do niczego, co kiedykolwiek widziałeś - urządzenie ma potencjał do tworzenia naprawdę zabawnych i unikalnych interakcji" - dodaje projektant przemysłowy Emron Henry. "Doświadczenie użytkownika jest trochę jak uwolnienie dżina z butelki, w której hologramy płynnie wyłaniają się i rozpuszczają z powrotem w urządzeniu".

Jak już pewnie wiesz, wewnątrz krążka kryje się większy potencjał niż to, co ostatecznie zostało włączone jako funkcja. Oprócz czujników i kamer, które byłyby używane do wywoływania AR, krążek ma haptykę i czujniki 6DOF, które mogłyby umożliwić wykorzystanie go jako śledzonego kontrolera do wybierania i manipulowania wirtualnymi obiektami oraz grania w gry AR. Zespół zbadał również pojemnościowe i siłowe wejście dotykowe, aby krążek mógł służyć jako gamepad, gdy jest trzymany zarówno w trybie pionowym, jak i poziomym.

"Rozmawialiśmy o potrzebie noszenia tej dodatkowej rzeczy" - mówi Van Cleave. "Jak uczynić ją bardziej użyteczną? Wokół tego był cały nurt prac. W pewnym momencie postawiono hipotezę, że gry AR będą tym zabójczym przypadkiem użycia".

Na początku wiedzieliśmy, że musimy zbadać możliwości krążka, który może robić rzeczy, których telefony nie mogą. Ostatecznie zdecydowaliśmy się na wykorzystanie wzroku, EMG i śledzenia dłoni w grach AR, takich jak Stargazer i Pong, ale we wczesnych dniach Oriona prototypowaliśmy różne wersje demonstracyjne i gry, które wykorzystywały krążek jako kontroler.

Renderowane eksploracje krążka jako kontrolera 6DOF dla gier AR, takich jak Pong.

"Ponieważ nie jest to telefon, dało nam to dużą swobodę projektowania", dodaje Prasad. "Może być grubszy, może być bardziej zaokrąglony, dzięki czemu wygodnie leży w dłoni jako kontroler. To dość niesamowite, że krążek jest w rzeczywistości mniejszy niż przeciętny telefon, ale jest potężniejszy niż telefon, ponieważ ma zaprojektowany przez Metę koprocesor do sztucznej inteligencji i percepcji maszynowej".

Zespół zbadał, w jaki sposób wysokiej jakości gra AR może różnić się od gry MR lub konsolowej. Oznaczało to zbadanie różnych możliwości kontrolera gier AR, w tym joysticków, fizycznych układów przycisków, przycisków spustowych i innych.

"Ostatecznie nie zbudowaliśmy żadnej z tych rzeczy" - zauważa Van Cleave. "Stworzyliśmy prototyp, ale nigdy nie zdecydowaliśmy się na pełną kompilację. Chcieliśmy zachować prostotę. Chcieliśmy stworzyć te miękkie interfejsy, ale nie fizyczne, mechaniczne przyciski".

I chociaż czujniki i haptyka nie zostały włączone w gotowym prototypie produktu, pełniły one integralną funkcję podczas opracowywania, umożliwiając zespołom zgłaszanie błędów poprzez kilkukrotne dotknięcie górnej części urządzenia w celu uruchomienia raportu o błędzie.

Gdy sztuczna inteligencja zaczęła zajmować centralne miejsce jako kluczowy przypadek użycia, obliczenia stawały się coraz bardziej wyraziste. W końcu krążek jest domem dla bezprzewodowej łączności Oriona, mocy obliczeniowej i pojemności baterii - co samo w sobie jest ogromnym osiągnięciem technicznym - a wszystko to pomaga zmniejszyć wagę i kształt okularów, jednocześnie rozpraszając znacznie więcej ciepła dzięki swojej powierzchni.

Podczas całej ewolucji jedna rzecz pozostała niezmienna: krążek kryje w sobie coś więcej, niż mogłoby się wydawać niewprawnemu oku. Przyjęcie niekonwencjonalnych pomysłów pozwoliło naszym zespołom odkrywać, przekraczać granice i budować przyszłość.

"Definiujemy kategorię, która jeszcze nie istnieje" - zauważa Henry. "Jak można się spodziewać w przypadku badań i rozwoju, po drodze były początki i przystanki. Jak użytkownicy będą oczekiwać interakcji z hologramami? Czy woleliby używać pilota AR, czy też śledzenie dłoni, wzrok i EMG są wystarczające do wprowadzania danych? Co wydaje się intuicyjne, o niskim współczynniku tarcia, znajome i użyteczne?"

"Zamiast postrzegać krążek jako zwykły kamień, zadaliśmy sobie pytanie, co jeszcze możemy zapewnić, aby jeszcze bardziej odróżnić go od telefonów i uzasadnić, dlaczego chcesz go nosić" - przyznaje Resman. "Czy jego surowa moc obliczeniowa i praktyczny design - który pomógł odblokować formę okularów, które można realistycznie nosić przez cały dzień - ostatecznie oferują wystarczającą wartość? Naszym zadaniem jest pomóc odpowiedzieć na te pytania".

"Na początku skupiliśmy się na tym, co możemy zrobić, a czego nie może zrobić telefon" - dodaje Van Cleave. "Telefony muszą mieć ekran, muszą mieć określony fizyczny układ przycisków, którego oczekują użytkownicy. My nie mamy tych ograniczeń. Nasz krążek obliczeniowy może być tym, czym chcemy".