W 2017 r. główny naukowiec Reality Labs Michael Abrashwspierany przez założyciela i dyrektora generalnego firmy Meta, Marka Zuckerberga, utworzył nowy, tajny zespół w ramach ówczesnego Oculus Research, aby zbudować podstawy następnej platformy komputerowej. Ich herkulesowe zadanie: Stworzyć niestandardowe rozwiązanie krzemowe, które będzie w stanie sprostać wyjątkowym wymaganiom przyszłej platformy komputerowej. okulary rzeczywistości rozszerzonej-wyczyn techniczny, który wymagał przeprojektowania każdego komponentu na potrzeby urządzenia do noszenia przez cały dzień Okulary AR który po prostu jeszcze nie istniał.

Kąt przedni prototypu okularów Orion AR.

Kompaktowa obudowa, dużo miejsca na problemy

Rozwijając się od zaledwie kilku badaczy do setek osób po stronie produktu, zespół zajmujący się niestandardowym krzemem został zbudowany w oparciu o założenie, że okulary AR nie mogą polegać na krzemie dostępnym w dzisiejszych smartfonach. I jest to założenie potwierdzone przez kilka niestandardowych chipów wewnątrz Orionnasz pierwszy prototyp okularów AR.

"Budowanie statku, gdy wypływa z portu - to było dokładnie to, co robiliśmy" - mówi dyrektor ds. strategii zaawansowanych technologii Jeremy Snodgrass. "Musieliśmy powiększyć skromny zespół, jednocześnie budując te chipy. Fascynujące było obserwowanie, jak kierownictwo wprowadza nowych pracowników na pokład, jednocześnie rozwijając kulturę, która ceni zwinność. Nic nie było problemem kogoś innego. Podnosiłeś wiosło i zaczynałeś wiosłować, nawet jeśli nie było to dokładnie to, do czego zostałeś zatrudniony. To był bardzo, bardzo ekscytujący czas".

"Prawie wszystko w Orionie było nowe dla świata na wiele sposobów" - zgadza się dyrektor techniczny Display Architecture Mike Yee. "Niektóre pomysły już istniały, ale nikt nie podjął się projektu badawczego, aby faktycznie zbudować parę okularów AR do noszenia przez cały dzień".

Zespół musiał zapewnić atrakcyjne wrażenia AR przy jak najmniejszym zużyciu energii. Obudowa okularów może odprowadzać tylko tyle ciepła i może pomieścić tylko tyle baterii. W rezultacie wrażenia, które można zapewnić na okularach, są całkowicie zależne od krzemu. Innymi słowy, jeśli utrzymasz stałą pojemność cieplną i bateryjną, jedynym sposobem na zapewnienie danego doświadczenia jest optymalizacja krzemu.

"Zaprojektowanie nowej architektury dla Oriona wymagało od zespołu nie tylko agresywnego wykorzystania istniejących technologii, takich jak łączność bezprzewodowa i wyświetlacze, ale także podjęcia ryzyka związanego z nowymi technologiami" - mówi dyrektor ds. zarządzania produktem Neeraj Choubey. "Na przykład zespół opracował akcelerator uczenia maszynowego (ML) bez wyraźnego przypadku użycia w tamtym czasie, kierując się silnym przekonaniem, że ML będzie coraz ważniejszy w produktach Meta. W Orionie każdy akcelerator ML jest wykorzystywany, a w niektórych przypadkach są one nadsubskrybowane, obsługując funkcje takie jak śledzenie wzroku i śledzenie dłoni. Podobnie, zespół opracował niestandardowe protokoły kompresji, aby zmniejszyć przepustowość i zużycie energii, gdy dane są przenoszone z akceleratora ML do akceleratora ML. oblicz krążek do wyświetlacza. Opracowanie niestandardowego krzemu, aby osiągnąć cele Oriona w zakresie współczynnika kształtu, wymagało zarówno tolerancji na dużą niejednoznaczność, jak i skrupulatnej dbałości o szczegóły, aby dostarczyć niezwykle złożoną architekturę systemu ".

"Największym wyzwaniem było dostarczenie renderowanej grafiki 3D z blokadą świata, wraz z przestrzennym dźwiękiem, który jest renderowany tak, że wydaje się emanować z wirtualnego obiektu" - zauważa Snodgrass. "Musieliśmy dopasować całą tę elektronikę do pojemności cieplnej i przestrzeni fizycznej, a następnie uruchomić ją na baterii, aby nie nagrzewała się zbytnio. I musieliśmy to wszystko zrobić w rzeczywistej obudowie okularów - a nie w dużym wizjerze, jaki zwykle widuje się w tej kategorii".

"Wiedzieliśmy, jak zapewnić niezbędną moc obliczeniową, aby urzeczywistnić naszą wizję Oriona, ale stanęliśmy przed trudnym zadaniem: 100-krotnym zmniejszeniem zużycia energii" - mówi Robert Shearer, dyrektor ds. rozwiązań SoC. "Wymagało to od nas przesunięcia granic projektowania krzemu, przyjęcia metodologii z różnych zakątków branży - od IoT po wysokowydajne obliczenia - i wymyślenia nowych podejść w celu wypełnienia luk. Nasi partnerzy z branży uważali nas za szaleńców i być może nie do końca się mylili. Ale właśnie tego potrzebowaliśmy: chęci zakwestionowania konwencjonalnej mądrości i przemyślenia wszystkiego na nowo. Zbudowanie komputera, który płynnie łączy świat wirtualny i fizyczny, wymaga głębokiego zrozumienia kontekstu, znacznie wykraczającego poza to, co mogą zaoferować istniejące platformy obliczeniowe. Zasadniczo odkryliśmy na nowo sposób, w jaki komputery wchodzą w interakcję z ludźmi, co oznaczało ponowne wyobrażenie sobie, jak budujemy krzem od podstaw".

Elementy zewnętrzne Orion.

Magia diod MicroLED

Zdarzały się momenty, w których sprawy opóźniały się lub pojawiały się pozornie niemożliwe do pokonania wyzwania techniczne, kiedy trudno było utrzymać tempo i morale. Ale zespół był odporny, znajdując ścieżki omijające przeszkody - lub po prostu je pokonując.

Weźmy na przykład wyświetlacz Oriona. Zespół ds. krzemu był odpowiedzialny za krzem w projektorze wyświetlacza, który znajduje się w rogach okularów.

"W przypadku tych projektorów istniało otwarte pytanie, czy uda nam się uzyskać matrycę microLED o wystarczająco wysokiej wydajności i jasności, aby wdrożyć wyświetlacz o szerokim polu widzenia" - mówi Snodgrass. "Istniały ogromne wątpliwości, czy możemy - czy jest to możliwe w rozważanych przez nas ramach czasowych - ponieważ była to bardzo rodząca się technologia".

"Bardzo wcześnie zdaliśmy sobie sprawę, że musimy przemyśleć wiele paradygmatów rozwoju produktu" - dodaje Yee. "Ilość światła potrzebna do stworzenia użytecznego wyświetlacza jest znacznie jaśniejsza w przypadku okularów AR, ponieważ jako wyświetlacz do noszenia konkurujesz ze słońcem. Potrzebujemy więc poziomów energii, które z nim rywalizują - a przynajmniej taki jest cel. Jeszcze go nie osiągnęliśmy, ale to ważny element. A to oznacza, że potrzebne są źródła światła dla wyświetlacza, które są do tego zdolne i potrzebne są obwody, które mogą to kontrolować. A jednocześnie trzeba sprawić, by był mały".

Niestandardowy krzem napędzający diody µLED firmy Orion.

Podczas gdy diody microLED wydawały się najbardziej odpowiednim źródłem światła dla projektorów, krzem pomógł uwolnić ich potencjał.

"W przypadku wyświetlaczy mówimy o odstępach między pikselami, które są odległościami między punktami środkowymi sąsiednich pikseli" - wyjaśnia Yee. "W przypadku telewizorów odległości te wynoszą setki mikronów. W telefonie są to dziesiątki mikronów. Musieliśmy zmniejszyć te odległości do pojedynczych cyfr. Jedynym znanym półprzewodnikiem, który mógł to osiągnąć, był krzem".

Pracę komplikował fakt, że tylna powierzchnia wyświetlacza musiała być kawałkiem krzemu, a nikt na świecie nie projektował krzemu dla microLED.

"W tamtym czasie wszystkie zespoły badawcze, które tam były, zmieniły ciekłe kryształy na wyświetlaczach krzemowych, aby umieścić na nich mikroLED" - mówi Yee. "Nikt wcześniej nie zaprojektował backplane'u dla microLED. Stanęliśmy przed dość wyjątkowym wyzwaniem, ponieważ jest to element optyczny. Musi być płaski. Nie można go zarysować. Musi mieć wszystkie te cechy, ponieważ kiedy patrzysz przez falowody, przez projektory, dosłownie patrzysz na górną powierzchnię kawałka krzemu".

Zespół ds. krzemu opracował złożoną serię platform testowych dla tych wyświetlaczy microLED, które wymagały ścisłej koordynacji z naszymi globalnymi dostawcami. Wyświetlacze microLED mają globalny zasięg, pochodzą z jednego miejsca, a następnie są przenoszone do innego, gdzie są umieszczane na waflach. Wafle były następnie wysyłane w celu przycięcia do określonego kształtu, po czym następowała podróż do USA w celu połączenia z innym waflem, a następnie wysyłane z powrotem na cały świat w celu zbudowania i przetestowania rzeczywistego modułu. Był to niezwykle skomplikowany proces, a zespół krzemowy opracował pojazdy testowe, aby sprawdzić każdy etap.

Zespół musiał również znaleźć sposób na dostarczenie zasilania do wyświetlaczy microLED w niewielkiej objętości narożników okularów. Nasz zespół analogowy opracował niestandardowy układ zarządzania energią, który zmieścił się w tej objętości.

"Dostarczanie energii ma kluczowe znaczenie dla tak małych urządzeń do noszenia, gdzie rozmiar baterii jest ograniczony, a przestrzeń jest na wagę złota" - zauważa dyrektor ds. systemów analogowych i mieszanych Jihong Ren. "Nasze niestandardowe rozwiązanie Power Management IC wykorzystuje najnowocześniejsze technologie, aby zoptymalizować wydajność energetyczną dla naszego konkretnego obciążenia na poziomie systemu, a wszystko to przy jednoczesnym dopasowaniu do dostępnych ograniczeń przestrzennych. Osiągnięcie tego optymalnego rozwiązania wymagało ścisłej interdyscyplinarnej współpracy z naszymi zespołami mechanicznymi, elektrycznymi, SoC, μLED i termicznymi, zapewniając płynną integrację wszystkich komponentów i maksymalizując ogólną wydajność".

"To był niesamowity wyczyn nie tylko inżynieryjny, ale także organizacyjny: zebranie zespołu, praca w różnych strefach czasowych i z różnymi dostawcami" - dodaje Snodgrass. "Pod pewnymi względami zarządzanie tym wszystkim organizacyjnie było równie dużym wyzwaniem, jak spełnienie specyfikacji technicznych".

"Nie tylko projekt jest niestandardowy, ale cały proces produkcji jest niestandardowy" - dodaje Yee. "Mamy szczęście, że mamy wspaniałych partnerów w branży, którzy pomogli nam to osiągnąć. Widzą oni długoterminowy potencjał w wyświetlaczach AR jako całości i z pewnością wizję firmy Meta. Byli więc gotowi współpracować z nami, aby dokonać tych dostosowań i optymalizacji, aby umożliwić wyświetlanie".

Okulary AR firmy Orion.

Iteracja spotyka się z przyspieszeniem

Istniała ścisła pętla sprzężenia zwrotnego między zespołem krzemowym a genialnymi umysłami w Reality Labs Research i XR Tech opracowującymi algorytmy. Te drugie zespoły dostarczały te algorytmy, które te pierwsze przekładały na sprzęt, usuwając narzut oprogramowania ogólnego przeznaczenia uruchamianego na procesorze. Oznaczało to, że algorytmy działałyby przy niższym poborze mocy, ale oznaczało to również, że zespół krzemowy był zablokowany. Po wzmocnieniu algorytmów nie mogli już wprowadzać zmian.

"Powiedzmy, że XR Tech rozwija algorytmicznie pewną dyscyplinę" - wyjaśnia dyrektor ds. architektury i algorytmów w Silicon Accelerators, Ohad Meitav. "Są oni właścicielami stosu algorytmicznego i jego wydajności. Mój zespół, we współpracy z nimi, zdecydowałby następnie, jak przyspieszyć algorytm, jak wzmocnić części algorytmu i jak faktycznie umieścić go w sprzęcie w sposób, który działa super wydajnie. Następnie XR Tech dostosowuje swój stos oprogramowania do sprzętu. To bardzo iteracyjny proces".

Kolejnym sukcesem jest współpraca zespołu Silicon z Reality Labs Research w celu opracowania nowego algorytmu reprojekcji.

"Potrzebowaliśmy algorytmu reprojekcji do obsługi wielu różnych zniekształceń i poprawek" - zauważa Steve Clohset, Silicon Architect. "Algorytm opracowany przez RL-R, którego ostatecznie użyliśmy, nie jest używany w ogólnych obliczeniach. A do dziś okazuje się być całkiem potężnym narzędziem".

Gdy algorytmy zostały wzmocnione, a sprzęt zoptymalizowany, zespół zajmujący się wprowadzaniem krzemu przetestował niestandardowe chipy.

"Niestandardowy chipset krzemowy Orion jest bardzo złożony" - mówi Liping Guo, starszy dyrektor ds. kompleksowych systemów i infrastruktury. "Wprowadzenie i walidacja samodzielnych chipów i ich interoperacyjności w krótkim czasie jest niezwykle trudna. Na szczęście działamy w pionowo zintegrowanym środowisku, w którym Reality Labs jest właścicielem całego stosu - od krzemu i niskopoziomowego oprogramowania układowego po system operacyjny, oprogramowanie i doświadczenia wyższej warstwy. W pełni to wykorzystaliśmy, ściśle współpracując z naszymi wielofunkcyjnymi partnerami i pozostawiając integrację cross-stack na etapie walidacji krzemu. Orion był naszym pilotażowym uruchomieniem dla tej metodologii - zbudowaliśmy nasze mięśnie shift-left i stworzyliśmy solidne podstawy dla Reality Labs, aby w przyszłości czerpać pełne korzyści z niestandardowego krzemu".

Po uruchomieniu przyszedł czas na optymalizację pod kątem oprogramowania.

"Istnieje iteracyjny proces, w którym zaczynasz od całkowicie niezoptymalizowanego stosu oprogramowania, aby wszystko się uruchomiło" - mówi Snodgrass. "A następnie, jeden po drugim, przechodzisz przez podsystemy i zaczynasz optymalizować oprogramowanie pod kątem konkretnego sprzętu - w tym zmniejszając ilość pamięci używanej przez oprogramowanie. Sprzęt może być pięknie zaprojektowany, ale nie osiągniesz teoretycznej wydajności energetycznej, jeśli nie zainwestujesz tyle samo lub więcej czasu w oprogramowanie, aby w pełni wykorzystać możliwości sprzętu. Oto historia Oriona: sprzęt i oprogramowanie zoptymalizowane do granic możliwości. Nie zostawiamy za sobą ani jednego pikodżula czy miliwata".

I choć Orion może być prototypem, praca włożona w jego stworzenie może mieć znaczący wpływ na mapę drogową Mety.

"Patrzymy na krzemowe IP, które budujemy jako platformy w tym sensie, że są to cenione IP, które będziemy ulepszać z jednej generacji lub jednego produktu na drugi" - dodaje Meitav. "Wszystkie algorytmy wizji komputerowej i grafiki są tworzone nie tylko dla Oriona. Będą one wykorzystywane w przyszłych produktach".

Nasza praca nad krzemem obejmuje tworzenie nowatorskich rozwiązań przy jednoczesnej ścisłej współpracy z partnerami. W rzeczywistości wpływ zespołu krzemowego wykracza poza Orion i obejmuje zarówno Okulary Ray-Ban Meta oraz Zestawy słuchawkowe Meta Quest mimo że oba korzystają z chipów innych firm. Zespół ds. krzemu regularnie dzieli się swoją pracą z zespołem ds. rzeczywistości mieszanej, pokazując, co jest możliwe pod względem wydajności energetycznej. Zespół MR następnie dzieli się tymi odkryciami z partnerami, takimi jak Qualcomm aby pomóc w opracowywaniu przyszłych projektów chipów. A ponieważ zespół krzemowy korzysta z tych samych gotowych cyfrowych procesorów sygnałowych (DSP), co okulary Ray-Ban Meta, był w stanie podzielić się zdobytymi doświadczeniami i najlepszymi praktykami podczas wdrażania i pisania kodu dla tych DSP, aby pomóc poprawić wrażenia dźwiękowe dostępne w naszych okularach AI.

Dzielenie się wiedzą odbywa się w obie strony: Zespół MR przekazał zespołowi krzemowemu wgląd w takie kwestie, jak Asynchroniczny TimeWarp oraz Aplikacja SpaceWarp w wersji produkcyjnej.

"To, co dana osoba robi w produkcji, jest o wiele bardziej interesujące niż coś, co moglibyśmy zrobić z prototypem" - mówi Clohset. "Staraliśmy się jak najbardziej zintegrować to, co robią z osnowami".

Niejednoznaczność < Ambicja

Ponieważ Orion był naprawdę zero do jednego, zaangażowane zespoły musiały z konieczności radzić sobie z nadmierną ilością niejasności.

"W przypadku Oriona nie mogę przecenić tego, jak skomplikowane były te niejasności" - mówi Clohset. "Kiedy na przykład tworzysz komputer, zazwyczaj masz dobre wyobrażenie o tym, jaki będzie wyświetlacz. Ale nie wiedzieliśmy, czym ostatecznie będzie falowód, więc musieliśmy przetestować różne falowody i opracować mechanizm, który poradziłby sobie z najgorszym scenariuszem, ponieważ nie wiedzieliśmy, gdzie wszystko wyląduje. Jedna optymalizacja wiązała się ze wszystkimi innymi wyborami, co kończyło się macierzą wszystkich tych różnych rzeczy, które trzeba było wspierać i próbować zweryfikować, ponieważ nie było wiadomo, gdzie produkt wyląduje za sześć miesięcy".

Należy zauważyć, że Orion to nie tylko para okularów AR - to trzyczęściowa konstelacja sprzętu. Duża część przetwarzania odbywa się na oblicz krążek, co wymaga silnego połączenia między nim a okularami. Dodaj powierzchniowa opaska EMG do pętli, a architektura systemu staje się jeszcze bardziej skomplikowana.

"To było ogromne wyzwanie dla zespołów, a wszystko po prostu działa" - mówi Snodgrass. "To była niesamowita współpraca między zespołem krzemowym, zespołem bezprzewodowym i zespołami oprogramowania w całej organizacji".

Krążek obliczeniowy Oriona.

"W przypadku Oriona stworzyliśmy cały zespół z szeroką gamą inżynierów, którzy byli w stanie zaprojektować zupełnie nowy potok" - dodaje Clohset. "Jest to potok, który obsługuje ruch obiektów w przestrzeni 3D o sześciu stopniach swobody. Wykorzystuje on własny, niestandardowy sterownik wyświetlacza. Musieliśmy dokonać naprawdę wyjątkowych korekt jakości obrazu. Myślę, że wyzwaniem dla nas było to, że ponieważ był to projekt zero-to-one, nie było istniejącej specyfikacji, którą można by poprawić i ulepszyć. Wszystko tutaj jest zupełnie nowe, więc mieliśmy swobodę działania".

Podobnie jak krążek ma kilka uśpionych funkcji ukrytych pod powierzchnią, niestandardowy krzem również wybija się ponad swoją wagę. Chociaż Orion nie pozwala użytkownikowi na robienie zdjęć za pomocą kamer RGB, krzem jest w stanie je obsługiwać, a także awatary kodeków. I tak jak krążek pomógł odblokować prawdziwą formę okularów poprzez odciążenie dużej części obliczeń, tak niestandardowy krzem Oriona okazał się niezbędnym elementem układanki AR.

"Aby urzeczywistnić doświadczenie zero-to-one, takie jak okulary AR, potrzebujesz niestandardowego krzemu" - wyjaśnia Snodgrass. "Z biegiem czasu, jeśli pojawi się rynek, dostawcy krzemu opracują produkty, które zaspokoją popyt. Ale w przypadku zero-to-one nie można po prostu wziąć z półki czegoś, co jest przeznaczone dla innego produktu i dopasować go do nowej formy. Trzeba zainwestować w coś niestandardowego. Aby urzeczywistnić te zero-jedynkowe doświadczenia, potrzebna jest szeroka współpraca między partnerami w zakresie oprogramowania, projektantami przemysłowymi, inżynierami mechanikami i nie tylko".

"Uwalniając się od tradycyjnych modeli myślowych, stworzyliśmy coś naprawdę niezwykłego" - dodaje Shearer. "Wierzymy, że ta platforma obliczeniowa reprezentuje przyszłość technologii - taką, która zrewolucjonizuje sposób, w jaki żyjemy, pracujemy i wchodzimy ze sobą w interakcje. Cieszymy się, że możemy stać na czele tej innowacji, przesuwając granice tego, co możliwe i pomagając kształtować bieg historii".

Więcej informacji na temat Orion można znaleźć w tych wpisach na blogu:

• Crystal Clear: nasze falowody z węglika krzemu i droga do dużego pola widzenia Oriona
• Orion's Compute Puck: Historia urządzenia, które pomogło nam stworzyć okulary AR

Kiedy po raz pierwszy zaczęliśmy prezentować Orion Na początku tego roku przypomniało mi się zdanie, które często słyszy się w Meta - w rzeczywistości znalazło się ono nawet w naszym pierwszym liście do potencjalnych udziałowców w 2012 roku: Kod wygrywa argumenty. Prawdopodobnie dowiedzieliśmy się tyle samo o tej przestrzeni produktowej z kilku miesięcy rzeczywistych demonstracji, co z lat pracy potrzebnych do ich stworzenia. Nic nie zastąpi faktycznego zbudowania czegoś, oddania tego w ręce ludzi i uczenia się na podstawie tego, jak na to reagują.

Orion nie był jedynym tego przykładem w tym roku. Nasz sprzęt do rzeczywistości mieszanej oraz Okulary AI osiągnęły nowy poziom jakości i dostępności. Stabilność tych platform pozwala naszym programistom działać znacznie szybciej we wszystkim, od systemów operacyjnych po nowe funkcje sztucznej inteligencji. W ten sposób widzę, jak metaverse zaczyna nabierać większego znaczenia i dlaczego jestem przekonany, że nadchodzący rok będzie najważniejszym w historii Reality Labs.

https://youtube.com/watch?v=xwMNZb6UE1o%3F%26controls%3D0%3Fautoplay%3D0%26color%3Dwhite%26cc_lang_pref%3Den%26cc_load_policy%3D0%26enablejsapi%3D1%26frameborder%3D0%26hl%3Den%26rel%3D0%26origin%3Dhttps%253A%252F%252Fwww.meta.com

Rok 2024 był rokiem, w którym okulary AI osiągnęły swój szczyt. Kiedy po raz pierwszy zaczęliśmy tworzyć inteligentne okulary w 2021 roku, pomyśleliśmy, że mogą one być dobrym pierwszym krokiem w kierunku okularów AR, które ostatecznie chcieliśmy zbudować. Podczas gdy zestawy słuchawkowe rzeczywistości mieszanej są na dobrej drodze, aby stać się platformą komputerową ogólnego przeznaczenia, podobnie jak dzisiejsze komputery PC, postrzegaliśmy okulary jako naturalną ewolucję dzisiejszych mobilnych platform komputerowych. Chcieliśmy więc jak najszybciej zacząć uczyć się od prawdziwego świata.

Największą rzeczą, jakiej się nauczyliśmy, jest to, że okulary są zdecydowanie najlepszym współczynnikiem kształtu dla prawdziwie natywnego dla sztucznej inteligencji urządzenia. W rzeczywistości może to być pierwsza kategoria sprzętu, która od samego początku jest całkowicie zdefiniowana przez sztuczną inteligencję. Dla wielu osób okulary są miejscem, w którym asystent AI ma największy sens, zwłaszcza gdy jest to system multimodalny które mogą naprawdę zrozumieć otaczający cię świat.

Jesteśmy na samym początku krzywej S dla całej tej kategorii produktów, a przed nami są nieskończone możliwości. Jedną z rzeczy, które najbardziej mnie ekscytują w 2025 roku, jest ewolucja asystentów AI w narzędzia, które nie tylko reagują na monit, gdy prosisz o pomoc, ale mogą stać się proaktywnym pomocnikiem podczas wykonywania codziennych czynności. Na Connect pokazaliśmy, jak Live AI na okularach może stać się bardziej uczestnikiem w czasie rzeczywistym podczas wykonywania zadań. Ponieważ ta funkcja rozpoczyna się we wczesnym dostępie w tym miesiącu zobaczymy pierwszy krok w kierunku nowego rodzaju spersonalizowanego asystenta AI.

Nie będzie to ostatnia taka sytuacja. Obecnie znajdujemy się w samym środku ogólnobranżowego dążenia do stworzenia sprzętu natywnego dla sztucznej inteligencji. Producenci telefonów i komputerów PC starają się przebudować swoje produkty, aby umieścić asystentów AI w ich rdzeniu. Myślę jednak, że znacznie większą szansą jest tworzenie urządzeń, które są natywne dla sztucznej inteligencji od samego początku i jestem przekonany, że okulary będą pierwszymi, które to osiągną. Główny naukowiec Meta, Michael Abrash, mówił o potencjale spersonalizowanego, kontekstowego asystenta AI w okularach przez wiele lata tworzenie technologii, które to umożliwiają, było głównym celem naszych zespołów badawczych.

Rzeczywistość mieszana to kolejne miejsce, w którym posiadanie odpowiedniego produktu w rękach wielu osób było głównym czynnikiem przyspieszającym postęp. Widzieliśmy Meta Quest 3 stają się lepsze z miesiąca na miesiąc, w miarę jak kontynuujemy iteracje w zakresie podstawowych funkcji systemowych, wielozadaniowości, przestrzennych interfejsów użytkownika i nie tylko. Wszystkie te udoskonalenia objęły Quest 3S w momencie premiery. Oznaczało to, że Quest 3S $299 był pod wieloma względami lepszym zestawem słuchawkowym w dniu 1 niż Quest 3 $499, kiedy został wprowadzony na rynek w 2023 roku. A cała rodzina Quest 3 staje się coraz lepsza dzięki każda aktualizacja.

W 2025 roku zobaczymy kolejną iterację Quest 3S, która po raz pierwszy wprowadzi znacznie więcej osób do rzeczywistości mieszanej. Podczas gdy Quest 3 był hitem wśród ludzi podekscytowanych posiadaniem najlepszego urządzenia na rynku, Quest 3S ma być silnie uzdolniony w 2024 roku. Sprzedaż była wysoka podczas weekendu Black Friday i spodziewamy się wzrostu liczby osób aktywujących nowe zestawy słuchawkowe podczas przerwy świątecznej.

Będzie to kontynuacja trendu, który ukształtował się w ciągu ostatniego roku: wzrost liczby nowych użytkowników, którzy szukają szerszego zakresu rzeczy do zrobienia ze swoimi zestawami słuchawkowymi. Chcemy, aby ci nowi użytkownicy dostrzegli magię MR i pozostali z nami na dłużej, dlatego też finansujemy deweloperów, aby tworzyli nowe rodzaje aplikacji i gier, których szukają.

W szczególności nastąpił znaczny napływ młodszych osób, które skłaniają się ku społecznościowym i konkurencyjnym grom wieloosobowym, a także zawartości freemium. A tytuły takie jak Skydance's BEHEMOTH, Batman: Arkham Shadow (która właśnie zdobyła nagrodę dla najlepszej gry AR/VR na The Game Awards!) oraz Metro Przebudzenie po raz kolejny pokazał, że niektóre z najlepszych nowych gier produkowanych przez naszą branżę są teraz możliwe tylko na dzisiejszych zestawach słuchawkowych.

Wraz ze wzrostem liczby osób korzystających z MR, jakość doświadczeń społecznych, które może zapewnić, rośnie w tym samym czasie. Jest to sedno tego, co Meta stara się osiągnąć dzięki Reality Labs i gdzie zostanie uwolniony największy potencjał metaverse: "Szansa na stworzenie najbardziej społecznościowej platformy w historii" - tak to opisaliśmy, gdy tworzyliśmy Reality Labs. po raz pierwszy zaczął nad nim pracować. W 2024 r. poczyniliśmy dwa kroki naprzód w tym zakresie: po pierwsze, wprowadziliśmy szeroki zestaw ulepszeń w Horizon Worlds, w tym rozszerzenie na urządzenia mobilne, a po drugie, system Meta Avatars nowej generacji, który pozwala ludziom reprezentować siebie w naszych aplikacjach i zestawach słuchawkowych. Wraz z poprawą jakości wizualnej i ogólnego doświadczenia z tymi systemami, coraz więcej osób po raz pierwszy widzi społecznościowe metawerse. Obserwujemy podobne trendy, ponieważ nowi użytkownicy Quest 3S spędzają więcej czasu w Horizon Worlds, dzięki czemu jest to trzecia najbardziej wciągająca aplikacja dla Quest 3S, a ludzie nadal tworzą nowe Meta Awatary na urządzeniach mobilnych i MR.

Wprowadzenie rzeczywistości mieszanej do głównego nurtu pomogło wyjaśnić, co będzie dalej. Jednym z pierwszych trendów, które odkryliśmy po premierze Quest 3 w zeszłym roku, było to, że ludzie używali rzeczywistości mieszanej do oglądania filmów podczas wielozadaniowości w domu - zmywania naczyń lub odkurzania salonu. Był to wczesny sygnał, że ludzie uwielbiają mieć duży wirtualny ekran, który można zabrać w dowolne miejsce i umieścić w fizycznym świecie wokół siebie. Widzieliśmy, jak ten trend się rozwija, a wszelkiego rodzaju doświadczenia rozrywkowe szybko rosną w całej rodzinie Quest 3. Nowe funkcje, takie jak YouTube Co-Watch pokazują, jak duży jest potencjał dla zupełnie nowego rodzaju rozrywki społecznościowej w metaverse.

Właśnie dlatego James Cameron, jeden z najbardziej innowacyjnych technologicznie twórców historii naszego życia, pracuje teraz nad tym, aby pomóc większej liczbie filmowców i twórców. Tworzenie wspaniałej zawartości 3D dla Meta Quest. Chociaż filmy 3D są produkowane od dziesięcioleci, nigdy nie było sposobu na ich oglądanie, który byłby tak dobry jak zestaw słuchawkowy MR, a w przyszłym roku więcej osób będzie posiadało zestaw słuchawkowy niż kiedykolwiek wcześniej. "Jesteśmy w prawdziwym, historycznym punkcie zwrotnym,"powiedział Jim kiedy my uruchomiliśmy nasze nowe partnerstwo w tym miesiącu.

Dzieje się to równolegle z większą zmianą Mark Rabkin udostępnione na Connect w tym roku: Naszą wizją Horizon OS jest zbudowanie nowego rodzaju platformy obliczeniowej ogólnego przeznaczenia, zdolnej do uruchamiania każdego rodzaju oprogramowania, wspierającej każdego rodzaju użytkownika i otwartej na każdego rodzaju twórcę i dewelopera. Nasze ostatnie wersje dla wielozadaniowości 2D/3D, pozycjonowania paneli, lepszego śledzenia dłoni, integracji Windows Remote Desktop i Open Store zaczęły nabierać rozpędu na tej nowej ścieżce. Horizon OS jest na dobrej drodze, aby stać się pierwszą platformą, która obsługuje pełne spektrum doświadczeń, od wciągającej VR po ekrany 2D, aplikacje mobilne i wirtualne pulpity - a społeczność programistów ma kluczowe znaczenie dla tego sukcesu.

Kolejny duży krok w kierunku metawersji będzie łączyć okulary AI z prawdziwym doświadczeniem rzeczywistości rozszerzonej, które ujawniliśmy w tym roku z Orionem. Nieczęsto zdarza się, że można spojrzeć w przyszłość i zobaczyć zupełnie nową technologię, która pokazuje, dokąd zmierzają rzeczy. Ludzie, którzy widzieli Oriona, natychmiast zrozumieli, co to oznacza dla przyszłości, podobnie jak ludzie, którzy widzieli pierwsze komputery osobiste nabierające kształtu w Xerox PARC w latach siedemdziesiątych ("w ciągu dziesięciu minut było dla mnie oczywiste, że wszystkie komputery będą kiedyś działać w ten sposób" - powiedział później Steve Jobs o swojej demonstracji Xerox Alto w 1979 roku).

Możliwość umieszczenia ludzi w wehikule czasu i pokazania im, jak będzie wyglądać następna platforma komputerowa, była punktem kulminacyjnym 2024 roku - i mojej dotychczasowej kariery. Ale prawdziwy wpływ Oriona będzie dotyczył produktów, które dostarczymy w następnej kolejności i sposobów, w jakie pomoże nam lepiej zrozumieć, co ludzie kochają w okularach AR, a co wymaga poprawy. Spędziliśmy lata pracując nad badaniami użytkowników, planowaniem produktów i badaniami eksperymentalnymi, próbując zrozumieć, jak powinny działać okulary AR, a ta praca umożliwiła nam zbudowanie Oriona. Ale tempo postępu będzie znacznie szybsze od teraz, gdy mamy prawdziwy produkt, na którym możemy budować naszą intuicję.

To była lekcja wielokrotnie powtarzana w ciągu ostatniej dekady w Reality Labs. Najważniejszą rzeczą, jaką możesz zrobić, próbując wymyślić przyszłość, jest dostarczanie rzeczy i uczenie się, jak używają ich prawdziwi ludzie. Nie zawsze będą to natychmiastowe hity, ale zawsze czegoś cię nauczą. A kiedy trafisz na rzeczy, które naprawdę trafiają w sedno, takie jak rzeczywistość mieszana w Quest 3 lub sztuczna inteligencja w okularach, wtedy naciskasz nogę na gaz. To właśnie sprawi, że rok 2025 będzie tak wyjątkowy: Z odpowiednimi urządzeniami na rynku, ludźmi doświadczającymi ich po raz pierwszy i deweloperami odkrywającymi wszystkie możliwości, nadszedł czas, aby przyspieszyć.

Witamy ponownie w kolejnym odcinku Boz To The Futurepodcast od Reality Labs. W dzisiejszy odcinekDo naszego gospodarza, CTO Meta i szefa Reality Labs Andrew "Boz" Boswortha, dołączył wiceprezes Meta ds. urządzeń do noszenia Alex Himel.

Zespół Himela pracuje nad najtrudniejszymi problemami technicznymi w branży, a wszystko to w celu stworzenia kolejnej platformy obliczeniowej. Podobnie jak Bosworth, jest on wieloletnim liderem w Meta, pełniąc liczne funkcje kierownicze w całej firmie w ciągu ponad 15 lat pracy w firmie.

Bosworth i Himel omawiają szereg tematów, w tym urządzenia do noszenia, rzeczywistość rozszerzoną oraz sposób, w jaki sztuczna inteligencja przyspiesza i ulepsza rodzaje doświadczeń wbudowanych w urządzenia do noszenia. Okulary Ray-Ban Meta i przyszłych produktów.

Wchodzą głęboko Orion i pozytywny odbiór, z jakim spotkała się od czasu ogłoszenia jej przez Marka Zuckerberga na Połączenie. Podobnie jak Steve Jobs uznał Alto za punkt zwrotny w informatyce, Bosworth zapewnił, że chociaż możemy nie zgadzać się co do szczegółów, trudno jest argumentować przeciwko temu jako przyszłości. Himel i Bosworth mówią dalej o ogromnej wartości prototypowania i budowania, mówiąc, o ile więcej dowiedzieli się o Orionie i jego paradygmatach wprowadzania danych w ciągu trzech tygodni korzystania z niego w porównaniu z latami spędzonymi na jego budowaniu.

Rozmawiali również o kluczowej roli sztucznej inteligencji w urządzeniach do noszenia i o tym, jak staje się ona coraz bardziej przydatna w życiu codziennym - zwłaszcza teraz, gdy możesz zapytać Meta AI o rzeczy, które widzisz i użyć jej do ustawienia wizualnych przypomnień.

Himel opowiada również o swoim głębokim doświadczeniu w innym rodzaju stosu: kanapkach. Mając za sobą siedem lat pracy w słynnym Lange's Little Store w Chappaqua w stanie Nowy Jork, gdzie dorastał, Himel i Bosworth zastanawiają się, co sprawia, że kanapka jest świetna, gdzie naprawdę trafiają pomidory i który chleb jest lepszy.

Możesz dostroić się do Boz to the Future na Podcasty Apple, Spotifyi gdziekolwiek słuchasz podcastów.

Himel można śledzić na Nici. Możesz śledzić Bosworth na Instagram, Twitter/Xoraz Nici @boztank.