W 2017 r. główny naukowiec Reality Labs Michael Abrashwspierany przez założyciela i dyrektora generalnego firmy Meta, Marka Zuckerberga, utworzył nowy, tajny zespół w ramach ówczesnego Oculus Research, aby zbudować podstawy następnej platformy komputerowej. Ich herkulesowe zadanie: Stworzyć niestandardowe rozwiązanie krzemowe, które będzie w stanie sprostać wyjątkowym wymaganiom przyszłej platformy komputerowej. okulary rzeczywistości rozszerzonej-wyczyn techniczny, który wymagał przeprojektowania każdego komponentu na potrzeby urządzenia do noszenia przez cały dzień Okulary AR który po prostu jeszcze nie istniał.

Kąt przedni prototypu okularów Orion AR.

Kompaktowa obudowa, dużo miejsca na problemy

Rozwijając się od zaledwie kilku badaczy do setek osób po stronie produktu, zespół zajmujący się niestandardowym krzemem został zbudowany w oparciu o założenie, że okulary AR nie mogą polegać na krzemie dostępnym w dzisiejszych smartfonach. I jest to założenie potwierdzone przez kilka niestandardowych chipów wewnątrz Orionnasz pierwszy prototyp okularów AR.

"Budowanie statku, gdy wypływa z portu - to było dokładnie to, co robiliśmy" - mówi dyrektor ds. strategii zaawansowanych technologii Jeremy Snodgrass. "Musieliśmy powiększyć skromny zespół, jednocześnie budując te chipy. Fascynujące było obserwowanie, jak kierownictwo wprowadza nowych pracowników na pokład, jednocześnie rozwijając kulturę, która ceni zwinność. Nic nie było problemem kogoś innego. Podnosiłeś wiosło i zaczynałeś wiosłować, nawet jeśli nie było to dokładnie to, do czego zostałeś zatrudniony. To był bardzo, bardzo ekscytujący czas".

"Prawie wszystko w Orionie było nowe dla świata na wiele sposobów" - zgadza się dyrektor techniczny Display Architecture Mike Yee. "Niektóre pomysły już istniały, ale nikt nie podjął się projektu badawczego, aby faktycznie zbudować parę okularów AR do noszenia przez cały dzień".

Zespół musiał zapewnić atrakcyjne wrażenia AR przy jak najmniejszym zużyciu energii. Obudowa okularów może odprowadzać tylko tyle ciepła i może pomieścić tylko tyle baterii. W rezultacie wrażenia, które można zapewnić na okularach, są całkowicie zależne od krzemu. Innymi słowy, jeśli utrzymasz stałą pojemność cieplną i bateryjną, jedynym sposobem na zapewnienie danego doświadczenia jest optymalizacja krzemu.

"Zaprojektowanie nowej architektury dla Oriona wymagało od zespołu nie tylko agresywnego wykorzystania istniejących technologii, takich jak łączność bezprzewodowa i wyświetlacze, ale także podjęcia ryzyka związanego z nowymi technologiami" - mówi dyrektor ds. zarządzania produktem Neeraj Choubey. "Na przykład zespół opracował akcelerator uczenia maszynowego (ML) bez wyraźnego przypadku użycia w tamtym czasie, kierując się silnym przekonaniem, że ML będzie coraz ważniejszy w produktach Meta. W Orionie każdy akcelerator ML jest wykorzystywany, a w niektórych przypadkach są one nadsubskrybowane, obsługując funkcje takie jak śledzenie wzroku i śledzenie dłoni. Podobnie, zespół opracował niestandardowe protokoły kompresji, aby zmniejszyć przepustowość i zużycie energii, gdy dane są przenoszone z akceleratora ML do akceleratora ML. oblicz krążek do wyświetlacza. Opracowanie niestandardowego krzemu, aby osiągnąć cele Oriona w zakresie współczynnika kształtu, wymagało zarówno tolerancji na dużą niejednoznaczność, jak i skrupulatnej dbałości o szczegóły, aby dostarczyć niezwykle złożoną architekturę systemu ".

"Największym wyzwaniem było dostarczenie renderowanej grafiki 3D z blokadą świata, wraz z przestrzennym dźwiękiem, który jest renderowany tak, że wydaje się emanować z wirtualnego obiektu" - zauważa Snodgrass. "Musieliśmy dopasować całą tę elektronikę do pojemności cieplnej i przestrzeni fizycznej, a następnie uruchomić ją na baterii, aby nie nagrzewała się zbytnio. I musieliśmy to wszystko zrobić w rzeczywistej obudowie okularów - a nie w dużym wizjerze, jaki zwykle widuje się w tej kategorii".

"Wiedzieliśmy, jak zapewnić niezbędną moc obliczeniową, aby urzeczywistnić naszą wizję Oriona, ale stanęliśmy przed trudnym zadaniem: 100-krotnym zmniejszeniem zużycia energii" - mówi Robert Shearer, dyrektor ds. rozwiązań SoC. "Wymagało to od nas przesunięcia granic projektowania krzemu, przyjęcia metodologii z różnych zakątków branży - od IoT po wysokowydajne obliczenia - i wymyślenia nowych podejść w celu wypełnienia luk. Nasi partnerzy z branży uważali nas za szaleńców i być może nie do końca się mylili. Ale właśnie tego potrzebowaliśmy: chęci zakwestionowania konwencjonalnej mądrości i przemyślenia wszystkiego na nowo. Zbudowanie komputera, który płynnie łączy świat wirtualny i fizyczny, wymaga głębokiego zrozumienia kontekstu, znacznie wykraczającego poza to, co mogą zaoferować istniejące platformy obliczeniowe. Zasadniczo odkryliśmy na nowo sposób, w jaki komputery wchodzą w interakcję z ludźmi, co oznaczało ponowne wyobrażenie sobie, jak budujemy krzem od podstaw".

Elementy zewnętrzne Orion.

Magia diod MicroLED

Zdarzały się momenty, w których sprawy opóźniały się lub pojawiały się pozornie niemożliwe do pokonania wyzwania techniczne, kiedy trudno było utrzymać tempo i morale. Ale zespół był odporny, znajdując ścieżki omijające przeszkody - lub po prostu je pokonując.

Weźmy na przykład wyświetlacz Oriona. Zespół ds. krzemu był odpowiedzialny za krzem w projektorze wyświetlacza, który znajduje się w rogach okularów.

"W przypadku tych projektorów istniało otwarte pytanie, czy uda nam się uzyskać matrycę microLED o wystarczająco wysokiej wydajności i jasności, aby wdrożyć wyświetlacz o szerokim polu widzenia" - mówi Snodgrass. "Istniały ogromne wątpliwości, czy możemy - czy jest to możliwe w rozważanych przez nas ramach czasowych - ponieważ była to bardzo rodząca się technologia".

"Bardzo wcześnie zdaliśmy sobie sprawę, że musimy przemyśleć wiele paradygmatów rozwoju produktu" - dodaje Yee. "Ilość światła potrzebna do stworzenia użytecznego wyświetlacza jest znacznie jaśniejsza w przypadku okularów AR, ponieważ jako wyświetlacz do noszenia konkurujesz ze słońcem. Potrzebujemy więc poziomów energii, które z nim rywalizują - a przynajmniej taki jest cel. Jeszcze go nie osiągnęliśmy, ale to ważny element. A to oznacza, że potrzebne są źródła światła dla wyświetlacza, które są do tego zdolne i potrzebne są obwody, które mogą to kontrolować. A jednocześnie trzeba sprawić, by był mały".

Niestandardowy krzem napędzający diody µLED firmy Orion.

Podczas gdy diody microLED wydawały się najbardziej odpowiednim źródłem światła dla projektorów, krzem pomógł uwolnić ich potencjał.

"W przypadku wyświetlaczy mówimy o odstępach między pikselami, które są odległościami między punktami środkowymi sąsiednich pikseli" - wyjaśnia Yee. "W przypadku telewizorów odległości te wynoszą setki mikronów. W telefonie są to dziesiątki mikronów. Musieliśmy zmniejszyć te odległości do pojedynczych cyfr. Jedynym znanym półprzewodnikiem, który mógł to osiągnąć, był krzem".

Pracę komplikował fakt, że tylna powierzchnia wyświetlacza musiała być kawałkiem krzemu, a nikt na świecie nie projektował krzemu dla microLED.

"W tamtym czasie wszystkie zespoły badawcze, które tam były, zmieniły ciekłe kryształy na wyświetlaczach krzemowych, aby umieścić na nich mikroLED" - mówi Yee. "Nikt wcześniej nie zaprojektował backplane'u dla microLED. Stanęliśmy przed dość wyjątkowym wyzwaniem, ponieważ jest to element optyczny. Musi być płaski. Nie można go zarysować. Musi mieć wszystkie te cechy, ponieważ kiedy patrzysz przez falowody, przez projektory, dosłownie patrzysz na górną powierzchnię kawałka krzemu".

Zespół ds. krzemu opracował złożoną serię platform testowych dla tych wyświetlaczy microLED, które wymagały ścisłej koordynacji z naszymi globalnymi dostawcami. Wyświetlacze microLED mają globalny zasięg, pochodzą z jednego miejsca, a następnie są przenoszone do innego, gdzie są umieszczane na waflach. Wafle były następnie wysyłane w celu przycięcia do określonego kształtu, po czym następowała podróż do USA w celu połączenia z innym waflem, a następnie wysyłane z powrotem na cały świat w celu zbudowania i przetestowania rzeczywistego modułu. Był to niezwykle skomplikowany proces, a zespół krzemowy opracował pojazdy testowe, aby sprawdzić każdy etap.

Zespół musiał również znaleźć sposób na dostarczenie zasilania do wyświetlaczy microLED w niewielkiej objętości narożników okularów. Nasz zespół analogowy opracował niestandardowy układ zarządzania energią, który zmieścił się w tej objętości.

"Dostarczanie energii ma kluczowe znaczenie dla tak małych urządzeń do noszenia, gdzie rozmiar baterii jest ograniczony, a przestrzeń jest na wagę złota" - zauważa dyrektor ds. systemów analogowych i mieszanych Jihong Ren. "Nasze niestandardowe rozwiązanie Power Management IC wykorzystuje najnowocześniejsze technologie, aby zoptymalizować wydajność energetyczną dla naszego konkretnego obciążenia na poziomie systemu, a wszystko to przy jednoczesnym dopasowaniu do dostępnych ograniczeń przestrzennych. Osiągnięcie tego optymalnego rozwiązania wymagało ścisłej interdyscyplinarnej współpracy z naszymi zespołami mechanicznymi, elektrycznymi, SoC, μLED i termicznymi, zapewniając płynną integrację wszystkich komponentów i maksymalizując ogólną wydajność".

"To był niesamowity wyczyn nie tylko inżynieryjny, ale także organizacyjny: zebranie zespołu, praca w różnych strefach czasowych i z różnymi dostawcami" - dodaje Snodgrass. "Pod pewnymi względami zarządzanie tym wszystkim organizacyjnie było równie dużym wyzwaniem, jak spełnienie specyfikacji technicznych".

"Nie tylko projekt jest niestandardowy, ale cały proces produkcji jest niestandardowy" - dodaje Yee. "Mamy szczęście, że mamy wspaniałych partnerów w branży, którzy pomogli nam to osiągnąć. Widzą oni długoterminowy potencjał w wyświetlaczach AR jako całości i z pewnością wizję firmy Meta. Byli więc gotowi współpracować z nami, aby dokonać tych dostosowań i optymalizacji, aby umożliwić wyświetlanie".

Okulary AR firmy Orion.

Iteracja spotyka się z przyspieszeniem

Istniała ścisła pętla sprzężenia zwrotnego między zespołem krzemowym a genialnymi umysłami w Reality Labs Research i XR Tech opracowującymi algorytmy. Te drugie zespoły dostarczały te algorytmy, które te pierwsze przekładały na sprzęt, usuwając narzut oprogramowania ogólnego przeznaczenia uruchamianego na procesorze. Oznaczało to, że algorytmy działałyby przy niższym poborze mocy, ale oznaczało to również, że zespół krzemowy był zablokowany. Po wzmocnieniu algorytmów nie mogli już wprowadzać zmian.

"Powiedzmy, że XR Tech rozwija algorytmicznie pewną dyscyplinę" - wyjaśnia dyrektor ds. architektury i algorytmów w Silicon Accelerators, Ohad Meitav. "Są oni właścicielami stosu algorytmicznego i jego wydajności. Mój zespół, we współpracy z nimi, zdecydowałby następnie, jak przyspieszyć algorytm, jak wzmocnić części algorytmu i jak faktycznie umieścić go w sprzęcie w sposób, który działa super wydajnie. Następnie XR Tech dostosowuje swój stos oprogramowania do sprzętu. To bardzo iteracyjny proces".

Kolejnym sukcesem jest współpraca zespołu Silicon z Reality Labs Research w celu opracowania nowego algorytmu reprojekcji.

"Potrzebowaliśmy algorytmu reprojekcji do obsługi wielu różnych zniekształceń i poprawek" - zauważa Steve Clohset, Silicon Architect. "Algorytm opracowany przez RL-R, którego ostatecznie użyliśmy, nie jest używany w ogólnych obliczeniach. A do dziś okazuje się być całkiem potężnym narzędziem".

Gdy algorytmy zostały wzmocnione, a sprzęt zoptymalizowany, zespół zajmujący się wprowadzaniem krzemu przetestował niestandardowe chipy.

"Niestandardowy chipset krzemowy Orion jest bardzo złożony" - mówi Liping Guo, starszy dyrektor ds. kompleksowych systemów i infrastruktury. "Wprowadzenie i walidacja samodzielnych chipów i ich interoperacyjności w krótkim czasie jest niezwykle trudna. Na szczęście działamy w pionowo zintegrowanym środowisku, w którym Reality Labs jest właścicielem całego stosu - od krzemu i niskopoziomowego oprogramowania układowego po system operacyjny, oprogramowanie i doświadczenia wyższej warstwy. W pełni to wykorzystaliśmy, ściśle współpracując z naszymi wielofunkcyjnymi partnerami i pozostawiając integrację cross-stack na etapie walidacji krzemu. Orion był naszym pilotażowym uruchomieniem dla tej metodologii - zbudowaliśmy nasze mięśnie shift-left i stworzyliśmy solidne podstawy dla Reality Labs, aby w przyszłości czerpać pełne korzyści z niestandardowego krzemu".

Po uruchomieniu przyszedł czas na optymalizację pod kątem oprogramowania.

"Istnieje iteracyjny proces, w którym zaczynasz od całkowicie niezoptymalizowanego stosu oprogramowania, aby wszystko się uruchomiło" - mówi Snodgrass. "A następnie, jeden po drugim, przechodzisz przez podsystemy i zaczynasz optymalizować oprogramowanie pod kątem konkretnego sprzętu - w tym zmniejszając ilość pamięci używanej przez oprogramowanie. Sprzęt może być pięknie zaprojektowany, ale nie osiągniesz teoretycznej wydajności energetycznej, jeśli nie zainwestujesz tyle samo lub więcej czasu w oprogramowanie, aby w pełni wykorzystać możliwości sprzętu. Oto historia Oriona: sprzęt i oprogramowanie zoptymalizowane do granic możliwości. Nie zostawiamy za sobą ani jednego pikodżula czy miliwata".

I choć Orion może być prototypem, praca włożona w jego stworzenie może mieć znaczący wpływ na mapę drogową Mety.

"Patrzymy na krzemowe IP, które budujemy jako platformy w tym sensie, że są to cenione IP, które będziemy ulepszać z jednej generacji lub jednego produktu na drugi" - dodaje Meitav. "Wszystkie algorytmy wizji komputerowej i grafiki są tworzone nie tylko dla Oriona. Będą one wykorzystywane w przyszłych produktach".

Nasza praca nad krzemem obejmuje tworzenie nowatorskich rozwiązań przy jednoczesnej ścisłej współpracy z partnerami. W rzeczywistości wpływ zespołu krzemowego wykracza poza Orion i obejmuje zarówno Okulary Ray-Ban Meta oraz Zestawy słuchawkowe Meta Quest mimo że oba korzystają z chipów innych firm. Zespół ds. krzemu regularnie dzieli się swoją pracą z zespołem ds. rzeczywistości mieszanej, pokazując, co jest możliwe pod względem wydajności energetycznej. Zespół MR następnie dzieli się tymi odkryciami z partnerami, takimi jak Qualcomm aby pomóc w opracowywaniu przyszłych projektów chipów. A ponieważ zespół krzemowy korzysta z tych samych gotowych cyfrowych procesorów sygnałowych (DSP), co okulary Ray-Ban Meta, był w stanie podzielić się zdobytymi doświadczeniami i najlepszymi praktykami podczas wdrażania i pisania kodu dla tych DSP, aby pomóc poprawić wrażenia dźwiękowe dostępne w naszych okularach AI.

Dzielenie się wiedzą odbywa się w obie strony: Zespół MR przekazał zespołowi krzemowemu wgląd w takie kwestie, jak Asynchroniczny TimeWarp oraz Aplikacja SpaceWarp w wersji produkcyjnej.

"To, co dana osoba robi w produkcji, jest o wiele bardziej interesujące niż coś, co moglibyśmy zrobić z prototypem" - mówi Clohset. "Staraliśmy się jak najbardziej zintegrować to, co robią z osnowami".

Niejednoznaczność < Ambicja

Ponieważ Orion był naprawdę zero do jednego, zaangażowane zespoły musiały z konieczności radzić sobie z nadmierną ilością niejasności.

"W przypadku Oriona nie mogę przecenić tego, jak skomplikowane były te niejasności" - mówi Clohset. "Kiedy na przykład tworzysz komputer, zazwyczaj masz dobre wyobrażenie o tym, jaki będzie wyświetlacz. Ale nie wiedzieliśmy, czym ostatecznie będzie falowód, więc musieliśmy przetestować różne falowody i opracować mechanizm, który poradziłby sobie z najgorszym scenariuszem, ponieważ nie wiedzieliśmy, gdzie wszystko wyląduje. Jedna optymalizacja wiązała się ze wszystkimi innymi wyborami, co kończyło się macierzą wszystkich tych różnych rzeczy, które trzeba było wspierać i próbować zweryfikować, ponieważ nie było wiadomo, gdzie produkt wyląduje za sześć miesięcy".

Należy zauważyć, że Orion to nie tylko para okularów AR - to trzyczęściowa konstelacja sprzętu. Duża część przetwarzania odbywa się na oblicz krążek, co wymaga silnego połączenia między nim a okularami. Dodaj powierzchniowa opaska EMG do pętli, a architektura systemu staje się jeszcze bardziej skomplikowana.

"To było ogromne wyzwanie dla zespołów, a wszystko po prostu działa" - mówi Snodgrass. "To była niesamowita współpraca między zespołem krzemowym, zespołem bezprzewodowym i zespołami oprogramowania w całej organizacji".

Krążek obliczeniowy Oriona.

"W przypadku Oriona stworzyliśmy cały zespół z szeroką gamą inżynierów, którzy byli w stanie zaprojektować zupełnie nowy potok" - dodaje Clohset. "Jest to potok, który obsługuje ruch obiektów w przestrzeni 3D o sześciu stopniach swobody. Wykorzystuje on własny, niestandardowy sterownik wyświetlacza. Musieliśmy dokonać naprawdę wyjątkowych korekt jakości obrazu. Myślę, że wyzwaniem dla nas było to, że ponieważ był to projekt zero-to-one, nie było istniejącej specyfikacji, którą można by poprawić i ulepszyć. Wszystko tutaj jest zupełnie nowe, więc mieliśmy swobodę działania".

Podobnie jak krążek ma kilka uśpionych funkcji ukrytych pod powierzchnią, niestandardowy krzem również wybija się ponad swoją wagę. Chociaż Orion nie pozwala użytkownikowi na robienie zdjęć za pomocą kamer RGB, krzem jest w stanie je obsługiwać, a także awatary kodeków. I tak jak krążek pomógł odblokować prawdziwą formę okularów poprzez odciążenie dużej części obliczeń, tak niestandardowy krzem Oriona okazał się niezbędnym elementem układanki AR.

"Aby urzeczywistnić doświadczenie zero-to-one, takie jak okulary AR, potrzebujesz niestandardowego krzemu" - wyjaśnia Snodgrass. "Z biegiem czasu, jeśli pojawi się rynek, dostawcy krzemu opracują produkty, które zaspokoją popyt. Ale w przypadku zero-to-one nie można po prostu wziąć z półki czegoś, co jest przeznaczone dla innego produktu i dopasować go do nowej formy. Trzeba zainwestować w coś niestandardowego. Aby urzeczywistnić te zero-jedynkowe doświadczenia, potrzebna jest szeroka współpraca między partnerami w zakresie oprogramowania, projektantami przemysłowymi, inżynierami mechanikami i nie tylko".

"Uwalniając się od tradycyjnych modeli myślowych, stworzyliśmy coś naprawdę niezwykłego" - dodaje Shearer. "Wierzymy, że ta platforma obliczeniowa reprezentuje przyszłość technologii - taką, która zrewolucjonizuje sposób, w jaki żyjemy, pracujemy i wchodzimy ze sobą w interakcje. Cieszymy się, że możemy stać na czele tej innowacji, przesuwając granice tego, co możliwe i pomagając kształtować bieg historii".

---

Więcej informacji na temat Orion można znaleźć w tych wpisach na blogu:

• Crystal Clear: nasze falowody z węglika krzemu i droga do dużego pola widzenia Oriona
• Orion's Compute Puck: Historia urządzenia, które pomogło nam stworzyć okulary AR