W zeszłym roku na Connect zaprezentowaliśmy Orion-nasza pierwsza prawdziwa para okularów AR. Kulminacja nasza praca w Reality Labs w ciągu ostatniej dekadyOrion łączy w sobie zalety dużego wyświetlacza holograficznego i spersonalizowanej pomocy AI w wygodnej formie do noszenia przez cały dzień. Zwrócono na niego uwagę ze względu na wiodące w branży pole widzenia, falowody z węglika krzemu, projektory uLED i nie tylko. Ale dziś zwracamy uwagę na niedocenianego bohatera Oriona: krążek obliczeniowy.
Zaprojektowany tak, aby można go było łatwo wsunąć do kieszeni lub torby, dzięki czemu można go zabrać ze sobą w dowolne miejsce w ciągu dnia, krążek odciąża moc obliczeniową Oriona, aby uruchomić logikę aplikacji i umożliwić bardziej atrakcyjną, mniejszą obudowę okularów. Łączy się bezprzewodowo z okularami i opaską EMG, zapewniając płynne działanie.
Ustaw i zapomnij, prawda?
Ale historia krążka - nawet jako prototyp - jest zaangażowana, z dramatycznym łukiem, którego nigdy nie zgadłbyś po jego wyglądzie.
"Kiedy budujesz coś takiego, zaczynasz przekraczać granice fizyki" - wyjaśnia dyrektor ds. zarządzania produktem, Rahul Prasad. "Przez ostatnie 50 lat prawo Moore'a sprawiło, że wszystko stało się mniejsze, szybsze i mniej energochłonne. Problem polega na tym, że teraz zaczynasz napotykać ograniczenia dotyczące ilości ciepła, które możesz rozproszyć, ilości baterii, którą możesz skompresować i wydajności anteny, którą możesz zmieścić w obiekcie o określonych rozmiarach".
Choć z perspektywy czasu może to być 20/20, potencjał krążka nie był od razu oczywisty. Kiedy budujesz coś jako pierwszy, musisz zbadać wszystkie możliwości - nie pozostawiając kamienia na kamieniu. Jak zbudować coś, co niektórzy mogą uważać za niepożądany dodatek, a nie krytyczną część pakietu?
"Wiedzieliśmy, że krążek jest dodatkowym urządzeniem, o noszenie którego prosimy ludzi" - zauważa Jared Van Cleave, kierownik ds. inżynierii projektowania produktów - "więc zastanawialiśmy się, jak zmienić błąd w funkcję".
Ostatecznie ten etos opłacił się w pełni, ponieważ krążek ściska dużo mocy obliczeniowej (i jeszcze więcej niestandardowego krzemu zaprojektowanego przez Metę dla sztucznej inteligencji i percepcji maszynowej) w niewielkim rozmiarze. Odegrało to kluczową rolę, pomagając Orionowi przejść ze sfery science fiction do rzeczywistości.
"Gdybyś nie miał krążka, nie byłbyś w stanie doświadczyć wrażeń, które oferuje Orion w swojej obudowie - kropka" - mówi Prasad. "Dobre doświadczenie AR wymaga naprawdę wysokiej wydajności: wysokiej liczby klatek na sekundę, ekstremalnie niskich opóźnień, precyzyjnego zarządzania łącznością bezprzewodową i energią itp. Krążek i okulary muszą być zaprojektowane tak, aby ściśle ze sobą współpracowały, nie tylko w warstwie aplikacji, ale także w systemie operacyjnym, oprogramowaniu układowym i warstwie sprzętowej. I nawet jeśli ktoś miałby współprojektować smartfon do pracy z okularami AR, wysokie wymagania dotyczące wydajności wyczerpałyby baterię telefonu i odciągnęłyby moc obliczeniową od przypadków użycia telefonu. Z drugiej strony, krążek ma własną baterię o dużej pojemności, wysokowydajny SoC i niestandardowy koprocesor AI zaprojektowany przez Metę, zoptymalizowany pod kątem Oriona".
Oczywiście krążek nie został zaprojektowany z dnia na dzień. Wymagało to lat iteracyjnej pracy.
"Nie wiedzieliśmy, w jaki sposób ludzie będą chcieli wchodzić w interakcję z Orionem z perspektywy danych wejściowych - nie było nic, co moglibyśmy wykorzystać na rynku" - mówi menedżer produktu Matt Resman. "Jeśli spojrzeć na nasze wczesne prototypy okularów, były to masywne zestawy słuchawkowe, które ważyły trzy lub cztery funty. A kiedy próbujesz zbudować produkt, naprawdę trudno jest zrozumieć wrażenia użytkownika, jeśli nie masz odpowiedniego współczynnika kształtu. W przypadku krążka byliśmy w stanie bardzo szybko wykonać prototyp, aby zacząć rozumieć, jak ludzie będą z niego korzystać".
Krążek o kryptonimie Omega został początkowo pomyślany przez ówczesną firmę Oculus Research jako opaska w kształcie litery Ω, która miałaby być zawieszona na szyi użytkownika i podłączona na stałe do okularów....
... aż do czasu, gdy kilka nowych innowacji wprowadzonych między innymi przez bezprzewodowy zespół Reality Labs pozwoliło im przeciąć przewód. Umożliwiło to bardziej poręczny lub kieszonkowy / w torbie współczynnik kształtu, który otworzył wiele możliwości.
"W tamtym momencie dzwonienie w rzeczywistości rozszerzonej było nadal głównym przypadkiem użycia" - wyjaśnia Van Cleave. "Krążek był miejscem, w którym zakotwiczone były filmy holograficzne. Kładłeś go na stole z ławką czujników skierowaną w Twoją stronę, obrazował Cię, a następnie wyświetlał z powierzchni krążka osobę, z którą rozmawiałeś".
"W Orion chodzi o łączenie ludzi i zbliżanie nas do siebie" - mówi Resman. "Jedną z początkowych koncepcji krążka była pomoc w stworzeniu poczucia obecności z innymi ludźmi i umożliwienie tej bogatszej formy komunikacji".
"To nie jest podobne do niczego, co kiedykolwiek widziałeś - urządzenie ma potencjał do tworzenia naprawdę zabawnych i unikalnych interakcji" - dodaje projektant przemysłowy Emron Henry. "Doświadczenie użytkownika jest trochę jak uwolnienie dżina z butelki, w której hologramy płynnie wyłaniają się i rozpuszczają z powrotem w urządzeniu".
Jak już pewnie wiesz, wewnątrz krążka kryje się większy potencjał niż to, co ostatecznie zostało włączone jako funkcja. Oprócz czujników i kamer, które byłyby używane do wywoływania AR, krążek ma haptykę i czujniki 6DOF, które mogłyby umożliwić wykorzystanie go jako śledzonego kontrolera do wybierania i manipulowania wirtualnymi obiektami oraz grania w gry AR. Zespół zbadał również pojemnościowe i siłowe wejście dotykowe, aby krążek mógł służyć jako gamepad, gdy jest trzymany zarówno w trybie pionowym, jak i poziomym.
"Rozmawialiśmy o potrzebie noszenia tej dodatkowej rzeczy" - mówi Van Cleave. "Jak uczynić ją bardziej użyteczną? Wokół tego był cały nurt prac. W pewnym momencie postawiono hipotezę, że gry AR będą tym zabójczym przypadkiem użycia".
Na początku wiedzieliśmy, że musimy zbadać możliwości krążka, który może robić rzeczy, których telefony nie mogą. Ostatecznie zdecydowaliśmy się na wykorzystanie wzroku, EMG i śledzenia dłoni w grach AR, takich jak Stargazer i Pong, ale we wczesnych dniach Oriona prototypowaliśmy różne wersje demonstracyjne i gry, które wykorzystywały krążek jako kontroler.
0:00 / 0:00
0:00 / 0:00
0:00 / 0:00
Renderowane eksploracje krążka jako kontrolera 6DOF dla gier AR, takich jak Pong.
"Ponieważ nie jest to telefon, dało nam to dużą swobodę projektowania", dodaje Prasad. "Może być grubszy, może być bardziej zaokrąglony, dzięki czemu wygodnie leży w dłoni jako kontroler. To dość niesamowite, że krążek jest w rzeczywistości mniejszy niż przeciętny telefon, ale jest potężniejszy niż telefon, ponieważ ma zaprojektowany przez Metę koprocesor do sztucznej inteligencji i percepcji maszynowej".
Zespół zbadał, w jaki sposób wysokiej jakości gra AR może różnić się od gry MR lub konsolowej. Oznaczało to zbadanie różnych możliwości kontrolera gier AR, w tym joysticków, fizycznych układów przycisków, przycisków spustowych i innych.
"Ostatecznie nie zbudowaliśmy żadnej z tych rzeczy" - zauważa Van Cleave. "Stworzyliśmy prototyp, ale nigdy nie zdecydowaliśmy się na pełną kompilację. Chcieliśmy zachować prostotę. Chcieliśmy stworzyć te miękkie interfejsy, ale nie fizyczne, mechaniczne przyciski".
I chociaż czujniki i haptyka nie zostały włączone w gotowym prototypie produktu, pełniły one integralną funkcję podczas opracowywania, umożliwiając zespołom zgłaszanie błędów poprzez kilkukrotne dotknięcie górnej części urządzenia w celu uruchomienia raportu o błędzie.
Gdy sztuczna inteligencja zaczęła zajmować centralne miejsce jako kluczowy przypadek użycia, obliczenia stawały się coraz bardziej wyraziste. W końcu krążek jest domem dla bezprzewodowej łączności Oriona, mocy obliczeniowej i pojemności baterii - co samo w sobie jest ogromnym osiągnięciem technicznym - a wszystko to pomaga zmniejszyć wagę i kształt okularów, jednocześnie rozpraszając znacznie więcej ciepła dzięki swojej powierzchni.
Podczas całej ewolucji jedna rzecz pozostała niezmienna: krążek kryje w sobie coś więcej, niż mogłoby się wydawać niewprawnemu oku. Przyjęcie niekonwencjonalnych pomysłów pozwoliło naszym zespołom odkrywać, przekraczać granice i budować przyszłość.
"Definiujemy kategorię, która jeszcze nie istnieje" - zauważa Henry. "Jak można się spodziewać w przypadku badań i rozwoju, po drodze były początki i przystanki. Jak użytkownicy będą oczekiwać interakcji z hologramami? Czy woleliby używać pilota AR, czy też śledzenie dłoni, wzrok i EMG są wystarczające do wprowadzania danych? Co wydaje się intuicyjne, o niskim współczynniku tarcia, znajome i użyteczne?"
"Zamiast postrzegać krążek jako zwykły kamień, zadaliśmy sobie pytanie, co jeszcze możemy zapewnić, aby jeszcze bardziej odróżnić go od telefonów i uzasadnić, dlaczego chcesz go nosić" - przyznaje Resman. "Czy jego surowa moc obliczeniowa i praktyczny design - który pomógł odblokować formę okularów, które można realistycznie nosić przez cały dzień - ostatecznie oferują wystarczającą wartość? Naszym zadaniem jest pomóc odpowiedzieć na te pytania".
"Na początku skupiliśmy się na tym, co możemy zrobić, a czego nie może zrobić telefon" - dodaje Van Cleave. "Telefony muszą mieć ekran, muszą mieć określony fizyczny układ przycisków, którego oczekują użytkownicy. My nie mamy tych ograniczeń. Nasz krążek obliczeniowy może być tym, czym chcemy".
Więcej informacji na temat Orion można znaleźć w tych wpisach na blogu:
PL 
EN 
BG 
CS 
ET 
EL 
HR 
HU 
LT 
LV 
FR 
PT 
RO 
SL 
SK