Witamy ponownie w kolejnym odcinku Boz To The Futurepodcast od Reality Labs. W dzisiejszy odcinekDo naszego gospodarza, CTO Meta i szefa Reality Labs Andrew "Boz" Boswortha, dołączył wiceprezes Meta ds. urządzeń do noszenia Alex Himel.
Zespół Himela pracuje nad najtrudniejszymi problemami technicznymi w branży, a wszystko to w celu stworzenia kolejnej platformy obliczeniowej. Podobnie jak Bosworth, jest on wieloletnim liderem w Meta, pełniąc liczne funkcje kierownicze w całej firmie w ciągu ponad 15 lat pracy w firmie.
Bosworth i Himel omawiają szereg tematów, w tym urządzenia do noszenia, rzeczywistość rozszerzoną oraz sposób, w jaki sztuczna inteligencja przyspiesza i ulepsza rodzaje doświadczeń wbudowanych w urządzenia do noszenia. Okulary Ray-Ban Meta i przyszłych produktów.
Wchodzą głęboko Orion i pozytywny odbiór, z jakim spotkała się od czasu ogłoszenia jej przez Marka Zuckerberga na Połączenie. Podobnie jak Steve Jobs uznał Alto za punkt zwrotny w informatyce, Bosworth zapewnił, że chociaż możemy nie zgadzać się co do szczegółów, trudno jest argumentować przeciwko temu jako przyszłości. Himel i Bosworth mówią dalej o ogromnej wartości prototypowania i budowania, mówiąc, o ile więcej dowiedzieli się o Orionie i jego paradygmatach wprowadzania danych w ciągu trzech tygodni korzystania z niego w porównaniu z latami spędzonymi na jego budowaniu.
Rozmawiali również o kluczowej roli sztucznej inteligencji w urządzeniach do noszenia i o tym, jak staje się ona coraz bardziej przydatna w życiu codziennym - zwłaszcza teraz, gdy możesz zapytać Meta AI o rzeczy, które widzisz i użyć jej do ustawienia wizualnych przypomnień.
Himel opowiada również o swoim głębokim doświadczeniu w innym rodzaju stosu: kanapkach. Mając za sobą siedem lat pracy w słynnym Lange's Little Store w Chappaqua w stanie Nowy Jork, gdzie dorastał, Himel i Bosworth zastanawiają się, co sprawia, że kanapka jest świetna, gdzie naprawdę trafiają pomidory i który chleb jest lepszy.
Możesz dostroić się do Boz to the Future na Podcasty Apple, Spotifyi gdziekolwiek słuchasz podcastów.
W 2019 r. Orion Zespół przygotował ważne demo dla założyciela i CEO firmy Meta, Marka Zuckerberga, prezentując potencjalne falowody dla okulary rzeczywistości rozszerzonej-Był to kluczowy moment, w którym teoretyczne obliczenia na papierze zostały wcielone w życie. Było to demo, które zmieniło wszystko.
"Nosząc okulary ze szklanymi falowodami i wieloma płytkami, czułeś się jak na dyskotece" - wspomina Pasqual Rivera, Optical Scientist. "Wszędzie były tęcze i było to tak rozpraszające - nawet nie patrzyłeś na zawartość AR. Następnie zakładasz okulary z węglik krzemu falowody i było tak, jakbyś był na symfonii i słuchał cichego, klasycznego utworu. Można było w pełni skupić się na tym, co budowaliśmy. To był całkowity przełom".
Jednak wybór węglika krzemu jako podłoża wydaje się dziś tak oczywisty (gra słów zamierzona), jak wtedy, gdy po raz pierwszy zaczęliśmy podążać tą drogą. Droga do okularów AR dekadę temuale to nie było to.
"Węglik krzemu jest zwykle silnie domieszkowany azotem" - mówi Rivera. "Jest zielony, a jeśli zrobi się wystarczająco gruby, wygląda na czarny. Nie ma możliwości, by zrobić z niego soczewkę optyczną. To materiał elektroniczny. Jest powód, dla którego ma taki kolor, a są nim właściwości elektroniczne".
"Węglik krzemu jest materiałem stosowanym już od dłuższego czasu" - zgadza się Giuseppe Calafiore, Tech Lead AR Waveguides. "Jego głównym zastosowaniem jest elektronika dużej mocy. Weźmy na przykład pojazdy elektryczne: Wszystkie pojazdy elektryczne wymagają chipa - ale ten chip musi być również zdolny do bardzo dużej mocy, poruszania kołami i napędzania tego czegoś. Okazuje się, że nie można tego zrobić za pomocą zwykłego podłoża krzemowego, z którego wykonane są chipy używane w naszych komputerach i elektronice. Potrzebna jest platforma, która pozwala na przesyłanie dużych prądów i dużej mocy, a tym materiałem jest węglik krzemu".
Dopóki całkiem niedawno nie rozgorzały dyskusje na temat odnawialnych źródeł energii, rynek układów scalonych o dużej mocy nie był nawet zbliżony do wielkości rynku układów dla elektroniki użytkowej. Węglik krzemu zawsze był drogi i nie było dużej motywacji do obniżania kosztów, ponieważ w przypadku chipów wielkości samochodu cena podłoża była akceptowalna.
"Okazuje się jednak, że węglik krzemu ma również pewne właściwości, których potrzebujemy w falowodach i optyce" - mówi Calafiore. "Kluczową właściwością, na której nam zależy, jest współczynnik załamania światła. A węglik krzemu ma wysoki współczynnik załamania światła, co oznacza, że jest w stanie kierować i wysyłać dużą ilość danych optycznych. Można o tym myśleć jako o przepustowości optycznej - podobnie jak w przypadku przepustowości Internetu, która powinna być wystarczająco duża, aby można było przesyłać przez nią ogromne ilości danych. To samo dotyczy urządzeń optycznych".
Im wyższy współczynnik załamania światła danego materiału, tym wyższy jego étenduedzięki czemu można wysyłać więcej danych optycznych przez ten kanał.
"Kanałem w naszym przypadku jest falowód, a większy étendue przekłada się na większe pole widzenia" - wyjaśnia Calafiore. "Im większy współczynnik załamania światła materiału, tym większe pole widzenia wyświetlacza".
Droga do właściwego współczynnika załamania światła
Kiedy Calafiore po raz pierwszy dołączył do ówczesnego Oculus Research w 2016 roku, najwyższy współczynnik załamania światła, jakim dysponował zespół, wynosił 1,8 - co wymagało układania wielu płytek w celu uzyskania pożądanego pola widzenia. Pomijając niepożądane artefakty optyczne, linia montażowa stawała się coraz bardziej skomplikowana, ponieważ pierwsze dwa falowody musiały być idealnie wyrównane, a następnie ten stos musiał być idealnie wyrównany z trzecim falowodem.
"Nie tylko było to drogie, ale od razu stało się oczywiste, że nie można mieć trzech kawałków szkła na soczewkę w parze okularów" - wspomina Calafiore. "Były zbyt ciężkie, a ich grubość była zbyt duża i brzydka - nikt by tego nie kupił. Wróciliśmy więc do punktu wyjścia: próbując zwiększyć współczynnik załamania światła podłoża, aby zmniejszyć liczbę potrzebnych płytek".
Pierwszym materiałem, któremu przyjrzał się zespół, był niobian litu, którego współczynnik załamania światła wynosi około 2,3, czyli nieco więcej niż w przypadku szkła (1,8).
"Zdaliśmy sobie sprawę, że musimy ułożyć tylko dwie płytki, a może nawet poradzić sobie z jedną płytką, aby nadal pokryć pole widzenia" - mówi Calafiore. "Niemal równolegle zaczęliśmy przyglądać się innym materiałom - w ten sposób wraz z naszymi dostawcami w 2019 roku odkryliśmy, że węglik krzemu w swojej najczystszej postaci jest w rzeczywistości bardzo przezroczysty. Ma również najwyższy współczynnik załamania światła znany dla zastosowań optycznych, który wynosi 2,7".
Oznacza to wzrost o 17,4% w porównaniu do niobianu litu i 50% w porównaniu do szkła, dla tych, którzy liczą punkty w domu.
"Dzięki kilku modyfikacjom tego samego sprzętu, który był już używany w branży, możliwe było uzyskanie przezroczystego węglika krzemu" - mówi Calafiore. "Można było po prostu zmienić proces, być o wiele bardziej ostrożnym i zamiast optymalizować go pod kątem właściwości elektronicznych, zoptymalizować go pod kątem właściwości optycznych: przezroczystości, jednorodności współczynnika załamania światła itp.".
Potencjalny koszt kompromisu
W tamtym czasie zespół Reality Labs był pierwszym, który nawet próbował przejść z nieprzezroczystych płytek z węglika krzemu na przezroczyste. A ponieważ węglik krzemu jest jednym z najtwardszych znanych materiałów, do jego cięcia lub polerowania niezbędne są narzędzia diamentowe. W rezultacie jednorazowe koszty inżynieryjne były bardzo wysokie, więc uzyskane podłoże było dość drogie.
Chociaż istnieją bardziej opłacalne alternatywy, jak w przypadku każdej technologii, każda z nich ma swoje wady. A wraz ze wzrostem pola widzenia w kierunku wiodącego w branży pola widzenia Oriona wynoszącego około 70 stopni, pojawiają się nowe problemy, takie jak obrazy duchów i tęcze.
"Znalezienie optymalnego rozwiązania dla wyświetlacza AR o szerokim polu widzenia jest obarczone kompromisami między wydajnością a kosztami" - wyjaśnia dyrektor ds. badań naukowych Barry Silverstein. "Koszty często można obniżyć, ale jeśli wydajność nie jest wystarczająca, koszty nie będą miały znaczenia".
Obrazy-widma są jak wizualne echa głównego obrazu wyświetlanego na ekranie. Tęcze to kolorowe smugi światła, które powstają, gdy światło otoczenia odbija się od falowodu. "Powiedzmy, że jedziesz nocą z poruszającymi się światłami samochodów wokół ciebie" - mówi Silverstein. "Będziesz mieć tęcze, które również się poruszają. Albo jeśli jesteś na plaży i grasz w siatkówkę, a słońce świeci, będziesz mieć tęczową smugę, która porusza się razem z tobą i nie trafisz w piłkę". Jedną z cudownych właściwości węglika krzemu jest to, że pozbywa się tych tęcz".
"Kolejną zaletą węglika krzemu, której nie ma żaden inny materiał, jest przewodność cieplna" - dodaje Calafiore. "Plastik jest fatalnym izolatorem. Szkło, niobian litu, to samo. Węglik krzemu jest przezroczysty, wygląda jak szkło i zgadnij co: przewodzi ciepło".
W lipcu 2020 r. zespół ustalił, że węglik krzemu był optymalnym wyborem z trzech głównych powodów: Doprowadziło to do poprawy współczynnika kształtu, ponieważ wymagało tylko jednej płytki i mniejszych struktur montażowych, miało lepsze właściwości optyczne i było lżejsze niż szkło z dwoma płytkami.
Sekret wytrawiania skośnego
Mając na uwadze materiał, kolejnym orzechem do zgryzienia była produkcja falowodów - a konkretnie niekonwencjonalna technika siatki zwana trawieniem skośnym.
"Siatka jest nanostrukturą, która sprzęga i odsprzęga światło z soczewki", wyjaśnia Calafiore. "Aby węglik krzemu działał, siatka musi być wytrawiona ukośnie. Zamiast być pionowymi, linie siatki muszą być nachylone po przekątnej".
"Byliśmy pierwszymi, którzy wykonali trawienie skośne bezpośrednio na urządzeniach" - mówi kierownik badań Nihar Mohanty. "Cała branża polegała na nanodruku, który nie sprawdza się w przypadku podłoży o tak wysokim współczynniku załamania światła. Dlatego nikt inny na świecie nie pomyślał o zastosowaniu węglika krzemu".
Ponieważ jednak trawienie ukośne jest niedojrzałą technologią, większość dostawców i fabryk chipów półprzewodnikowych nie dysponuje odpowiednimi narzędziami.
"W 2019 roku wraz z moim ówczesnym kierownikiem, Mattem Colburnem, założyliśmy własny zakład, ponieważ na świecie nie było niczego, co mogłoby produkować falowody z wytrawionego węglika krzemu i gdzie moglibyśmy udowodnić, że technologia wykracza poza skalę laboratoryjną" - wyjaśnia Mohanty. "To była ogromna inwestycja i stworzyliśmy tam cały rurociąg. Oprzyrządowanie zostało wykonane na zamówienie przez naszych partnerów, a proces został opracowany we własnym zakresie w Meta, chociaż nasze systemy są klasy badawczej, ponieważ nie było tam systemów klasy produkcyjnej. Współpracowaliśmy z partnerem produkcyjnym, aby opracować narzędzia i procesy wytrawiania skośnego klasy produkcyjnej. A teraz, gdy pokazaliśmy, co jest możliwe w przypadku węglika krzemu, chcemy, aby inni w branży zaczęli tworzyć własne narzędzia".
Im więcej firm zainwestuje w węglik krzemu klasy optycznej i opracuje sprzęt, tym silniejsza stanie się kategoria konsumenckich okularów AR.
Już nie gonię za tęczą
Podczas gdy technologiczna nieuchronność to mitGwiazdy z pewnością wydają się układać na korzyść węglika krzemu. I chociaż zespół nadal bada alternatywy, istnieje silne poczucie, że właściwi ludzie zebrali się we właściwym czasie w odpowiednich warunkach rynkowych, aby zbudować okulary AR przy użyciu tego materiału.
"Orion udowodnił, że węglik krzemu jest realną opcją dla okularów AR", mówi Silverstein, "a teraz widzimy zainteresowanie w całym łańcuchu dostaw na trzech różnych kontynentach, gdzie mocno dążą do tego jako możliwości. Węglik krzemu wyjdzie z tego zwycięsko. Moim zdaniem to tylko kwestia czasu".
W tym czasie wiele może się wydarzyć - podobnie jak od czasu, gdy wyhodowaliśmy pierwsze przezroczyste kryształy węglika krzemu.
"Wszyscy ci producenci węglika krzemu znacznie zwiększyli podaż w odpowiedzi na oczekiwany boom na pojazdy elektryczne" - zauważa Calafiore. "Obecnie mamy do czynienia z nadwyżką mocy produkcyjnych, która nie istniała, gdy budowaliśmy Oriona. Tak więc teraz, ponieważ podaż jest wysoka, a popyt niski, koszt podłoża zaczął spadać".
"Dostawcy są bardzo podekscytowani nową możliwością produkcji węglika krzemu klasy optycznej - w końcu każda soczewka falowodu reprezentuje dużą ilość materiału w stosunku do układu elektronicznego, a wszystkie ich dotychczasowe możliwości mają zastosowanie w tej nowej przestrzeni" - dodaje Silverstein. "Wypełnienie fabryki jest niezbędne, a skalowanie fabryki jest marzeniem. Rozmiar wafla również ma znaczenie: Im większy wafel, tym niższy koszt, ale złożoność procesu również rośnie. To powiedziawszy, widzieliśmy, jak dostawcy przechodzą od czterocalowych do ośmiocalowych wafli, a niektórzy pracują nad prekursorami 12-calowych wafli, które dałyby wykładniczo więcej par okularów AR".
Te postępy powinny pomóc w dalszym obniżaniu kosztów. To wciąż wczesne dni, ale przyszłość staje się coraz bardziej realna.
"Na początku każdej nowej rewolucji technologicznej próbujesz wielu rzeczy" - mówi Calafiore. "Spójrzmy na telewizję: Zaczęliśmy od kineskopów, a następnie przeszliśmy do telewizorów plazmowych LED, a teraz microLED. Przeszliśmy przez kilka różnych technologii i architektur. Podczas poszukiwania ścieżek wiele z nich prowadzi donikąd, ale są też takie, do których wciąż się wraca jako do najbardziej obiecujących. Nie jesteśmy na końcu drogi i nie możemy zrobić tego sami, ale węglik krzemu jest cudownym materiałem, który jest wart inwestycji".
"Świat się obudził", dodaje Silverstein. "Udało nam się wykazać, że węglik krzemu może być elastyczny w elektronice i fotonice. Jest to materiał, który w przyszłości może znaleźć zastosowanie w obliczeniach kwantowych. Widzimy też oznaki, że możliwe jest znaczne obniżenie kosztów. Pozostało jeszcze wiele do zrobienia, ale potencjalne korzyści są ogromne".
Dzisiaj o godz. PołączenieMark Zuckerberg zaprezentował Oriona - naszą pierwszą parę prawdziwych okularów AR, wcześniej o nazwie kodowej Projekt Nazare.
Z wiodącym w branży polem widzenia, soczewki z węglika krzemuSkomplikowane falowody, projektory uLED i wiele innych, Orion jest naszym najbardziej zaawansowanym i dopracowanym prototypem produktu.
Obecnie kontynuujemy optymalizację produktów i obniżanie kosztów, dążąc do stworzenia skalowalnego urządzenia konsumenckiego, które zrewolucjonizuje sposób interakcji ludzi ze światem.
"Budujemy okulary AR".
Pięć prostych słów, wypowiedziane pięć lat temu. Wraz z nimi zatknęliśmy flagę na naszej wizji przyszłości, w której nie musimy już dokonywać fałszywego wyboru między światem informacji na wyciągnięcie ręki a światem fizycznym wokół nas.
A teraz, pięć lat później, kolejne pięć słów, które mogą ponownie zmienić grę:
W Meta nasza misja jest prosta: dać ludziom możliwość budowania społeczności i zbliżania świata do siebie. W Reality Labs tworzymy narzędzia, które pomagają ludziom czuć się połączonymi w dowolnym miejscu i czasie. Dlatego pracujemy nad stworzeniem kolejnej platformy komputerowej, która stawia ludzi w centrum uwagi, aby mogli być bardziej obecni, połączeni i wzmocnieni w świecie.
Okulary Ray-Ban Meta zademonstrowały moc zapewniania ludziom bezdotykowego dostępu do kluczowych części ich cyfrowego życia z ich fizycznego życia. Możemy rozmawiać z inteligentnym asystentem AI, łączyć się ze znajomymi i uwieczniać ważne chwile - a wszystko to bez konieczności wyciągania telefonu. Te stylowe okulary idealnie wpasowują się w nasze codzienne życie, a ludzie absolutnie je uwielbiają.
Jednak podczas gdy Ray-Ban Meta otworzył zupełnie nową kategorię okularów bez wyświetlacza doładowanych sztuczną inteligencją, branża XR od dawna marzyła o prawdziwych okularach AR - produkcie, który łączy zalety dużego wyświetlacza holograficznego i spersonalizowanej pomocy AI w wygodnej, stylowej formie do noszenia przez cały dzień.
A dziś przybliżyliśmy to marzenie do rzeczywistości, ujawniając Orionktóry naszym zdaniem jest najbardziej zaawansowaną parą okularów AR, jaką kiedykolwiek wyprodukowano. W rzeczywistości może to być najbardziej wymagające urządzenie elektroniki użytkowej wyprodukowane od czasu smartfona. Orion jest wynikiem przełomowych wynalazków w praktycznie każdej dziedzinie nowoczesnej informatyki - opierając się na praca, którą wykonywaliśmy w Reality Labs przez ostatnią dekadę. Jest on wyposażony w całkowicie nowe technologie, w tym najbardziej zaawansowany wyświetlacz AR, jaki kiedykolwiek powstał. niestandardowy silikon która umożliwia uruchamianie potężnych doświadczeń AR na parze okularów przy użyciu ułamka mocy i wagi zestawu słuchawkowego MR.
System wprowadzania danych Orion płynnie łączy głos, wzrok i śledzenie ruchów dłoni z Opaska EMG która umożliwia przesuwanie, klikanie i przewijanie, a jednocześnie trzyma rękę wygodnie przy boku, pozwalając ci pozostać obecnym w świecie i z ludźmi wokół ciebie podczas interakcji z bogatymi treściami cyfrowymi.
Począwszy od dziś na Connect i przez cały rok, otwieramy dostęp do prototypu naszego produktu Orion dla pracowników Meta i wybranych odbiorców zewnętrznych, aby nasz zespół programistów mógł uczyć się, iterować i budować w kierunku naszej konsumenckiej linii okularów AR, którą planujemy rozpocząć w najbliższej przyszłości.
Dlaczego okulary AR?
Istnieją trzy główne powody, dla których okulary AR są kluczem do odblokowania kolejnego wielkiego skoku w dziedzinie komputerów zorientowanych na człowieka.
Umożliwiają one cyfrowe doświadczenia, które nie są ograniczone limitami ekranu smartfona. Dzięki dużym wyświetlaczom holograficznym możesz wykorzystać świat fizyczny jako płótno, umieszczając treści i doświadczenia 2D i 3D w dowolnym miejscu.
Płynnie integrują kontekstową sztuczną inteligencję, która może wyczuwać i rozumieć otaczający Cię świat, aby przewidywać i proaktywnie zaspokajać Twoje potrzeby.
Są lekkie i świetnie nadają się zarówno do użytku w pomieszczeniach, jak i na zewnątrz - i pozwalają ludziom zobaczyć swoje prawdziwe twarze, prawdziwe oczy i prawdziwe wyrazy twarzy.
To gwiazda północna, do której dąży nasza branża: produkt łączący wygodę i natychmiastowość urządzeń do noszenia z dużym wyświetlaczem, dużą przepustowością i kontekstową sztuczną inteligencją w formie, którą ludzie czują się komfortowo nosząc w swoim codziennym życiu.
Kompaktowa obudowa, złożone wyzwania
Przez lata staliśmy przed fałszywym wyborem - albo zestawy słuchawkowe do rzeczywistości wirtualnej i mieszanej, które zapewniają głębokie, wciągające wrażenia w nieporęcznej obudowie, albo okulary, które są idealne do całodziennego użytku, ale nie oferują bogatych aplikacji wizualnych i doświadczeń ze względu na brak dużego wyświetlacza i odpowiedniej mocy obliczeniowej.
Ale chcemy tego wszystkiego, bez kompromisów. Przez lata ciężko pracowaliśmy, aby wykorzystać niesamowite wrażenia przestrzenne zapewniane przez zestawy VR i MR oraz zminiaturyzować technologię niezbędną do dostarczenia tych doświadczeń w parze lekkich, stylowych okularów. Dopracowanie formy, dostarczanie holograficznych wyświetlaczy, opracowywanie atrakcyjnych doświadczeń AR i tworzenie nowych paradygmatów interakcji człowiek-komputer (HCI) - i zrobienie tego wszystkiego w jednym spójnym produkcie - jest jednym z najtrudniejszych wyzwań, przed jakimi kiedykolwiek stanęła nasza branża. Było to tak trudne, że myśleliśmy, że mamy mniej niż 10 procent szans na pomyślne wykonanie tego zadania.
Aż do teraz.
Przełomowy wyświetlacz w niezrównanej obudowie
Przy około 70 stopniach, Orion ma największe pole widzenia w najmniejszej jak dotąd obudowie okularów AR. To pole widzenia odblokowuje naprawdę wciągające przypadki użycia Oriona, od wielozadaniowych okien i rozrywki na dużym ekranie po naturalnej wielkości hologramy ludzi - wszystkie treści cyfrowe, które mogą płynnie łączyć się z widokiem świata fizycznego.
Dla Oriona pole widzenia było naszym świętym Graalem. Mierzyliśmy się z prawami fizyki i musieliśmy zginać wiązki światła w sposób, w jaki nie są one naturalnie zginane - i musieliśmy to zrobić w kopercie mocy mierzonej w miliwatach.
Zamiast szkła, Soczewki wykonaliśmy z węglika krzemu-nową aplikacją dla okularów AR. Węglik krzemu jest niezwykle lekki, nie powoduje artefaktów optycznych ani światła rozproszonego i ma wysoki współczynnik załamania światła - wszystkie te właściwości optyczne są kluczowe dla dużego pola widzenia. Same falowody mają naprawdę skomplikowane i złożone struktury 3D w nanoskali, aby dyfrakcjonować lub rozpraszać światło w sposób niezbędny do osiągnięcia tego pola widzenia. A projektory to diody uLED - nowy rodzaj technologii wyświetlania, która jest bardzo mała i niezwykle energooszczędna.
Orion to bez wątpienia para okularów, zarówno pod względem wyglądu, jak i dotyku - w komplecie z przezroczystymi soczewkami. W przeciwieństwie do zestawów słuchawkowych MR lub innych dzisiejszych okularów AR, nadal możesz widzieć prawdziwe oczy i mimikę innych osób, dzięki czemu możesz być obecny i dzielić się doświadczeniami z ludźmi wokół ciebie. Dziesiątki innowacji były wymagane, aby projekt przemysłowy został zredukowany do współczesnego kształtu okularów, które można wygodnie nosić na co dzień. Orion to wyczyn miniaturyzacji - komponenty są upakowane do ułamka milimetra. Udało nam się osadzić siedem maleńkich kamer i czujników w obręczach oprawek.
Musieliśmy utrzymać precyzję optyczną na poziomie jednej dziesiątej grubości ludzkiego włosa. System może wykrywać niewielkie ruchy - takie jak rozszerzanie się lub kurczenie ramek w różnych temperaturach pokojowych - a następnie cyfrowo korygować niezbędne wyrównanie optyczne, a wszystko to w ciągu milisekund. Ramy wykonaliśmy z magnezu - tego samego materiału, którego używa się w samochodach wyścigowych F1 i statkach kosmicznych - ponieważ jest lekki, a jednocześnie sztywny, dzięki czemu utrzymuje elementy optyczne w jednej linii i skutecznie odprowadza ciepło.
Ogrzewanie i chłodzenie
Po złamaniu wyświetlacza (bez zamierzonej gry słów) i przezwyciężeniu problemów z fizyką, musieliśmy poradzić sobie z wyzwaniem naprawdę potężnych obliczeń przy naprawdę niskim zużyciu energii i potrzebie rozpraszania ciepła. W przeciwieństwie do dzisiejszych zestawów słuchawkowych MR, nie można umieścić wentylatora w parze okularów. Musieliśmy więc wykazać się kreatywnością. Wiele materiałów użytych do chłodzenia Oriona jest podobnych do tych używanych przez NASA do chłodzenia satelitów w przestrzeni kosmicznej.
Zbudowaliśmy wysoce wyspecjalizowany krzem na zamówienie który jest niezwykle energooszczędny i zoptymalizowany pod kątem naszych algorytmów sztucznej inteligencji, percepcji maszynowej i grafiki. Zbudowaliśmy wiele niestandardowych chipów i dziesiątki wysoce niestandardowych krzemowych bloków IP wewnątrz tych chipów. Dzięki temu możemy wykorzystać algorytmy niezbędne do śledzenia dłoni i oczu, a także technologię jednoczesnej lokalizacji i mapowania (SLAM), która normalnie wymaga setek miliwatów mocy - a tym samym generuje odpowiednią ilość ciepła - i zmniejszyć ją do zaledwie kilkudziesięciu miliwatów.
I tak, niestandardowy krzem nadal odgrywa kluczową rolę w rozwoju produktów w Reality Labs, pomimo tego, co można przeczytać gdzie indziej. 😎
EMG bez wysiłku
Każda nowa platforma komputerowa niesie ze sobą zmiana paradygmatu w sposobie interakcji z naszymi urządzeniami. Wynalezienie myszy pomogło utorować drogę dla graficznych interfejsów użytkownika (GUI), które dominują w naszym dzisiejszym świecie, a smartfony zaczęły zyskiwać na popularności dopiero po pojawieniu się ekranu dotykowego. Ta sama zasada dotyczy urządzeń ubieralnych.
Rozmawialiśmy o naszej współpracy z elektromiografia lub EMGPrzez lata kierowaliśmy się przekonaniem, że wprowadzanie danych do okularów AR musi być szybkie, wygodne, niezawodne, subtelne i społecznie akceptowalne. A teraz ta praca jest gotowa na najlepszy czas.
System wprowadzania danych i interakcji Orion płynnie łączy głos, spojrzenie i śledzenie dłoni z opaską EMG, która umożliwia łatwe przesuwanie, klikanie i przewijanie.
To działa - i sprawia wrażenie magii. Wyobraź sobie robienie zdjęć podczas porannego joggingu za pomocą prostego dotknięcia opuszkami palców lub nawigowanie po menu za pomocą ledwo zauważalnych ruchów dłoni. Nasza opaska łączy w sobie wysokowydajny materiał tekstylny z wbudowanymi czujnikami EMG do wykrywania sygnałów elektrycznych generowanych nawet przez najmniejsze ruchy mięśni. Procesor ML w urządzeniu interpretuje następnie te sygnały EMG w celu wygenerowania zdarzeń wejściowych, które są przesyłane bezprzewodowo do okularów. System dostosowuje się do użytkownika, dzięki czemu z czasem staje się coraz lepszy w rozpoznawaniu najbardziej subtelnych gestów. A dziś dzielimy się więcej o naszym wsparciu dla zewnętrznych badań koncentrujących się na rozszerzenie potencjału równości i dostępności opasek EMG.
Poznaj bezprzewodowe urządzenie Compute Puck
Prawdziwe okulary AR muszą być bezprzewodowe i małe.Więc zbudowaliśmy Bezprzewodowy krążek obliczeniowy dla Orion. Odciąża to częściowo okulary, zapewniając dłuższą żywotność baterii i lepszy współczynnik kształtu wraz z niskim opóźnieniem.
Okulary obsługują wszystkie algorytmy śledzenia dłoni, oczu, SLAM i wyspecjalizowane algorytmy graficzne blokujące świat AR, podczas gdy logika aplikacji działa na krążku, aby okulary były tak lekkie i kompaktowe, jak to tylko możliwe.
Krążek ma dwa procesory, w tym jeden zaprojektowany na zamówienie w Meta, i zapewnia moc obliczeniową niezbędną do renderowania grafiki o niskim opóźnieniu, sztucznej inteligencji i dodatkowej percepcji maszynowej.
A ponieważ jest mały i elegancki, możesz wygodnie wrzucić krążek do torby lub kieszeni i zająć się swoimi sprawami - bez żadnych zobowiązań.
Doświadczenia AR
Oczywiście, jak w przypadku każdego sprzętu, jest on tylko tak dobry, jak to, co można na nim zrobić. robić z nim. I choć to wciąż wczesne dni, doświadczenia oferowane przez Orion są ekscytującym spojrzeniem na to, co nadejdzie.
Mamy naszego inteligentnego asystenta, Meta AIdziałający na Orionie. Rozumie, na co patrzysz w świecie fizycznym i może pomóc Ci w tworzeniu przydatnych wizualizacji. Orion wykorzystuje ten sam model Llama, który zasila doświadczenia AI działające obecnie na inteligentnych okularach Ray-Ban Meta, a także niestandardowe modele badawcze, aby zademonstrować potencjalne przypadki użycia dla przyszłego rozwoju urządzeń do noszenia.
Możesz prowadzić rozmowy wideo bez użycia rąk, aby spotkać się z przyjaciółmi i rodziną w czasie rzeczywistym, a także pozostać w kontakcie z WhatsApp i Messenger, aby przeglądać i wysyłać wiadomości. Nie musisz wyciągać telefonu, odblokowywać go, szukać odpowiedniej aplikacji i informować znajomego, że spóźnisz się na kolację - wszystko to możesz zrobić przez okulary.
Możesz grać we wspólne gry AR z rodziną po drugiej stronie kraju lub z przyjacielem po drugiej stronie kanapy. A duży wyświetlacz Oriona pozwala na wielozadaniowość z wieloma oknami, aby załatwić sprawy bez konieczności noszenia ze sobą laptopa.
Doświadczenia dostępne dziś na Orion pomogą nakreślić mapę drogową dla naszej konsumenckiej linii okularów AR w przyszłości. Nasze zespoły będą kontynuować iterację i tworzyć nowe wciągające doświadczenia społecznościowe, wraz z naszymi partnerami programistycznymi, i nie możemy się doczekać, aby podzielić się tym, co będzie dalej.
Celowy prototyp produktu
Chociaż Orion nie trafi do rąk konsumentów, nie popełnij błędu: To jest nie prototyp badawczy. Jest to najbardziej dopracowany prototyp produktu, jaki kiedykolwiek opracowaliśmy - i jest naprawdę reprezentatywny dla czegoś, co może wysłać do konsumentów. Zamiast spieszyć się z wprowadzeniem go na półki sklepowe, postanowiliśmy najpierw skupić się na rozwoju wewnętrznym, co oznacza, że możemy szybko budować i nadal przesuwać granice technologii i doświadczeń.
A to oznacza, że szybciej uzyskamy jeszcze lepszy produkt konsumencki.
Co będzie dalej
Dwie główne przeszkody przez długi czas stały na drodze do okularów AR klasy konsumenckiej: przełom technologiczny niezbędny do dostarczenia dużego wyświetlacza w kompaktowej obudowie okularów oraz konieczność użytecznych i atrakcyjnych doświadczeń AR, które można uruchomić na tych okularach. Orion jest ogromnym kamieniem milowym, dostarczając po raz pierwszy prawdziwe doświadczenia AR działające na dość stylowym sprzęcie.
Teraz, gdy udostępniliśmy Oriona światu, skupiamy się na kilku rzeczach:
Dostrajanie jakości wyświetlania AR w celu uzyskania jeszcze ostrzejszego obrazu
Optymalizacja wszędzie tam, gdzie to możliwe, aby jeszcze bardziej zmniejszyć obudowę
Budowanie na dużą skalę, aby uczynić je bardziej przystępnymi cenowo
W ciągu najbliższych kilku lat możesz spodziewać się nowych urządzeń, które będą bazować na naszych wysiłkach badawczo-rozwojowych. Szereg innowacji Oriona zostało rozszerzonych na nasze obecne produkty konsumenckie, a także na naszą przyszłą mapę drogową produktów. Zoptymalizowaliśmy niektóre z naszych algorytmów percepcji przestrzennej, które działają na obu urządzeniach. Meta Quest 3S i Orion. Podczas gdy wzrok i subtelny system wprowadzania danych za pomocą gestów został pierwotnie zaprojektowany dla Oriona, planujemy wykorzystać go w przyszłych produktach. Badamy również możliwość wykorzystania opasek EMG w przyszłych produktach konsumenckich.
Orion to nie tylko okno w przyszłość - to spojrzenie na bardzo realne możliwości, które są w zasięgu ręki już dziś. Stworzyliśmy go w pogoni za tym, co robimy najlepiej: pomaganiem ludziom w nawiązywaniu kontaktów. Od okularów Ray-Ban Meta po Orion, widzieliśmy dobro, które może płynąć z umożliwienia ludziom pozostania bardziej obecnym i wzmocnionym w świecie fizycznym, nawet podczas korzystania z całego dodatkowego bogactwa, jakie ma do zaoferowania świat cyfrowy.
Wierzymy, że nie powinieneś musieć wybierać między tymi dwoma rozwiązaniami. A dzięki następnej platformie obliczeniowej nie będziesz musiał.
Więcej informacji na temat Orion można znaleźć w tych wpisach na blogu:
W zeszłym roku na Connect zaprezentowaliśmy Orion-nasza pierwsza prawdziwa para okularów AR. Kulminacja nasza praca w Reality Labs w ciągu ostatniej dekadyOrion łączy w sobie zalety dużego wyświetlacza holograficznego i spersonalizowanej pomocy AI w wygodnej formie do noszenia przez cały dzień. Zwrócono na niego uwagę ze względu na wiodące w branży pole widzenia, falowody z węglika krzemu, projektory uLED i nie tylko. Ale dziś zwracamy uwagę na niedocenianego bohatera Oriona: krążek obliczeniowy.
Zaprojektowany tak, aby można go było łatwo wsunąć do kieszeni lub torby, dzięki czemu można go zabrać ze sobą w dowolne miejsce w ciągu dnia, krążek odciąża moc obliczeniową Oriona, aby uruchomić logikę aplikacji i umożliwić bardziej atrakcyjną, mniejszą obudowę okularów. Łączy się bezprzewodowo z okularami i opaską EMG, zapewniając płynne działanie.
Ustaw i zapomnij, prawda?
Ale historia krążka - nawet jako prototyp - jest zaangażowana, z dramatycznym łukiem, którego nigdy nie zgadłbyś po jego wyglądzie.
"Kiedy budujesz coś takiego, zaczynasz przekraczać granice fizyki" - wyjaśnia dyrektor ds. zarządzania produktem, Rahul Prasad. "Przez ostatnie 50 lat prawo Moore'a sprawiło, że wszystko stało się mniejsze, szybsze i mniej energochłonne. Problem polega na tym, że teraz zaczynasz napotykać ograniczenia dotyczące ilości ciepła, które możesz rozproszyć, ilości baterii, którą możesz skompresować i wydajności anteny, którą możesz zmieścić w obiekcie o określonych rozmiarach".
Choć z perspektywy czasu może to być 20/20, potencjał krążka nie był od razu oczywisty. Kiedy budujesz coś jako pierwszy, musisz zbadać wszystkie możliwości - nie pozostawiając kamienia na kamieniu. Jak zbudować coś, co niektórzy mogą uważać za niepożądany dodatek, a nie krytyczną część pakietu?
"Wiedzieliśmy, że krążek jest dodatkowym urządzeniem, o noszenie którego prosimy ludzi" - zauważa Jared Van Cleave, kierownik ds. inżynierii projektowania produktów - "więc zastanawialiśmy się, jak zmienić błąd w funkcję".
Ostatecznie ten etos opłacił się w pełni, ponieważ krążek ściska dużo mocy obliczeniowej (i jeszcze więcej niestandardowego krzemu zaprojektowanego przez Metę dla sztucznej inteligencji i percepcji maszynowej) w niewielkim rozmiarze. Odegrało to kluczową rolę, pomagając Orionowi przejść ze sfery science fiction do rzeczywistości.
"Gdybyś nie miał krążka, nie byłbyś w stanie doświadczyć wrażeń, które oferuje Orion w swojej obudowie - kropka" - mówi Prasad. "Dobre doświadczenie AR wymaga naprawdę wysokiej wydajności: wysokiej liczby klatek na sekundę, ekstremalnie niskich opóźnień, precyzyjnego zarządzania łącznością bezprzewodową i energią itp. Krążek i okulary muszą być zaprojektowane tak, aby ściśle ze sobą współpracowały, nie tylko w warstwie aplikacji, ale także w systemie operacyjnym, oprogramowaniu układowym i warstwie sprzętowej. I nawet jeśli ktoś miałby współprojektować smartfon do pracy z okularami AR, wysokie wymagania dotyczące wydajności wyczerpałyby baterię telefonu i odciągnęłyby moc obliczeniową od przypadków użycia telefonu. Z drugiej strony, krążek ma własną baterię o dużej pojemności, wysokowydajny SoC i niestandardowy koprocesor AI zaprojektowany przez Metę, zoptymalizowany pod kątem Oriona".
Oczywiście krążek nie został zaprojektowany z dnia na dzień. Wymagało to lat iteracyjnej pracy.
"Nie wiedzieliśmy, w jaki sposób ludzie będą chcieli wchodzić w interakcję z Orionem z perspektywy danych wejściowych - nie było nic, co moglibyśmy wykorzystać na rynku" - mówi menedżer produktu Matt Resman. "Jeśli spojrzeć na nasze wczesne prototypy okularów, były to masywne zestawy słuchawkowe, które ważyły trzy lub cztery funty. A kiedy próbujesz zbudować produkt, naprawdę trudno jest zrozumieć wrażenia użytkownika, jeśli nie masz odpowiedniego współczynnika kształtu. W przypadku krążka byliśmy w stanie bardzo szybko wykonać prototyp, aby zacząć rozumieć, jak ludzie będą z niego korzystać".
Krążek o kryptonimie Omega został początkowo pomyślany przez ówczesną firmę Oculus Research jako opaska w kształcie litery Ω, która miałaby być zawieszona na szyi użytkownika i podłączona na stałe do okularów....
... aż do czasu, gdy kilka nowych innowacji wprowadzonych między innymi przez bezprzewodowy zespół Reality Labs pozwoliło im przeciąć przewód. Umożliwiło to bardziej poręczny lub kieszonkowy / w torbie współczynnik kształtu, który otworzył wiele możliwości.
"W tamtym momencie dzwonienie w rzeczywistości rozszerzonej było nadal głównym przypadkiem użycia" - wyjaśnia Van Cleave. "Krążek był miejscem, w którym zakotwiczone były filmy holograficzne. Kładłeś go na stole z ławką czujników skierowaną w Twoją stronę, obrazował Cię, a następnie wyświetlał z powierzchni krążka osobę, z którą rozmawiałeś".
"W Orion chodzi o łączenie ludzi i zbliżanie nas do siebie" - mówi Resman. "Jedną z początkowych koncepcji krążka była pomoc w stworzeniu poczucia obecności z innymi ludźmi i umożliwienie tej bogatszej formy komunikacji".
"To nie jest podobne do niczego, co kiedykolwiek widziałeś - urządzenie ma potencjał do tworzenia naprawdę zabawnych i unikalnych interakcji" - dodaje projektant przemysłowy Emron Henry. "Doświadczenie użytkownika jest trochę jak uwolnienie dżina z butelki, w której hologramy płynnie wyłaniają się i rozpuszczają z powrotem w urządzeniu".
Jak już pewnie wiesz, wewnątrz krążka kryje się większy potencjał niż to, co ostatecznie zostało włączone jako funkcja. Oprócz czujników i kamer, które byłyby używane do wywoływania AR, krążek ma haptykę i czujniki 6DOF, które mogłyby umożliwić wykorzystanie go jako śledzonego kontrolera do wybierania i manipulowania wirtualnymi obiektami oraz grania w gry AR. Zespół zbadał również pojemnościowe i siłowe wejście dotykowe, aby krążek mógł służyć jako gamepad, gdy jest trzymany zarówno w trybie pionowym, jak i poziomym.
"Rozmawialiśmy o potrzebie noszenia tej dodatkowej rzeczy" - mówi Van Cleave. "Jak uczynić ją bardziej użyteczną? Wokół tego był cały nurt prac. W pewnym momencie postawiono hipotezę, że gry AR będą tym zabójczym przypadkiem użycia".
Na początku wiedzieliśmy, że musimy zbadać możliwości krążka, który może robić rzeczy, których telefony nie mogą. Ostatecznie zdecydowaliśmy się na wykorzystanie wzroku, EMG i śledzenia dłoni w grach AR, takich jak Stargazer i Pong, ale we wczesnych dniach Oriona prototypowaliśmy różne wersje demonstracyjne i gry, które wykorzystywały krążek jako kontroler.
0:00 / 0:00
0:00 / 0:00
0:00 / 0:00
Renderowane eksploracje krążka jako kontrolera 6DOF dla gier AR, takich jak Pong.
"Ponieważ nie jest to telefon, dało nam to dużą swobodę projektowania", dodaje Prasad. "Może być grubszy, może być bardziej zaokrąglony, dzięki czemu wygodnie leży w dłoni jako kontroler. To dość niesamowite, że krążek jest w rzeczywistości mniejszy niż przeciętny telefon, ale jest potężniejszy niż telefon, ponieważ ma zaprojektowany przez Metę koprocesor do sztucznej inteligencji i percepcji maszynowej".
Zespół zbadał, w jaki sposób wysokiej jakości gra AR może różnić się od gry MR lub konsolowej. Oznaczało to zbadanie różnych możliwości kontrolera gier AR, w tym joysticków, fizycznych układów przycisków, przycisków spustowych i innych.
"Ostatecznie nie zbudowaliśmy żadnej z tych rzeczy" - zauważa Van Cleave. "Stworzyliśmy prototyp, ale nigdy nie zdecydowaliśmy się na pełną kompilację. Chcieliśmy zachować prostotę. Chcieliśmy stworzyć te miękkie interfejsy, ale nie fizyczne, mechaniczne przyciski".
I chociaż czujniki i haptyka nie zostały włączone w gotowym prototypie produktu, pełniły one integralną funkcję podczas opracowywania, umożliwiając zespołom zgłaszanie błędów poprzez kilkukrotne dotknięcie górnej części urządzenia w celu uruchomienia raportu o błędzie.
Gdy sztuczna inteligencja zaczęła zajmować centralne miejsce jako kluczowy przypadek użycia, obliczenia stawały się coraz bardziej wyraziste. W końcu krążek jest domem dla bezprzewodowej łączności Oriona, mocy obliczeniowej i pojemności baterii - co samo w sobie jest ogromnym osiągnięciem technicznym - a wszystko to pomaga zmniejszyć wagę i kształt okularów, jednocześnie rozpraszając znacznie więcej ciepła dzięki swojej powierzchni.
Podczas całej ewolucji jedna rzecz pozostała niezmienna: krążek kryje w sobie coś więcej, niż mogłoby się wydawać niewprawnemu oku. Przyjęcie niekonwencjonalnych pomysłów pozwoliło naszym zespołom odkrywać, przekraczać granice i budować przyszłość.
"Definiujemy kategorię, która jeszcze nie istnieje" - zauważa Henry. "Jak można się spodziewać w przypadku badań i rozwoju, po drodze były początki i przystanki. Jak użytkownicy będą oczekiwać interakcji z hologramami? Czy woleliby używać pilota AR, czy też śledzenie dłoni, wzrok i EMG są wystarczające do wprowadzania danych? Co wydaje się intuicyjne, o niskim współczynniku tarcia, znajome i użyteczne?"
"Zamiast postrzegać krążek jako zwykły kamień, zadaliśmy sobie pytanie, co jeszcze możemy zapewnić, aby jeszcze bardziej odróżnić go od telefonów i uzasadnić, dlaczego chcesz go nosić" - przyznaje Resman. "Czy jego surowa moc obliczeniowa i praktyczny design - który pomógł odblokować formę okularów, które można realistycznie nosić przez cały dzień - ostatecznie oferują wystarczającą wartość? Naszym zadaniem jest pomóc odpowiedzieć na te pytania".
"Na początku skupiliśmy się na tym, co możemy zrobić, a czego nie może zrobić telefon" - dodaje Van Cleave. "Telefony muszą mieć ekran, muszą mieć określony fizyczny układ przycisków, którego oczekują użytkownicy. My nie mamy tych ograniczeń. Nasz krążek obliczeniowy może być tym, czym chcemy".
Więcej informacji na temat Orion można znaleźć w tych wpisach na blogu:
Dzisiaj o godz. PołączenieMark Zuckerberg zaprezentował Oriona - naszą pierwszą parę prawdziwych okularów AR, wcześniej o nazwie kodowej Projekt Nazare.
Z wiodącym w branży polem widzenia, soczewki z węglika krzemuSkomplikowane falowody, projektory uLED i wiele innych, Orion jest naszym najbardziej zaawansowanym i dopracowanym prototypem produktu.
Obecnie kontynuujemy optymalizację produktów i obniżanie kosztów, dążąc do stworzenia skalowalnego urządzenia konsumenckiego, które zrewolucjonizuje sposób interakcji ludzi ze światem.
"Budujemy okulary AR".
Pięć prostych słów, wypowiedziane pięć lat temu. Wraz z nimi zatknęliśmy flagę na naszej wizji przyszłości, w której nie musimy już dokonywać fałszywego wyboru między światem informacji na wyciągnięcie ręki a światem fizycznym wokół nas.
A teraz, pięć lat później, kolejne pięć słów, które mogą ponownie zmienić grę:
W Meta nasza misja jest prosta: dać ludziom możliwość budowania społeczności i zbliżania świata do siebie. W Reality Labs tworzymy narzędzia, które pomagają ludziom czuć się połączonymi w dowolnym miejscu i czasie. Dlatego pracujemy nad stworzeniem kolejnej platformy komputerowej, która stawia ludzi w centrum uwagi, aby mogli być bardziej obecni, połączeni i wzmocnieni w świecie.
Okulary Ray-Ban Meta zademonstrowały moc zapewniania ludziom bezdotykowego dostępu do kluczowych części ich cyfrowego życia z ich fizycznego życia. Możemy rozmawiać z inteligentnym asystentem AI, łączyć się ze znajomymi i uwieczniać ważne chwile - a wszystko to bez konieczności wyciągania telefonu. Te stylowe okulary idealnie wpasowują się w nasze codzienne życie, a ludzie absolutnie je uwielbiają.
Jednak podczas gdy Ray-Ban Meta otworzył zupełnie nową kategorię okularów bez wyświetlacza doładowanych sztuczną inteligencją, branża XR od dawna marzyła o prawdziwych okularach AR - produkcie, który łączy zalety dużego wyświetlacza holograficznego i spersonalizowanej pomocy AI w wygodnej, stylowej formie do noszenia przez cały dzień.
A dziś przybliżyliśmy to marzenie do rzeczywistości, ujawniając Orionktóry naszym zdaniem jest najbardziej zaawansowaną parą okularów AR, jaką kiedykolwiek wyprodukowano. W rzeczywistości może to być najbardziej wymagające urządzenie elektroniki użytkowej wyprodukowane od czasu smartfona. Orion jest wynikiem przełomowych wynalazków w praktycznie każdej dziedzinie nowoczesnej informatyki - opierając się na praca, którą wykonywaliśmy w Reality Labs przez ostatnią dekadę. Jest on wyposażony w całkowicie nowe technologie, w tym najbardziej zaawansowany wyświetlacz AR, jaki kiedykolwiek powstał. niestandardowy silikon która umożliwia uruchamianie potężnych doświadczeń AR na parze okularów przy użyciu ułamka mocy i wagi zestawu słuchawkowego MR.
System wprowadzania danych Orion płynnie łączy głos, wzrok i śledzenie ruchów dłoni z Opaska EMG która umożliwia przesuwanie, klikanie i przewijanie, a jednocześnie trzyma rękę wygodnie przy boku, pozwalając ci pozostać obecnym w świecie i z ludźmi wokół ciebie podczas interakcji z bogatymi treściami cyfrowymi.
Począwszy od dziś na Connect i przez cały rok, otwieramy dostęp do prototypu naszego produktu Orion dla pracowników Meta i wybranych odbiorców zewnętrznych, aby nasz zespół programistów mógł uczyć się, iterować i budować w kierunku naszej konsumenckiej linii okularów AR, którą planujemy rozpocząć w najbliższej przyszłości.
Dlaczego okulary AR?
Istnieją trzy główne powody, dla których okulary AR są kluczem do odblokowania kolejnego wielkiego skoku w dziedzinie komputerów zorientowanych na człowieka.
Umożliwiają one cyfrowe doświadczenia, które nie są ograniczone limitami ekranu smartfona. Dzięki dużym wyświetlaczom holograficznym możesz wykorzystać świat fizyczny jako płótno, umieszczając treści i doświadczenia 2D i 3D w dowolnym miejscu.
Płynnie integrują kontekstową sztuczną inteligencję, która może wyczuwać i rozumieć otaczający Cię świat, aby przewidywać i proaktywnie zaspokajać Twoje potrzeby.
Są lekkie i świetnie nadają się zarówno do użytku w pomieszczeniach, jak i na zewnątrz - i pozwalają ludziom zobaczyć swoje prawdziwe twarze, prawdziwe oczy i prawdziwe wyrazy twarzy.
To gwiazda północna, do której dąży nasza branża: produkt łączący wygodę i natychmiastowość urządzeń do noszenia z dużym wyświetlaczem, dużą przepustowością i kontekstową sztuczną inteligencją w formie, którą ludzie czują się komfortowo nosząc w swoim codziennym życiu.
Kompaktowa obudowa, złożone wyzwania
Przez lata staliśmy przed fałszywym wyborem - albo zestawy słuchawkowe do rzeczywistości wirtualnej i mieszanej, które zapewniają głębokie, wciągające wrażenia w nieporęcznej obudowie, albo okulary, które są idealne do całodziennego użytku, ale nie oferują bogatych aplikacji wizualnych i doświadczeń ze względu na brak dużego wyświetlacza i odpowiedniej mocy obliczeniowej.
Ale chcemy tego wszystkiego, bez kompromisów. Przez lata ciężko pracowaliśmy, aby wykorzystać niesamowite wrażenia przestrzenne zapewniane przez zestawy VR i MR oraz zminiaturyzować technologię niezbędną do dostarczenia tych doświadczeń w parze lekkich, stylowych okularów. Dopracowanie formy, dostarczanie holograficznych wyświetlaczy, opracowywanie atrakcyjnych doświadczeń AR i tworzenie nowych paradygmatów interakcji człowiek-komputer (HCI) - i zrobienie tego wszystkiego w jednym spójnym produkcie - jest jednym z najtrudniejszych wyzwań, przed jakimi kiedykolwiek stanęła nasza branża. Było to tak trudne, że myśleliśmy, że mamy mniej niż 10 procent szans na pomyślne wykonanie tego zadania.
Aż do teraz.
Przełomowy wyświetlacz w niezrównanej obudowie
Przy około 70 stopniach, Orion ma największe pole widzenia w najmniejszej jak dotąd obudowie okularów AR. To pole widzenia odblokowuje naprawdę wciągające przypadki użycia Oriona, od wielozadaniowych okien i rozrywki na dużym ekranie po naturalnej wielkości hologramy ludzi - wszystkie treści cyfrowe, które mogą płynnie łączyć się z widokiem świata fizycznego.
Dla Oriona pole widzenia było naszym świętym Graalem. Mierzyliśmy się z prawami fizyki i musieliśmy zginać wiązki światła w sposób, w jaki nie są one naturalnie zginane - i musieliśmy to zrobić w kopercie mocy mierzonej w miliwatach.
Zamiast szkła, Soczewki wykonaliśmy z węglika krzemu-nową aplikacją dla okularów AR. Węglik krzemu jest niezwykle lekki, nie powoduje artefaktów optycznych ani światła rozproszonego i ma wysoki współczynnik załamania światła - wszystkie te właściwości optyczne są kluczowe dla dużego pola widzenia. Same falowody mają naprawdę skomplikowane i złożone struktury 3D w nanoskali, aby dyfrakcjonować lub rozpraszać światło w sposób niezbędny do osiągnięcia tego pola widzenia. A projektory to diody uLED - nowy rodzaj technologii wyświetlania, która jest bardzo mała i niezwykle energooszczędna.
Orion to bez wątpienia para okularów, zarówno pod względem wyglądu, jak i dotyku - w komplecie z przezroczystymi soczewkami. W przeciwieństwie do zestawów słuchawkowych MR lub innych dzisiejszych okularów AR, nadal możesz widzieć prawdziwe oczy i mimikę innych osób, dzięki czemu możesz być obecny i dzielić się doświadczeniami z ludźmi wokół ciebie. Dziesiątki innowacji były wymagane, aby projekt przemysłowy został zredukowany do współczesnego kształtu okularów, które można wygodnie nosić na co dzień. Orion to wyczyn miniaturyzacji - komponenty są upakowane do ułamka milimetra. Udało nam się osadzić siedem maleńkich kamer i czujników w obręczach oprawek.
Musieliśmy utrzymać precyzję optyczną na poziomie jednej dziesiątej grubości ludzkiego włosa. System może wykrywać niewielkie ruchy - takie jak rozszerzanie się lub kurczenie ramek w różnych temperaturach pokojowych - a następnie cyfrowo korygować niezbędne wyrównanie optyczne, a wszystko to w ciągu milisekund. Ramy wykonaliśmy z magnezu - tego samego materiału, którego używa się w samochodach wyścigowych F1 i statkach kosmicznych - ponieważ jest lekki, a jednocześnie sztywny, dzięki czemu utrzymuje elementy optyczne w jednej linii i skutecznie odprowadza ciepło.
Ogrzewanie i chłodzenie
Po złamaniu wyświetlacza (bez zamierzonej gry słów) i przezwyciężeniu problemów z fizyką, musieliśmy poradzić sobie z wyzwaniem naprawdę potężnych obliczeń przy naprawdę niskim zużyciu energii i potrzebie rozpraszania ciepła. W przeciwieństwie do dzisiejszych zestawów słuchawkowych MR, nie można umieścić wentylatora w parze okularów. Musieliśmy więc wykazać się kreatywnością. Wiele materiałów użytych do chłodzenia Oriona jest podobnych do tych używanych przez NASA do chłodzenia satelitów w przestrzeni kosmicznej.
Zbudowaliśmy wysoce wyspecjalizowany krzem na zamówienie który jest niezwykle energooszczędny i zoptymalizowany pod kątem naszych algorytmów sztucznej inteligencji, percepcji maszynowej i grafiki. Zbudowaliśmy wiele niestandardowych chipów i dziesiątki wysoce niestandardowych krzemowych bloków IP wewnątrz tych chipów. Dzięki temu możemy wykorzystać algorytmy niezbędne do śledzenia dłoni i oczu, a także technologię jednoczesnej lokalizacji i mapowania (SLAM), która normalnie wymaga setek miliwatów mocy - a tym samym generuje odpowiednią ilość ciepła - i zmniejszyć ją do zaledwie kilkudziesięciu miliwatów.
I tak, niestandardowy krzem nadal odgrywa kluczową rolę w rozwoju produktów w Reality Labs, pomimo tego, co można przeczytać gdzie indziej. 😎
EMG bez wysiłku
Każda nowa platforma komputerowa niesie ze sobą zmiana paradygmatu w sposobie interakcji z naszymi urządzeniami. Wynalezienie myszy pomogło utorować drogę dla graficznych interfejsów użytkownika (GUI), które dominują w naszym dzisiejszym świecie, a smartfony zaczęły zyskiwać na popularności dopiero po pojawieniu się ekranu dotykowego. Ta sama zasada dotyczy urządzeń ubieralnych.
Rozmawialiśmy o naszej współpracy z elektromiografia lub EMGPrzez lata kierowaliśmy się przekonaniem, że wprowadzanie danych do okularów AR musi być szybkie, wygodne, niezawodne, subtelne i społecznie akceptowalne. A teraz ta praca jest gotowa na najlepszy czas.
System wprowadzania danych i interakcji Orion płynnie łączy głos, spojrzenie i śledzenie dłoni z opaską EMG, która umożliwia łatwe przesuwanie, klikanie i przewijanie.
To działa - i sprawia wrażenie magii. Wyobraź sobie robienie zdjęć podczas porannego joggingu za pomocą prostego dotknięcia opuszkami palców lub nawigowanie po menu za pomocą ledwo zauważalnych ruchów dłoni. Nasza opaska łączy w sobie wysokowydajny materiał tekstylny z wbudowanymi czujnikami EMG do wykrywania sygnałów elektrycznych generowanych nawet przez najmniejsze ruchy mięśni. Procesor ML w urządzeniu interpretuje następnie te sygnały EMG w celu wygenerowania zdarzeń wejściowych, które są przesyłane bezprzewodowo do okularów. System dostosowuje się do użytkownika, dzięki czemu z czasem staje się coraz lepszy w rozpoznawaniu najbardziej subtelnych gestów. A dziś dzielimy się więcej o naszym wsparciu dla zewnętrznych badań koncentrujących się na rozszerzenie potencjału równości i dostępności opasek EMG.
Poznaj bezprzewodowe urządzenie Compute Puck
Prawdziwe okulary AR muszą być bezprzewodowe i małe.Więc zbudowaliśmy Bezprzewodowy krążek obliczeniowy dla Orion. Odciąża to częściowo okulary, zapewniając dłuższą żywotność baterii i lepszy współczynnik kształtu wraz z niskim opóźnieniem.
Okulary obsługują wszystkie algorytmy śledzenia dłoni, oczu, SLAM i wyspecjalizowane algorytmy graficzne blokujące świat AR, podczas gdy logika aplikacji działa na krążku, aby okulary były tak lekkie i kompaktowe, jak to tylko możliwe.
Krążek ma dwa procesory, w tym jeden zaprojektowany na zamówienie w Meta, i zapewnia moc obliczeniową niezbędną do renderowania grafiki o niskim opóźnieniu, sztucznej inteligencji i dodatkowej percepcji maszynowej.
A ponieważ jest mały i elegancki, możesz wygodnie wrzucić krążek do torby lub kieszeni i zająć się swoimi sprawami - bez żadnych zobowiązań.
Doświadczenia AR
Oczywiście, jak w przypadku każdego sprzętu, jest on tylko tak dobry, jak to, co można na nim zrobić. robić z nim. I choć to wciąż wczesne dni, doświadczenia oferowane przez Orion są ekscytującym spojrzeniem na to, co nadejdzie.
Mamy naszego inteligentnego asystenta, Meta AIdziałający na Orionie. Rozumie, na co patrzysz w świecie fizycznym i może pomóc Ci w tworzeniu przydatnych wizualizacji. Orion wykorzystuje ten sam model Llama, który zasila doświadczenia AI działające obecnie na inteligentnych okularach Ray-Ban Meta, a także niestandardowe modele badawcze, aby zademonstrować potencjalne przypadki użycia dla przyszłego rozwoju urządzeń do noszenia.
Możesz prowadzić rozmowy wideo bez użycia rąk, aby spotkać się z przyjaciółmi i rodziną w czasie rzeczywistym, a także pozostać w kontakcie z WhatsApp i Messenger, aby przeglądać i wysyłać wiadomości. Nie musisz wyciągać telefonu, odblokowywać go, szukać odpowiedniej aplikacji i informować znajomego, że spóźnisz się na kolację - wszystko to możesz zrobić przez okulary.
Możesz grać we wspólne gry AR z rodziną po drugiej stronie kraju lub z przyjacielem po drugiej stronie kanapy. A duży wyświetlacz Oriona pozwala na wielozadaniowość z wieloma oknami, aby załatwić sprawy bez konieczności noszenia ze sobą laptopa.
Doświadczenia dostępne dziś na Orion pomogą nakreślić mapę drogową dla naszej konsumenckiej linii okularów AR w przyszłości. Nasze zespoły będą kontynuować iterację i tworzyć nowe wciągające doświadczenia społecznościowe, wraz z naszymi partnerami programistycznymi, i nie możemy się doczekać, aby podzielić się tym, co będzie dalej.
Celowy prototyp produktu
Chociaż Orion nie trafi do rąk konsumentów, nie popełnij błędu: To jest nie prototyp badawczy. Jest to najbardziej dopracowany prototyp produktu, jaki kiedykolwiek opracowaliśmy - i jest naprawdę reprezentatywny dla czegoś, co może wysłać do konsumentów. Zamiast spieszyć się z wprowadzeniem go na półki sklepowe, postanowiliśmy najpierw skupić się na rozwoju wewnętrznym, co oznacza, że możemy szybko budować i nadal przesuwać granice technologii i doświadczeń.
A to oznacza, że szybciej uzyskamy jeszcze lepszy produkt konsumencki.
Co będzie dalej
Dwie główne przeszkody przez długi czas stały na drodze do okularów AR klasy konsumenckiej: przełom technologiczny niezbędny do dostarczenia dużego wyświetlacza w kompaktowej obudowie okularów oraz konieczność użytecznych i atrakcyjnych doświadczeń AR, które można uruchomić na tych okularach. Orion jest ogromnym kamieniem milowym, dostarczając po raz pierwszy prawdziwe doświadczenia AR działające na dość stylowym sprzęcie.
Teraz, gdy udostępniliśmy Oriona światu, skupiamy się na kilku rzeczach:
Dostrajanie jakości wyświetlania AR w celu uzyskania jeszcze ostrzejszego obrazu
Optymalizacja wszędzie tam, gdzie to możliwe, aby jeszcze bardziej zmniejszyć obudowę
Budowanie na dużą skalę, aby uczynić je bardziej przystępnymi cenowo
W ciągu najbliższych kilku lat możesz spodziewać się nowych urządzeń, które będą bazować na naszych wysiłkach badawczo-rozwojowych. Szereg innowacji Oriona zostało rozszerzonych na nasze obecne produkty konsumenckie, a także na naszą przyszłą mapę drogową produktów. Zoptymalizowaliśmy niektóre z naszych algorytmów percepcji przestrzennej, które działają na obu urządzeniach. Meta Quest 3S i Orion. Podczas gdy wzrok i subtelny system wprowadzania danych za pomocą gestów został pierwotnie zaprojektowany dla Oriona, planujemy wykorzystać go w przyszłych produktach. Badamy również możliwość wykorzystania opasek EMG w przyszłych produktach konsumenckich.
Orion to nie tylko okno w przyszłość - to spojrzenie na bardzo realne możliwości, które są w zasięgu ręki już dziś. Stworzyliśmy go w pogoni za tym, co robimy najlepiej: pomaganiem ludziom w nawiązywaniu kontaktów. Od okularów Ray-Ban Meta po Orion, widzieliśmy dobro, które może płynąć z umożliwienia ludziom pozostania bardziej obecnym i wzmocnionym w świecie fizycznym, nawet podczas korzystania z całego dodatkowego bogactwa, jakie ma do zaoferowania świat cyfrowy.
Wierzymy, że nie powinieneś musieć wybierać między tymi dwoma rozwiązaniami. A dzięki następnej platformie obliczeniowej nie będziesz musiał.
Więcej informacji na temat Orion można znaleźć w tych wpisach na blogu:
Dziś przedstawiamy nowe badania przeprowadzone przez Georgia Tech która pomaga szkolić roboty w wykonywaniu podstawowych codziennych zadań za pomocą egocentrycznych nagrań od użytkowników Meta's Projekt Aria okulary badawcze. Obejrzyj poniższy film, przeczytaj całą historię lub Złóż wniosek o własny zestaw badawczy Project Aria.
Wyobraź sobie pomoc w wykonywaniu codziennych zadań w domu, takich jak pranie, zmywanie naczyń czy naprawy. Używamy już narzędzi pomagających w tych zadaniach, takich jak pralki, zmywarki i wiertarki elektryczne. Ale co by było, gdybyś mógł mieć jeszcze potężniejsze i bardziej elastyczne narzędzie w postaci humanoidalnego robota, który mógłby uczyć się od ciebie i przyspieszyć dowolną liczbę fizycznych projektów z twojej listy rzeczy do zrobienia?
Nawet jeśli masz dostępny system sprzętowy, nauczenie robota wykonywania codziennych zadań można osiągnąć jedynie poprzez powolną i nieporęczną metodę gromadzenia danych zwaną teleoperacją robota. Aż do teraz. Dzięki wykorzystaniu Zestaw badawczy Project AriaProfesor Danfei Xu i zespół Laboratorium uczenia się i rozumowania robotów na Georgia Tech wykorzystują czujniki egocentryczne w okularach Aria do tworzenia czegoś, co nazywają "ludzkimi danymi" dla zadań, które mają być replikowane przez humanoidalnego robota. Wykorzystują oni ludzkie dane, aby radykalnie zmniejszyć ilość danych teleoperacyjnych robota potrzebnych do wytrenowania jego polityki - jest to przełom, który pewnego dnia może sprawić, że humanoidalne roboty będą w stanie nauczyć się dowolnej liczby zadań, które mógłby zademonstrować człowiek.
Kareer teleoperuje robotem w celu przechwycenia danych treningowych dla EgoMimic. Teleoperacja może być trudna do skalowania i wymagać znacznego wysiłku ludzkiego.
"Tradycyjnie gromadzenie danych dla robotyki oznacza tworzenie danych demonstracyjnych" - mówi Simar Kareer, doktorant w Georgia Tech's Szkoła Informatyki Interaktywnej. "Obsługujesz przeguby robota za pomocą kontrolera, aby go poruszyć i osiągnąć pożądane zadanie, i robisz to setki razy, rejestrując dane z czujników, a następnie trenujesz swoje modele. Jest to powolne i trudne. Jedynym sposobem na przerwanie tego cyklu jest odłączenie gromadzenia danych od samego robota".
Obecnie modele polityki robotów są szkolone przy użyciu dużych ilości ukierunkowanych danych demonstracyjnych specyficznych dla każdego wąskiego zadania, co wiąże się z wysokimi kosztami. Kareer stawia hipotezę, że pasywnie gromadzone dane od wielu badaczy, takie jak dane przechwycone przez okulary Aria, mogą zamiast tego zostać wykorzystane do umożliwienia tworzenia danych dla znacznie szerszego zestawu zadań w celu stworzenia bardziej ogólnie użytecznych robotów w przyszłości.
Zainspirowany przez Projekt Aria oraz Ego-Exo4D który zawiera ogromny egocentryczny zbiór danych obejmujący ponad 3 tysiące godzin nagrań wideo z codziennych czynności, Kareer opracował EgoMimicnowe ramy algorytmiczne, które wykorzystują dane o ludziach i robotach do rozwoju robotów humanoidalnych.
"Kiedy spojrzałem na Ego4D, zobaczyłem zbiór danych, który jest taki sam, jak wszystkie duże zbiory danych robotów, które próbujemy zebrać, z wyjątkiem tego, że jest z ludźmi" - wyjaśnia Kareer. "Po prostu nosisz parę okularów i robisz różne rzeczy. Dane nie muszą pochodzić od robota. Powinny pochodzić od czegoś bardziej skalowalnego i generowanego pasywnie, czyli od nas". W badaniach Kareera, okulary Aria zostały wykorzystane do stworzenia ludzkich danych do wspólnego trenowania frameworka EgoMimic.
Kareer tworzy współtrenujące dane ludzkie, nagrywając za pomocą okularów Aria podczas składania koszulki.
Okulary Aria są wykorzystywane nie tylko do zbierania danych o ludziach w badaniach Georgia Tech. Są one również wykorzystywane jako integralny element konfiguracji działania robota w czasie rzeczywistym. Okulary Aria są montowane na platformie robota humanoidalnego tak jak para oczu i służą jako zintegrowany pakiet czujników, który umożliwia robotowi postrzeganie otoczenia w czasie rzeczywistym. Zestaw Aria Client SDK jest wykorzystywany do przesyłania danych z czujników Aria bezpośrednio do polityki robota, działającej na podłączonym komputerze, która z kolei kontroluje uruchamianie robota. Wykorzystanie okularów Aria zarówno do gromadzenia danych, jak i potoku percepcji w czasie rzeczywistym minimalizuje lukę domenową między ludzkim demonstratorem a robotem, torując drogę do skalowania generowania danych ludzkich do przyszłego treningu zadań robotyki.
Okulary Aria zamontowane na górze robota dostarczają systemowi danych z czujników, które umożliwiają robotowi postrzeganie i interakcję z przestrzenią.
Dzięki EgoMimic, Kareer osiągnął wzrost wydajności swojego robota o 400% w różnych zadaniach w porównaniu z poprzednimi metodami przy zaledwie 90 minutach nagrań Aria. Robot był również w stanie z powodzeniem wykonywać te zadania w nieznanych wcześniej środowiskach.
W przyszłości roboty humanoidalne mogłyby być szkolone na dużą skalę przy użyciu danych egocentrycznych w celu wykonywania różnych zadań w taki sam sposób, jak robią to ludzie.
"Postrzegamy Arię jako inwestycję w społeczność badawczą" - mówi James Fort, menedżer produktu ds. badań w Reality Labs w firmie Meta. "Im bardziej egocentryczna społeczność badawcza się ustandaryzuje, tym więcej badaczy będzie w stanie współpracować. To właśnie dzięki takiemu skalowaniu ze społecznością możemy zacząć rozwiązywać większe problemy związane z tym, jak rzeczy będą działać w przyszłości".
Od momentu uruchomienia w 2020 r, Projekt Aria umożliwiła badaczom z całego świata osiągnięcie postępu w dziedzinie percepcji maszynowej i sztucznej inteligencji dzięki dostępowi do najnowocześniejszego sprzętu badawczego i oprogramowania typu open source. zbiory danychmodele i narzędzia. Dziś z radością ogłaszamy kolejny krok w tej podróży: wprowadzenie okularów Aria Gen 2. Ta kolejna generacja sprzętu otworzy nowe możliwości w szerokim zakresie obszarów badawczych, w tym percepcji maszynowej, egocentrycznej i kontekstowej sztucznej inteligencji oraz robotyki.
0:00 / 0:00
Dla naukowców chcących zbadać, w jaki sposób systemy sztucznej inteligencji mogą lepiej zrozumieć świat z ludzkiej perspektywyOkulary Aria Gen 2 dodają nowy zestaw możliwości do platformy Aria. Obejmują one szereg postępów, których nie można znaleźć w żadnym innym dostępnym obecnie urządzeniu, a dostęp do tych przełomowych technologii umożliwi badaczom przesuwanie granic tego, co jest możliwe.
W porównaniu do Aria Gen 1, unikalna oferta Aria Gen 2 obejmuje:
Najnowocześniejszy zestaw czujników: Ulepszony zestaw czujników obejmuje kamerę RGB, kamery 6DOF SLAM, kamery do śledzenia oczu, mikrofony przestrzenne, IMU, barometr, magnetometr i GNSS. W porównaniu do swojego poprzednika, Aria Gen 1, nowa generacja wprowadza dwa innowacyjne czujniki wbudowane w nakładkę na nos: czujnik PPG do pomiaru tętna i mikrofon kontaktowy do odróżniania głosu użytkownika od głosu osób postronnych.
Ultra niskie zużycie energii i percepcja maszynowa na urządzeniu: SLAM, śledzenie oczu, śledzenie dłoni i rozpoznawanie mowy są przetwarzane na urządzeniu przy użyciu niestandardowego krzemu Meta.
Całodzienna użyteczność: Okulary Aria Gen 2 są w stanie wytrzymać od sześciu do ośmiu godzin ciągłej pracy, ważą około 75 gramów i mają składane ramiona ułatwiające przenoszenie.
Interakcja poprzez dźwięk: Użytkownicy otrzymują informacje zwrotne audio za pośrednictwem najlepszych w swojej klasie otwartych głośników z redukcją siły nacisku, umożliwiając prototypowanie systemu w pętli.
Nasz dziesięcioletnia podróż Stworzenie kolejnej platformy obliczeniowej doprowadziło do rozwoju tych krytycznych technologii. W Meta zespoły w Reality Labs Research i laboratorium FAIR AI wykorzystają je do realizacji naszej długoterminowej wizji badawczej. Udostępnienie ich akademickim i komercyjnym laboratoriom badawczym w ramach projektu Aria przyczyni się do dalszego rozwoju otwartych badań i publicznego zrozumienia kluczowego zestawu technologii, które naszym zdaniem pomogą kształtować przyszłość informatyki i sztucznej inteligencji.
Otwarte badania prowadzone w ramach projektu Aria od 2020 r. doprowadziły już do ważnych prac, w tym do stworzenia narzędzi typu open source, które są szeroko stosowane w środowisku akademickim i przemyśle. The Zbiór danych Ego-Exo4Dzebrane przy użyciu pierwszej generacji okularów Aria, stały się podstawowym narzędziem w nowoczesnej wizji komputerowej i rozwijającej się dziedzinie robotyki. Naukowcy z Georgia Tech pokazali niedawno, w jaki sposób zestaw Aria Research Kit może pomóc humanoidalnym robotom nauczyć się pomagać ludziom w domupodczas gdy zespoły w BMW wykorzystała go do zbadania, jak zintegrować systemy rzeczywistości rozszerzonej i wirtualnej z inteligentnymi pojazdami.
Aria umożliwia również rozwój nowych technologii w zakresie dostępności. Okulary Aria pierwszej generacji były wykorzystywane przez Uniwersytet Carnegie Mellon w ramach projektu NavCogktórego celem było stworzenie technologii wspomagającej osoby niewidome i niedowidzące w nawigacji wewnątrz budynków. Opierając się na tym fundamencie, okulary Aria Gen 2 są obecnie wykorzystywane przez Envisionfirma zajmująca się tworzeniem rozwiązań dla osób niewidomych lub słabowidzących. Envision bada możliwość integracji swoich Ally Asystent AI i dźwięk przestrzenny przy użyciu najnowszych okularów Aria Gen 2 w celu poprawy nawigacji w pomieszczeniach i dostępności.
0:00 / 0:00
Envision wykorzystała możliwości SLAM na urządzeniu Aria Gen 2, wraz z funkcjami dźwięku przestrzennego za pośrednictwem wbudowanych głośników, aby pomóc osobom niewidomym i słabo widzącym w płynnej nawigacji w środowiskach wewnętrznych. To innowacyjne wykorzystanie technologii, które wciąż znajduje się w fazie eksploracyjnej i badawczej, stanowi przykład tego, jak naukowcy mogą wykorzystać okulary Aria Gen 2 do prototypowania doświadczeń AI w oparciu o obserwacje egocentryczne. Zaawansowane czujniki i możliwości percepcji maszynowej na urządzeniu, w tym SLAM, śledzenie wzroku, śledzenie dłoni i interakcje audio, sprawiają, że są one również idealne do gromadzenia danych do zastosowań badawczych i robotyki.
W nadchodzących miesiącach udostępnimy partnerom więcej szczegółów na temat czasu dostępności urządzeń. Naukowcy zainteresowani dostępem do Aria Gen 2 mogą Zarejestruj się, aby otrzymywać aktualizacje. Z niecierpliwością czekamy na to, jak naukowcy wykorzystają Aria Gen 2, aby utorować drogę przyszłym innowacjom, które ukształtują kolejną platformę obliczeniową.
Ray-Ban jest ikoną mody okularowej od dziesięcioleci. Ale we współpracy z Meta (dawniej Facebook), wprowadzili na rynek produkt, który przesuwa granice - aplikację Inteligentne okulary Ray-Ban Meta. To połączenie klasycznego wzornictwa z nowoczesną technologią oferuje wyjątkowe wrażenia zarówno entuzjastom mody, jak i miłośnikom technologii.
Na pierwszy rzut oka: Klasyka z niespodzianką
Na pierwszy rzut oka wyglądają jak klasyczne Ray-Bany - eleganckie czarne oprawki, najwyższej jakości wykonanie i stylowe etui z ekoskóry. Ale przyjrzyj się bliżej, a zdasz sobie sprawę, że kryją w sobie coś więcej niż tylko styl - są okulary z wbudowaną kamerą, mikrofonem, głośnikami i łącznością ze smartfonem.
Co może zrobić Ray-Ban Meta?
Przechwytywanie wideo i zdjęć: Dyskretna kamera na ramce pozwala uchwycić świat z własnego punktu widzenia - bez użycia rąk.
Muzyka i połączenia: Dzięki wbudowanym głośnikom kierunkowym i mikrofonom możesz odbierać połączenia lub słuchać muzyki bez wkładek dousznych.
Synchronizacja z aplikacją Meta View: Wszystko, co nagrywasz, synchronizuje się automatycznie z aplikacją, gotowe do udostępnienia w serwisach społecznościowych.
Sterowanie głosowe: Dzięki obsłudze asystenta głosowego możesz sterować okularami za pomocą prostych poleceń głosowych - idealne do prowadzenia samochodu, uprawiania sportu lub korzystania z nich w podróży.
Dla kogo są przeznaczone?
Okulary Ray-Ban Meta są idealne dla twórcy treści, influencerzy, podróżnilub każdy, kto chce uchwycić chwile bez wyciągania telefonu. Są również świetne dla zastosowanie biznesowe - Idealny do szybkiej dokumentacji, transmisji na żywo lub mobilnych połączeń wideo.
Końcowy werdykt: elegancja bez kompromisów
Jeśli szukasz okularów, które łączą klasyczną modę z technologią najwyższej klasy, Ray-Ban Meta to oczywisty wybór. To nie tylko stylowy dodatek - to inteligentne okulary które na nowo definiują sposób, w jaki widzimy i rejestrujemy otaczający nas świat.
Ważna aktualizacja dla Okulary Ray-Ban Meta właściciele dzisiaj: Aplikacja Meta View jest teraz aplikacją Meta AI na platformie iOS oraz Android. Wraz z nową nazwą, aplikacja towarzysząca okularom AI otrzymuje aktualizację z nowymi funkcjami, które sprawią, że korzystanie z niej będzie przyjemniejsze, bardziej użyteczne i bardziej osobiste niż kiedykolwiek wcześniej. Jesteśmy tutaj, aby przeprowadzić Cię przez te zmiany. Zapewniamy jednak, że podstawowe funkcje, które znasz, pozostaną niezmienione.
Okulary stały się najbardziej ekscytującą nową kategorią sprzętu w erze sztucznej inteligencji, a okulary Ray-Ban Meta są liderem w definiowaniu tego, co jest możliwe. Cieszymy się, że możemy przenieść te same doświadczenia głosowe, które sprawiły, że nasze okulary są tak popularne, na więcej powierzchni, takich jak aplikacja Meta AI.
Przyjazny i znajomy
Chociaż aplikacja Meta AI ma nową nazwę i wygląd, nadal jest aplikacją towarzyszącą dla okularów Ray-Ban Meta, które znasz i kochasz. Istniejące zdjęcia i filmy zarejestrowane za pomocą okularów, ustawienia urządzenia i funkcje znane z Meta View są nadal dostępne w nowej aplikacji. Dokonujemy również automatycznej migracji istniejących multimediów i ustawień urządzenia z Meta View do aplikacji Meta AI, dzięki czemu nic Cię nie ominie. Podobnie jak w naszej ostatniej aktualizacji, aplikacja Meta AI umożliwia parowanie i zarządzanie nawet siedmioma parami okularów.
Uniwersalna aplikacja towarzysząca
Nowy użytkownik okularów Ray-Ban Meta? Aplikacja Meta AI to wszechstronny towarzysz do konfigurowania i zarządzania urządzeniem. Możesz importować, przeglądać i udostępniać zdjęcia i filmy zrobione okularami AI bezpośrednio z aplikacji. Aplikacja Meta AI służy również do konfigurowania ustawień, aktualizowania oprogramowania i zarządzania opcjami prywatności. Możesz skonfigurować polecenia głosowe z poziomu aplikacji, dzięki czemu możesz używać okularów bez użycia rąk, a nawet dostosować ustawienia aparatu.
Integrując Meta AI i wszystko, co oferuje, z aplikacją towarzyszącą, podnosimy poziom komfortu użytkowania okularów Ray-Ban Meta. Możesz wykazać się kreatywnością ze zdjęciami z okularów bezpośrednio w aplikacji Meta AI - po zaimportowaniu zdjęć poproś Meta AI w aplikacji o dodanie, usunięcie lub zmianę części obrazu.
Sprawdzasz nowe miasto? Poproś Meta AI, aby opowiedziała Ci więcej o lokalnym punkcie orientacyjnym. Możesz uzyskać dostęp do zapisanych wspomnień i zarządzać nimi, aby z czasem ulepszać spersonalizowane odpowiedzi Meta AI w aplikacji i okularach. Możesz także rozpocząć rozmowę z Meta AI na okularach Ray-Ban Meta, a następnie uzyskać do niej dostęp w zakładce historii z aplikacji, aby kontynuować od miejsca, w którym została przerwana.
Nowe i godne uwagi funkcje w aplikacji
Aplikacja Meta AI została zaprojektowana, aby pomóc Ci znaleźć inspirację i jak najlepiej wykorzystać okulary.
Nowy Odkryj kanał pozwala zobaczyć, jak inni ludzie wykorzystują sztuczną inteligencję do wykonywania zadań. To świetny sposób na znalezienie nowych pomysłów. Wykorzystaj sprytną podpowiedź lub zremiksuj ją, aby stworzyć własną. I jak zawsze, masz kontrolę: Twoje rozmowy z Meta AI nie są publiczne, chyba że zdecydujesz się udostępnić je w kanale.
Chociaż rozmawianie ze sztuczną inteligencją za pomocą głosu nie jest niczym nowym, używamy Llama 4 w aplikacji Meta AI, aby zapewnić odpowiedzi, które wydają się bardziej osobiste, trafne i konwersacyjne. To doświadczenie integruje się z innymi funkcjami, takimi jak generowanie i edycja obrazów, które można teraz wykonać za pośrednictwem rozmowa głosowa lub tekstowa z asystentem AI w aplikacji.
Zamieściliśmy również wersję demonstracyjną tworzonego przez nas doświadczenia głosowego z technologią mowy w pełnym dupleksie, którą można włączać i wyłączać w celu przetestowania w aplikacji Meta AI. Ta funkcja nie ma dostępu do informacji w czasie rzeczywistym, więc możesz napotkać problemy techniczne lub niespójności. Będziemy nadal zbierać opinie, aby z czasem ją ulepszyć.
Aby ułatwić wielozadaniowość, możesz także nadal korzystać z funkcji głosowych Meta AI podczas wykonywania innych czynności na telefonie, dzięki widocznej ikonie informującej o używaniu mikrofonu.
Rozmowy głosowe w aplikacji Meta AI, w tym demo w pełnym dupleksie, są dostępne w Stanach Zjednoczonych, Kanadzie, Australii i Nowej Zelandii * Aby dowiedzieć się więcej o tym, jak zarządzać swoimi doświadczeniami w aplikacji Meta AI i przełączać się między trybami, odwiedź naszą stronę internetową centrum pomocy.
Inteligencja dla Ciebie
Aplikacja Meta AI wykorzystuje Llama 4, aby pomóc Ci rozwiązywać problemy, łatwiej poruszać się w ciągu dnia i lepiej rozumieć otaczający Cię świat. A dzięki możliwości przeszukiwania całej sieci, może pomóc Ci uzyskać rekomendacje, zagłębić się w temat i pozostać w kontakcie ze znajomymi i rodziną.
Wykorzystujemy nasze wieloletnie doświadczenie Personalizacja doświadczeń ludzi na naszych platformach, aby uczynić Meta AI bardziej osobistą. Możesz powiedzieć Meta AI, aby zapamiętała konkretne szczegóły na Twój temat (np. że lubisz podróżować i uczyć się nowych języków), a ona może wychwycić ważne szczegóły ze wskazówek kontekstowych. Meta AI dostarcza również bardziej trafne odpowiedzi na pytania, opierając się na informacje, które już zdecydowałeś się udostępnić na Facebooku i Instagramie (jeśli są dodane do tego samego Centrum kont), takie jak szczegóły profilu i treści, które lubisz lub w które się angażujesz. Spersonalizowane odpowiedzi są dostępne od dziś w Stanach Zjednoczonych i Kanadzie.
Dopiero zaczynamy
Jest to pierwsza wersja aplikacji Meta AI i planujemy jej iterację i ulepszanie w miarę upływu czasu. Meta AI została stworzona, aby poznać użytkownika, dzięki czemu jej odpowiedzi są bardziej pomocne. Łatwo się z nią rozmawia, więc interakcja z nią jest bardziej płynna i naturalna. I jest bardziej połączona, więc może udostępniać rzeczy od ludzi i miejsc, na których ci zależy.
Okulary AI-Błyszczące czarne ramki Skyler z polaryzacyjnymi zielonymi soczewkami przeciwsłonecznymi-były idealnym akcesorium do robienia zdjęć i nagrywania filmów przez cały dzień, jednocześnie pomagając jej w przygotowaniach. Od odbierania połączeń bez użycia rąk i słuchania muzyki lub podcastu po uzyskiwanie odpowiedzi od Meta AI w locie, okulary Ray-Ban Meta sprawiają, że każda rutyna przed wydarzeniem jest czymś innym.
To nie pierwszy raz, kiedy nasze okulary AI stały się modne. Na początku tego roku Gray zadebiutował na wyprzedanym Ray-Ban Meta x Coperni Limited Edition ramki na pasie startowym w Paryski Tydzień Mody. Okulary Ray-Ban Meta to najbardziej przydatne akcesorium technologiczne w modzie, zyskujące popularność wśród redaktorów, stylistów i modelek od stron magazynów po wybiegi - a teraz na czerwonym dywanie największej nocy mody w roku.
"Wciąż promienieję po tej nocy!" - powiedziała Amelia Gray. "A świadomość, że będę mogła ponownie przeżyć tak wiele z tych wyjątkowych chwil z własnej perspektywy, jest naprawdę surrealistyczna. To zupełnie nowy sposób na przeżywanie i dzielenie się tymi jedynymi w swoim rodzaju chwilami i nie mogłabym być bardziej podekscytowana, że mogę być częścią debiutu Ray-Ban Meta na Met Gala". "
Wewnątrz wydarzenia do Gray dołączyli Charli XCX, Jeff Goldblum, Jenna Ortega, Kim Kardashian, Nicki Minaj, Rosé, Shaboozey i Taraji P. Henson jako goście przy stole Instagrama wraz z Adamem Mosseri i Evą Chen.
Fotograf: Quil Lemons
I z dywanu, Instagram oraz Nici gościł wiele ikon, które napędzają rozmowy o kulturze w Hotel Mark na naszym 5. dorocznym Watch Party. Ponad 50 twórców i komentatorów popkultury i mody zebrało się, aby oglądać przybyłych na czerwony dywan i dzielić się wyglądem w czasie rzeczywistym na Instagramie i Threads.
KREDYT: Huy Luong
Style mogą przychodzić i odchodzić, ale moda jest wieczna. A przyszłość okularów AI rysuje się w jasnych barwach.
Znajdź swoje dopasowanie
Ray-Ban Meta Wayfarer (Standard)
Zawias do zawiasu: 131 mmWysokość obiektywu: 41 mmSzerokość obiektywu: 50 mmSzerokość mostka: 22 mmDługość zausznika: 150 mm
Ray-Ban Meta Wayfarer (duże)
Zawias do zawiasu: 137 mmWysokość obiektywu: 44 mmSzerokość obiektywu: 53 mmSzerokość mostka: 22 mmDługość zausznika: 155 mm
Ray-Ban Meta Headliner (LBF)
Zawias do zawiasu: 134 mmWysokość obiektywu: 44 mmSzerokość obiektywu: 51 mmSzerokość mostka: 23 mmDługość zausznika: 150 mm
Ray-Ban Meta Skyler (Standard)
Zawias do zawiasu: 133 mmWysokość obiektywu: 42 mmSzerokość obiektywu: 52 mmSzerokość mostka: 20 mmDługość zausznika: 150 mm
Jaki jest rozmiar ramy?
Rozmiar ramki odnosi się do poziomej szerokości ramki mierzona między środkiem lewego i prawego zawiasu. Nasze ramki są dostępne w jeden lub wiele rozmiarów.
Czerwone linie wskazują szerokość od zawiasu do zawiasu
Skąd mam wiedzieć, jaki rozmiar jest dla mnie odpowiedni?
Aby znaleźć prawidłowy rozmiar ramki, użyj linijki do zmierzenia zawias-zawias odległość pary okularów, które już posiadasz i które dobrze do Ciebie pasują. Rozważ tolerancję zakres +/- 4 mm.
Przewodnik po stanie opakowania
Nowy
Oryginalne opakowanie z nienaruszoną plombą zabezpieczającą
Nowy - rozpakowany
Rozpakowane opakowanie bez plomby zabezpieczającej
Nowe opakowanie (z plombą zabezpieczającą): To opakowanie jest całkowicie nieotwarte, z oryginalną plombą zabezpieczającą zapewniającą, że produkt nigdy nie był naruszany. Jest to idealny wybór dla klientów, którzy wolą, aby produkt pozostał w oryginalnym stanie i chcą mieć pewność, że produkt nie był otwierany ani zwracany. Cena tego opakowania jest wyższa, ponieważ jest ono całkowicie nowe i nietknięte.
Nowy - rozpakowany (bez plomby zabezpieczającej): Opakowanie zostało rozpakowane, ale produkt nie był używany. Plomba zabezpieczająca została usunięta, co oznacza, że opakowanie zostało otwarte (np. z powodu zwrotu w ciągu 14 dni), ale sam produkt jest nadal nowy i nieuszkodzony. Rozpakowane opakowanie jest tańszyPonieważ nie zawiera już oryginalnej plomby, ale dla klientów, którzy nie martwią się rozpakowanym opakowaniem, jest to nadal doskonały wybór w niższej cenie.
PL 
EN 
BG 
CS 
ET 
EL 
HR 
HU 
LT 
LV 
FR 
NL 
PT 
RO 
SL 
SK