Автор: Кристиан Иванчо

In 2017, Reality Labs Chief Scientist Michael Abrash, backed by Meta Founder & CEO Mark Zuckerberg, established a new, secret team within what was then Oculus Research to build the foundation of the next computing platform. Their herculean task: Create a custom silicon solution that could support the unique demands of future augmented reality glasses—a technical feat that required reimagining every component for an all-day wearable AR glasses form factor that simply didn’t exist yet.

Преден ъгъл на прототипа на очилата Orion AR.

Компактен форм-фактор, значително проблемно пространство

Growing from just a few researchers to hundreds of people on the product side, the custom silicon team was built on the premise that AR glasses couldn’t rely on the silicon available in today’s smartphones. And it’s a premise borne out by the several custom chips inside Orion, our first true AR glasses product prototype.

"Построяването на кораба в момента, в който той излиза от пристанището - точно това правехме", казва директорът по стратегията за усъвършенствани технологии Джереми Снодграс. "Трябваше да увеличим скромния си екип, като едновременно с това изграждахме тези чипове. Беше завладяващо да наблюдавам как ръководството привлича нови служители, докато развива култура, която цени гъвкавостта. Нищо не беше проблем на някой друг. Вземаше се весло и започваше да гребеш, дори и да не беше точно това, за което са те наели. Беше много, много вълнуващо време."

"Почти всичко в Orion беше ново за света в много отношения", съгласява се техническият директор на Display Architecture Майк Ий. "Някои от идеите съществуваха, но никой не се беше заел с изследователски проект за създаване на очила с разширена реалност, които да се носят през целия ден."

Екипът трябваше да осигури завладяващо AR изживяване с възможно най-малка консумация на енергия. Формата на очилата може да разсейва само толкова топлина, а капацитетът на батерията може да бъде ограничен. В резултат на това изживяванията, които е възможно да се осигурят с очилата, зависят изцяло от силиция. С други думи, ако топлинният капацитет и капацитетът на батерията останат непроменени, единственият начин да се осигури дадено изживяване е да се оптимизира силицият.

“Designing a new architecture for Orion required the team to not only push existing technologies like wireless and displays aggressively but also to take risks on new technologies,” says Director of Product Management Neeraj Choubey. “For instance, the team developed a machine learning (ML) accelerator without a clear use case at the time, driven by the strong conviction that ML would become increasingly important in Meta’s products. On Orion, every ML accelerator is utilized, and in some cases, they’re oversubscribed, serving functions such as eye tracking and hand tracking. Similarly, the team developed custom compression protocols to reduce bandwidth and power consumption as data moved from the compute puck to the display. Developing custom silicon to achieve Orion’s form factor goals required both a tolerance for high ambiguity and meticulous attention to detail to deliver an incredibly complex system architecture.”

"Най-голямото предизвикателство пред нас беше да предоставим 3D графики, заключени в света, заедно с пространствено аудио, което е визуализирано така, че да изглежда, че излиза от виртуален обект", отбелязва Снодграс. "Трябваше да вместим цялата тази електроника в топлинния капацитет и физическото пространство, а след това да я захранваме с батерия, така че да не се нагрява прекалено. И трябваше да направим всичко това в реална форма на очила - не на голяма козирка, каквато обикновено се среща в тази категория."

"Знаехме как да осигурим необходимата изчислителна мощност, за да осъществим визията си за Orion, но бяхме изправени пред трудна задача: да намалим консумацията на енергия 100 пъти", казва директорът на SoC Solutions Робърт Шиърър. "Това изискваше от нас да разширим границите на силициевия дизайн, като възприемем методологии от различни краища на индустрията - от IoT до високопроизводителни изчисления - и да измислим нови подходи за преодоляване на различията. Партньорите ни от бранша ни смятаха за луди и може би не грешаха напълно. Но точно това беше необходимо: готовност да оспорим общоприетата мъдрост и да преосмислим всичко. Създаването на компютър, който безпроблемно да обединява виртуалния и физическия свят, изисква дълбоко разбиране на контекста, далеч надхвърлящо това, което могат да предложат съществуващите изчислителни платформи. По същество ние преоткрихме начина, по който компютрите взаимодействат с хората, което означаваше да преосмислим начина, по който създаваме силиций от нулата."

Външни компоненти на Orion.

Магията на MicroLEDs

Имаше моменти, в които нещата изоставаха от графика или възникваше привидно непреодолимо техническо предизвикателство, когато беше трудно да се запази инерцията и моралът. Но екипът беше издръжлив, намираше пътища за заобикаляне на препятствията или просто ги събаряше.

Вземете например дисплея на Орион. Екипът по силиций отговаряше за силиция в проектора на дисплея, който се намира в ъглите на очилата.

"За тези проектори оставаше открит въпросът дали можем да получим microLED в масив с достатъчно висока ефективност и яркост, за да използваме дисплей с широко зрително поле", казва Снодграс. "Имаше огромни съмнения, че можем - че това е възможно в рамките на времето, което разглеждахме - защото това беше много нова технология."

"Още в началото осъзнахме, че трябва да преосмислим много от парадигмите за разработване на продукти", добавя Ий. "Количеството светлина, от което се нуждаете, за да създадете използваем дисплей, е доста по-ярко за очилата за разширена реалност, защото като носим дисплей се конкурираме със слънцето. Така че ни трябват енергийни нива, които да се конкурират с него - или поне това е целта. Все още не сме стигнали дотам, но това е голяма част от нея. А това означава, че са необходими източници на светлина за дисплея, които да са способни на това, и схеми, които да могат да ги контролират. И в същото време трябва да го направите миниатюрен."

Персонализиран силиций, управляващ µLED на Orion.

Макар че микросветкавиците изглеждаха най-подходящият източник на светлина за проекторите, силицият помогна да се разкрие техният потенциал.

"При дисплеите говорим за разстоянието между пикселите, което е разстоянието между централните точки на съседните пиксели", обяснява Ий. "При телевизорите тези разстояния са стотици микрони. В телефона ви те са много, много десетки микрони. И ние трябваше да намалим това до едноцифрено число. Единственото познато производство на полупроводници, което можеше да постигне това, беше силицият."

Работата се усложняваше от факта, че задната повърхност на дисплея трябваше да бъде парче силиций, а никой в света не беше проектирал силиций за microLED.

"По онова време всички изследователски екипи бяха използвали течни кристали върху силициеви дисплеи, за да поставят микросветлинни светодиоди", казва Йи. "Никой преди това не беше проектирал задна платка за microLEDs. И ние бяхме изправени пред доста уникално предизвикателство, защото това е оптичен компонент. Той трябва да бъде плосък. Не можете да го надраскате. Трябва да притежава всички тези характеристики, защото когато гледате през вълноводите, през прожекторите, вие буквално гледате горната повърхност на парче силиций."

Силициевият екип разработи сложна серия от платформи за изпитване на тези microLED дисплеи, които изискваха тясна координация с нашите глобални доставчици. МикроLED дисплеите имат глобален отпечатък, като се произвеждат на едно място, а след това се прехвърлят на друго място, където се поставят на пластини. След това пластините се изпращат, за да бъдат нарязани в определена форма, последвано от пътуване до САЩ, за да бъдат слепени с друга пластина, след което се изпращат обратно по целия свят, за да бъде изграден и тестван действителният модул. Процесът е изключително сложен и екипът по силиций разработва тестови автомобили, за да изпробва всяка стъпка.

Екипът е трябвало да намери и начин да осигури захранване на microLED дисплеите в малкия обем на ъглите на очилата. Нашият аналогов екип разработи персонализиран чип за управление на захранването, който се побира в този обем.

"Доставката на енергия е от решаващо значение за такива носими устройства с малки размери, при които размерът на батерията е ограничен, а пространството е недостатъчно", отбелязва директорът на отдела за аналогови и смесени сигнални системи Джихонг Рен. "Нашето персонализирано решение за ИС за управление на захранването използва най-съвременни технологии, за да оптимизира енергийната ефективност за конкретното работно натоварване на системно ниво, като същевременно се вмества в наличните пространствени ограничения. Постигането на това оптимално решение изискваше тясно интердисциплинарно сътрудничество с нашите екипи по механика, електротехника, SoC, μLED и термални технологии, което гарантира безпроблемна интеграция на всички компоненти и максимална обща производителност."

"Това беше невероятен подвиг не само в областта на инженерството, но и в организационното управление: събиране на екип, работа в различни часови зони и с всички тези различни доставчици", добавя Снодграс. "В някои отношения организационното управление на всичко това беше също толкова голямо предизвикателство, колкото и изпълнението на техническите спецификации."

"Не само дизайнът е по поръчка, но и целият процес на изработка е по поръчка", добавя И. "Имаме щастието да разполагаме с някои прекрасни партньори в бранша, които помогнаха това да се случи. Те виждат дългосрочния потенциал на AR дисплеите като цяло и със сигурност визията на Мета за тях. Така че те бяха готови да си партнират с нас, за да се случат тези персонализации и оптимизации, които да позволят този дисплей."

Очила Orion AR.

Итерацията се среща с ускорението

Имаше тясна обратна връзка между силициевия екип и брилянтните умове в Reality Labs Research и XR Tech, които разработваха алгоритми. Последните екипи предоставяха тези алгоритми, които първите претворяваха в хардуер, като премахваха натоварването на софтуера, работещ с процесор с общо предназначение. Това означаваше, че алгоритмите ще работят с по-ниска мощност, но също така означаваше, че силициевият екип е блокиран. След като алгоритмите бяха подсилени, те вече не можеха да правят промени.

"Да речем, че XR Tech разработваше определена дисциплина по алгоритмичен път", обяснява директорът на Silicon Accelerators по архитектура и алгоритми Охад Мейтав. "Те притежават алгоритъмния стек и неговата производителност. След това моят екип, в сътрудничество с тях, ще реши как да ускори алгоритъма, как да засили части от него и как всъщност да го постави в хардуера по начин, който да работи супер ефективно. След това XR Tech ще адаптира своя софтуерен стек, за да се съобрази с хардуера. Това е много повтарящ се процес."

Друг успех е сътрудничеството на силициевия екип с Reality Labs Research за разработване на нов алгоритъм за репроектиране.

"Трябваше алгоритъмът за репроектиране да поддържа различни изкривявания и корекции", отбелязва силициевият архитект Стив Клохет. "Алгоритъмът, разработен от RL-R, който в крайна сметка използвахме, не се използва в общите изчисления. И до ден днешен той се оказва доста мощен инструмент."

След като алгоритмите бяха усъвършенствани, а хардуерът оптимизиран, екипът за въвеждане на силиций подложи персонализираните чипове на изпитания.

"Персонализираният силициев чипсет на Orion е изпълнен със сложност", казва старши директорът на отдел "Система и инфраструктура от край до край" Липинг Гуо. "Създаването и валидирането на самостоятелни чипове и оперативната съвместимост между тях в рамките на кратък период от време е невероятно предизвикателство. За щастие ние работим във вертикално интегрирана среда, където Reality Labs притежава целия пакет - от силиция и фърмуера на ниско ниво до операционната система, софтуера и опита на горния слой. Възползвахме се напълно от това, като работихме в тясно сътрудничество с нашите междуфункционални партньори и изместихме интеграцията между стековете на етапа на валидиране на силикона. Orion беше нашият пилотен проект за тази методология - ние изградихме мускулите си и създадохме здрава основа за Reality Labs, за да се възползваме от всички предимства на персонализирания силиций в бъдеще."

А след въвеждането в експлоатация дойде време за оптимизиране на софтуера.

"Има повтарящ се процес, при който започвате с напълно неоптимизиран софтуерен пакет, само за да стартирате и да пуснете всичко", казва Снодграс. "След това преминавате една по една през подсистемите и започвате да оптимизирате софтуера за конкретния хардуер - включително намаляване на количеството памет, което софтуерът използва. Хардуерът може да е прекрасно проектиран, но няма да постигнете теоретичната енергийна ефективност, ако не инвестирате толкова или повече време, за да накарате софтуера да се възползва напълно от предимствата на хардуера. Ето това е историята на Orion: хардуер и софтуер, оптимизирани до краен предел. Не оставяме нито един пикоджаул или миливат назад."

И въпреки че Orion може да е прототип, работата по него има значителен потенциал да повлияе на пътната карта на Meta.

"Гледаме на силициевите ИС, които изграждаме, като на платформи в смисъл, че това са ценни ИС, които ще подобряваме от едно поколение или от един продукт на друг", добавя Мейтав. "Всички алгоритми за компютърно зрение и графика не са създадени само за Orion. Те ще бъдат използвани в бъдещи продукти."

Работата ни със силиций е свързана със създаването на нови решения, като същевременно работим в тясно сътрудничество с партньори. Всъщност влиянието на силициевия екип се простира отвъд Орион и включва Очила Ray-Ban Meta and Meta Quest headsets today—even though they both use third-party chips. The silicon team regularly shares their work with the mixed reality team, showing what’s possible in terms of power efficiency. The MR team then shares those findings with partners like Qualcomm to help inform future chip designs. And because the silicon team uses the same off-the-shelf digital signal processors (DSPs) as Ray-Ban Meta glasses, they’ve been able to share lessons learned and best practices when implementing and writing code for those DSPs to help improve the audio experiences available on our AI glasses.

And that knowledge sharing goes both ways: The MR team has given the silicon team insights on things like Asynchronous TimeWarp and Application SpaceWarp in production.

"Това, което човек прави в производството, е много по-интересно от нещо, което бихме могли да направим с прототип", казва Клохет. "Опитахме се да интегрираме това, което те правят с деформациите, доколкото е възможно."

Двусмисленост < Амбиция

Тъй като "Орион" беше наистина нула към едно, участващите екипи трябваше по необходимост да се справят с огромно количество неясноти.

"Не мога да преувелича колко сложни бяха нещата с Орион", казва Клохет. "Когато правите компютър, например, обикновено имате добра представа какъв ще бъде дисплеят. Но ние не знаехме какъв ще бъде вълноводът, така че трябваше да правим проби на различни вълноводи и да измислим механизъм, който да се справи с най-лошия сценарий, защото не знаехме къде ще се приземят нещата. Една оптимизация тук щеше да се преплита с всички останали варианти и в крайна сметка щеше да се получи тази матрица от всички тези различни неща, които трябваше да поддържате и да се опитвате да валидирате, защото не знаехте къде ще се приземи продуктът след шест месеца."

It’s important to note that Orion isn’t just a pair of AR glasses—it’s a three-part constellation of hardware. A lot of the processing happens on the compute puck, which necessitates a strong connection between it and the glasses. Add the surface EMG wristband into the loop, and the system architecture becomes even more complicated.

"Това беше огромно предизвикателство за екипите и всичко това просто работи", казва Снодграс. "Това беше невероятно сътрудничество между силициевия екип, безжичния екип и софтуерните екипи в цялата организация."

Изчислителната шайба на Orion.

"С Orion създадохме цял екип с голямо разнообразие от инженери и те успяха да проектират чисто нов тръбопровод", добавя Клохет. "Това е конвейер, който се справя с шест степени на свобода на движение на обекти в 3D пространството. Той използва свой собствен драйвер за дисплей. Трябваше да направим наистина уникални корекции на качеството на изображението. И мисля, че предизвикателството за нас беше, че тъй като това беше проект "нула към едно", нямаше съществуваща спецификация, която да коригираме и подобрим. Всичко тук е напълно ново, така че имахме възможност да направим всичко."

Much like the puck has some dormant features hidden beneath the surface, the custom silicon punches above its weight, too. While Orion doesn’t allow the user to take photos with its RGB cameras, the silicon is capable of supporting it, as well as codec avatars. And just as the puck helped unlock a true glasses form factor by offloading much of the compute, Orion’s custom silicon proved a necessary piece of the AR puzzle.

"За да реализирате изживяване от типа "нула към едно", като очилата за разширена реалност, се нуждаете от персонализиран силиций - пълна спирка", обяснява Снодграс. "С течение на времето, ако има пазар, доставчиците на силиций ще разработят продукти, които да отговорят на търсенето. Но за "нула към едно" не можете просто да вземете нещо, което съществува от рафта и е предназначено за друг продукт, и да го вкарате в нова форма. Трябва да се инвестира в нещо по поръчка. А за да реализирате тези изживявания от типа "нула до едно", се нуждаете от широко сътрудничество между софтуерни партньори, индустриални дизайнери, машинни инженери и др."

"Освобождавайки се от традиционните мисловни модели, създадохме нещо наистина забележително", добавя Шиърър. "Вярваме, че тази компютърна платформа представлява бъдещето на технологиите - такова, което ще революционизира начина, по който живеем, работим и взаимодействаме помежду си. Развълнувани сме, че ще бъдем в челните редици на тази иновация, ще разширим границите на възможното и ще помогнем да се оформи ходът на историята."

When we first began giving demos of Orion early this year I was reminded of a line that you hear a lot at Meta—in fact it was even in our first letter to prospective shareholders back in 2012: Code wins arguments. We probably learned as much about this product space from a few months of real-life demos than we did from the years of work it took to make them. There is just no substitute for actually building something, putting it in people’s hands, and learning from how they react to it.

Orion wasn’t our only example of that this year. Our mixed reality hardware and AI glasses have both reached a new level of quality and accessibility. The stability of those platforms allows our software developers to move much faster on everything from operating systems to new AI features. This is how I see the metaverse starting to come into greater focus and why I’m so confident that the coming year will be the most important one in the history of Reality Labs.

2024 г. е годината, в която очилата с изкуствен интелект достигат своя разцвет. Когато за първи път започнахме да правим умни очила през 2021 г., си помислихме, че те могат да бъдат добра първа стъпка към очилата с разширена реалност, които в крайна сметка искахме да създадем. Докато слушалките за смесена реалност са на път да се превърнат в компютърна платформа с общо предназначение, подобно на днешните персонални компютри, ние видяхме очилата като естествена еволюция на днешните мобилни компютърни платформи. Затова искахме да започнем да се учим от реалния свят възможно най-скоро.

The biggest thing we’ve learned is that glasses are by far the best form factor for a truly AI-native device. In fact they might be the first hardware category to be completely defined by AI from the beginning. For many people, glasses are the place where an AI assistant makes the most sense, especially when it’s a multimodal system that can truly understand the world around you.

We’re right at the beginning of the S-curve for this entire product category, and there are endless opportunities ahead. One of the things I’m most excited about for 2025 is the evolution of AI assistants into tools that don’t just respond to a prompt when you ask for help but can become a proactive helper as you go about your day. At Connect we showed how Live AI on glasses can become more of a real-time participant when you’re getting things done. As this feature begins rolling out in early access this month we’ll see the first step toward a new kind of personalized AI assistant.

It won’t be the last. We’re currently in the middle of an industry-wide push to make AI-native hardware. You’re seeing phone and PC makers scramble to rebuild their products to put AI assistants at their core. But I think a much bigger opportunity is to make devices that are AI-native from the start, and I’m confident that glasses are going to be the first to get there. Meta’s Chief Research Scientist Michael Abrash has been talking about the potential of a personalized, context-aware AI assistant on glasses for many years, and building the technologies that make it possible has been a huge focus of our research teams.

Смесена реалност has been another place where having the right product in the hands of a lot of people has been a major accelerant for progress. We’ve seen Meta Quest 3 get better month after month as we continue to iterate on the core system passthrough, multitasking, spatial user interfaces, and more. All these gains extended to Quest 3S the moment it launched. This meant the $299 Quest 3S was in many respects a better headset on day 1 than the $499 Quest 3 was when it first launched in 2023. And the entire Quest 3 family keeps getting better with every update.

In 2025 we’ll see the next iteration of this as Quest 3S brings a lot more people into mixed reality for the first time. While Quest 3 has been a hit among people excited to own the very best device on the market, Quest 3S is expected to be heavily gifted in 2024. Sales were strong over the Black Friday weekend, and we’re expecting a surge of people activating their new headsets over the holiday break.

Това ще продължи тенденцията, която се оформи през последната година: ръст на новите потребители, които търсят по-широк спектър от дейности със своите слушалки. Искаме тези нови потребители да видят магията на MR и да се задържат за дълго време, поради което финансираме разработчици, които да създават новите видове приложения и игри, които те търсят.

Наблюдава се значителен приток на по-млади хора, които се насочват към социални и конкурентни мултиплейър игри, както и към съдържание с безплатен вход. И заглавия като BEHEMOTH на Skydance, Батман: Сянката на Аркам (която току-що спечели наградата за най-добра AR/VR игра на The Game Awards!), и Пробуждане на метрото показа за пореден път, че някои от най-добрите нови игри, произвеждани от нашата индустрия, вече са възможни само с днешните слушалки.

As the number of people in MR grows, the quality of the social experience it can deliver is growing in tandem. This is at the heart of what Meta is trying to achieve with Reality Labs and where the greatest potential of the metaverse will be unlocked: “the chance to create the most social platform ever” is how we described it when we first began working on it. We took two steps forward on this front in 2024: first with a broad set of improvements to Horizon Worlds including its expansion to mobile, and second with the next-generation Meta Avatars system that lets people represent themselves across our apps and headsets. And as the visual quality and overall experience with these systems improve, more people are getting their first glimpse of a social metaverse. We’re seeing similar trends with new Quest 3S users spending more time in Horizon Worlds, making it a Top 3 immersive app for Quest 3S, and people continue creating new Meta Avatars across mobile and MR.

Навлизането на смесената реалност в масовата практика помогна да се разбере какво ще последва. Една от първите тенденции, които открихме след пускането на Quest 3 миналата година, беше, че хората използват смесена реалност, за да гледат видеоклипове, докато са многозадачни в дома си - мият чинии или чистят с прахосмукачка хола. Това беше ранен сигнал, че хората обичат да разполагат с голям виртуален екран, който могат да вземат навсякъде и да поставят във физическия свят около себе си. Видяхме, че тази тенденция се разгръща, като всички видове развлекателни преживявания се развиват бързо в цялото семейство Quest 3. Нови функции като YouTube Co-Watch показват колко голям е потенциалът за изцяло нов вид социално забавление в метавселената.

That’s why James Cameron, one of the most technologically innovative storytellers of our lifetimes, is now working to help more filmmakers and creators produce great 3D content for Meta Quest. While 3D films have been produced for decades, there’s never been a way to view them that’s quite as good as an MR headset, and next year more people will own a headset than ever before. “We’re at a true, historic inflection point,"Jim said when we launched our new partnership this month.

This is happening alongside a larger shift Mark Rabkin shared at Connect this year: Our vision for Horizon OS is to build a new kind of general purpose computing platform capable of running every kind of software, supporting every kind of user, and open to every kind of creator and developer. Our recent releases for 2D/3D multi-tasking, panel positioning, better hand tracking, Windows Remote Desktop integration, and Open Store have started to build momentum along this new path. Horizon OS is on track to be the first platform that supports the full spectrum of experiences from immersive VR to 2D screens, mobile apps, and virtual desktops—and the developer community is central to that success.

Следващата голяма стъпка към метавселената ще комбинира очила с изкуствен интелект с истинска добавена реалност, каквато разкрихме тази година с Orion. Нерядко се случва да надникнете в бъдещето и да видите напълно нова технология, която ви показва накъде вървят нещата. Хората, които видяха Orion, веднага разбраха какво означава той за бъдещето, подобно на хората, които видяха първите персонални компютри, оформящи се в Xerox PARC през 70-те години на миналия век ("в рамките на десет минути за мен беше очевидно, че всички компютри ще работят по този начин някой ден", каза по-късно Стив Джобс за демонстрацията на Xerox Alto през 1979 г.).

Възможността да кача хората в машина на времето и да им покажа как ще изглежда следващата компютърна платформа беше най-важното събитие в 2024 г. и в кариерата ми досега. Но истинското въздействие на Orion ще бъде в продуктите, които ще доставим след това, и в начините, по които ще ни помогне да разберем по-добре какво хората обичат в очилата за разширена реалност и какво трябва да се подобри. Прекарахме години в проучване на потребителите, планиране на продукти и експериментални проучвания, за да разберем как трябва да работят очилата с разширена реалност, и именно тази работа ни позволи да създадем Orion. Но оттук нататък темпото на напредъка ще бъде много по-бързо, след като вече имаме реален продукт, около който да изградим интуицията си.

This has been the lesson time and again over the last decade at Reality Labs. The most important thing you can do when you’re trying to invent the future is to ship things and learn from how real people use them. They won’t always be immediate smash hits, but they’ll always teach you something. And when you land on things that really hit the mark, like mixed reality on Quest 3 or AI on glasses, that’s when you put your foot on the gas. This is what will make 2025 such a special year: With the right devices on the market, people experiencing them for the first time, and developers discovering all the opportunities ahead, it’s time to accelerate.

Welcome back for another episode of Boz To The Future, a podcast from Reality Labs. In today’s episode, our host, Meta CTO and Head of Reality Labs Andrew “Boz” Bosworth, is joined by Meta’s VP of Wearables Alex Himel.

Екипът на Химел работи по някои от най-трудните технически проблеми в индустрията, като цели да помогне за създаването на следващата компютърна платформа. Подобно на Босуърт, той е дългогодишен лидер в Meta, заемал множество ръководни длъжности в бизнеса през своите над 15 години в компанията.

Босуърт и Химел обхващат редица теми, включително носими устройства, добавена реалност и как изкуственият интелект ускорява и подобрява видовете преживявания, вградени в Очила Ray-Ban Meta и бъдещи продукти.

They go deep on Orion and the positive reception it’s received since Mark Zuckerberg announced it at Connect. Just as Steve Jobs recognized the Alto as a turning point in computing, Bosworth asserted that, while we may disagree about the details, it’s hard to argue against this as the future. Himel and Bosworth go on to talk about the tremendous value of prototyping and building, saying how much more they’ve learned about Orion and its input paradigms in the three weeks of using it compared to the years spent building it.

Те също така говориха за ключовата роля на изкуствения интелект в носимите устройства и за това как той става все по-полезен в ежедневието - особено сега, когато можете да питате Meta AI за нещата, които виждате, и да го използвате, за да задавате визуални напомняния.

Химел разказва и за дълбокия си опит в един друг вид стекове: сандвичи. След като седем години е работил в известния магазин Lange's Little Store в Чапакуа, Ню Йорк, където е израснал, Химел и Босуърт се запознават с това какво прави един сандвич страхотен, къде наистина отиват доматите и кой хляб е по-добър.

Можете да се включите към Boz в бъдещето on Apple Podcasts, Spotify, and wherever you listen to podcasts.

You can follow Himel on Threads. You can follow Bosworth on Instagram, Twitter/X, and Threads @boztank.

Back in 2019, the Orion team prepared an important demo for Meta Founder & CEO Mark Zuckerberg, showcasing potential waveguides for augmented reality glasses—a pivotal moment when theoretical calculations on paper were brought to life. And it was a demo that changed everything.

“Wearing the glasses with glass-based waveguides and multiple plates, it felt like you were in a disco,” recalls Optical Scientist Pasqual Rivera. “There were rainbows everywhere, and it was so distracting—you weren’t even looking at the AR content. Then, you put on the glasses with silicon carbide waveguides, and it was like you were at the symphony listening to a quiet, classical piece. You could actually pay attention to the full experience of what we were building. It was a total game changer.”

Yet as clear (pun intended) as the choice of silicon carbide as a substrate seems today, when we first started down the road to AR glasses a decade ago, it was anything but.

"Силициевият карбид обикновено е силно легиран с азот", казва Ривера. "Той е зелен, а ако стане достатъчно дебел, изглежда черен. Няма как да се направи оптична леща от него. Това е електронен материал. Има причина да е с този цвят и тя се дължи на електронните му свойства."

"Силициевият карбид съществува като материал от дълго време", съгласява се техническият ръководител на AR Waveguides Джузепе Калафиоре. "Основното му приложение е в мощната електроника. Вземете например електрическите превозни средства: Всички електромобили се нуждаят от чип - но този чип трябва да е способен и на много висока мощност, да движи колелата и да задвижва това нещо. Оказва се, че не можете да направите това с обикновения силициев субстрат, от който се правят чиповете, които използваме в нашите компютри и електроника. Необходима е платформа, която да позволява преминаването на високи токове, висока мощност, и този материал е силициев карбид."

Доскоро, когато дискусиите за възобновяемите енергийни източници започнаха да се разпалват, пазарът на тези мощни чипсети не се доближаваше до размера на пазара на чипове за потребителска електроника. Силициевият карбид винаги е бил скъп и не е имало голям стимул за намаляване на разходите, тъй като за размера на чипа, който се прави за автомобил, цената на субстрата е била поносима.

"Но се оказва, че силициевият карбид притежава и някои от свойствата, които са ни необходими за вълноводите и оптиката", казва Калафиоре. "Показателят на пречупване е ключовото свойство, което ни интересува. А силициевият карбид има висок коефициент на пречупване, което означава, че той е способен да канализира и извежда голямо количество оптични данни. Можете да си го представите като оптична честотна лента - точно както имате честотна лента за интернет и искате тя да е достатъчно голяма, за да можете да изпращате огромни количества данни по този канал. Същото важи и за оптичните устройства."

The higher a material’s refractive index, the higher its étendue, so you can send more optical data through that channel.

"Каналът в нашия случай е вълноводът, а по-големият етендюс води до по-голямо зрително поле", обяснява Калафиоре. "Колкото по-голям е показателят на пречупване на даден материал, толкова по-голямо зрително поле може да поддържа дисплеят."

Пътят към правилния индекс на пречупване

Когато Калафиоре се присъединява към тогавашната компания Oculus Research през 2016 г., най-високият показател на пречупване на светлината, с който екипът разполага, е 1,8 - което изисква подреждане на няколко плочи, за да се постигне желаното зрително поле. Като оставим настрана нежеланите оптични артефакти, монтажната линия ставаше все по-сложна, тъй като първите два вълновода трябваше да бъдат перфектно подравнени, а след това този стек трябваше да бъде перфектно подравнен с трети вълновод.

"Не само, че беше скъпо, но и веднага стана ясно, че не може да има три парчета стъкло на леща в чифт очила", спомня си Калафиоре. "Бяха твърде тежки, а дебелината им беше непосилно голяма и грозна - никой нямаше да ги купи. Така че се върнахме в изходна позиция: опитахме се да увеличим показателя на пречупване на субстрата, за да намалим броя на необходимите пластини."

The first material the team looked into was lithium niobate, which has a refractive index of roughly 2.3—quite a bit higher than the glass at 1.8.

"Осъзнахме, че трябва да сложим само две плочи и може би ще се справим дори с една плоча, за да покрием зрителното поле", казва Калафиоре. "Почти успоредно с това започнахме да разглеждаме други материали - така заедно с нашите доставчици през 2019 г. разбрахме, че силициевият карбид в най-чистата си форма всъщност е много прозрачен. Също така се оказа, че той има най-високия индекс на пречупване, известен за оптично приложение, който е 2,7."

Това е увеличение със 17,4% спрямо литиевия ниобат и с 50% спрямо стъклото, за тези, които си водят сметките у дома.

"С няколко модификации на същото оборудване, което вече се използваше в индустрията, беше възможно да се получи прозрачен силициев карбид", казва Калафиоре. "Можете просто да промените процеса, да бъдете много по-внимателни и вместо да оптимизирате за електронни свойства, да оптимизирате за оптични свойства: прозрачност, равномерност на индекса на пречупване и т.н."

Потенциалната цена на компромиса

По онова време екипът на Reality Labs е първият, който дори се опитва да премине от непрозрачни пластини от силициев карбид към прозрачни. И тъй като силициевият карбид е един от най-твърдите познати материали, за рязането или полирането му са необходими основно диамантени инструменти. В резултат на това еднократните инженерни разходи бяха много високи, така че полученият субстрат беше доста скъп.

Макар че съществуват по-рентабилни алтернативи, както при всяка технология, всяка от тях има компромиси. С увеличаването на зрителното поле към водещото в индустрията зрително поле на Orion от приблизително 70 градуса възникват нови проблеми като призрачни изображения и дъги.

"Намирането на оптималното решение за AR дисплей с широко зрително поле е свързано с компромиси между производителност и разходи", обяснява научният директор на отдела за научни изследвания Бари Силвърстайн. "Разходите често могат да бъдат намалени, но ако производителността не е достатъчна, разходите в крайна сметка няма да имат значение."

Призрачните изображения са като визуално ехо на основното изображение, което се прожектира върху дисплея. Дъгите са цветни светлинни ивици, които се създават, когато околната светлина се отразява от вълновода. "Да речем, че шофирате през нощта с движещи се светлини на колите около вас", казва Силвърстайн. "Ще имате дъги, които също се движат. Или ако сте на плажа и играете волейбол, а слънцето грее, ще получите дъгова ивица, която се движи заедно с вас и ще пропуснете удара си. И едно от чудодейните свойства на силициевия карбид е, че той се отървава от тези дъги."

"Другото предимство на силициевия карбид, което никой от другите материали не притежава, е топлопроводимостта", добавя Калафиоре. "Пластмасата е ужасен изолатор. Стъклото, литиевият ниобат - същото. Преминавате към силициев карбид и той е прозрачен, прилича на стъкло и познайте какво: провежда топлина."

Така през юли 2020 г. екипът определя, че силициевият карбид е оптималният избор поради три основни причини: Той води до подобряване на форм-фактора, тъй като изисква само една плоча и по-малки монтажни структури, има по-добри оптични свойства и е по-лек от стъклото с две плочи.

Тайната на наклоненото гравиране

След като материалът беше готов, следващият проблем беше изработката на вълноводите - и по-специално нетрадиционна техника за решетки, наречена наклонено гравиране.

"Решетката е наноструктурата, която свързва и изключва светлината от лещата", обяснява Калафиоре. "А за да работи силициевият карбид, решетката трябва да бъде наклонена. Вместо да са вертикални, линиите на решетката трябва да са наклонени по диагонал."

"Ние бяхме първите, които направиха наклонено ецване директно върху устройствата", казва ръководителят на изследванията Нихар Моханти. "Цялата индустрия разчиташе на наноотпечатъци, които не работят за субстрати с толкова висок коефициент на пречупване. Ето защо никой друг в света не се беше сетил да направи това със силициев карбид."

Но тъй като наклоненото ецване е незряла технология, повечето доставчици и заводи за полупроводникови чипове не разполагат с необходимите инструменти.

"През 2019 г. заедно с тогавашния ми ръководител Мат Колбърн създадохме собствено предприятие, тъй като в света нямаше нищо, което да произвежда гравирани вълноводи от силициев карбид и където да можем да докажем технологията извън лабораторните мащаби", обяснява Моханти. "Това беше огромна инвестиция и там създадохме целия конвейер. Инструменталната екипировка беше изработена по поръчка от нашите партньори, а процесът беше разработен в Мета, въпреки че нашите системи са от изследователски клас, защото там нямаше системи от производствен клас. Работихме с производствен партньор, за да разработим инструменти и процеси за наклонено ецване от производствен клас. И сега, след като показахме какво е възможно със силициев карбид, искаме другите в индустрията да започнат да произвеждат свои собствени инструменти."

Колкото повече компании инвестират в оптичен силициев карбид и разработват оборудване, толкова по-силна ще стане категорията на потребителските очила за разширена реалност.

Вече не преследваме дъги

While technological inevitability is a myth, the stars certainly seem to be aligning in silicon carbide’s favor. And although the team continues to investigate alternatives, there’s a strong sense that the right people have come together at the right time under the right market conditions to build AR glasses using this material.

"Orion доказа, че силициевият карбид е жизнеспособна опция за очила за AR", казва Силвърстайн, "и сега виждаме интерес по веригата за доставки на три различни континента, където те усилено търсят тази възможност. Силициевият карбид ще излезе начело. Според мен това е само въпрос на време."

За това време могат да се случат много неща - подобно на начина, по който се обърнаха нещата, откакто отгледахме първите кристали от прозрачен силициев карбид.

"Всички тези производители на силициев карбид бяха увеличили масово предлагането в отговор на очаквания бум на електромобилите", отбелязва Калафиоре. "В момента има свръхкапацитет, който не съществуваше, когато изграждахме Orion. Така че сега, тъй като предлагането е голямо, а търсенето - малко, цената на субстрата започна да се понижава."

"Доставчиците са много развълнувани от новата възможност за производство на оптичен силициев карбид - в края на краищата всяка вълноводна леща представлява голямо количество материал в сравнение с електронния чип и всички техни съществуващи възможности се прилагат в това ново пространство", добавя Силвърстайн. "Запълването на фабриката е от съществено значение, а увеличаването на мащаба на фабриката е мечтата. Размерът на пластината също е от значение: Колкото по-голяма е пластината, толкова по-ниска е цената, но сложността на процеса също се увеличава. Въпреки това видяхме, че доставчиците преминават от 4-инчови към 8-инчови пластини, а някои работят по прекурсори за 12-инчови пластини, които биха дали експоненциално повече чифта очила за AR."

Тези постижения трябва да спомогнат за по-нататъшно намаляване на разходите. Все още е рано, но бъдещето се очертава.

"В началото на всяка нова технологична революция се изпробват много неща", казва Калафиоре. "Вижте телевизията: Започнахме с катодно-лъчеви тръби, след това преминахме към плазмените телевизори със светодиоди, а сега и към микросветкавиците. Преминахме през няколко различни технологии и архитектури. Когато търсите пътя, много пътища не свършват никъде, но има някои, към които се връщате като към най-обещаващи. Не сме в края на пътя и не можем да се справим сами, но силициевият карбид е чудесен материал, който си заслужава инвестицията."

"Светът вече е буден", добавя Силвърстайн. "Успешно показахме, че силициевият карбид може да се използва в електрониката и фотониката. Това е материал, който може да има бъдещи приложения в квантовите изчисления. И виждаме признаци, че е възможно значително да се намали цената. Предстои ни още много работа, но потенциалът ни е огромен."

TL;DR:

• Today at Connect, Mark Zuckerberg unveiled Orion—our first pair of true AR glasses, previously codenamed Project Nazare.
• With an industry-leading field of view, silicon carbide lenses, intricate waveguides, uLED projectors, and more, Orion is our most advanced and most polished product prototype to date.
• Сега продължаваме да оптимизираме продуктите и да намаляваме разходите, за да създадем мащабируемо потребителско устройство, което ще промени начина, по който хората взаимодействат със света.

---

"Създаваме очила с разширена реалност."

Five simple words, spoken five years ago. With them, we planted a flag on our vision of a future where we no longer have to make the false choice between a world of information at our fingertips and the physical world all around us.

А сега, пет години по-късно, още пет думи, които отново ще променят играта:

Създадохме очила за разширена реалност.

Мисията на Meta е проста: даваме на хората силата да създават общности и да сближават света. А в Reality Labs създаваме инструменти, които помагат на хората да се чувстват свързани навсякъде и по всяко време. Ето защо работим за създаването на следващата компютърна платформа, която поставя хората в центъра, така че те да могат да присъстват по-добре, да са свързани и да имат повече възможности в света.

Очила Ray-Ban Meta демонстрираха силата на възможността да се предостави на хората свободен достъп до ключови части от техния цифров живот от техния физически живот. Можем да разговаряме с интелигентен асистент с изкуствен интелект, да се свързваме с приятели и да улавяме важните моменти - всичко това, без да се налага да изваждаме телефон. Тези стилни очила се вписват безпроблемно в ежедневието ни и хората абсолютно ги обичат.

И все пак, докато Ray-Ban Meta открива изцяло нова категория очила без дисплей, заредени с изкуствен интелект, XR индустрията отдавна мечтае за истински AR очила - продукт, който съчетава предимствата на голям холографски дисплей и персонализирана помощ от изкуствен интелект в удобен, стилен и удобен за носене през целия ден форм-фактор.

And today, we’ve pushed that dream closer to reality with the unveiling of Orion, which we believe is the most advanced pair of AR glasses ever made. In fact, it might be the most challenging consumer electronics device produced since the smartphone. Orion is the result of breakthrough inventions in virtually every field of modern computing—building on the work we’ve been doing at Reality Labs for the last decade. It’s packed with entirely new technologies, including the most advanced AR display ever assembled and custom silicon that enables powerful AR experiences to run on a pair of glasses using a fraction of the power and weight of an MR headset.

Orion’s input system seamlessly combines voice, eye gaze, and hand tracking with an EMG wristband that lets you swipe, click, and scroll while keeping your arm resting comfortably by your side, letting you stay present in the world and with the people around you as you interact with rich digital content.

Започвайки от днес в Connect и продължавайки през цялата година, отваряме достъп до прототипа на продукта Orion за служителите на Meta и избрани външни публики, така че екипът ни за разработка да може да се учи, да итерира и да изгражда нашата потребителска продуктова линия очила за AR, която планираме да започнем да доставяме в близко бъдеще.

Защо очила AR?

Има три основни причини, поради които очилата за разширена реалност са ключови за отключване на следващия голям скок в ориентираните към човека компютри.

1. Те дават възможност за цифрови изживявания, които не са ограничени от екрана на смартфона. С големите холографски дисплеи можете да използвате физическия свят като свое платно, като разполагате 2D и 3D съдържание и преживявания навсякъде, където пожелаете.
2. Те безпроблемно интегрират контекстуален изкуствен интелект, който може да усеща и разбира света около вас, за да предвиди и проактивно да отговори на нуждите ви.
3. Те са леки и са подходящи за използване както на закрито, така и на открито - и позволяват на хората да видят истинското си лице, истинските си очи и истинските си изражения.

Това е северната звезда, към която се стреми нашата индустрия: продукт, който съчетава удобството и непосредствеността на носимите устройства с голям дисплей, високоскоростен вход и контекстуален AI във форм фактор, който хората се чувстват комфортно да носят в ежедневието си.

Компактен форм-фактор, сложни предизвикателства

В продължение на години бяхме изправени пред фалшив избор - или слушалки за виртуална и смесена реалност, които позволяват дълбоки, поглъщащи изживявания в обемист форм-фактор, или очила, които са идеални за целодневна употреба, но не предлагат богати визуални приложения и изживявания поради липсата на голям дисплей и съответната изчислителна мощ.

Но ние искаме всичко това без компромиси. От години работим усилено, за да използваме невероятните пространствени изживявания, предлагани от VR и MR слушалките, и да миниатюризираме технологията, необходима за осигуряване на тези изживявания, в чифт леки и стилни очила. Усвояването на форм-фактора, осигуряването на холографски дисплеи, разработването на завладяващи AR изживявания и създаването на нови парадигми за взаимодействие между човека и компютъра (HCI) - и всичко това в един цялостен продукт - е едно от най-трудните предизвикателства, с които нашата индустрия някога се е сблъсквала. Толкова е трудно, че смятахме, че имаме по-малко от 10 процента шанс да се справим успешно.

Досега.

Революционен дисплей в несравним форм-фактор

Приблизително 70 градуса, Orion има най-голямото зрително поле в най-малкия до момента форм-фактор на очилата за AR. Това поле на видимост разкрива истински поглъщащи случаи на използване на Orion - от многозадачни прозорци и забавления на голям екран до холограми на хора в естествена големина - цялото цифрово съдържание, което може безпроблемно да се смеси с представата ви за физическия свят.

За Orion зрителното поле беше нашият свещен граал. Бяхме се сблъскали със законите на физиката и трябваше да огънем светлинните лъчи по начин, по който те не се огъват естествено - и трябваше да го направим в рамките на мощност, измервана в миливати.

Instead of glass, we made the lenses from silicon carbide—a novel application for AR glasses. Silicon carbide is incredibly lightweight, it doesn’t result in optical artifacts or stray light, and it has a high refractive index—all optical properties that are key to a large field of view. The waveguides themselves have really intricate and complex nano-scale 3D structures to diffract or spread light in the ways necessary to achieve this field of view. And the projectors are uLEDs—a new type of display technology that’s super small and extremely power efficient.

Orion е безспорен чифт очила, както на външен вид, така и на допир - с прозрачни лещи. За разлика от съвременните MR слушалки или други AR очила, вие все още можете да виждате истинските очи и изражения на другите, така че да присъствате и да споделяте преживяването с хората около вас. Бяха необходими десетки нововъведения, за да се сведе индустриалният дизайн до съвременен форм-фактор на очилата, който ще ви е удобно да носите всеки ден. Orion е постижение на миниатюризацията - компонентите са събрани до частица от милиметъра. И успяхме да вградим седем малки камери и сензори в рамката.

Трябваше да поддържаме оптична прецизност с дебелина една десета от дебелината на човешки косъм. Системата може да открива малки движения, като например разширяване или свиване на рамката при различни температури в помещението, и след това да коригира цифрово необходимото оптично подравняване - всичко това в рамките на милисекунди. Изработихме рамките от магнезий - същия материал, който се използва в състезателните автомобили от Формула 1 и космическите кораби - защото е лек, но твърд, така че поддържа оптичните елементи в една линия и ефективно отвежда топлината.

Отопление и охлаждане

След като разчупихме дисплея (без умисъл) и преодоляхме проблемите с физиката, трябваше да се справим с предизвикателството на наистина мощните изчисления при наистина ниска консумация на енергия и необходимостта от разсейване на топлината. За разлика от съвременните MR слушалки, не можете да вкарате вентилатор в чифт очила. Така че трябваше да проявим творчество. Голяма част от материалите, използвани за охлаждане на Orion, са подобни на тези, използвани от НАСА за охлаждане на спътници в космоса.

We built highly specialized custom silicon that’s extremely power efficient and optimized for our AI, machine perception, and graphics algorithms. We built multiple custom chips and dozens of highly custom silicon IP blocks inside those chips. That lets us take the algorithms necessary for hand and eye tracking as well as simultaneous localization and mapping (SLAM) technology that normally takes hundreds of milliwatts of power—and thus generates a corresponding amount of heat—and shrink it down to just a few dozen milliwatts.

И да, потребителският силиций продължава да играе решаваща роля в разработването на продукти в Reality Labs, въпреки че може да сте чели другаде. 😎

Безпроблемно EMG

Every new computing platform brings with it a paradigm shift in the way we interact with our devices. The invention of the mouse helped pave the way for the graphical user interfaces (GUIs) that dominate our world today, and smartphones didn’t start to really gain traction until the advent of the touch screen. And the same rule holds true for wearables.

We’ve spoken about our work with electromyography, or EMG, for years, driven by our belief that input for AR glasses needs to be fast, convenient, reliable, subtle, and socially acceptable. And now, that work is ready for prime time.

Системата за въвеждане и взаимодействие на Orion безпроблемно комбинира глас, поглед и проследяване на ръката с EMG гривна, която ви позволява да плъзгате, кликате и превъртате с лекота.

It works—and feels—like magic. Imagine taking a photo on your morning jog with a simple tap of your fingertips or navigating menus with barely perceptible movements of your hands. Our wristband combines a high-performance textile with embedded EMG sensors to detect the electrical signals generated by even the tiniest muscle movements. An on-device ML processor then interprets those EMG signals to produce input events that are transmitted wirelessly to the glasses. The system adapts to you, so it gets better and more capable at recognizing the most subtle gestures over time. And today, we’re sharing more about our support for external research focused on expanding the equity and accessibility potential of EMG wristbands.

Запознайте се с безжичния изчислителен блок

True AR glasses must be wireless, and they must also be small.So we built a wireless compute puck for Orion. It takes some of the load off of the glasses, enabling longer battery life and a better form factor complete with low latency.

Очилата управляват всички графични алгоритми за проследяване на ръката, проследяване на очите, SLAM и специализирани графични алгоритми за заключване на света на AR, докато логиката на приложението се изпълнява на шайбата, за да бъдат очилата възможно най-леки и компактни.

Шайбата има два процесора, включително един, проектиран по поръчка тук, в Meta, и осигурява изчислителната мощ, необходима за графично рендиране с ниска латентност, изкуствен интелект и някои допълнителни машинни възприятия.

И тъй като е малка и елегантна, можете удобно да хвърлите шайбата в чантата или в джоба си и да продължите да работите - без никакви ограничения.

Опити с AR

Разбира се, както при всеки хардуер, той е толкова добър, колкото са добри нещата, които можете да направете с него. И макар че все още е в началото, преживяванията, които предоставя Orion, са вълнуващ поглед към това, което предстои да се случи.

We’ve got our smart assistant, Meta AI, running on Orion. It understands what you’re looking at in the physical world and can help you with useful visualizations. Orion uses the same Llama model that powers AI experiences running on Ray-Ban Meta smart glasses today, plus custom research models to demonstrate potential use cases for future wearables development.

Можете да проведете видеоразговор в движение, за да се чуете с приятелите и семейството си в реално време, и да поддържате връзка в WhatsApp и Messenger, за да преглеждате и изпращате съобщения. Не е необходимо да вадите телефона си, да го отключвате, да намирате подходящото приложение и да съобщавате на приятеля си, че закъснявате за вечеря - можете да направите всичко това през очилата си.

Можете да играете споделени игри с разширена реалност със семейството си в другия край на страната или с приятеля си от другата страна на дивана. А големият дисплей на Orion ви позволява да работите в няколко прозореца, за да свършите нещо, без да се налага да носите лаптопа си.

Изживяванията, налични в Orion днес, ще ни помогнат да начертаем пътната карта за нашата потребителска линия очила за AR в бъдеще. Екипите ни ще продължат да итерират и да създават нови завладяващи социални изживявания, заедно с нашите партньори разработчици, и нямаме търпение да споделим какво ще последва.

Целесъобразен прототип на продукт

Въпреки че Orion няма да попадне в ръцете на потребителите, не се заблуждавайте: Това е не изследователски прототип. Това е най-съвършеният прототип на продукт, който някога сме разработвали - и е истински представител на нещо, което може да изпращане до потребителите. Вместо да бързаме да го пуснем по рафтовете, решихме да се съсредоточим първо върху вътрешната разработка, което означава, че можем да продължим да изграждаме бързо и да продължим да разширяваме границите на технологията и преживяванията.

А това означава, че ще постигнем още по-добър потребителски продукт по-бързо.

Какво следва

Две основни пречки отдавна стоят на пътя на масовите потребителски очила за разширена реалност: технологичният пробив, необходим за осигуряване на голям дисплей в компактен форм-фактор на очилата, и необходимостта от полезни и завладяващи AR изживявания, които да могат да се изпълняват на тези очила. Orion е огромен крайъгълен камък, който за първи път предоставя истински AR изживявания, работещи на достатъчно стилен хардуер.

Сега, след като споделихме Orion със света, сме се съсредоточили върху няколко неща:

• Настройване на качеството на дисплея на AR, за да станат визуализациите още по-ярки
• Оптимизираме навсякъде, където можем, за да направим форм-фактора още по-малък
• Мащабно строителство, за да станат по-достъпни

In the next few years, you can expect to see new devices from us that build on our R&D efforts. And a number of Orion’s innovations have been extended to our current consumer products today as well as our future product roadmap. We’ve optimized some of our spatial perception algorithms, which are running on both Meta Quest 3S and Orion. While the eye gaze and subtle gestural input system was originally designed for Orion, we plan to use it in future products. And we’re exploring the use of EMG wristbands across future consumer products as well.

Orion не е просто прозорец към бъдещето - това е поглед към съвсем реалните възможности, които са достъпни днес. Създадохме го в стремежа си към това, което правим най-добре: да помагаме на хората да се свързват. От очилата Ray-Ban Meta до Orion, ние видяхме доброто, което може да дойде от това да позволим на хората да останат по-присъстващи и по-мощни във физическия свят, дори докато се възползват от цялото допълнително богатство, което предлага цифровият свят.

Вярваме, че не трябва да избирате между двете. И със следващата компютърна платформа няма да ви се налага.

Last year at Connect, we unveiled Orion—our first true pair of AR glasses. The culmination of our work at Reality Labs over the last decade, Orion combines the benefits of a large holographic display and personalized AI assistance in a comfortable, all-day wearable form factor. It got some attention for its industry-leading field of view, silicon carbide waveguides, uLED projectors, and more. But today, we’re turning our attention to an unsung hero of Orion: the compute puck.

Проектирана така, че лесно да се прибира в джоба или чантата ви, за да можете да я носите навсякъде, докато си вървите през деня, шайбата разтоварва процесорната мощ на Orion, за да изпълнява логиката на приложенията и да позволява по-привлекателен, по-малък форм-фактор за очилата. Тя се свързва безжично с очилата и гривната EMG за безпроблемно изживяване.

Нагласете го и го забравете, нали?

Но историята на шайбата - дори и като прототип - е заплетена, с драматична арка, за която никога не бихте предположили от външния ѝ вид.

"Когато създавате нещо подобно, започвате да навлизате в границите на физиката", обяснява директорът по управление на продуктите Рахул Прасад. "През последните 50 години законът на Мур направи всичко по-малко, по-бързо и с по-ниска мощност. Проблемът е, че сега започвате да се сблъсквате с границите на това колко топлина можете да разсеете, колко батерия можете да компресирате и колко производителност на антената можете да поберете в обект с определени размери."

Въпреки че погледът назад може да е 20/20, потенциалът на шайбата не беше очевиден веднага. Когато сте първият, който създава нещо, трябва да проучите всички възможности - без да оставяте камък върху камък. Как да създадете нещо, което някои може да сметнат за нежелан аксесоар, а не за важна част от пакета?

"Знаехме, че шайбата е допълнително устройство, което трябва да се носи от хората", отбелязва Джаред Ван Клийв, "затова проучихме как да превърнем грешката във функция."

В крайна сметка тази етика се отплаща с пълна сила, тъй като шайбата притиска много изчисления (и още повече проектиран от Meta персонализиран силиций за AI и машинно възприятие) в малък размер. Това помогна на Orion да се превърне от сферата на научната фантастика в реалност.

"Ако не разполагахте с шайбата, нямаше да можете да изпитате преживяванията, които Orion предлага в своя форм-фактор - точка", казва Прасад. "Доброто AR изживяване изисква наистина висока производителност: висока честота на кадрите, изключително ниска латентност, прецизно управление на безжичната връзка и захранването и т.н. Шайбата и очилата трябва да бъдат проектирани така, че да работят в много тясно сътрудничество, не само на ниво приложения, но и на ниво операционна система, фърмуер и хардуер. И дори ако някой разработи съвместно смартфон, който да работи с очила за разширена реалност, високите изисквания за производителност ще изтощят батерията на телефона и ще отнемат изчислителен капацитет от случаите на използване на телефона. От друга страна, шайбата има собствена батерия с голям капацитет, високопроизводителен SoC и собствен копроцесор за изкуствен интелект, оптимизиран за Orion."

Разбира се, шайбата не е създадена за една нощ. Необходими са били години итеративна работа.

"Не знаехме как хората биха искали да взаимодействат с Orion от гледна точка на входните данни - нямаше нищо, което да можем да използваме на пазара", казва продуктовият мениджър Мат Ресман. "Ако погледнете ранните ни прототипи на очила, те бяха масивни слушалки, които тежаха три или четири килограма. А когато се опитвате да създадете продукт, наистина е трудно да разберете потребителското изживяване, ако не сте в правилния форм-фактор. С шайбата успяхме да създадем прототип много бързо, за да започнем да разбираме как хората ще я използват."

С кодовото име Omega в началото шайбата първоначално е замислена от тогавашната компания Oculus Research като лента с форма на Ω, която се поставя около врата на потребителя и е свързана с очилата...

... докато някои нови иновации на екипа на Reality Labs за безжична връзка, наред с други неща, не им позволиха да прекъснат връзката. Това даде възможност за по-преносим или джобен/в чантата форм-фактор, което откри много възможности.

"В онзи момент обажданията с добавена реалност все още бяха основен случай на употреба", обяснява Ван Клийв. "Шайбата беше мястото, където се закрепваха холографските видеоклипове. Слагахте я на масата със сензорната лавица с лице към вас, заснемахте ви и след това проектирахте от повърхността на шайбата с кого говорите за обаждането."

"Orion е за свързване на хората и обединяване на усилията ни", казва Ресман. "Една от първоначалните концепции за шайбата беше да помогне да се създаде това усещане за присъствие с други хора и да се даде възможност за тази по-богата форма на комуникация."

"То не прилича на нищо, което сте виждали досега - устройството има потенциала да създава наистина забавни и уникални взаимодействия", добавя индустриалният дизайнер Емрон Хенри. "Потребителското изживяване прилича малко на пускане на джин от бутилка, където холограмите плавно излизат от устройството и се разтварят обратно в него."

Както вероятно вече сте разбрали, в шайбата има повече потенциал, отколкото в крайна сметка е включен като функция. В допълнение към сензорите и камерите, които щяха да се използват за AR повикване, шайбата има хаптични и 6DOF сензори, които биха могли да ѝ позволят да се използва като проследяващ контролер за избор и манипулиране на виртуални обекти и игра на AR игри. Екипът също така е проучил капацитивното и силово въвеждане на допир, така че шайбата да може да служи като геймпад, когато се държи в портретен и пейзажен режим.

"Говорихме за необходимостта да носим това допълнително нещо", казва Ван Клийв. "Как да го направим по-полезно? Имаше цяла работна група, която се занимаваше с това. И в един момент хипотезата беше, че AR игрите ще бъдат този убийствен случай на употреба."

Още в началото разбрахме, че трябва да проучим възможностите на шайбата да прави неща, които телефоните не могат. В крайна сметка се спряхме на използването на погледа на очите, EMG и проследяването на ръката за AR игри, като Stargazer и Pong, но в началото на Orion създадохме прототипи на различни демонстрации и игри, които използваха шайбата като контролер.

Изследване на шайбата като 6DOF контролер за AR игри като Pong.

"Тъй като това не е телефон, това ни даде голяма свобода на дизайна", добавя Прасад. "Може да е по-дебел, мога да го направя по-заоблен, така че да пасва удобно в ръката ви като контролер. Доста невероятно е, че шайбата всъщност е по-малка от средния телефон, но е по-мощна от телефона, защото има копроцесор за изкуствен интелект и машинно възприятие, разработен от Meta."

Екипът разгледа въпроса по какво може да се различава една качествена AR игра от игра за MR или конзола. Това означаваше да се проучат различни възможности за контролер за AR игри, включително джойстици, физическо разположение на бутоните, бутони за задействане и др.

"В крайна сметка не построихме нищо от това", отбелязва Ван Клийв. "Създадохме прототипи, но никога не сме се захващали с цялостно изграждане. Искахме да е просто. Искахме да направим тези меки интерфейси, но не и физически, механични бутони."

И макар че сензорите и тактилните устройства не бяха включени в прототипа на готовия продукт, те изпълняваха важна функция по време на разработката, позволявайки на екипите да подават сигнали за грешки, като просто докосват горната част на устройството няколко пъти, за да подадат сигнал за грешка.

Тъй като ИИ започна да заема централно място като ключов случай на използване, изчисленията се фокусираха все повече. В крайна сметка шайбата е дом на безжичната свързаност, изчислителната мощ и капацитета на батерията на Orion - огромно техническо постижение само по себе си - всичко това помага за намаляване на теглото и форм-фактора на очилата, като същевременно разсейва много повече топлина поради своята повърхност.

По време на еволюцията на шайбата едно нещо остава непроменено: шайбата има нещо повече, отколкото се вижда от нетренираното око. Приемането на неконвенционални идеи позволи на нашите екипи да изследват, да разширяват границите и да изграждат бъдещето.

"Определяме категория, която все още не съществува", отбелязва Хенри. "Както може да се очаква при научноизследователската и развойна дейност, по пътя имаше стартове и спирания. Как потребителите ще очакват да взаимодействат с холограмите? Дали ще предпочетат да използват дистанционно за AR или проследяването на ръката, погледът на очите и EMG са достатъчни за въвеждане? Кое е интуитивно, с ниско ниво на триене, познато и полезно?"

"Вместо да гледаме на шайбата само като на камък, ние се запитахме какво още можем да предложим, за да я отличим от телефоните и да обосновем защо искате да я носите със себе си", признава Ресман. "Дали нейната сурова изчислителна мощност и практичен дизайн - които помогнаха за разкриването на форм-фактор на очила, които реално можете да носите по цял ден - в крайна сметка предлагат достатъчно стойност? Нашата задача е да помогнем да се отговори на тези въпроси."

"Още в началото сменихме посоката, за да се съсредоточим върху това, което можем да направим, а телефонът не може да направи", добавя Ван Клийв. "Телефоните трябва да имат екран и определено разположение на физическите бутони, което потребителите очакват. А ние нямаме тези ограничения. Нашата изчислителна шайба може да бъде каквато си поискаме."