През 2017 г. главният учен на Reality Labs Майкъл Абраш, подкрепена от основателя и главен изпълнителен директор на Meta Марк Зукърбърг, създаде нов, таен екип в рамките на тогавашната Oculus Research, който да изгради основата на следващата компютърна платформа. Тяхната херкулесова задача: Създаване на персонализирано силициево решение, което може да поддържа уникалните изисквания на бъдещите очила с добавена реалност-техническо постижение, което изисква преосмисляне на всеки компонент за целодневно носене Очила AR форм-фактор, който просто още не съществуваше.

Преден ъгъл на прототипа на очилата Orion AR.

Компактен форм-фактор, значително проблемно пространство

Екипът за персонализиран силиций, който се разраства от няколко изследователи до стотици хора в продуктовата част, е изграден въз основа на предпоставката, че очилата за разширена реалност не могат да разчитат на силиция, наличен в днешните смартфони. И това е предпоставка, която се потвърждава от няколкото персонализирани чипа в Орион, нашият първи истински прототип на очила за AR.

"Построяването на кораба в момента, в който той излиза от пристанището - точно това правехме", казва директорът по стратегията за усъвършенствани технологии Джереми Снодграс. "Трябваше да увеличим скромния си екип, като едновременно с това изграждахме тези чипове. Беше завладяващо да наблюдавам как ръководството привлича нови служители, докато развива култура, която цени гъвкавостта. Нищо не беше проблем на някой друг. Вземаше се весло и започваше да гребеш, дори и да не беше точно това, за което са те наели. Беше много, много вълнуващо време."

"Почти всичко в Orion беше ново за света в много отношения", съгласява се техническият директор на Display Architecture Майк Ий. "Някои от идеите съществуваха, но никой не се беше заел с изследователски проект за създаване на очила с разширена реалност, които да се носят през целия ден."

Екипът трябваше да осигури завладяващо AR изживяване с възможно най-малка консумация на енергия. Формата на очилата може да разсейва само толкова топлина, а капацитетът на батерията може да бъде ограничен. В резултат на това изживяванията, които е възможно да се осигурят с очилата, зависят изцяло от силиция. С други думи, ако топлинният капацитет и капацитетът на батерията останат непроменени, единственият начин да се осигури дадено изживяване е да се оптимизира силицият.

"Разработването на нова архитектура за Orion изискваше от екипа не само да развие съществуващите технологии като безжични и дисплеи, но и да поеме рискове с нови технологии", казва директорът на отдел "Управление на продукти" Нирадж Чубей. "Например, екипът разработи ускорител за машинно обучение (ML) без ясен случай на употреба по това време, воден от силното убеждение, че ML ще става все по-важен в продуктите на Meta. В Orion всеки ML ускорител се използва, а в някои случаи те са преизползвани, обслужвайки функции като проследяване на очите и проследяване на ръцете. По подобен начин екипът разработи персонализирани протоколи за компресиране, за да намали широчината на честотната лента и консумацията на енергия, докато данните се движат от изчисляване на шайбата на дисплея. Разработването на персонализиран силиций за постигане на целите на Orion по отношение на форм-фактора изискваше както толерантност към голяма двусмисленост, така и щателно внимание към детайлите, за да се постигне невероятно сложна системна архитектура."

"Най-голямото предизвикателство пред нас беше да предоставим 3D графики, заключени в света, заедно с пространствено аудио, което е визуализирано така, че да изглежда, че излиза от виртуален обект", отбелязва Снодграс. "Трябваше да вместим цялата тази електроника в топлинния капацитет и физическото пространство, а след това да я захранваме с батерия, така че да не се нагрява прекалено. И трябваше да направим всичко това в реална форма на очила - не на голяма козирка, каквато обикновено се среща в тази категория."

"Знаехме как да осигурим необходимата изчислителна мощност, за да осъществим визията си за Orion, но бяхме изправени пред трудна задача: да намалим консумацията на енергия 100 пъти", казва директорът на SoC Solutions Робърт Шиърър. "Това изискваше от нас да разширим границите на силициевия дизайн, като възприемем методологии от различни краища на индустрията - от IoT до високопроизводителни изчисления - и да измислим нови подходи за преодоляване на различията. Партньорите ни от бранша ни смятаха за луди и може би не грешаха напълно. Но точно това беше необходимо: готовност да оспорим общоприетата мъдрост и да преосмислим всичко. Създаването на компютър, който безпроблемно да обединява виртуалния и физическия свят, изисква дълбоко разбиране на контекста, далеч надхвърлящо това, което могат да предложат съществуващите изчислителни платформи. По същество ние преоткрихме начина, по който компютрите взаимодействат с хората, което означаваше да преосмислим начина, по който създаваме силиций от нулата."

Външни компоненти на Orion.

Магията на MicroLEDs

Имаше моменти, в които нещата изоставаха от графика или възникваше привидно непреодолимо техническо предизвикателство, когато беше трудно да се запази инерцията и моралът. Но екипът беше издръжлив, намираше пътища за заобикаляне на препятствията или просто ги събаряше.

Вземете например дисплея на Орион. Екипът по силиций отговаряше за силиция в проектора на дисплея, който се намира в ъглите на очилата.

"За тези проектори оставаше открит въпросът дали можем да получим microLED в масив с достатъчно висока ефективност и яркост, за да използваме дисплей с широко зрително поле", казва Снодграс. "Имаше огромни съмнения, че можем - че това е възможно в рамките на времето, което разглеждахме - защото това беше много нова технология."

"Още в началото осъзнахме, че трябва да преосмислим много от парадигмите за разработване на продукти", добавя Ий. "Количеството светлина, от което се нуждаете, за да създадете използваем дисплей, е доста по-ярко за очилата за разширена реалност, защото като носим дисплей се конкурираме със слънцето. Така че ни трябват енергийни нива, които да се конкурират с него - или поне това е целта. Все още не сме стигнали дотам, но това е голяма част от нея. А това означава, че са необходими източници на светлина за дисплея, които да са способни на това, и схеми, които да могат да ги контролират. И в същото време трябва да го направите миниатюрен."

Персонализиран силиций, управляващ µLED на Orion.

Макар че микросветкавиците изглеждаха най-подходящият източник на светлина за проекторите, силицият помогна да се разкрие техният потенциал.

"При дисплеите говорим за разстоянието между пикселите, което е разстоянието между централните точки на съседните пиксели", обяснява Ий. "При телевизорите тези разстояния са стотици микрони. В телефона ви те са много, много десетки микрони. И ние трябваше да намалим това до едноцифрено число. Единственото познато производство на полупроводници, което можеше да постигне това, беше силицият."

Работата се усложняваше от факта, че задната повърхност на дисплея трябваше да бъде парче силиций, а никой в света не беше проектирал силиций за microLED.

"По онова време всички изследователски екипи бяха използвали течни кристали върху силициеви дисплеи, за да поставят микросветлинни светодиоди", казва Йи. "Никой преди това не беше проектирал задна платка за microLEDs. И ние бяхме изправени пред доста уникално предизвикателство, защото това е оптичен компонент. Той трябва да бъде плосък. Не можете да го надраскате. Трябва да притежава всички тези характеристики, защото когато гледате през вълноводите, през прожекторите, вие буквално гледате горната повърхност на парче силиций."

Силициевият екип разработи сложна серия от платформи за изпитване на тези microLED дисплеи, които изискваха тясна координация с нашите глобални доставчици. МикроLED дисплеите имат глобален отпечатък, като се произвеждат на едно място, а след това се прехвърлят на друго място, където се поставят на пластини. След това пластините се изпращат, за да бъдат нарязани в определена форма, последвано от пътуване до САЩ, за да бъдат слепени с друга пластина, след което се изпращат обратно по целия свят, за да бъде изграден и тестван действителният модул. Процесът е изключително сложен и екипът по силиций разработва тестови автомобили, за да изпробва всяка стъпка.

Екипът е трябвало да намери и начин да осигури захранване на microLED дисплеите в малкия обем на ъглите на очилата. Нашият аналогов екип разработи персонализиран чип за управление на захранването, който се побира в този обем.

"Доставката на енергия е от решаващо значение за такива носими устройства с малки размери, при които размерът на батерията е ограничен, а пространството е недостатъчно", отбелязва директорът на отдела за аналогови и смесени сигнални системи Джихонг Рен. "Нашето персонализирано решение за ИС за управление на захранването използва най-съвременни технологии, за да оптимизира енергийната ефективност за конкретното работно натоварване на системно ниво, като същевременно се вмества в наличните пространствени ограничения. Постигането на това оптимално решение изискваше тясно интердисциплинарно сътрудничество с нашите екипи по механика, електротехника, SoC, μLED и термални технологии, което гарантира безпроблемна интеграция на всички компоненти и максимална обща производителност."

"Това беше невероятен подвиг не само в областта на инженерството, но и в организационното управление: събиране на екип, работа в различни часови зони и с всички тези различни доставчици", добавя Снодграс. "В някои отношения организационното управление на всичко това беше също толкова голямо предизвикателство, колкото и изпълнението на техническите спецификации."

"Не само дизайнът е по поръчка, но и целият процес на изработка е по поръчка", добавя И. "Имаме щастието да разполагаме с някои прекрасни партньори в бранша, които помогнаха това да се случи. Те виждат дългосрочния потенциал на AR дисплеите като цяло и със сигурност визията на Мета за тях. Така че те бяха готови да си партнират с нас, за да се случат тези персонализации и оптимизации, които да позволят този дисплей."

Очила Orion AR.

Итерацията се среща с ускорението

Имаше тясна обратна връзка между силициевия екип и брилянтните умове в Reality Labs Research и XR Tech, които разработваха алгоритми. Последните екипи предоставяха тези алгоритми, които първите претворяваха в хардуер, като премахваха натоварването на софтуера, работещ с процесор с общо предназначение. Това означаваше, че алгоритмите ще работят с по-ниска мощност, но също така означаваше, че силициевият екип е блокиран. След като алгоритмите бяха подсилени, те вече не можеха да правят промени.

"Да речем, че XR Tech разработваше определена дисциплина по алгоритмичен път", обяснява директорът на Silicon Accelerators по архитектура и алгоритми Охад Мейтав. "Те притежават алгоритъмния стек и неговата производителност. След това моят екип, в сътрудничество с тях, ще реши как да ускори алгоритъма, как да засили части от него и как всъщност да го постави в хардуера по начин, който да работи супер ефективно. След това XR Tech ще адаптира своя софтуерен стек, за да се съобрази с хардуера. Това е много повтарящ се процес."

Друг успех е сътрудничеството на силициевия екип с Reality Labs Research за разработване на нов алгоритъм за репроектиране.

"Трябваше алгоритъмът за репроектиране да поддържа различни изкривявания и корекции", отбелязва силициевият архитект Стив Клохет. "Алгоритъмът, разработен от RL-R, който в крайна сметка използвахме, не се използва в общите изчисления. И до ден днешен той се оказва доста мощен инструмент."

След като алгоритмите бяха усъвършенствани, а хардуерът оптимизиран, екипът за въвеждане на силиций подложи персонализираните чипове на изпитания.

"Персонализираният силициев чипсет на Orion е изпълнен със сложност", казва старши директорът на отдел "Система и инфраструктура от край до край" Липинг Гуо. "Създаването и валидирането на самостоятелни чипове и оперативната съвместимост между тях в рамките на кратък период от време е невероятно предизвикателство. За щастие ние работим във вертикално интегрирана среда, където Reality Labs притежава целия пакет - от силиция и фърмуера на ниско ниво до операционната система, софтуера и опита на горния слой. Възползвахме се напълно от това, като работихме в тясно сътрудничество с нашите междуфункционални партньори и изместихме интеграцията между стековете на етапа на валидиране на силикона. Orion беше нашият пилотен проект за тази методология - ние изградихме мускулите си и създадохме здрава основа за Reality Labs, за да се възползваме от всички предимства на персонализирания силиций в бъдеще."

А след въвеждането в експлоатация дойде време за оптимизиране на софтуера.

"Има повтарящ се процес, при който започвате с напълно неоптимизиран софтуерен пакет, само за да стартирате и да пуснете всичко", казва Снодграс. "След това преминавате една по една през подсистемите и започвате да оптимизирате софтуера за конкретния хардуер - включително намаляване на количеството памет, което софтуерът използва. Хардуерът може да е прекрасно проектиран, но няма да постигнете теоретичната енергийна ефективност, ако не инвестирате толкова или повече време, за да накарате софтуера да се възползва напълно от предимствата на хардуера. Ето това е историята на Orion: хардуер и софтуер, оптимизирани до краен предел. Не оставяме нито един пикоджаул или миливат назад."

И въпреки че Orion може да е прототип, работата по него има значителен потенциал да повлияе на пътната карта на Meta.

"Гледаме на силициевите ИС, които изграждаме, като на платформи в смисъл, че това са ценни ИС, които ще подобряваме от едно поколение или от един продукт на друг", добавя Мейтав. "Всички алгоритми за компютърно зрение и графика не са създадени само за Orion. Те ще бъдат използвани в бъдещи продукти."

Работата ни със силиций е свързана със създаването на нови решения, като същевременно работим в тясно сътрудничество с партньори. Всъщност влиянието на силициевия екип се простира отвъд Орион и включва Очила Ray-Ban Meta и Слушалки Meta Quest днес - въпреки че и двата използват чипове на трети страни. Силициевият екип редовно споделя работата си с екипа за смесена реалност, като показва какво е възможно по отношение на енергийната ефективност. След това екипът за магнитна резонансност споделя тези резултати с партньори като Qualcomm за подпомагане на бъдещите проекти на чипове. И тъй като екипът по силиций използва същите готови цифрови сигнални процесори (DSP) като очилата Ray-Ban Meta, той е в състояние да сподели научените уроци и най-добрите практики при внедряването и писането на код за тези DSP, за да помогне за подобряване на аудио изживяванията, налични в нашите очила с изкуствен интелект.

Споделянето на знания става и в двете посоки: Екипът на MR предостави на силициевия екип информация за неща като Асинхронно изкривяване на времето и Приложение SpaceWarp в производство.

"Това, което човек прави в производството, е много по-интересно от нещо, което бихме могли да направим с прототип", казва Клохет. "Опитахме се да интегрираме това, което те правят с деформациите, доколкото е възможно."

Двусмисленост < Амбиция

Тъй като "Орион" беше наистина нула към едно, участващите екипи трябваше по необходимост да се справят с огромно количество неясноти.

"Не мога да преувелича колко сложни бяха нещата с Орион", казва Клохет. "Когато правите компютър, например, обикновено имате добра представа какъв ще бъде дисплеят. Но ние не знаехме какъв ще бъде вълноводът, така че трябваше да правим проби на различни вълноводи и да измислим механизъм, който да се справи с най-лошия сценарий, защото не знаехме къде ще се приземят нещата. Една оптимизация тук щеше да се преплита с всички останали варианти и в крайна сметка щеше да се получи тази матрица от всички тези различни неща, които трябваше да поддържате и да се опитвате да валидирате, защото не знаехте къде ще се приземи продуктът след шест месеца."

Важно е да се отбележи, че Orion не е просто чифт очила за разширена реалност - това е трикомпонентно съзвездие от хардуер. Голяма част от обработката се извършва на изчисляване на шайбата, което налага силна връзка между него и очилата. Добавете повърхностна EMG гривна в цикъла и архитектурата на системата става още по-сложна.

"Това беше огромно предизвикателство за екипите и всичко това просто работи", казва Снодграс. "Това беше невероятно сътрудничество между силициевия екип, безжичния екип и софтуерните екипи в цялата организация."

Изчислителната шайба на Orion.

"С Orion създадохме цял екип с голямо разнообразие от инженери и те успяха да проектират чисто нов тръбопровод", добавя Клохет. "Това е конвейер, който се справя с шест степени на свобода на движение на обекти в 3D пространството. Той използва свой собствен драйвер за дисплей. Трябваше да направим наистина уникални корекции на качеството на изображението. И мисля, че предизвикателството за нас беше, че тъй като това беше проект "нула към едно", нямаше съществуваща спецификация, която да коригираме и подобрим. Всичко тук е напълно ново, така че имахме възможност да направим всичко."

Подобно на шайба има някои спящи функции, скрити под повърхността, персонализираният силиций също е по-силен от него. Въпреки че Orion не позволява на потребителя да прави снимки с RGB камерите си, силицият е в състояние да го поддържа, както и аватари на кодеци. И точно както шайбата помогна да се отключи истинският форм-фактор на очилата чрез разтоварване на голяма част от изчисленията, персонализираният силиций на Orion се оказа необходима част от пъзела на AR.

"За да реализирате изживяване от типа "нула към едно", като очилата за разширена реалност, се нуждаете от персонализиран силиций - пълна спирка", обяснява Снодграс. "С течение на времето, ако има пазар, доставчиците на силиций ще разработят продукти, които да отговорят на търсенето. Но за "нула към едно" не можете просто да вземете нещо, което съществува от рафта и е предназначено за друг продукт, и да го вкарате в нова форма. Трябва да се инвестира в нещо по поръчка. А за да реализирате тези изживявания от типа "нула до едно", се нуждаете от широко сътрудничество между софтуерни партньори, индустриални дизайнери, машинни инженери и др."

"Освобождавайки се от традиционните мисловни модели, създадохме нещо наистина забележително", добавя Шиърър. "Вярваме, че тази компютърна платформа представлява бъдещето на технологиите - такова, което ще революционизира начина, по който живеем, работим и взаимодействаме помежду си. Развълнувани сме, че ще бъдем в челните редици на тази иновация, ще разширим границите на възможното и ще помогнем да се оформи ходът на историята."

---

За повече информация за Orion разгледайте тези публикации в блога:

• Кристално чисти: нашите вълноводи от силициев карбид и пътят към голямото фоново поле на Орион
• Изчислителният блок на Орион: Историята на устройството, което ни помогна да направим възможни очилата за разширена реалност

Когато за първи път започнахме да правим демонстрации на Орион в началото на тази година си припомних една реплика, която се чува често в Мета - всъщност тя беше дори в първото ни писмо до потенциалните акционери през 2012 г: Кодът печели аргументи. Вероятно сме научили толкова много за това продуктово пространство от няколко месеца демонстрации в реални условия, колкото от годините работа, необходими за създаването им. Просто нищо не може да замени реалното създаване на нещо, да го дадеш в ръцете на хората и да се учиш от това как те реагират на него.

Орион не беше единственият пример за това тази година. Нашият хардуер за смесена реалност и Очила с изкуствен интелект са достигнали ново ниво на качество и достъпност. Стабилността на тези платформи позволява на нашите разработчици на софтуер да се движат много по-бързо във всички области - от операционни системи до нови функции на изкуствения интелект. Ето как виждам, че метавселената започва да се фокусира все повече и защо съм толкова уверен, че следващата година ще бъде най-важната в историята на Reality Labs.

https://youtube.com/watch?v=xwMNZb6UE1o%3F%26controls%3D0%3Fautoplay%3D0%26color%3Dwhite%26cc_lang_pref%3Den%26cc_load_policy%3D0%26enablejsapi%3D1%26frameborder%3D0%26hl%3Den%26rel%3D0%26origin%3Dhttps%253A%252F%252Fwww.meta.com

2024 г. е годината, в която очилата с изкуствен интелект достигат своя разцвет. Когато за първи път започнахме да правим умни очила през 2021 г., си помислихме, че те могат да бъдат добра първа стъпка към очилата с разширена реалност, които в крайна сметка искахме да създадем. Докато слушалките за смесена реалност са на път да се превърнат в компютърна платформа с общо предназначение, подобно на днешните персонални компютри, ние видяхме очилата като естествена еволюция на днешните мобилни компютърни платформи. Затова искахме да започнем да се учим от реалния свят възможно най-скоро.

Най-голямото нещо, което научихме, е, че очилата са най-добрият форм-фактор за истинско устройство с изкуствен интелект. Всъщност те може би са първата категория хардуер, която от самото начало ще бъде изцяло дефинирана от ИИ. За много хора очилата са мястото, където асистентът с изкуствен интелект има най-голям смисъл, особено когато е мултимодална система за да разберете света около вас.

Намираме се точно в началото на S-образната крива за цялата продуктова категория и пред нас има безкрайни възможности. Едно от нещата, за които се вълнувам най-много през 2025 г., е еволюцията на асистентите с изкуствен интелект в инструменти, които не просто отговарят на подкана, когато поискате помощ, а могат да се превърнат в проактивен помощник, докато си вършите работата. На Connect показахме как AI на живо върху очилата може да се превърне в участник в реално време, когато вършите нещо. Тъй като тази функция започва да се разпространява в ранен достъп този месец ще видим първата стъпка към нов вид персонализиран асистент с изкуствен интелект.

Няма да е последният. В момента сме в средата на усилията на цялата индустрия да създаде хардуер с изкуствен интелект. Виждате, че производителите на телефони и компютри се борят да преустроят продуктите си, за да поставят в основата им асистенти с изкуствен интелект. Но мисля, че много по-голяма възможност е да се създават устройства, които от самото начало са с изкуствен интелект, и съм убеден, че очилата ще бъдат първите, които ще постигнат това. Главният изследовател на Meta Майкъл Абраш говори за потенциала на персонализиран, контекстуално ориентиран AI асистент в очилата в продължение на много години, а създаването на технологиите, които правят това възможно, е огромен фокус на нашите изследователски екипи.

Смесена реалност е още едно място, където наличието на правилния продукт в ръцете на много хора е основен фактор за ускоряване на напредъка. Видяхме Meta Quest 3 става все по-добър месец след месец, тъй като продължаваме да усъвършенстваме основната система, многозадачната работа, пространствените потребителски интерфейси и др. Всички тези постижения се разпростират върху Quest 3S в момента на стартирането му. Това означава, че $299 Quest 3S в много отношения е по-добра слушалка в първия ден, отколкото $499 Quest 3 при първото си пускане на пазара през 2023 г. А цялото семейство Quest 3 продължава да се подобрява с всяка актуализация.

През 2025 г. ще видим следващата итерация на това, тъй като Quest 3S ще доведе много повече хора до смесена реалност за първи път. Докато Quest 3 беше хит сред хората, които се вълнуват да притежават най-доброто устройство на пазара, Quest 3S се очаква да бъде силно надарен през 2024 г. Продажбите бяха силни през уикенда на Черния петък и очакваме хората да активират новите си слушалки по време на празничната ваканция.

Това ще продължи тенденцията, която се оформи през последната година: ръст на новите потребители, които търсят по-широк спектър от дейности със своите слушалки. Искаме тези нови потребители да видят магията на MR и да се задържат за дълго време, поради което финансираме разработчици, които да създават новите видове приложения и игри, които те търсят.

Наблюдава се значителен приток на по-млади хора, които се насочват към социални и конкурентни мултиплейър игри, както и към съдържание с безплатен вход. И заглавия като BEHEMOTH на Skydance, Батман: Сянката на Аркам (която току-що спечели наградата за най-добра AR/VR игра на The Game Awards!), и Пробуждане на метрото показа за пореден път, че някои от най-добрите нови игри, произвеждани от нашата индустрия, вече са възможни само с днешните слушалки.

С нарастването на броя на хората в MR расте и качеството на социалното преживяване, което може да осигури. Това е сърцевината на това, което Meta се опитва да постигне с Reality Labs, и в което ще се разгърне най-големият потенциал на метавселената: "шансът да създадем най-социалната платформа в историята" - така го описахме, когато започва да работи по него. През 2024 г. направихме две стъпки напред в тази насока: първо, с широк набор от подобрения в Horizon Worlds, включително разширяването му към мобилните устройства, и второ, със следващото поколение система Meta Avatars, която позволява на хората да представят себе си в нашите приложения и слушалки. И тъй като визуалното качество и цялостното изживяване с тези системи се подобряват, все повече хора получават първия си поглед към социалната метавселена. Наблюдаваме подобни тенденции - новите потребители на Quest 3S прекарват повече време в Horizon Worlds, което го превръща в Топ 3 на потапящите приложения за Quest 3S, а хората продължават да създават нови Meta Avatars в мобилните устройства и MR.

Навлизането на смесената реалност в масовата практика помогна да се разбере какво ще последва. Една от първите тенденции, които открихме след пускането на Quest 3 миналата година, беше, че хората използват смесена реалност, за да гледат видеоклипове, докато са многозадачни в дома си - мият чинии или чистят с прахосмукачка хола. Това беше ранен сигнал, че хората обичат да разполагат с голям виртуален екран, който могат да вземат навсякъде и да поставят във физическия свят около себе си. Видяхме, че тази тенденция се разгръща, като всички видове развлекателни преживявания се развиват бързо в цялото семейство Quest 3. Нови функции като YouTube Co-Watch показват колко голям е потенциалът за изцяло нов вид социално забавление в метавселената.

Ето защо Джеймс Камерън, един от най-иновативните в технологично отношение разказвачи на истории през нашия живот, сега работи, за да помогне на повече режисьори и творци да създадете страхотно 3D съдържание за Meta Quest. Макар че 3D филми се произвеждат от десетилетия, никога не е имало начин за гледането им, който да е толкова добър, колкото МР слушалките, а през следващата година повече хора ще притежават слушалки от всякога. "Намираме се в истинска, историческа точка на пречупване,"Джим каза когато ние стартирахме новото си партньорство този месец.

Това се случва успоредно с по-голяма промяна Марк Рабкин споделени в Connect тази година: Нашата визия за Horizon OS е да създадем нов вид компютърна платформа с общо предназначение, която да може да работи с всякакъв вид софтуер, да поддържа всеки вид потребител и да е отворена за всеки вид създател и разработчик. Последните ни версии за 2D/3D многозадачност, позициониране на панелите, по-добро проследяване на ръцете, интеграция с Windows Remote Desktop и Open Store започнаха да изграждат инерция по този нов път. Horizon OS е на път да стане първата платформа, която поддържа пълния спектър от изживявания - от потапяне във VR до 2D екрани, мобилни приложения и виртуални десктопи - и общността на разработчиците е от основно значение за този успех.

Следващата голяма стъпка към метавселената ще комбинира очила с изкуствен интелект с истинска добавена реалност, каквато разкрихме тази година с Orion. Нерядко се случва да надникнете в бъдещето и да видите напълно нова технология, която ви показва накъде вървят нещата. Хората, които видяха Orion, веднага разбраха какво означава той за бъдещето, подобно на хората, които видяха първите персонални компютри, оформящи се в Xerox PARC през 70-те години на миналия век ("в рамките на десет минути за мен беше очевидно, че всички компютри ще работят по този начин някой ден", каза по-късно Стив Джобс за демонстрацията на Xerox Alto през 1979 г.).

Възможността да кача хората в машина на времето и да им покажа как ще изглежда следващата компютърна платформа беше най-важното събитие в 2024 г. и в кариерата ми досега. Но истинското въздействие на Orion ще бъде в продуктите, които ще доставим след това, и в начините, по които ще ни помогне да разберем по-добре какво хората обичат в очилата за разширена реалност и какво трябва да се подобри. Прекарахме години в проучване на потребителите, планиране на продукти и експериментални проучвания, за да разберем как трябва да работят очилата с разширена реалност, и именно тази работа ни позволи да създадем Orion. Но оттук нататък темпото на напредъка ще бъде много по-бързо, след като вече имаме реален продукт, около който да изградим интуицията си.

Това е урокът, който се налага отново и отново. през последното десетилетие в Reality Labs. Най-важното нещо, което можете да направите, когато се опитвате да измислите бъдещето, е да доставяте неща и да се учите от това как ги използват реалните хора. Те не винаги ще бъдат незабавни хитове, но винаги ще ви научат на нещо. А когато се натъкнете на неща, които наистина са успешни, като смесената реалност в Quest 3 или изкуствения интелект в очилата, тогава натискате педала на газта. Това е, което ще направи 2025 г. толкова специална година: С подходящите устройства на пазара, с хората, които ги използват за първи път, и с разработчиците, които откриват всички предстоящи възможности, е време да се ускори.

Добре дошли отново в поредния епизод на Boz за бъдещето, подкаст от Reality Labs. В днешният епизод, към нашия домакин, техническия директор на Meta и ръководител на лабораториите за реалност Андрю "Боз" Босуърт, се присъединява вицепрезидентът на Meta за носими устройства Алекс Химел.

Екипът на Химел работи по някои от най-трудните технически проблеми в индустрията, като цели да помогне за създаването на следващата компютърна платформа. Подобно на Босуърт, той е дългогодишен лидер в Meta, заемал множество ръководни длъжности в бизнеса през своите над 15 години в компанията.

Босуърт и Химел обхващат редица теми, включително носими устройства, добавена реалност и как изкуственият интелект ускорява и подобрява видовете преживявания, вградени в Очила Ray-Ban Meta и бъдещи продукти.

Те се задълбочават в Орион и положителния прием, който получи, откакто Марк Зукърбърг я обяви в Свържете. Точно както Стив Джобс разпозна Alto като повратна точка в компютрите, Босуърт твърди, че макар и да не сме съгласни с подробностите, е трудно да се оспори, че това е бъдещето. Химел и Босуърт продължават да говорят за огромната стойност на прототипирането и изграждането, като казват колко повече са научили за Orion и входните парадигми за трите седмици на използването му в сравнение с годините, прекарани в изграждането му.

Те също така говориха за ключовата роля на изкуствения интелект в носимите устройства и за това как той става все по-полезен в ежедневието - особено сега, когато можете да питате Meta AI за нещата, които виждате, и да го използвате, за да задавате визуални напомняния.

Химел разказва и за дълбокия си опит в един друг вид стекове: сандвичи. След като седем години е работил в известния магазин Lange's Little Store в Чапакуа, Ню Йорк, където е израснал, Химел и Босуърт се запознават с това какво прави един сандвич страхотен, къде наистина отиват доматите и кой хляб е по-добър.

Можете да се включите към Boz в бъдещето на Подкасти на Apple, Spotifyи навсякъде, където слушате подкасти.

Можете да следвате Himel в Нишки. Можете да следвате Bosworth на Instagram, Twitter/X, и Нишки @boztank.

0:00 / 0:00

Още през 2019 г. Орион екип подготви важна демонстрация за основателя и изпълнителния директор на Meta Марк Зукърбърг, демонстрирайки потенциални вълноводи за очила с добавена реалност-ключов момент, в който теоретичните изчисления на хартия се превръщат в реалност. И това беше демонстрация, която промени всичко.

"Носейки очилата със стъклени вълноводи и множество пластини, се чувствах като в дискотека", спомня си оптичният учен Паскуал Ривера. "Навсякъде имаше дъги и това беше толкова разсейващо - дори не гледахте съдържанието на AR. След това си сложихте очилата с силициев карбид вълноводи и сякаш бяхте на симфония и слушахте тихо, класическо произведение. Всъщност можеше да обърнеш внимание на пълното изживяване на това, което изграждахме. Това беше пълна промяна на играта."

И все пак, колкото и ясен да изглежда изборът на силициев карбид като субстрат днес, когато за първи път тръгнахме по пътят към AR очилата преди десетилетие, то беше всичко друго.

"Силициевият карбид обикновено е силно легиран с азот", казва Ривера. "Той е зелен, а ако стане достатъчно дебел, изглежда черен. Няма как да се направи оптична леща от него. Това е електронен материал. Има причина да е с този цвят и тя се дължи на електронните му свойства."

"Силициевият карбид съществува като материал от дълго време", съгласява се техническият ръководител на AR Waveguides Джузепе Калафиоре. "Основното му приложение е в мощната електроника. Вземете например електрическите превозни средства: Всички електромобили се нуждаят от чип - но този чип трябва да е способен и на много висока мощност, да движи колелата и да задвижва това нещо. Оказва се, че не можете да направите това с обикновения силициев субстрат, от който се правят чиповете, които използваме в нашите компютри и електроника. Необходима е платформа, която да позволява преминаването на високи токове, висока мощност, и този материал е силициев карбид."

Доскоро, когато дискусиите за възобновяемите енергийни източници започнаха да се разпалват, пазарът на тези мощни чипсети не се доближаваше до размера на пазара на чипове за потребителска електроника. Силициевият карбид винаги е бил скъп и не е имало голям стимул за намаляване на разходите, тъй като за размера на чипа, който се прави за автомобил, цената на субстрата е била поносима.

"Но се оказва, че силициевият карбид притежава и някои от свойствата, които са ни необходими за вълноводите и оптиката", казва Калафиоре. "Показателят на пречупване е ключовото свойство, което ни интересува. А силициевият карбид има висок коефициент на пречупване, което означава, че той е способен да канализира и извежда голямо количество оптични данни. Можете да си го представите като оптична честотна лента - точно както имате честотна лента за интернет и искате тя да е достатъчно голяма, за да можете да изпращате огромни количества данни по този канал. Същото важи и за оптичните устройства."

Колкото по-висок е коефициентът на пречупване на даден материал, толкова по-висока е неговата étendue, така че можете да изпращате повече оптични данни по този канал.

"Каналът в нашия случай е вълноводът, а по-големият етендюс води до по-голямо зрително поле", обяснява Калафиоре. "Колкото по-голям е показателят на пречупване на даден материал, толкова по-голямо зрително поле може да поддържа дисплеят."

Пътят към правилния индекс на пречупване

Когато Калафиоре се присъединява към тогавашната компания Oculus Research през 2016 г., най-високият показател на пречупване на светлината, с който екипът разполага, е 1,8 - което изисква подреждане на няколко плочи, за да се постигне желаното зрително поле. Като оставим настрана нежеланите оптични артефакти, монтажната линия ставаше все по-сложна, тъй като първите два вълновода трябваше да бъдат перфектно подравнени, а след това този стек трябваше да бъде перфектно подравнен с трети вълновод.

"Не само, че беше скъпо, но и веднага стана ясно, че не може да има три парчета стъкло на леща в чифт очила", спомня си Калафиоре. "Бяха твърде тежки, а дебелината им беше непосилно голяма и грозна - никой нямаше да ги купи. Така че се върнахме в изходна позиция: опитахме се да увеличим показателя на пречупване на субстрата, за да намалим броя на необходимите пластини."

Първият материал, който екипът разгледа, беше литиев ниобат, чийто показател на пречупване е приблизително 2,3 - доста по-висок от този на стъклото - 1,8.

"Осъзнахме, че трябва да сложим само две плочи и може би ще се справим дори с една плоча, за да покрием зрителното поле", казва Калафиоре. "Почти успоредно с това започнахме да разглеждаме други материали - така заедно с нашите доставчици през 2019 г. разбрахме, че силициевият карбид в най-чистата си форма всъщност е много прозрачен. Също така се оказа, че той има най-високия индекс на пречупване, известен за оптично приложение, който е 2,7."

Това е увеличение със 17,4% спрямо литиевия ниобат и с 50% спрямо стъклото, за тези, които си водят сметките у дома.

"С няколко модификации на същото оборудване, което вече се използваше в индустрията, беше възможно да се получи прозрачен силициев карбид", казва Калафиоре. "Можете просто да промените процеса, да бъдете много по-внимателни и вместо да оптимизирате за електронни свойства, да оптимизирате за оптични свойства: прозрачност, равномерност на индекса на пречупване и т.н."

Потенциалната цена на компромиса

По онова време екипът на Reality Labs е първият, който дори се опитва да премине от непрозрачни пластини от силициев карбид към прозрачни. И тъй като силициевият карбид е един от най-твърдите познати материали, за рязането или полирането му са необходими основно диамантени инструменти. В резултат на това еднократните инженерни разходи бяха много високи, така че полученият субстрат беше доста скъп.

Макар че съществуват по-рентабилни алтернативи, както при всяка технология, всяка от тях има компромиси. С увеличаването на зрителното поле към водещото в индустрията зрително поле на Orion от приблизително 70 градуса възникват нови проблеми като призрачни изображения и дъги.

"Намирането на оптималното решение за AR дисплей с широко зрително поле е свързано с компромиси между производителност и разходи", обяснява научният директор на отдела за научни изследвания Бари Силвърстайн. "Разходите често могат да бъдат намалени, но ако производителността не е достатъчна, разходите в крайна сметка няма да имат значение."

Призрачните изображения са като визуално ехо на основното изображение, което се прожектира върху дисплея. Дъгите са цветни светлинни ивици, които се създават, когато околната светлина се отразява от вълновода. "Да речем, че шофирате през нощта с движещи се светлини на колите около вас", казва Силвърстайн. "Ще имате дъги, които също се движат. Или ако сте на плажа и играете волейбол, а слънцето грее, ще получите дъгова ивица, която се движи заедно с вас и ще пропуснете удара си. И едно от чудодейните свойства на силициевия карбид е, че той се отървава от тези дъги."

"Другото предимство на силициевия карбид, което никой от другите материали не притежава, е топлопроводимостта", добавя Калафиоре. "Пластмасата е ужасен изолатор. Стъклото, литиевият ниобат - същото. Преминавате към силициев карбид и той е прозрачен, прилича на стъкло и познайте какво: провежда топлина."

Така през юли 2020 г. екипът определя, че силициевият карбид е оптималният избор поради три основни причини: Той води до подобряване на форм-фактора, тъй като изисква само една плоча и по-малки монтажни структури, има по-добри оптични свойства и е по-лек от стъклото с две плочи.

Тайната на наклоненото гравиране

След като материалът беше готов, следващият проблем беше изработката на вълноводите - и по-специално нетрадиционна техника за решетки, наречена наклонено гравиране.

"Решетката е наноструктурата, която свързва и изключва светлината от лещата", обяснява Калафиоре. "А за да работи силициевият карбид, решетката трябва да бъде наклонена. Вместо да са вертикални, линиите на решетката трябва да са наклонени по диагонал."

"Ние бяхме първите, които направиха наклонено ецване директно върху устройствата", казва ръководителят на изследванията Нихар Моханти. "Цялата индустрия разчиташе на наноотпечатъци, които не работят за субстрати с толкова висок коефициент на пречупване. Ето защо никой друг в света не се беше сетил да направи това със силициев карбид."

Но тъй като наклоненото ецване е незряла технология, повечето доставчици и заводи за полупроводникови чипове не разполагат с необходимите инструменти.

"През 2019 г. заедно с тогавашния ми ръководител Мат Колбърн създадохме собствено предприятие, тъй като в света нямаше нищо, което да произвежда гравирани вълноводи от силициев карбид и където да можем да докажем технологията извън лабораторните мащаби", обяснява Моханти. "Това беше огромна инвестиция и там създадохме целия конвейер. Инструменталната екипировка беше изработена по поръчка от нашите партньори, а процесът беше разработен в Мета, въпреки че нашите системи са от изследователски клас, защото там нямаше системи от производствен клас. Работихме с производствен партньор, за да разработим инструменти и процеси за наклонено ецване от производствен клас. И сега, след като показахме какво е възможно със силициев карбид, искаме другите в индустрията да започнат да произвеждат свои собствени инструменти."

Колкото повече компании инвестират в оптичен силициев карбид и разработват оборудване, толкова по-силна ще стане категорията на потребителските очила за разширена реалност.

Вече не преследваме дъги

Докато технологичната неизбежност е мит, звездите със сигурност изглежда се подреждат в полза на силициевия карбид. И въпреки че екипът продължава да проучва алтернативи, има силното усещане, че правилните хора са се събрали в точното време при правилните пазарни условия, за да създадат очила за разширена реалност, използвайки този материал.

"Orion доказа, че силициевият карбид е жизнеспособна опция за очила за AR", казва Силвърстайн, "и сега виждаме интерес по веригата за доставки на три различни континента, където те усилено търсят тази възможност. Силициевият карбид ще излезе начело. Според мен това е само въпрос на време."

За това време могат да се случат много неща - подобно на начина, по който се обърнаха нещата, откакто отгледахме първите кристали от прозрачен силициев карбид.

"Всички тези производители на силициев карбид бяха увеличили масово предлагането в отговор на очаквания бум на електромобилите", отбелязва Калафиоре. "В момента има свръхкапацитет, който не съществуваше, когато изграждахме Orion. Така че сега, тъй като предлагането е голямо, а търсенето - малко, цената на субстрата започна да се понижава."

"Доставчиците са много развълнувани от новата възможност за производство на оптичен силициев карбид - в края на краищата всяка вълноводна леща представлява голямо количество материал в сравнение с електронния чип и всички техни съществуващи възможности се прилагат в това ново пространство", добавя Силвърстайн. "Запълването на фабриката е от съществено значение, а увеличаването на мащаба на фабриката е мечтата. Размерът на пластината също е от значение: Колкото по-голяма е пластината, толкова по-ниска е цената, но сложността на процеса също се увеличава. Въпреки това видяхме, че доставчиците преминават от 4-инчови към 8-инчови пластини, а някои работят по прекурсори за 12-инчови пластини, които биха дали експоненциално повече чифта очила за AR."

Тези постижения трябва да спомогнат за по-нататъшно намаляване на разходите. Все още е рано, но бъдещето се очертава.

"В началото на всяка нова технологична революция се изпробват много неща", казва Калафиоре. "Вижте телевизията: Започнахме с катодно-лъчеви тръби, след това преминахме към плазмените телевизори със светодиоди, а сега и към микросветкавиците. Преминахме през няколко различни технологии и архитектури. Когато търсите пътя, много пътища не свършват никъде, но има някои, към които се връщате като към най-обещаващи. Не сме в края на пътя и не можем да се справим сами, но силициевият карбид е чудесен материал, който си заслужава инвестицията."

"Светът вече е буден", добавя Силвърстайн. "Успешно показахме, че силициевият карбид може да се използва в електрониката и фотониката. Това е материал, който може да има бъдещи приложения в квантовите изчисления. И виждаме признаци, че е възможно значително да се намали цената. Предстои ни още много работа, но потенциалът ни е огромен."

---

Научете повече за силициевия карбид в Photonics Spectra.

За повече информация за Orion разгледайте тези публикации в блога:

• От нула до едно: как нашият персонализиран силиций и чипове революционизират AR
• Изчислителният блок на Орион: Историята на устройството, което ни помогна да направим възможни очилата за разширена реалност

TL;DR:

• Днес в Свържете, Марк Зукърбърг представи Orion - първия ни чифт истински очила с разширена реалност, чието кодово име преди това беше Проект Nazare.
• С водещо в индустрията зрително поле, лещи от силициев карбид, сложни вълноводи, uLED проектори и други, Orion е нашият най-усъвършенстван и най-полиран прототип на продукт до момента.
• Сега продължаваме да оптимизираме продуктите и да намаляваме разходите, за да създадем мащабируемо потребителско устройство, което ще промени начина, по който хората взаимодействат със света.

---

"Създаваме очила с разширена реалност."

Пет прости думи, казано преди пет години. С тях забихме знамето на нашата визия за бъдеще, в което вече няма да ни се налага да правим фалшив избор между света на информацията, която е на една ръка разстояние, и физическия свят около нас.

А сега, пет години по-късно, още пет думи, които отново ще променят играта:

Създадохме очила за разширена реалност.

https://youtube.com/watch?v=2CJsnyS8u3c%3Fsi%3DTr77gOKEq3PnA7-k%26controls%3D0%3Fautoplay%3D0%26color%3Dwhite%26cc_lang_pref%3Den%26cc_load_policy%3D0%26enablejsapi%3D1%26frameborder%3D0%26hl%3Den%26rel%3D0%26origin%3Dhttps%253A%252F%252Fwww.meta.com

Мисията на Meta е проста: даваме на хората силата да създават общности и да сближават света. А в Reality Labs създаваме инструменти, които помагат на хората да се чувстват свързани навсякъде и по всяко време. Ето защо работим за създаването на следващата компютърна платформа, която поставя хората в центъра, така че те да могат да присъстват по-добре, да са свързани и да имат повече възможности в света.

Очила Ray-Ban Meta демонстрираха силата на възможността да се предостави на хората свободен достъп до ключови части от техния цифров живот от техния физически живот. Можем да разговаряме с интелигентен асистент с изкуствен интелект, да се свързваме с приятели и да улавяме важните моменти - всичко това, без да се налага да изваждаме телефон. Тези стилни очила се вписват безпроблемно в ежедневието ни и хората абсолютно ги обичат.

И все пак, докато Ray-Ban Meta открива изцяло нова категория очила без дисплей, заредени с изкуствен интелект, XR индустрията отдавна мечтае за истински AR очила - продукт, който съчетава предимствата на голям холографски дисплей и персонализирана помощ от изкуствен интелект в удобен, стилен и удобен за носене през целия ден форм-фактор.

А днес доближихме тази мечта до реалността с представянето на Орион, който според нас е най-усъвършенстваният чифт очила с разширена реалност, създаван някога. Всъщност това може би е най-предизвикателното устройство за потребителска електроника, произведено след смартфона. Orion е резултат от пробивни изобретения в почти всяка област на съвременните изчислителни технологии - надграждайки върху работата, която вършим в Reality Labs през последното десетилетие.. Той е снабден с изцяло нови технологии, включително най-усъвършенствания AR дисплей, който някога е бил сглобяван, и персонализиран силиций която позволява мощни AR изживявания да се изпълняват на чифт очила, използвайки малка част от мощността и теглото на MR слушалките.

Системата за въвеждане на Orion безпроблемно комбинира глас, поглед и проследяване на ръката с EMG гривна който ви позволява да плъзгате, кликате и превъртате, докато ръката ви е удобно разположена отстрани, като ви позволява да присъствате в света и с хората около вас, докато взаимодействате с богато цифрово съдържание.

Започвайки от днес в Connect и продължавайки през цялата година, отваряме достъп до прототипа на продукта Orion за служителите на Meta и избрани външни публики, така че екипът ни за разработка да може да се учи, да итерира и да изгражда нашата потребителска продуктова линия очила за AR, която планираме да започнем да доставяме в близко бъдеще.

Защо очила AR?

Има три основни причини, поради които очилата за разширена реалност са ключови за отключване на следващия голям скок в ориентираните към човека компютри.

1. Те дават възможност за цифрови изживявания, които не са ограничени от екрана на смартфона. С големите холографски дисплеи можете да използвате физическия свят като свое платно, като разполагате 2D и 3D съдържание и преживявания навсякъде, където пожелаете.
2. Те безпроблемно интегрират контекстуален изкуствен интелект, който може да усеща и разбира света около вас, за да предвиди и проактивно да отговори на нуждите ви.
3. Те са леки и са подходящи за използване както на закрито, така и на открито - и позволяват на хората да видят истинското си лице, истинските си очи и истинските си изражения.

Това е северната звезда, към която се стреми нашата индустрия: продукт, който съчетава удобството и непосредствеността на носимите устройства с голям дисплей, високоскоростен вход и контекстуален AI във форм фактор, който хората се чувстват комфортно да носят в ежедневието си.

Компактен форм-фактор, сложни предизвикателства

В продължение на години бяхме изправени пред фалшив избор - или слушалки за виртуална и смесена реалност, които позволяват дълбоки, поглъщащи изживявания в обемист форм-фактор, или очила, които са идеални за целодневна употреба, но не предлагат богати визуални приложения и изживявания поради липсата на голям дисплей и съответната изчислителна мощ.

Но ние искаме всичко това без компромиси. От години работим усилено, за да използваме невероятните пространствени изживявания, предлагани от VR и MR слушалките, и да миниатюризираме технологията, необходима за осигуряване на тези изживявания, в чифт леки и стилни очила. Усвояването на форм-фактора, осигуряването на холографски дисплеи, разработването на завладяващи AR изживявания и създаването на нови парадигми за взаимодействие между човека и компютъра (HCI) - и всичко това в един цялостен продукт - е едно от най-трудните предизвикателства, с които нашата индустрия някога се е сблъсквала. Толкова е трудно, че смятахме, че имаме по-малко от 10 процента шанс да се справим успешно.

Досега.

Революционен дисплей в несравним форм-фактор

Приблизително 70 градуса, Orion има най-голямото зрително поле в най-малкия до момента форм-фактор на очилата за AR. Това поле на видимост разкрива истински поглъщащи случаи на използване на Orion - от многозадачни прозорци и забавления на голям екран до холограми на хора в естествена големина - цялото цифрово съдържание, което може безпроблемно да се смеси с представата ви за физическия свят.

За Orion зрителното поле беше нашият свещен граал. Бяхме се сблъскали със законите на физиката и трябваше да огънем светлинните лъчи по начин, по който те не се огъват естествено - и трябваше да го направим в рамките на мощност, измервана в миливати.

Вместо стъкло, изработихме лещите от силициев карбид-ново приложение за очилата AR. Силициев карбид е изключително лек, не предизвиква оптични артефакти или разсеяна светлина и има висок коефициент на пречупване - все оптични свойства, които са от ключово значение за голямото зрително поле. Самите вълноводи имат наистина сложни и комплексни нано-мащабни 3D структури, които разсейват или разпространяват светлината по начините, необходими за постигане на това зрително поле. Проекторите са uLEDs - нов тип дисплейна технология, която е изключително малка и изключително енергийно ефективна.

Orion е безспорен чифт очила, както на външен вид, така и на допир - с прозрачни лещи. За разлика от съвременните MR слушалки или други AR очила, вие все още можете да виждате истинските очи и изражения на другите, така че да присъствате и да споделяте преживяването с хората около вас. Бяха необходими десетки нововъведения, за да се сведе индустриалният дизайн до съвременен форм-фактор на очилата, който ще ви е удобно да носите всеки ден. Orion е постижение на миниатюризацията - компонентите са събрани до частица от милиметъра. И успяхме да вградим седем малки камери и сензори в рамката.

Трябваше да поддържаме оптична прецизност с дебелина една десета от дебелината на човешки косъм. Системата може да открива малки движения, като например разширяване или свиване на рамката при различни температури в помещението, и след това да коригира цифрово необходимото оптично подравняване - всичко това в рамките на милисекунди. Изработихме рамките от магнезий - същия материал, който се използва в състезателните автомобили от Формула 1 и космическите кораби - защото е лек, но твърд, така че поддържа оптичните елементи в една линия и ефективно отвежда топлината.

Отопление и охлаждане

След като разчупихме дисплея (без умисъл) и преодоляхме проблемите с физиката, трябваше да се справим с предизвикателството на наистина мощните изчисления при наистина ниска консумация на енергия и необходимостта от разсейване на топлината. За разлика от съвременните MR слушалки, не можете да вкарате вентилатор в чифт очила. Така че трябваше да проявим творчество. Голяма част от материалите, използвани за охлаждане на Orion, са подобни на тези, използвани от НАСА за охлаждане на спътници в космоса.

Построихме високоспециализиран силиций по поръчка който е изключително енергийно ефективен и оптимизиран за нашите алгоритми за изкуствен интелект, машинно възприятие и графика. Изградихме множество персонализирани чипове и десетки силно персонализирани силициеви IP блокове в тези чипове. Това ни позволява да вземем алгоритмите, необходими за проследяване на ръцете и очите, както и технологията за едновременно локализиране и картографиране (SLAM), която обикновено изисква стотици миливата мощност - и следователно генерира съответното количество топлина - и да я свием до само няколко десетки миливата.

И да, потребителският силиций продължава да играе решаваща роля в разработването на продукти в Reality Labs, въпреки че може да сте чели другаде. 😎

Безпроблемно EMG

Всяка нова компютърна платформа носи със себе си промяна на парадигмата в начина, по който взаимодействаме с нашите устройства. Изобретяването на мишката помогна да се проправи пътят за графичните потребителски интерфейси (GUI), които доминират в нашия свят днес, а смартфоните започнаха да набират популярност едва с появата на сензорния екран. Същото правило важи и за носимите устройства.

Говорихме за работата си с електромиография или EMG, в продължение на години, водени от убеждението ни, че въвеждането на данни за очилата AR трябва да бъде бързо, удобно, надеждно, фино и социално приемливо. И сега тази работа е готова за премиера.

Системата за въвеждане и взаимодействие на Orion безпроблемно комбинира глас, поглед и проследяване на ръката с EMG гривна, която ви позволява да плъзгате, кликате и превъртате с лекота.

Действа и се усеща като магия. Представете си, че правите снимка по време на сутрешния си джогинг с едно докосване на върховете на пръстите си или навигирате в менютата с едва забележими движения на ръцете си. Нашата гривна съчетава висококачествен текстил с вградени EMG сензори за откриване на електрическите сигнали, генерирани дори от най-малките мускулни движения. След това вграденият в устройството ML процесор интерпретира тези EMG сигнали, за да създаде входни събития, които се предават безжично към очилата. Системата се адаптира към вас, така че с течение на времето става все по-добра и по-способна да разпознава и най-фините жестове. А днес споделяме повече за нашата подкрепа за външни изследвания, насочени към разширяване на потенциала за равенство и достъпност на ЕМГ гривните.

Запознайте се с безжичния изчислителен блок

Истинските очила за AR трябва да са безжични и да са малки.Затова изградихме безжична изчислителна шайба за Orion. Той поема част от натоварването на очилата, което позволява по-дълъг живот на батерията и по-добър форм-фактор с ниска латентност.

Очилата управляват всички графични алгоритми за проследяване на ръката, проследяване на очите, SLAM и специализирани графични алгоритми за заключване на света на AR, докато логиката на приложението се изпълнява на шайбата, за да бъдат очилата възможно най-леки и компактни.

Шайбата има два процесора, включително един, проектиран по поръчка тук, в Meta, и осигурява изчислителната мощ, необходима за графично рендиране с ниска латентност, изкуствен интелект и някои допълнителни машинни възприятия.

И тъй като е малка и елегантна, можете удобно да хвърлите шайбата в чантата или в джоба си и да продължите да работите - без никакви ограничения.

Опити с AR

Разбира се, както при всеки хардуер, той е толкова добър, колкото са добри нещата, които можете да направете с него. И макар че все още е в началото, преживяванията, които предоставя Orion, са вълнуващ поглед към това, което предстои да се случи.

https://youtube.com/watch?v=HkdSv3QPhNw%3F%26controls%3D0%3Fautoplay%3D0%26color%3Dwhite%26cc_lang_pref%3Den%26cc_load_policy%3D0%26enablejsapi%3D1%26frameborder%3D0%26hl%3Den%26rel%3D0%26origin%3Dhttps%253A%252F%252Fwww.meta.com

Имаме своя интелигентен асистент, Мета AI, работещ в Orion. Той разбира какво гледате във физическия свят и може да ви помогне с полезни визуализации. Orion използва същия модел на Llama, който захранва преживяванията с изкуствен интелект, работещи днес на умните очила Ray-Ban Meta, плюс персонализирани изследователски модели за демонстриране на потенциални случаи на употреба за бъдещи разработки на носими устройства.

Можете да проведете видеоразговор в движение, за да се чуете с приятелите и семейството си в реално време, и да поддържате връзка в WhatsApp и Messenger, за да преглеждате и изпращате съобщения. Не е необходимо да вадите телефона си, да го отключвате, да намирате подходящото приложение и да съобщавате на приятеля си, че закъснявате за вечеря - можете да направите всичко това през очилата си.

https://youtube.com/watch?v=el7lUVvu8Bo%3F%26controls%3D0%3Fautoplay%3D0%26color%3Dwhite%26cc_lang_pref%3Den%26cc_load_policy%3D0%26enablejsapi%3D1%26frameborder%3D0%26hl%3Den%26rel%3D0%26origin%3Dhttps%253A%252F%252Fwww.meta.com

Можете да играете споделени игри с разширена реалност със семейството си в другия край на страната или с приятеля си от другата страна на дивана. А големият дисплей на Orion ви позволява да работите в няколко прозореца, за да свършите нещо, без да се налага да носите лаптопа си.

Изживяванията, налични в Orion днес, ще ни помогнат да начертаем пътната карта за нашата потребителска линия очила за AR в бъдеще. Екипите ни ще продължат да итерират и да създават нови завладяващи социални изживявания, заедно с нашите партньори разработчици, и нямаме търпение да споделим какво ще последва.

Целесъобразен прототип на продукт

Въпреки че Orion няма да попадне в ръцете на потребителите, не се заблуждавайте: Това е не изследователски прототип. Това е най-съвършеният прототип на продукт, който някога сме разработвали - и е истински представител на нещо, което може да изпращане до потребителите. Вместо да бързаме да го пуснем по рафтовете, решихме да се съсредоточим първо върху вътрешната разработка, което означава, че можем да продължим да изграждаме бързо и да продължим да разширяваме границите на технологията и преживяванията.

А това означава, че ще постигнем още по-добър потребителски продукт по-бързо.

Какво следва

Две основни пречки отдавна стоят на пътя на масовите потребителски очила за разширена реалност: технологичният пробив, необходим за осигуряване на голям дисплей в компактен форм-фактор на очилата, и необходимостта от полезни и завладяващи AR изживявания, които да могат да се изпълняват на тези очила. Orion е огромен крайъгълен камък, който за първи път предоставя истински AR изживявания, работещи на достатъчно стилен хардуер.

Сега, след като споделихме Orion със света, сме се съсредоточили върху няколко неща:

• Настройване на качеството на дисплея на AR, за да станат визуализациите още по-ярки
• Оптимизираме навсякъде, където можем, за да направим форм-фактора още по-малък
• Мащабно строителство, за да станат по-достъпни

През следващите няколко години можете да очаквате нови устройства от нас, които ще се основават на нашите усилия в областта на научноизследователската и развойната дейност. А редица иновации на Orion са разширени в настоящите ни потребителски продукти днес, както и в бъдещата ни продуктова пътна карта. Оптимизирахме някои от нашите алгоритми за пространствено възприятие, които работят както на Meta Quest 3S и Орион. Макар че системата за поглеждане на очите и фино жестово въвеждане първоначално беше проектирана за Orion, планираме да я използваме и в бъдещи продукти. Проучваме и възможността за използване на EMG гривни в бъдещи потребителски продукти.

Orion не е просто прозорец към бъдещето - това е поглед към съвсем реалните възможности, които са достъпни днес. Създадохме го в стремежа си към това, което правим най-добре: да помагаме на хората да се свързват. От очилата Ray-Ban Meta до Orion, ние видяхме доброто, което може да дойде от това да позволим на хората да останат по-присъстващи и по-мощни във физическия свят, дори докато се възползват от цялото допълнително богатство, което предлага цифровият свят.

Вярваме, че не трябва да избирате между двете. И със следващата компютърна платформа няма да ви се налага.

---

За повече информация за Orion разгледайте тези публикации в блога:

• Изчислителният блок на Орион: Историята на устройството, което ни помогна да направим възможни очилата за разширена реалност
• От нула до едно: как нашият персонализиран силиций и чипове революционизират AR
• Кристално чисти: нашите вълноводи от силициев карбид и пътят към голямото фоново поле на Орион

Миналата година на Connect представихме Орион-първият ни истински чифт очила за AR. Кулминацията на работата ни в Reality Labs през последното десетилетие, Orion съчетава предимствата на голям холографски дисплей и персонализирана помощ с изкуствен интелект в удобен, удобен за носене през целия ден форм-фактор. Той получи известно внимание заради водещото си в индустрията зрително поле, вълноводите от силициев карбид, uLED проекторите и др. Но днес обръщаме внимание на един невъзпят герой на Orion: изчислителната шайба.

Проектирана така, че лесно да се прибира в джоба или чантата ви, за да можете да я носите навсякъде, докато си вървите през деня, шайбата разтоварва процесорната мощ на Orion, за да изпълнява логиката на приложенията и да позволява по-привлекателен, по-малък форм-фактор за очилата. Тя се свързва безжично с очилата и гривната EMG за безпроблемно изживяване.

Нагласете го и го забравете, нали?

Но историята на шайбата - дори и като прототип - е заплетена, с драматична арка, за която никога не бихте предположили от външния ѝ вид.

"Когато създавате нещо подобно, започвате да навлизате в границите на физиката", обяснява директорът по управление на продуктите Рахул Прасад. "През последните 50 години законът на Мур направи всичко по-малко, по-бързо и с по-ниска мощност. Проблемът е, че сега започвате да се сблъсквате с границите на това колко топлина можете да разсеете, колко батерия можете да компресирате и колко производителност на антената можете да поберете в обект с определени размери."

Въпреки че погледът назад може да е 20/20, потенциалът на шайбата не беше очевиден веднага. Когато сте първият, който създава нещо, трябва да проучите всички възможности - без да оставяте камък върху камък. Как да създадете нещо, което някои може да сметнат за нежелан аксесоар, а не за важна част от пакета?

"Знаехме, че шайбата е допълнително устройство, което трябва да се носи от хората", отбелязва Джаред Ван Клийв, "затова проучихме как да превърнем грешката във функция."

В крайна сметка тази етика се отплаща с пълна сила, тъй като шайбата притиска много изчисления (и още повече проектиран от Meta персонализиран силиций за AI и машинно възприятие) в малък размер. Това помогна на Orion да се превърне от сферата на научната фантастика в реалност.

"Ако не разполагахте с шайбата, нямаше да можете да изпитате преживяванията, които Orion предлага в своя форм-фактор - точка", казва Прасад. "Доброто AR изживяване изисква наистина висока производителност: висока честота на кадрите, изключително ниска латентност, прецизно управление на безжичната връзка и захранването и т.н. Шайбата и очилата трябва да бъдат проектирани така, че да работят в много тясно сътрудничество, не само на ниво приложения, но и на ниво операционна система, фърмуер и хардуер. И дори ако някой разработи съвместно смартфон, който да работи с очила за разширена реалност, високите изисквания за производителност ще изтощят батерията на телефона и ще отнемат изчислителен капацитет от случаите на използване на телефона. От друга страна, шайбата има собствена батерия с голям капацитет, високопроизводителен SoC и собствен копроцесор за изкуствен интелект, оптимизиран за Orion."

Разбира се, шайбата не е създадена за една нощ. Необходими са били години итеративна работа.

"Не знаехме как хората биха искали да взаимодействат с Orion от гледна точка на входните данни - нямаше нищо, което да можем да използваме на пазара", казва продуктовият мениджър Мат Ресман. "Ако погледнете ранните ни прототипи на очила, те бяха масивни слушалки, които тежаха три или четири килограма. А когато се опитвате да създадете продукт, наистина е трудно да разберете потребителското изживяване, ако не сте в правилния форм-фактор. С шайбата успяхме да създадем прототип много бързо, за да започнем да разбираме как хората ще я използват."

С кодовото име Omega в началото шайбата първоначално е замислена от тогавашната компания Oculus Research като лента с форма на Ω, която се поставя около врата на потребителя и е свързана с очилата...

... докато някои нови иновации на екипа на Reality Labs за безжична връзка, наред с други неща, не им позволиха да прекъснат връзката. Това даде възможност за по-преносим или джобен/в чантата форм-фактор, което откри много възможности.

"В онзи момент обажданията с добавена реалност все още бяха основен случай на употреба", обяснява Ван Клийв. "Шайбата беше мястото, където се закрепваха холографските видеоклипове. Слагахте я на масата със сензорната лавица с лице към вас, заснемахте ви и след това проектирахте от повърхността на шайбата с кого говорите за обаждането."

"Orion е за свързване на хората и обединяване на усилията ни", казва Ресман. "Една от първоначалните концепции за шайбата беше да помогне да се създаде това усещане за присъствие с други хора и да се даде възможност за тази по-богата форма на комуникация."

"То не прилича на нищо, което сте виждали досега - устройството има потенциала да създава наистина забавни и уникални взаимодействия", добавя индустриалният дизайнер Емрон Хенри. "Потребителското изживяване прилича малко на пускане на джин от бутилка, където холограмите плавно излизат от устройството и се разтварят обратно в него."

Както вероятно вече сте разбрали, в шайбата има повече потенциал, отколкото в крайна сметка е включен като функция. В допълнение към сензорите и камерите, които щяха да се използват за AR повикване, шайбата има хаптични и 6DOF сензори, които биха могли да ѝ позволят да се използва като проследяващ контролер за избор и манипулиране на виртуални обекти и игра на AR игри. Екипът също така е проучил капацитивното и силово въвеждане на допир, така че шайбата да може да служи като геймпад, когато се държи в портретен и пейзажен режим.

"Говорихме за необходимостта да носим това допълнително нещо", казва Ван Клийв. "Как да го направим по-полезно? Имаше цяла работна група, която се занимаваше с това. И в един момент хипотезата беше, че AR игрите ще бъдат този убийствен случай на употреба."

Още в началото разбрахме, че трябва да проучим възможностите на шайбата да прави неща, които телефоните не могат. В крайна сметка се спряхме на използването на погледа на очите, EMG и проследяването на ръката за AR игри, като Stargazer и Pong, но в началото на Orion създадохме прототипи на различни демонстрации и игри, които използваха шайбата като контролер.

0:00 / 0:00

0:00 / 0:00

0:00 / 0:00

Изследване на шайбата като 6DOF контролер за AR игри като Pong.

"Тъй като това не е телефон, това ни даде голяма свобода на дизайна", добавя Прасад. "Може да е по-дебел, мога да го направя по-заоблен, така че да пасва удобно в ръката ви като контролер. Доста невероятно е, че шайбата всъщност е по-малка от средния телефон, но е по-мощна от телефона, защото има копроцесор за изкуствен интелект и машинно възприятие, разработен от Meta."

Екипът разгледа въпроса по какво може да се различава една качествена AR игра от игра за MR или конзола. Това означаваше да се проучат различни възможности за контролер за AR игри, включително джойстици, физическо разположение на бутоните, бутони за задействане и др.

"В крайна сметка не построихме нищо от това", отбелязва Ван Клийв. "Създадохме прототипи, но никога не сме се захващали с цялостно изграждане. Искахме да е просто. Искахме да направим тези меки интерфейси, но не и физически, механични бутони."

И макар че сензорите и тактилните устройства не бяха включени в прототипа на готовия продукт, те изпълняваха важна функция по време на разработката, позволявайки на екипите да подават сигнали за грешки, като просто докосват горната част на устройството няколко пъти, за да подадат сигнал за грешка.

Тъй като ИИ започна да заема централно място като ключов случай на използване, изчисленията се фокусираха все повече. В крайна сметка шайбата е дом на безжичната свързаност, изчислителната мощ и капацитета на батерията на Orion - огромно техническо постижение само по себе си - всичко това помага за намаляване на теглото и форм-фактора на очилата, като същевременно разсейва много повече топлина поради своята повърхност.

По време на еволюцията на шайбата едно нещо остава непроменено: шайбата има нещо повече, отколкото се вижда от нетренираното око. Приемането на неконвенционални идеи позволи на нашите екипи да изследват, да разширяват границите и да изграждат бъдещето.

"Определяме категория, която все още не съществува", отбелязва Хенри. "Както може да се очаква при научноизследователската и развойна дейност, по пътя имаше стартове и спирания. Как потребителите ще очакват да взаимодействат с холограмите? Дали ще предпочетат да използват дистанционно за AR или проследяването на ръката, погледът на очите и EMG са достатъчни за въвеждане? Кое е интуитивно, с ниско ниво на триене, познато и полезно?"

"Вместо да гледаме на шайбата само като на камък, ние се запитахме какво още можем да предложим, за да я отличим от телефоните и да обосновем защо искате да я носите със себе си", признава Ресман. "Дали нейната сурова изчислителна мощност и практичен дизайн - които помогнаха за разкриването на форм-фактор на очила, които реално можете да носите по цял ден - в крайна сметка предлагат достатъчно стойност? Нашата задача е да помогнем да се отговори на тези въпроси."

"Още в началото сменихме посоката, за да се съсредоточим върху това, което можем да направим, а телефонът не може да направи", добавя Ван Клийв. "Телефоните трябва да имат екран и определено разположение на физическите бутони, което потребителите очакват. А ние нямаме тези ограничения. Нашата изчислителна шайба може да бъде каквато си поискаме."

---

За повече информация за Orion разгледайте тези публикации в блога:

• Кристално чисти: нашите вълноводи от силициев карбид и пътят към голямото фоново поле на Орион
• От нула до едно: как нашият персонализиран силиций и чипове революционизират AR

TL;DR:

• Днес в Свържете, Марк Зукърбърг представи Orion - първия ни чифт истински очила с разширена реалност, чието кодово име преди това беше Проект Nazare.
• С водещо в индустрията зрително поле, лещи от силициев карбид, сложни вълноводи, uLED проектори и други, Orion е нашият най-усъвършенстван и най-полиран прототип на продукт до момента.
• Сега продължаваме да оптимизираме продуктите и да намаляваме разходите, за да създадем мащабируемо потребителско устройство, което ще промени начина, по който хората взаимодействат със света.

---

"Създаваме очила с разширена реалност."

Пет прости думи, казано преди пет години. С тях забихме знамето на нашата визия за бъдеще, в което вече няма да ни се налага да правим фалшив избор между света на информацията, която е на една ръка разстояние, и физическия свят около нас.

А сега, пет години по-късно, още пет думи, които отново ще променят играта:

Създадохме очила за разширена реалност.

https://youtube.com/watch?v=2CJsnyS8u3c%3Fsi%3DTr77gOKEq3PnA7-k%26controls%3D0%3Fautoplay%3D0%26color%3Dwhite%26cc_lang_pref%3Den%26cc_load_policy%3D0%26enablejsapi%3D1%26frameborder%3D0%26hl%3Den%26rel%3D0%26origin%3Dhttps%253A%252F%252Fwww.meta.com

Мисията на Meta е проста: даваме на хората силата да създават общности и да сближават света. А в Reality Labs създаваме инструменти, които помагат на хората да се чувстват свързани навсякъде и по всяко време. Ето защо работим за създаването на следващата компютърна платформа, която поставя хората в центъра, така че те да могат да присъстват по-добре, да са свързани и да имат повече възможности в света.

Очила Ray-Ban Meta демонстрираха силата на възможността да се предостави на хората свободен достъп до ключови части от техния цифров живот от техния физически живот. Можем да разговаряме с интелигентен асистент с изкуствен интелект, да се свързваме с приятели и да улавяме важните моменти - всичко това, без да се налага да изваждаме телефон. Тези стилни очила се вписват безпроблемно в ежедневието ни и хората абсолютно ги обичат.

И все пак, докато Ray-Ban Meta открива изцяло нова категория очила без дисплей, заредени с изкуствен интелект, XR индустрията отдавна мечтае за истински AR очила - продукт, който съчетава предимствата на голям холографски дисплей и персонализирана помощ от изкуствен интелект в удобен, стилен и удобен за носене през целия ден форм-фактор.

А днес доближихме тази мечта до реалността с представянето на Орион, който според нас е най-усъвършенстваният чифт очила с разширена реалност, създаван някога. Всъщност това може би е най-предизвикателното устройство за потребителска електроника, произведено след смартфона. Orion е резултат от пробивни изобретения в почти всяка област на съвременните изчислителни технологии - надграждайки върху работата, която вършим в Reality Labs през последното десетилетие.. Той е снабден с изцяло нови технологии, включително най-усъвършенствания AR дисплей, който някога е бил сглобяван, и персонализиран силиций която позволява мощни AR изживявания да се изпълняват на чифт очила, използвайки малка част от мощността и теглото на MR слушалките.

Системата за въвеждане на Orion безпроблемно комбинира глас, поглед и проследяване на ръката с EMG гривна който ви позволява да плъзгате, кликате и превъртате, докато ръката ви е удобно разположена отстрани, като ви позволява да присъствате в света и с хората около вас, докато взаимодействате с богато цифрово съдържание.

Започвайки от днес в Connect и продължавайки през цялата година, отваряме достъп до прототипа на продукта Orion за служителите на Meta и избрани външни публики, така че екипът ни за разработка да може да се учи, да итерира и да изгражда нашата потребителска продуктова линия очила за AR, която планираме да започнем да доставяме в близко бъдеще.

Защо очила AR?

Има три основни причини, поради които очилата за разширена реалност са ключови за отключване на следващия голям скок в ориентираните към човека компютри.

1. Те дават възможност за цифрови изживявания, които не са ограничени от екрана на смартфона. С големите холографски дисплеи можете да използвате физическия свят като свое платно, като разполагате 2D и 3D съдържание и преживявания навсякъде, където пожелаете.
2. Те безпроблемно интегрират контекстуален изкуствен интелект, който може да усеща и разбира света около вас, за да предвиди и проактивно да отговори на нуждите ви.
3. Те са леки и са подходящи за използване както на закрито, така и на открито - и позволяват на хората да видят истинското си лице, истинските си очи и истинските си изражения.

Това е северната звезда, към която се стреми нашата индустрия: продукт, който съчетава удобството и непосредствеността на носимите устройства с голям дисплей, високоскоростен вход и контекстуален AI във форм фактор, който хората се чувстват комфортно да носят в ежедневието си.

Компактен форм-фактор, сложни предизвикателства

В продължение на години бяхме изправени пред фалшив избор - или слушалки за виртуална и смесена реалност, които позволяват дълбоки, поглъщащи изживявания в обемист форм-фактор, или очила, които са идеални за целодневна употреба, но не предлагат богати визуални приложения и изживявания поради липсата на голям дисплей и съответната изчислителна мощ.

Но ние искаме всичко това без компромиси. От години работим усилено, за да използваме невероятните пространствени изживявания, предлагани от VR и MR слушалките, и да миниатюризираме технологията, необходима за осигуряване на тези изживявания, в чифт леки и стилни очила. Усвояването на форм-фактора, осигуряването на холографски дисплеи, разработването на завладяващи AR изживявания и създаването на нови парадигми за взаимодействие между човека и компютъра (HCI) - и всичко това в един цялостен продукт - е едно от най-трудните предизвикателства, с които нашата индустрия някога се е сблъсквала. Толкова е трудно, че смятахме, че имаме по-малко от 10 процента шанс да се справим успешно.

Досега.

Революционен дисплей в несравним форм-фактор

Приблизително 70 градуса, Orion има най-голямото зрително поле в най-малкия до момента форм-фактор на очилата за AR. Това поле на видимост разкрива истински поглъщащи случаи на използване на Orion - от многозадачни прозорци и забавления на голям екран до холограми на хора в естествена големина - цялото цифрово съдържание, което може безпроблемно да се смеси с представата ви за физическия свят.

За Orion зрителното поле беше нашият свещен граал. Бяхме се сблъскали със законите на физиката и трябваше да огънем светлинните лъчи по начин, по който те не се огъват естествено - и трябваше да го направим в рамките на мощност, измервана в миливати.

Вместо стъкло, изработихме лещите от силициев карбид-ново приложение за очилата AR. Силициев карбид е изключително лек, не предизвиква оптични артефакти или разсеяна светлина и има висок коефициент на пречупване - все оптични свойства, които са от ключово значение за голямото зрително поле. Самите вълноводи имат наистина сложни и комплексни нано-мащабни 3D структури, които разсейват или разпространяват светлината по начините, необходими за постигане на това зрително поле. Проекторите са uLEDs - нов тип дисплейна технология, която е изключително малка и изключително енергийно ефективна.

Orion е безспорен чифт очила, както на външен вид, така и на допир - с прозрачни лещи. За разлика от съвременните MR слушалки или други AR очила, вие все още можете да виждате истинските очи и изражения на другите, така че да присъствате и да споделяте преживяването с хората около вас. Бяха необходими десетки нововъведения, за да се сведе индустриалният дизайн до съвременен форм-фактор на очилата, който ще ви е удобно да носите всеки ден. Orion е постижение на миниатюризацията - компонентите са събрани до частица от милиметъра. И успяхме да вградим седем малки камери и сензори в рамката.

Трябваше да поддържаме оптична прецизност с дебелина една десета от дебелината на човешки косъм. Системата може да открива малки движения, като например разширяване или свиване на рамката при различни температури в помещението, и след това да коригира цифрово необходимото оптично подравняване - всичко това в рамките на милисекунди. Изработихме рамките от магнезий - същия материал, който се използва в състезателните автомобили от Формула 1 и космическите кораби - защото е лек, но твърд, така че поддържа оптичните елементи в една линия и ефективно отвежда топлината.

Отопление и охлаждане

След като разчупихме дисплея (без умисъл) и преодоляхме проблемите с физиката, трябваше да се справим с предизвикателството на наистина мощните изчисления при наистина ниска консумация на енергия и необходимостта от разсейване на топлината. За разлика от съвременните MR слушалки, не можете да вкарате вентилатор в чифт очила. Така че трябваше да проявим творчество. Голяма част от материалите, използвани за охлаждане на Orion, са подобни на тези, използвани от НАСА за охлаждане на спътници в космоса.

Построихме високоспециализиран силиций по поръчка който е изключително енергийно ефективен и оптимизиран за нашите алгоритми за изкуствен интелект, машинно възприятие и графика. Изградихме множество персонализирани чипове и десетки силно персонализирани силициеви IP блокове в тези чипове. Това ни позволява да вземем алгоритмите, необходими за проследяване на ръцете и очите, както и технологията за едновременно локализиране и картографиране (SLAM), която обикновено изисква стотици миливата мощност - и следователно генерира съответното количество топлина - и да я свием до само няколко десетки миливата.

И да, потребителският силиций продължава да играе решаваща роля в разработването на продукти в Reality Labs, въпреки че може да сте чели другаде. 😎

Безпроблемно EMG

Всяка нова компютърна платформа носи със себе си промяна на парадигмата в начина, по който взаимодействаме с нашите устройства. Изобретяването на мишката помогна да се проправи пътят за графичните потребителски интерфейси (GUI), които доминират в нашия свят днес, а смартфоните започнаха да набират популярност едва с появата на сензорния екран. Същото правило важи и за носимите устройства.

Говорихме за работата си с електромиография или EMG, в продължение на години, водени от убеждението ни, че въвеждането на данни за очилата AR трябва да бъде бързо, удобно, надеждно, фино и социално приемливо. И сега тази работа е готова за премиера.

Системата за въвеждане и взаимодействие на Orion безпроблемно комбинира глас, поглед и проследяване на ръката с EMG гривна, която ви позволява да плъзгате, кликате и превъртате с лекота.

Действа и се усеща като магия. Представете си, че правите снимка по време на сутрешния си джогинг с едно докосване на върховете на пръстите си или навигирате в менютата с едва забележими движения на ръцете си. Нашата гривна съчетава висококачествен текстил с вградени EMG сензори за откриване на електрическите сигнали, генерирани дори от най-малките мускулни движения. След това вграденият в устройството ML процесор интерпретира тези EMG сигнали, за да създаде входни събития, които се предават безжично към очилата. Системата се адаптира към вас, така че с течение на времето става все по-добра и по-способна да разпознава и най-фините жестове. А днес споделяме повече за нашата подкрепа за външни изследвания, насочени към разширяване на потенциала за равенство и достъпност на ЕМГ гривните.

Запознайте се с безжичния изчислителен блок

Истинските очила за AR трябва да са безжични и да са малки.Затова изградихме безжична изчислителна шайба за Orion. Той поема част от натоварването на очилата, което позволява по-дълъг живот на батерията и по-добър форм-фактор с ниска латентност.

Очилата управляват всички графични алгоритми за проследяване на ръката, проследяване на очите, SLAM и специализирани графични алгоритми за заключване на света на AR, докато логиката на приложението се изпълнява на шайбата, за да бъдат очилата възможно най-леки и компактни.

Шайбата има два процесора, включително един, проектиран по поръчка тук, в Meta, и осигурява изчислителната мощ, необходима за графично рендиране с ниска латентност, изкуствен интелект и някои допълнителни машинни възприятия.

И тъй като е малка и елегантна, можете удобно да хвърлите шайбата в чантата или в джоба си и да продължите да работите - без никакви ограничения.

Опити с AR

Разбира се, както при всеки хардуер, той е толкова добър, колкото са добри нещата, които можете да направете с него. И макар че все още е в началото, преживяванията, които предоставя Orion, са вълнуващ поглед към това, което предстои да се случи.

https://youtube.com/watch?v=HkdSv3QPhNw%3F%26controls%3D0%3Fautoplay%3D0%26color%3Dwhite%26cc_lang_pref%3Den%26cc_load_policy%3D0%26enablejsapi%3D1%26frameborder%3D0%26hl%3Den%26rel%3D0%26origin%3Dhttps%253A%252F%252Fwww.meta.com

Имаме своя интелигентен асистент, Мета AI, работещ в Orion. Той разбира какво гледате във физическия свят и може да ви помогне с полезни визуализации. Orion използва същия модел на Llama, който захранва преживяванията с изкуствен интелект, работещи днес на умните очила Ray-Ban Meta, плюс персонализирани изследователски модели за демонстриране на потенциални случаи на употреба за бъдещи разработки на носими устройства.

Можете да проведете видеоразговор в движение, за да се чуете с приятелите и семейството си в реално време, и да поддържате връзка в WhatsApp и Messenger, за да преглеждате и изпращате съобщения. Не е необходимо да вадите телефона си, да го отключвате, да намирате подходящото приложение и да съобщавате на приятеля си, че закъснявате за вечеря - можете да направите всичко това през очилата си.

https://youtube.com/watch?v=el7lUVvu8Bo%3F%26controls%3D0%3Fautoplay%3D0%26color%3Dwhite%26cc_lang_pref%3Den%26cc_load_policy%3D0%26enablejsapi%3D1%26frameborder%3D0%26hl%3Den%26rel%3D0%26origin%3Dhttps%253A%252F%252Fwww.meta.com

Можете да играете споделени игри с разширена реалност със семейството си в другия край на страната или с приятеля си от другата страна на дивана. А големият дисплей на Orion ви позволява да работите в няколко прозореца, за да свършите нещо, без да се налага да носите лаптопа си.

Изживяванията, налични в Orion днес, ще ни помогнат да начертаем пътната карта за нашата потребителска линия очила за AR в бъдеще. Екипите ни ще продължат да итерират и да създават нови завладяващи социални изживявания, заедно с нашите партньори разработчици, и нямаме търпение да споделим какво ще последва.

Целесъобразен прототип на продукт

Въпреки че Orion няма да попадне в ръцете на потребителите, не се заблуждавайте: Това е не изследователски прототип. Това е най-съвършеният прототип на продукт, който някога сме разработвали - и е истински представител на нещо, което може да изпращане до потребителите. Вместо да бързаме да го пуснем по рафтовете, решихме да се съсредоточим първо върху вътрешната разработка, което означава, че можем да продължим да изграждаме бързо и да продължим да разширяваме границите на технологията и преживяванията.

А това означава, че ще постигнем още по-добър потребителски продукт по-бързо.

Какво следва

Две основни пречки отдавна стоят на пътя на масовите потребителски очила за разширена реалност: технологичният пробив, необходим за осигуряване на голям дисплей в компактен форм-фактор на очилата, и необходимостта от полезни и завладяващи AR изживявания, които да могат да се изпълняват на тези очила. Orion е огромен крайъгълен камък, който за първи път предоставя истински AR изживявания, работещи на достатъчно стилен хардуер.

Сега, след като споделихме Orion със света, сме се съсредоточили върху няколко неща:

• Настройване на качеството на дисплея на AR, за да станат визуализациите още по-ярки
• Оптимизираме навсякъде, където можем, за да направим форм-фактора още по-малък
• Мащабно строителство, за да станат по-достъпни

През следващите няколко години можете да очаквате нови устройства от нас, които ще се основават на нашите усилия в областта на научноизследователската и развойната дейност. А редица иновации на Orion са разширени в настоящите ни потребителски продукти днес, както и в бъдещата ни продуктова пътна карта. Оптимизирахме някои от нашите алгоритми за пространствено възприятие, които работят както на Meta Quest 3S и Орион. Макар че системата за поглеждане на очите и фино жестово въвеждане първоначално беше проектирана за Orion, планираме да я използваме и в бъдещи продукти. Проучваме и възможността за използване на EMG гривни в бъдещи потребителски продукти.

Orion не е просто прозорец към бъдещето - това е поглед към съвсем реалните възможности, които са достъпни днес. Създадохме го в стремежа си към това, което правим най-добре: да помагаме на хората да се свързват. От очилата Ray-Ban Meta до Orion, ние видяхме доброто, което може да дойде от това да позволим на хората да останат по-присъстващи и по-мощни във физическия свят, дори докато се възползват от цялото допълнително богатство, което предлага цифровият свят.

Вярваме, че не трябва да избирате между двете. И със следващата компютърна платформа няма да ви се налага.

---

За повече информация за Orion разгледайте тези публикации в блога:

• Изчислителният блок на Орион: Историята на устройството, което ни помогна да направим възможни очилата за разширена реалност
• От нула до едно: как нашият персонализиран силиций и чипове революционизират AR
• Кристално чисти: нашите вълноводи от силициев карбид и пътят към голямото фоново поле на Орион