От нула до едно: как нашият персонализиран силиций и чипове революционизират AR

През 2017 г. главният учен на Reality Labs Майкъл Абраш, подкрепена от основателя и главен изпълнителен директор на Meta Марк Зукърбърг, създаде нов, таен екип в рамките на тогавашната Oculus Research, който да изгради основата на следващата компютърна платформа. Тяхната херкулесова задача: Създаване на персонализирано силициево решение, което може да поддържа уникалните изисквания на бъдещите очила с добавена реалност-техническо постижение, което изисква преосмисляне на всеки компонент за целодневно носене Очила AR форм-фактор, който просто още не съществуваше.

Преден ъгъл на прототипа на очилата Orion AR.

Компактен форм-фактор, значително проблемно пространство

Екипът за персонализиран силиций, който се разраства от няколко изследователи до стотици хора в продуктовата част, е изграден въз основа на предпоставката, че очилата за разширена реалност не могат да разчитат на силиция, наличен в днешните смартфони. И това е предпоставка, която се потвърждава от няколкото персонализирани чипа в Орион, нашият първи истински прототип на очила за AR.

"Построяването на кораба в момента, в който той излиза от пристанището - точно това правехме", казва директорът по стратегията за усъвършенствани технологии Джереми Снодграс. "Трябваше да увеличим скромния си екип, като едновременно с това изграждахме тези чипове. Беше завладяващо да наблюдавам как ръководството привлича нови служители, докато развива култура, която цени гъвкавостта. Нищо не беше проблем на някой друг. Вземаше се весло и започваше да гребеш, дори и да не беше точно това, за което са те наели. Беше много, много вълнуващо време."

"Почти всичко в Orion беше ново за света в много отношения", съгласява се техническият директор на Display Architecture Майк Ий. "Някои от идеите съществуваха, но никой не се беше заел с изследователски проект за създаване на очила с разширена реалност, които да се носят през целия ден."

Екипът трябваше да осигури завладяващо AR изживяване с възможно най-малка консумация на енергия. Формата на очилата може да разсейва само толкова топлина, а капацитетът на батерията може да бъде ограничен. В резултат на това изживяванията, които е възможно да се осигурят с очилата, зависят изцяло от силиция. С други думи, ако топлинният капацитет и капацитетът на батерията останат непроменени, единственият начин да се осигури дадено изживяване е да се оптимизира силицият.

"Разработването на нова архитектура за Orion изискваше от екипа не само да развие съществуващите технологии като безжични и дисплеи, но и да поеме рискове с нови технологии", казва директорът на отдел "Управление на продукти" Нирадж Чубей. "Например, екипът разработи ускорител за машинно обучение (ML) без ясен случай на употреба по това време, воден от силното убеждение, че ML ще става все по-важен в продуктите на Meta. В Orion всеки ML ускорител се използва, а в някои случаи те са преизползвани, обслужвайки функции като проследяване на очите и проследяване на ръцете. По подобен начин екипът разработи персонализирани протоколи за компресиране, за да намали широчината на честотната лента и консумацията на енергия, докато данните се движат от изчисляване на шайбата на дисплея. Разработването на персонализиран силиций за постигане на целите на Orion по отношение на форм-фактора изискваше както толерантност към голяма двусмисленост, така и щателно внимание към детайлите, за да се постигне невероятно сложна системна архитектура."

"Най-голямото предизвикателство пред нас беше да предоставим 3D графики, заключени в света, заедно с пространствено аудио, което е визуализирано така, че да изглежда, че излиза от виртуален обект", отбелязва Снодграс. "Трябваше да вместим цялата тази електроника в топлинния капацитет и физическото пространство, а след това да я захранваме с батерия, така че да не се нагрява прекалено. И трябваше да направим всичко това в реална форма на очила - не на голяма козирка, каквато обикновено се среща в тази категория."

"Знаехме как да осигурим необходимата изчислителна мощност, за да осъществим визията си за Orion, но бяхме изправени пред трудна задача: да намалим консумацията на енергия 100 пъти", казва директорът на SoC Solutions Робърт Шиърър. "Това изискваше от нас да разширим границите на силициевия дизайн, като възприемем методологии от различни краища на индустрията - от IoT до високопроизводителни изчисления - и да измислим нови подходи за преодоляване на различията. Партньорите ни от бранша ни смятаха за луди и може би не грешаха напълно. Но точно това беше необходимо: готовност да оспорим общоприетата мъдрост и да преосмислим всичко. Създаването на компютър, който безпроблемно да обединява виртуалния и физическия свят, изисква дълбоко разбиране на контекста, далеч надхвърлящо това, което могат да предложат съществуващите изчислителни платформи. По същество ние преоткрихме начина, по който компютрите взаимодействат с хората, което означаваше да преосмислим начина, по който създаваме силиций от нулата."

Външни компоненти на Orion.

Магията на MicroLEDs

Имаше моменти, в които нещата изоставаха от графика или възникваше привидно непреодолимо техническо предизвикателство, когато беше трудно да се запази инерцията и моралът. Но екипът беше издръжлив, намираше пътища за заобикаляне на препятствията или просто ги събаряше.

Вземете например дисплея на Орион. Екипът по силиций отговаряше за силиция в проектора на дисплея, който се намира в ъглите на очилата.

"За тези проектори оставаше открит въпросът дали можем да получим microLED в масив с достатъчно висока ефективност и яркост, за да използваме дисплей с широко зрително поле", казва Снодграс. "Имаше огромни съмнения, че можем - че това е възможно в рамките на времето, което разглеждахме - защото това беше много нова технология."

"Още в началото осъзнахме, че трябва да преосмислим много от парадигмите за разработване на продукти", добавя Ий. "Количеството светлина, от което се нуждаете, за да създадете използваем дисплей, е доста по-ярко за очилата за разширена реалност, защото като носим дисплей се конкурираме със слънцето. Така че ни трябват енергийни нива, които да се конкурират с него - или поне това е целта. Все още не сме стигнали дотам, но това е голяма част от нея. А това означава, че са необходими източници на светлина за дисплея, които да са способни на това, и схеми, които да могат да ги контролират. И в същото време трябва да го направите миниатюрен."

Персонализиран силиций, управляващ µLED на Orion.

Макар че микросветкавиците изглеждаха най-подходящият източник на светлина за проекторите, силицият помогна да се разкрие техният потенциал.

"При дисплеите говорим за разстоянието между пикселите, което е разстоянието между централните точки на съседните пиксели", обяснява Ий. "При телевизорите тези разстояния са стотици микрони. В телефона ви те са много, много десетки микрони. И ние трябваше да намалим това до едноцифрено число. Единственото познато производство на полупроводници, което можеше да постигне това, беше силицият."

Работата се усложняваше от факта, че задната повърхност на дисплея трябваше да бъде парче силиций, а никой в света не беше проектирал силиций за microLED.

"По онова време всички изследователски екипи бяха използвали течни кристали върху силициеви дисплеи, за да поставят микросветлинни светодиоди", казва Йи. "Никой преди това не беше проектирал задна платка за microLEDs. И ние бяхме изправени пред доста уникално предизвикателство, защото това е оптичен компонент. Той трябва да бъде плосък. Не можете да го надраскате. Трябва да притежава всички тези характеристики, защото когато гледате през вълноводите, през прожекторите, вие буквално гледате горната повърхност на парче силиций."

Силициевият екип разработи сложна серия от платформи за изпитване на тези microLED дисплеи, които изискваха тясна координация с нашите глобални доставчици. МикроLED дисплеите имат глобален отпечатък, като се произвеждат на едно място, а след това се прехвърлят на друго място, където се поставят на пластини. След това пластините се изпращат, за да бъдат нарязани в определена форма, последвано от пътуване до САЩ, за да бъдат слепени с друга пластина, след което се изпращат обратно по целия свят, за да бъде изграден и тестван действителният модул. Процесът е изключително сложен и екипът по силиций разработва тестови автомобили, за да изпробва всяка стъпка.

Екипът е трябвало да намери и начин да осигури захранване на microLED дисплеите в малкия обем на ъглите на очилата. Нашият аналогов екип разработи персонализиран чип за управление на захранването, който се побира в този обем.

"Доставката на енергия е от решаващо значение за такива носими устройства с малки размери, при които размерът на батерията е ограничен, а пространството е недостатъчно", отбелязва директорът на отдела за аналогови и смесени сигнални системи Джихонг Рен. "Нашето персонализирано решение за ИС за управление на захранването използва най-съвременни технологии, за да оптимизира енергийната ефективност за конкретното работно натоварване на системно ниво, като същевременно се вмества в наличните пространствени ограничения. Постигането на това оптимално решение изискваше тясно интердисциплинарно сътрудничество с нашите екипи по механика, електротехника, SoC, μLED и термални технологии, което гарантира безпроблемна интеграция на всички компоненти и максимална обща производителност."

"Това беше невероятен подвиг не само в областта на инженерството, но и в организационното управление: събиране на екип, работа в различни часови зони и с всички тези различни доставчици", добавя Снодграс. "В някои отношения организационното управление на всичко това беше също толкова голямо предизвикателство, колкото и изпълнението на техническите спецификации."

"Не само дизайнът е по поръчка, но и целият процес на изработка е по поръчка", добавя И. "Имаме щастието да разполагаме с някои прекрасни партньори в бранша, които помогнаха това да се случи. Те виждат дългосрочния потенциал на AR дисплеите като цяло и със сигурност визията на Мета за тях. Така че те бяха готови да си партнират с нас, за да се случат тези персонализации и оптимизации, които да позволят този дисплей."

Очила Orion AR.

Итерацията се среща с ускорението

Имаше тясна обратна връзка между силициевия екип и брилянтните умове в Reality Labs Research и XR Tech, които разработваха алгоритми. Последните екипи предоставяха тези алгоритми, които първите претворяваха в хардуер, като премахваха натоварването на софтуера, работещ с процесор с общо предназначение. Това означаваше, че алгоритмите ще работят с по-ниска мощност, но също така означаваше, че силициевият екип е блокиран. След като алгоритмите бяха подсилени, те вече не можеха да правят промени.

"Да речем, че XR Tech разработваше определена дисциплина по алгоритмичен път", обяснява директорът на Silicon Accelerators по архитектура и алгоритми Охад Мейтав. "Те притежават алгоритъмния стек и неговата производителност. След това моят екип, в сътрудничество с тях, ще реши как да ускори алгоритъма, как да засили части от него и как всъщност да го постави в хардуера по начин, който да работи супер ефективно. След това XR Tech ще адаптира своя софтуерен стек, за да се съобрази с хардуера. Това е много повтарящ се процес."

Друг успех е сътрудничеството на силициевия екип с Reality Labs Research за разработване на нов алгоритъм за репроектиране.

"Трябваше алгоритъмът за репроектиране да поддържа различни изкривявания и корекции", отбелязва силициевият архитект Стив Клохет. "Алгоритъмът, разработен от RL-R, който в крайна сметка използвахме, не се използва в общите изчисления. И до ден днешен той се оказва доста мощен инструмент."

След като алгоритмите бяха усъвършенствани, а хардуерът оптимизиран, екипът за въвеждане на силиций подложи персонализираните чипове на изпитания.

"Персонализираният силициев чипсет на Orion е изпълнен със сложност", казва старши директорът на отдел "Система и инфраструктура от край до край" Липинг Гуо. "Създаването и валидирането на самостоятелни чипове и оперативната съвместимост между тях в рамките на кратък период от време е невероятно предизвикателство. За щастие ние работим във вертикално интегрирана среда, където Reality Labs притежава целия пакет - от силиция и фърмуера на ниско ниво до операционната система, софтуера и опита на горния слой. Възползвахме се напълно от това, като работихме в тясно сътрудничество с нашите междуфункционални партньори и изместихме интеграцията между стековете на етапа на валидиране на силикона. Orion беше нашият пилотен проект за тази методология - ние изградихме мускулите си и създадохме здрава основа за Reality Labs, за да се възползваме от всички предимства на персонализирания силиций в бъдеще."

А след въвеждането в експлоатация дойде време за оптимизиране на софтуера.

"Има повтарящ се процес, при който започвате с напълно неоптимизиран софтуерен пакет, само за да стартирате и да пуснете всичко", казва Снодграс. "След това преминавате една по една през подсистемите и започвате да оптимизирате софтуера за конкретния хардуер - включително намаляване на количеството памет, което софтуерът използва. Хардуерът може да е прекрасно проектиран, но няма да постигнете теоретичната енергийна ефективност, ако не инвестирате толкова или повече време, за да накарате софтуера да се възползва напълно от предимствата на хардуера. Ето това е историята на Orion: хардуер и софтуер, оптимизирани до краен предел. Не оставяме нито един пикоджаул или миливат назад."

И въпреки че Orion може да е прототип, работата по него има значителен потенциал да повлияе на пътната карта на Meta.

"Гледаме на силициевите ИС, които изграждаме, като на платформи в смисъл, че това са ценни ИС, които ще подобряваме от едно поколение или от един продукт на друг", добавя Мейтав. "Всички алгоритми за компютърно зрение и графика не са създадени само за Orion. Те ще бъдат използвани в бъдещи продукти."

Работата ни със силиций е свързана със създаването на нови решения, като същевременно работим в тясно сътрудничество с партньори. Всъщност влиянието на силициевия екип се простира отвъд Орион и включва Очила Ray-Ban Meta и Слушалки Meta Quest днес - въпреки че и двата използват чипове на трети страни. Силициевият екип редовно споделя работата си с екипа за смесена реалност, като показва какво е възможно по отношение на енергийната ефективност. След това екипът за магнитна резонансност споделя тези резултати с партньори като Qualcomm за подпомагане на бъдещите проекти на чипове. И тъй като екипът по силиций използва същите готови цифрови сигнални процесори (DSP) като очилата Ray-Ban Meta, той е в състояние да сподели научените уроци и най-добрите практики при внедряването и писането на код за тези DSP, за да помогне за подобряване на аудио изживяванията, налични в нашите очила с изкуствен интелект.

Споделянето на знания става и в двете посоки: Екипът на MR предостави на силициевия екип информация за неща като Асинхронно изкривяване на времето и Приложение SpaceWarp в производство.

"Това, което човек прави в производството, е много по-интересно от нещо, което бихме могли да направим с прототип", казва Клохет. "Опитахме се да интегрираме това, което те правят с деформациите, доколкото е възможно."

Двусмисленост < Амбиция

Тъй като "Орион" беше наистина нула към едно, участващите екипи трябваше по необходимост да се справят с огромно количество неясноти.

"Не мога да преувелича колко сложни бяха нещата с Орион", казва Клохет. "Когато правите компютър, например, обикновено имате добра представа какъв ще бъде дисплеят. Но ние не знаехме какъв ще бъде вълноводът, така че трябваше да правим проби на различни вълноводи и да измислим механизъм, който да се справи с най-лошия сценарий, защото не знаехме къде ще се приземят нещата. Една оптимизация тук щеше да се преплита с всички останали варианти и в крайна сметка щеше да се получи тази матрица от всички тези различни неща, които трябваше да поддържате и да се опитвате да валидирате, защото не знаехте къде ще се приземи продуктът след шест месеца."

Важно е да се отбележи, че Orion не е просто чифт очила за разширена реалност - това е трикомпонентно съзвездие от хардуер. Голяма част от обработката се извършва на изчисляване на шайбата, което налага силна връзка между него и очилата. Добавете повърхностна EMG гривна в цикъла и архитектурата на системата става още по-сложна.

"Това беше огромно предизвикателство за екипите и всичко това просто работи", казва Снодграс. "Това беше невероятно сътрудничество между силициевия екип, безжичния екип и софтуерните екипи в цялата организация."

Изчислителната шайба на Orion.

"С Orion създадохме цял екип с голямо разнообразие от инженери и те успяха да проектират чисто нов тръбопровод", добавя Клохет. "Това е конвейер, който се справя с шест степени на свобода на движение на обекти в 3D пространството. Той използва свой собствен драйвер за дисплей. Трябваше да направим наистина уникални корекции на качеството на изображението. И мисля, че предизвикателството за нас беше, че тъй като това беше проект "нула към едно", нямаше съществуваща спецификация, която да коригираме и подобрим. Всичко тук е напълно ново, така че имахме възможност да направим всичко."

Подобно на шайба има някои спящи функции, скрити под повърхността, персонализираният силиций също е по-силен от него. Въпреки че Orion не позволява на потребителя да прави снимки с RGB камерите си, силицият е в състояние да го поддържа, както и аватари на кодеци. И точно както шайбата помогна да се отключи истинският форм-фактор на очилата чрез разтоварване на голяма част от изчисленията, персонализираният силиций на Orion се оказа необходима част от пъзела на AR.

"За да реализирате изживяване от типа "нула към едно", като очилата за разширена реалност, се нуждаете от персонализиран силиций - пълна спирка", обяснява Снодграс. "С течение на времето, ако има пазар, доставчиците на силиций ще разработят продукти, които да отговорят на търсенето. Но за "нула към едно" не можете просто да вземете нещо, което съществува от рафта и е предназначено за друг продукт, и да го вкарате в нова форма. Трябва да се инвестира в нещо по поръчка. А за да реализирате тези изживявания от типа "нула до едно", се нуждаете от широко сътрудничество между софтуерни партньори, индустриални дизайнери, машинни инженери и др."

"Освобождавайки се от традиционните мисловни модели, създадохме нещо наистина забележително", добавя Шиърър. "Вярваме, че тази компютърна платформа представлява бъдещето на технологиите - такова, което ще революционизира начина, по който живеем, работим и взаимодействаме помежду си. Развълнувани сме, че ще бъдем в челните редици на тази иновация, ще разширим границите на възможното и ще помогнем да се оформи ходът на историята."

За повече информация за Orion разгледайте тези публикации в блога: