Орион: Истинските AR очила вече са факт

TL;DR:

Днес в Свържете, Марк Зукърбърг представи Orion - първия ни чифт истински очила с разширена реалност, чието кодово име преди това беше Проект Nazare.
С водещо в индустрията зрително поле, лещи от силициев карбид, сложни вълноводи, uLED проектори и други, Orion е нашият най-усъвършенстван и най-полиран прототип на продукт до момента.
Сега продължаваме да оптимизираме продуктите и да намаляваме разходите, за да създадем мащабируемо потребителско устройство, което ще промени начина, по който хората взаимодействат със света.

"Създаваме очила с разширена реалност."

Пет прости думи, казано преди пет години. С тях забихме знамето на нашата визия за бъдеще, в което вече няма да ни се налага да правим фалшив избор между света на информацията, която е на една ръка разстояние, и физическия свят около нас.

А сега, пет години по-късно, още пет думи, които отново ще променят играта:

Създадохме очила за разширена реалност.

https://youtube.com/watch?v=2CJsnyS8u3c%3Fsi%3DTr77gOKEq3PnA7-k%26controls%3D0%3Fautoplay%3D0%26color%3Dwhite%26cc_lang_pref%3Den%26cc_load_policy%3D0%26enablejsapi%3D1%26frameborder%3D0%26hl%3Den%26rel%3D0%26origin%3Dhttps%253A%252F%252Fwww.meta.com

Мисията на Meta е проста: даваме на хората силата да създават общности и да сближават света. А в Reality Labs създаваме инструменти, които помагат на хората да се чувстват свързани навсякъде и по всяко време. Ето защо работим за създаването на следващата компютърна платформа, която поставя хората в центъра, така че те да могат да присъстват по-добре, да са свързани и да имат повече възможности в света.

Очила Ray-Ban Meta демонстрираха силата на възможността да се предостави на хората свободен достъп до ключови части от техния цифров живот от техния физически живот. Можем да разговаряме с интелигентен асистент с изкуствен интелект, да се свързваме с приятели и да улавяме важните моменти - всичко това, без да се налага да изваждаме телефон. Тези стилни очила се вписват безпроблемно в ежедневието ни и хората абсолютно ги обичат.

И все пак, докато Ray-Ban Meta открива изцяло нова категория очила без дисплей, заредени с изкуствен интелект, XR индустрията отдавна мечтае за истински AR очила - продукт, който съчетава предимствата на голям холографски дисплей и персонализирана помощ от изкуствен интелект в удобен, стилен и удобен за носене през целия ден форм-фактор.

А днес доближихме тази мечта до реалността с представянето на Орион, който според нас е най-усъвършенстваният чифт очила с разширена реалност, създаван някога. Всъщност това може би е най-предизвикателното устройство за потребителска електроника, произведено след смартфона. Orion е резултат от пробивни изобретения в почти всяка област на съвременните изчислителни технологии - надграждайки върху работата, която вършим в Reality Labs през последното десетилетие.. Той е снабден с изцяло нови технологии, включително най-усъвършенствания AR дисплей, който някога е бил сглобяван, и персонализиран силиций която позволява мощни AR изживявания да се изпълняват на чифт очила, използвайки малка част от мощността и теглото на MR слушалките.

Системата за въвеждане на Orion безпроблемно комбинира глас, поглед и проследяване на ръката с EMG гривна който ви позволява да плъзгате, кликате и превъртате, докато ръката ви е удобно разположена отстрани, като ви позволява да присъствате в света и с хората около вас, докато взаимодействате с богато цифрово съдържание.

Започвайки от днес в Connect и продължавайки през цялата година, отваряме достъп до прототипа на продукта Orion за служителите на Meta и избрани външни публики, така че екипът ни за разработка да може да се учи, да итерира и да изгражда нашата потребителска продуктова линия очила за AR, която планираме да започнем да доставяме в близко бъдеще.

Защо очила AR?

Има три основни причини, поради които очилата за разширена реалност са ключови за отключване на следващия голям скок в ориентираните към човека компютри.

Те дават възможност за цифрови изживявания, които не са ограничени от екрана на смартфона. С големите холографски дисплеи можете да използвате физическия свят като свое платно, като разполагате 2D и 3D съдържание и преживявания навсякъде, където пожелаете.
Те безпроблемно интегрират контекстуален изкуствен интелект, който може да усеща и разбира света около вас, за да предвиди и проактивно да отговори на нуждите ви.
Те са леки и са подходящи за използване както на закрито, така и на открито - и позволяват на хората да видят истинското си лице, истинските си очи и истинските си изражения.

Това е северната звезда, към която се стреми нашата индустрия: продукт, който съчетава удобството и непосредствеността на носимите устройства с голям дисплей, високоскоростен вход и контекстуален AI във форм фактор, който хората се чувстват комфортно да носят в ежедневието си.

Компактен форм-фактор, сложни предизвикателства

В продължение на години бяхме изправени пред фалшив избор - или слушалки за виртуална и смесена реалност, които позволяват дълбоки, поглъщащи изживявания в обемист форм-фактор, или очила, които са идеални за целодневна употреба, но не предлагат богати визуални приложения и изживявания поради липсата на голям дисплей и съответната изчислителна мощ.

Но ние искаме всичко това без компромиси. От години работим усилено, за да използваме невероятните пространствени изживявания, предлагани от VR и MR слушалките, и да миниатюризираме технологията, необходима за осигуряване на тези изживявания, в чифт леки и стилни очила. Усвояването на форм-фактора, осигуряването на холографски дисплеи, разработването на завладяващи AR изживявания и създаването на нови парадигми за взаимодействие между човека и компютъра (HCI) - и всичко това в един цялостен продукт - е едно от най-трудните предизвикателства, с които нашата индустрия някога се е сблъсквала. Толкова е трудно, че смятахме, че имаме по-малко от 10 процента шанс да се справим успешно.

Досега.

Революционен дисплей в несравним форм-фактор

Приблизително 70 градуса, Orion има най-голямото зрително поле в най-малкия до момента форм-фактор на очилата за AR. Това поле на видимост разкрива истински поглъщащи случаи на използване на Orion - от многозадачни прозорци и забавления на голям екран до холограми на хора в естествена големина - цялото цифрово съдържание, което може безпроблемно да се смеси с представата ви за физическия свят.

За Orion зрителното поле беше нашият свещен граал. Бяхме се сблъскали със законите на физиката и трябваше да огънем светлинните лъчи по начин, по който те не се огъват естествено - и трябваше да го направим в рамките на мощност, измервана в миливати.

Вместо стъкло, изработихме лещите от силициев карбид-ново приложение за очилата AR. Силициев карбид е изключително лек, не предизвиква оптични артефакти или разсеяна светлина и има висок коефициент на пречупване - все оптични свойства, които са от ключово значение за голямото зрително поле. Самите вълноводи имат наистина сложни и комплексни нано-мащабни 3D структури, които разсейват или разпространяват светлината по начините, необходими за постигане на това зрително поле. Проекторите са uLEDs - нов тип дисплейна технология, която е изключително малка и изключително енергийно ефективна.

Orion е безспорен чифт очила, както на външен вид, така и на допир - с прозрачни лещи. За разлика от съвременните MR слушалки или други AR очила, вие все още можете да виждате истинските очи и изражения на другите, така че да присъствате и да споделяте преживяването с хората около вас. Бяха необходими десетки нововъведения, за да се сведе индустриалният дизайн до съвременен форм-фактор на очилата, който ще ви е удобно да носите всеки ден. Orion е постижение на миниатюризацията - компонентите са събрани до частица от милиметъра. И успяхме да вградим седем малки камери и сензори в рамката.

Трябваше да поддържаме оптична прецизност с дебелина една десета от дебелината на човешки косъм. Системата може да открива малки движения, като например разширяване или свиване на рамката при различни температури в помещението, и след това да коригира цифрово необходимото оптично подравняване - всичко това в рамките на милисекунди. Изработихме рамките от магнезий - същия материал, който се използва в състезателните автомобили от Формула 1 и космическите кораби - защото е лек, но твърд, така че поддържа оптичните елементи в една линия и ефективно отвежда топлината.

Отопление и охлаждане

След като разчупихме дисплея (без умисъл) и преодоляхме проблемите с физиката, трябваше да се справим с предизвикателството на наистина мощните изчисления при наистина ниска консумация на енергия и необходимостта от разсейване на топлината. За разлика от съвременните MR слушалки, не можете да вкарате вентилатор в чифт очила. Така че трябваше да проявим творчество. Голяма част от материалите, използвани за охлаждане на Orion, са подобни на тези, използвани от НАСА за охлаждане на спътници в космоса.

Построихме високоспециализиран силиций по поръчка който е изключително енергийно ефективен и оптимизиран за нашите алгоритми за изкуствен интелект, машинно възприятие и графика. Изградихме множество персонализирани чипове и десетки силно персонализирани силициеви IP блокове в тези чипове. Това ни позволява да вземем алгоритмите, необходими за проследяване на ръцете и очите, както и технологията за едновременно локализиране и картографиране (SLAM), която обикновено изисква стотици миливата мощност - и следователно генерира съответното количество топлина - и да я свием до само няколко десетки миливата.

И да, потребителският силиций продължава да играе решаваща роля в разработването на продукти в Reality Labs, въпреки че може да сте чели другаде. 😎

Безпроблемно EMG

Всяка нова компютърна платформа носи със себе си промяна на парадигмата в начина, по който взаимодействаме с нашите устройства. Изобретяването на мишката помогна да се проправи пътят за графичните потребителски интерфейси (GUI), които доминират в нашия свят днес, а смартфоните започнаха да набират популярност едва с появата на сензорния екран. Същото правило важи и за носимите устройства.

Говорихме за работата си с електромиография или EMG, в продължение на години, водени от убеждението ни, че въвеждането на данни за очилата AR трябва да бъде бързо, удобно, надеждно, фино и социално приемливо. И сега тази работа е готова за премиера.

Системата за въвеждане и взаимодействие на Orion безпроблемно комбинира глас, поглед и проследяване на ръката с EMG гривна, която ви позволява да плъзгате, кликате и превъртате с лекота.

Действа и се усеща като магия. Представете си, че правите снимка по време на сутрешния си джогинг с едно докосване на върховете на пръстите си или навигирате в менютата с едва забележими движения на ръцете си. Нашата гривна съчетава висококачествен текстил с вградени EMG сензори за откриване на електрическите сигнали, генерирани дори от най-малките мускулни движения. След това вграденият в устройството ML процесор интерпретира тези EMG сигнали, за да създаде входни събития, които се предават безжично към очилата. Системата се адаптира към вас, така че с течение на времето става все по-добра и по-способна да разпознава и най-фините жестове. А днес споделяме повече за нашата подкрепа за външни изследвания, насочени към разширяване на потенциала за равенство и достъпност на ЕМГ гривните.

Запознайте се с безжичния изчислителен блок

Истинските очила за AR трябва да са безжични и да са малки.Затова изградихме безжична изчислителна шайба за Orion. Той поема част от натоварването на очилата, което позволява по-дълъг живот на батерията и по-добър форм-фактор с ниска латентност.

Очилата управляват всички графични алгоритми за проследяване на ръката, проследяване на очите, SLAM и специализирани графични алгоритми за заключване на света на AR, докато логиката на приложението се изпълнява на шайбата, за да бъдат очилата възможно най-леки и компактни.

Шайбата има два процесора, включително един, проектиран по поръчка тук, в Meta, и осигурява изчислителната мощ, необходима за графично рендиране с ниска латентност, изкуствен интелект и някои допълнителни машинни възприятия.

И тъй като е малка и елегантна, можете удобно да хвърлите шайбата в чантата или в джоба си и да продължите да работите - без никакви ограничения.

Опити с AR

Разбира се, както при всеки хардуер, той е толкова добър, колкото са добри нещата, които можете да направете с него. И макар че все още е в началото, преживяванията, които предоставя Orion, са вълнуващ поглед към това, което предстои да се случи.

https://youtube.com/watch?v=HkdSv3QPhNw%3F%26controls%3D0%3Fautoplay%3D0%26color%3Dwhite%26cc_lang_pref%3Den%26cc_load_policy%3D0%26enablejsapi%3D1%26frameborder%3D0%26hl%3Den%26rel%3D0%26origin%3Dhttps%253A%252F%252Fwww.meta.com

Имаме своя интелигентен асистент, Мета AI, работещ в Orion. Той разбира какво гледате във физическия свят и може да ви помогне с полезни визуализации. Orion използва същия модел на Llama, който захранва преживяванията с изкуствен интелект, работещи днес на умните очила Ray-Ban Meta, плюс персонализирани изследователски модели за демонстриране на потенциални случаи на употреба за бъдещи разработки на носими устройства.

Можете да проведете видеоразговор в движение, за да се чуете с приятелите и семейството си в реално време, и да поддържате връзка в WhatsApp и Messenger, за да преглеждате и изпращате съобщения. Не е необходимо да вадите телефона си, да го отключвате, да намирате подходящото приложение и да съобщавате на приятеля си, че закъснявате за вечеря - можете да направите всичко това през очилата си.

https://youtube.com/watch?v=el7lUVvu8Bo%3F%26controls%3D0%3Fautoplay%3D0%26color%3Dwhite%26cc_lang_pref%3Den%26cc_load_policy%3D0%26enablejsapi%3D1%26frameborder%3D0%26hl%3Den%26rel%3D0%26origin%3Dhttps%253A%252F%252Fwww.meta.com

Можете да играете споделени игри с разширена реалност със семейството си в другия край на страната или с приятеля си от другата страна на дивана. А големият дисплей на Orion ви позволява да работите в няколко прозореца, за да свършите нещо, без да се налага да носите лаптопа си.

Изживяванията, налични в Orion днес, ще ни помогнат да начертаем пътната карта за нашата потребителска линия очила за AR в бъдеще. Екипите ни ще продължат да итерират и да създават нови завладяващи социални изживявания, заедно с нашите партньори разработчици, и нямаме търпение да споделим какво ще последва.

Целесъобразен прототип на продукт

Въпреки че Orion няма да попадне в ръцете на потребителите, не се заблуждавайте: Това е не изследователски прототип. Това е най-съвършеният прототип на продукт, който някога сме разработвали - и е истински представител на нещо, което може да изпращане до потребителите. Вместо да бързаме да го пуснем по рафтовете, решихме да се съсредоточим първо върху вътрешната разработка, което означава, че можем да продължим да изграждаме бързо и да продължим да разширяваме границите на технологията и преживяванията.

А това означава, че ще постигнем още по-добър потребителски продукт по-бързо.

Какво следва

Две основни пречки отдавна стоят на пътя на масовите потребителски очила за разширена реалност: технологичният пробив, необходим за осигуряване на голям дисплей в компактен форм-фактор на очилата, и необходимостта от полезни и завладяващи AR изживявания, които да могат да се изпълняват на тези очила. Orion е огромен крайъгълен камък, който за първи път предоставя истински AR изживявания, работещи на достатъчно стилен хардуер.

Сега, след като споделихме Orion със света, сме се съсредоточили върху няколко неща:

Настройване на качеството на дисплея на AR, за да станат визуализациите още по-ярки
Оптимизираме навсякъде, където можем, за да направим форм-фактора още по-малък
Мащабно строителство, за да станат по-достъпни

През следващите няколко години можете да очаквате нови устройства от нас, които ще се основават на нашите усилия в областта на научноизследователската и развойната дейност. А редица иновации на Orion са разширени в настоящите ни потребителски продукти днес, както и в бъдещата ни продуктова пътна карта. Оптимизирахме някои от нашите алгоритми за пространствено възприятие, които работят както на Meta Quest 3S и Орион. Макар че системата за поглеждане на очите и фино жестово въвеждане първоначално беше проектирана за Orion, планираме да я използваме и в бъдещи продукти. Проучваме и възможността за използване на EMG гривни в бъдещи потребителски продукти.

Orion не е просто прозорец към бъдещето - това е поглед към съвсем реалните възможности, които са достъпни днес. Създадохме го в стремежа си към това, което правим най-добре: да помагаме на хората да се свързват. От очилата Ray-Ban Meta до Orion, ние видяхме доброто, което може да дойде от това да позволим на хората да останат по-присъстващи и по-мощни във физическия свят, дори докато се възползват от цялото допълнително богатство, което предлага цифровият свят.

Вярваме, че не трябва да избирате между двете. И със следващата компютърна платформа няма да ви се налага.

За повече информация за Orion разгледайте тези публикации в блога: