Welcome back for another episode of Boz To The Future, a podcast from Reality Labs. In today’s episode, our host, Meta CTO and Head of Reality Labs Andrew “Boz” Bosworth, is joined by Meta’s VP of Wearables Alex Himel.
Himel’s team works on some of the industry’s hardest technical problems, all in the service of helping to build the next computing platform. Like Bosworth, he’s a tenured leader at Meta, having filled numerous leadership roles across the business in his 15+ years at the company.
Bosworth and Himel cover a range of topics, including wearables, augmented reality, and how AI is accelerating and improving the kinds of experiences embedded in Очила Ray-Ban Meta and future products.
They go deep on Орион and the positive reception it’s received since Mark Zuckerberg announced it at Свържете. Just as Steve Jobs recognized the Alto as a turning point in computing, Bosworth asserted that, while we may disagree about the details, it’s hard to argue against this as the future. Himel and Bosworth go on to talk about the tremendous value of prototyping and building, saying how much more they’ve learned about Orion and its input paradigms in the three weeks of using it compared to the years spent building it.
They also talked about the crucial role of AI in wearables, and how it’s becoming increasingly useful in everyday life—especially now that you’re able to ask Meta AI about things you’re seeing and use it to set visual reminders.
Himel also talks about his deep experience in a different kind of stack: sandwiches. With seven years under his belt working in the famous Lange’s Little Store in Chappaqua, NY, where he grew up, Himel and Bosworth get into what makes a great sandwich, where tomatoes really go, and which bread is superior.
You can tune in to Boz to the Future on Apple Podcasts, Spotify, and wherever you listen to podcasts.
Back in 2019, the Орион team prepared an important demo for Meta Founder & CEO Mark Zuckerberg, showcasing potential waveguides for augmented reality glasses—a pivotal moment when theoretical calculations on paper were brought to life. And it was a demo that changed everything.
“Wearing the glasses with glass-based waveguides and multiple plates, it felt like you were in a disco,” recalls Optical Scientist Pasqual Rivera. “There were rainbows everywhere, and it was so distracting—you weren’t even looking at the AR content. Then, you put on the glasses with silicon carbide waveguides, and it was like you were at the symphony listening to a quiet, classical piece. You could actually pay attention to the full experience of what we were building. It was a total game changer.”
Yet as clear (pun intended) as the choice of silicon carbide as a substrate seems today, when we first started down the road to AR glasses a decade ago, it was anything but.
“Silicon carbide is normally heavily nitrogen-doped,” says Rivera. “It’s green, and if it gets thick enough, it looks black. There’s no way you could make an optical lens out of it. It’s an electronic material. There’s a reason it’s that color, and it’s because of electronic properties.”
“Silicon carbide has been around as a material for a long time,” agrees AR Waveguides Tech Lead Giuseppe Calafiore. “Its main application is high-power electronics. Take electric vehicles: All EVs require a chip—but that chip must also be capable of very high power, moving the wheels, and driving this thing. It turns out you can’t do it with the regular silicon substrate, which is what makes the chips that we use in our computers and electronics. You need a platform that allows you to go through high currents, high power, and that material is silicon carbide.”
Until fairly recent discussions around renewable energy sources started to heat up, the market for these high-power chipsets was nowhere near the size of the market for chips for consumer electronics. Silicon carbide has always been expensive, and there wasn’t much incentive to bring costs down because, for the size of chip that you make for a car, the price of the substrate was tolerable.
“But it turns out that silicon carbide also has some of the properties that we need for waveguides and optics,” Calafiore says. “The refractive index is the key property that we care about. And silicon carbide has a high refractive index, which means that it’s capable of channeling in and outputting a large quantity of optical data. You can think of it as optical bandwidth—just like you have bandwidth for the internet, and you want it to be large enough so that you can send huge amounts of data through that channel. The same goes for optical devices.”
The higher a material’s refractive index, the higher its étendue, so you can send more optical data through that channel.
“The channel in our case is our waveguide, and a larger étendue translates to a larger field of view,” explains Calafiore. “The larger the refractive index of a material, the larger field of view the display can support.”
The Road to the Right Refractive Index
When Calafiore first joined what was then Oculus Research in 2016, the highest refractive index glass the team had at its disposal was 1.8—which required stacking multiple plates to achieve the desired field of view. Undesirable optical artifacts aside, the assembly line became increasingly complicated as the first two waveguides had to be perfectly aligned, and then that stack had to be perfectly aligned with a third waveguide.
“Not only was it expensive, it was immediately obvious that you couldn’t have three pieces of glass per lens in a pair of glasses,” Calafiore recalls. “They were too heavy, and the thickness was prohibitively large and ugly—nobody would buy it. So we went back to square one: trying to boost the refractive index of the substrate to reduce the number of plates needed.”
The first material the team looked into was lithium niobate, which has a refractive index of roughly 2.3—quite a bit higher than the glass at 1.8.
“We realized that we only had to stack two plates and could maybe even manage with one plate to still cover the field of view,” says Calafiore. “Almost in parallel, we started looking at other materials—which is how we figured out alongside our suppliers in 2019 that silicon carbide, in its purest form, is actually very transparent. It also happens to have the highest refractive index known for an optical application, which is 2.7.”
That’s a 17.4% increase over lithium niobate and a 50% bump over glass, for those keeping score at home.
“With a few modifications to the very same equipment that was used in the industry already, it was possible to get transparent silicon carbide,” Calafiore says. “You could just change the process, be a lot more careful, and instead of optimizing for electronic properties, you optimize for optical properties: transparency, uniformity of the refractive index, etc.”
The Potential Cost of Compromise
At that time, the Reality Labs team was the first to even attempt moving from opaque silicon carbide wafers to transparent ones. And because silicon carbide is one of the hardest known materials, it essentially requires diamond tooling to cut or polish it. As a result, the non-recurring engineering costs were very high, so the resulting substrate was quite expensive.
While more cost-effective alternatives exist, as with any technology, they each have tradeoffs. And as the field of view increases towards Orion’s industry-leading field of view of approximately 70 degrees, new issues arise like ghost images and rainbows.
“Finding the optimum solution for a wide field of view AR display is fraught with tradeoffs between performance and costs,” explains Director of Research Science Barry Silverstein. “Costs can often be driven down, but if performance doesn’t cut it, costs won’t ultimately matter.”
Ghost images are like visual echoes of the primary image being projected onto the display. Rainbows are colorful streaks of light that are created when ambient light reflects off of the waveguide. “Say you’re driving at night with moving car lights around you,” says Silverstein. “You’re going to have rainbows that move, too. Or if you’re out on the beach playing volleyball and the sun’s shining, you’re going to get a rainbow streak that’s moving with you and you’ll miss your shot. And one of the miraculous properties of silicon carbide is that it gets rid of those rainbows.”
“The other advantage of silicon carbide that none of the other materials have is thermal conductivity,” Calafiore adds. “Plastic is a terrible insulator. Glass, lithium niobate, same thing. You go to silicon carbide and it’s transparent, looks like glass, and guess what: It conducts heat.”
So in July 2020, the team determined that silicon carbide was the optimum choice for three primary reasons: It led to an improved form factor because it required only a single plate and smaller mounting structures, it had better optical properties, and it was lighter than dual-plate glass.
The Secret of Slant Etch
With the material in mind, the next nut to crack was the fabrication of the waveguides—and specifically, an unconventional grating technique called slant etch.
“The grating is the nanostructure that in-couples and out-couples the light from the lens,” explains Calafiore. “And for silicon carbide to work, the grating needs to be slant etch. Instead of being vertical, you want the lines of the grating to be sloped diagonally.”
“We were the first ones to do slant etch directly on the devices,” says Research Manager Nihar Mohanty. “The whole industry used to rely on nano imprint, which doesn’t work for substrates with such a high refractive index. That’s why no one else in the world had thought about doing silicon carbide.”
But because slant etch is an immature technology, most semiconductor chip suppliers and factories lack the necessary tools.
“Back in 2019, my manager at the time, Matt Colburn, and I established our own facility as there was nothing in the world that could produce etched silicon carbide waveguides and where we could prove out the technology beyond the labscale,” explains Mohanty. “It was a huge investment, and we established the whole pipeline there. The tooling was custom-made for us by our partners, and the process was developed in-house in Meta, though our systems are research-grade because there were no manufacturing-grade systems out there. We worked with a manufacturing partner to develop manufacturing-grade slant etch tooling and processes. And now that we’ve shown what’s possible with silicon carbide, we want others in the industry to start making tools of their own.”
The more companies that invest in optical-grade silicon carbide and develop equipment, the stronger the category of consumer AR glasses will become.
No Longer Chasing Rainbows
While technological inevitability is a myth, the stars certainly seem to be aligning in silicon carbide’s favor. And although the team continues to investigate alternatives, there’s a strong sense that the right people have come together at the right time under the right market conditions to build AR glasses using this material.
“Orion proved that silicon carbide is a viable option for AR glasses,” says Silverstein, “and we’re now seeing interest across the supply chain on three different continents where they’re heavily pursuing this as an opportunity. Silicon carbide will come out on top. It’s just a matter of time in my book.”
And a lot can happen in that time—much like the way the tables have turned since we grew our first clear silicon carbide crystals.
“All of these silicon carbide manufacturers had cranked up the supply massively in response to the expected EV boom,” notes Calafiore. “Right now, there’s an overcapacity that didn’t exist when we were building Orion. So now, because supply is high and demand is low, the cost of the substrate has started to come down.”
“Suppliers are very excited by the new opportunity of manufacturing optical-grade silicon carbide—after all, each waveguide lens represents a large amount of material relative to an electronic chip, and all of their existing capabilities apply to this new space,” adds Silverstein. “Filling your factory is essential, and scaling your factory is the dream. The size of the wafer matters, too: The bigger the wafer, the lower the cost—but the complexity of the process also goes up. That said, we’ve seen suppliers move from four-inch to eight-inch wafers, and some are working on precursors to 12-inch wafers, which would yield exponentially more pairs of AR glasses.”
These advancements should help continue to drive costs down. It’s still early days, but the future is coming into focus.
“At the beginning of any new technological revolution, you try a bunch of things,” says Calafiore. “Look at television: We started with cathode-ray tubes, and then we went to the LED plasma TVs and now microLEDs. We went through several different technologies and architectures. As you pathfind, lots of paths end up nowhere, but there are some that you just keep coming back to as the most promising. We’re not at the end of the road, and we can’t do it alone, but silicon carbide is a wonder material that is well worth the investment.”
“The world is awake now,” adds Silverstein. “We’ve successfully shown that silicon carbide can flex across electronics and photonics. It’s a material that could have future applications in quantum computing. And we’re seeing signs that it’s possible to significantly reduce the cost. There’s a lot of work left to be done, but the potential upside here is huge.”
Днес в Свържете, Марк Зукърбърг представи Orion - първия ни чифт истински очила с разширена реалност, чието кодово име преди това беше Проект Nazare.
С водещо в индустрията зрително поле, лещи от силициев карбид, сложни вълноводи, uLED проектори и други, Orion е нашият най-усъвършенстван и най-полиран прототип на продукт до момента.
Сега продължаваме да оптимизираме продуктите и да намаляваме разходите, за да създадем мащабируемо потребителско устройство, което ще промени начина, по който хората взаимодействат със света.
"Създаваме очила с разширена реалност."
Пет прости думи, казано преди пет години. С тях забихме знамето на нашата визия за бъдеще, в което вече няма да ни се налага да правим фалшив избор между света на информацията, която е на една ръка разстояние, и физическия свят около нас.
А сега, пет години по-късно, още пет думи, които отново ще променят играта:
Мисията на Meta е проста: даваме на хората силата да създават общности и да сближават света. А в Reality Labs създаваме инструменти, които помагат на хората да се чувстват свързани навсякъде и по всяко време. Ето защо работим за създаването на следващата компютърна платформа, която поставя хората в центъра, така че те да могат да присъстват по-добре, да са свързани и да имат повече възможности в света.
Очила Ray-Ban Meta демонстрираха силата на възможността да се предостави на хората свободен достъп до ключови части от техния цифров живот от техния физически живот. Можем да разговаряме с интелигентен асистент с изкуствен интелект, да се свързваме с приятели и да улавяме важните моменти - всичко това, без да се налага да изваждаме телефон. Тези стилни очила се вписват безпроблемно в ежедневието ни и хората абсолютно ги обичат.
И все пак, докато Ray-Ban Meta открива изцяло нова категория очила без дисплей, заредени с изкуствен интелект, XR индустрията отдавна мечтае за истински AR очила - продукт, който съчетава предимствата на голям холографски дисплей и персонализирана помощ от изкуствен интелект в удобен, стилен и удобен за носене през целия ден форм-фактор.
А днес доближихме тази мечта до реалността с представянето на Орион, който според нас е най-усъвършенстваният чифт очила с разширена реалност, създаван някога. Всъщност това може би е най-предизвикателното устройство за потребителска електроника, произведено след смартфона. Orion е резултат от пробивни изобретения в почти всяка област на съвременните изчислителни технологии - надграждайки върху работата, която вършим в Reality Labs през последното десетилетие.. Той е снабден с изцяло нови технологии, включително най-усъвършенствания AR дисплей, който някога е бил сглобяван, и персонализиран силиций която позволява мощни AR изживявания да се изпълняват на чифт очила, използвайки малка част от мощността и теглото на MR слушалките.
Системата за въвеждане на Orion безпроблемно комбинира глас, поглед и проследяване на ръката с EMG гривна който ви позволява да плъзгате, кликате и превъртате, докато ръката ви е удобно разположена отстрани, като ви позволява да присъствате в света и с хората около вас, докато взаимодействате с богато цифрово съдържание.
Започвайки от днес в Connect и продължавайки през цялата година, отваряме достъп до прототипа на продукта Orion за служителите на Meta и избрани външни публики, така че екипът ни за разработка да може да се учи, да итерира и да изгражда нашата потребителска продуктова линия очила за AR, която планираме да започнем да доставяме в близко бъдеще.
Защо очила AR?
Има три основни причини, поради които очилата за разширена реалност са ключови за отключване на следващия голям скок в ориентираните към човека компютри.
Те дават възможност за цифрови изживявания, които не са ограничени от екрана на смартфона. С големите холографски дисплеи можете да използвате физическия свят като свое платно, като разполагате 2D и 3D съдържание и преживявания навсякъде, където пожелаете.
Те безпроблемно интегрират контекстуален изкуствен интелект, който може да усеща и разбира света около вас, за да предвиди и проактивно да отговори на нуждите ви.
Те са леки и са подходящи за използване както на закрито, така и на открито - и позволяват на хората да видят истинското си лице, истинските си очи и истинските си изражения.
Това е северната звезда, към която се стреми нашата индустрия: продукт, който съчетава удобството и непосредствеността на носимите устройства с голям дисплей, високоскоростен вход и контекстуален AI във форм фактор, който хората се чувстват комфортно да носят в ежедневието си.
Компактен форм-фактор, сложни предизвикателства
В продължение на години бяхме изправени пред фалшив избор - или слушалки за виртуална и смесена реалност, които позволяват дълбоки, поглъщащи изживявания в обемист форм-фактор, или очила, които са идеални за целодневна употреба, но не предлагат богати визуални приложения и изживявания поради липсата на голям дисплей и съответната изчислителна мощ.
Но ние искаме всичко това без компромиси. От години работим усилено, за да използваме невероятните пространствени изживявания, предлагани от VR и MR слушалките, и да миниатюризираме технологията, необходима за осигуряване на тези изживявания, в чифт леки и стилни очила. Усвояването на форм-фактора, осигуряването на холографски дисплеи, разработването на завладяващи AR изживявания и създаването на нови парадигми за взаимодействие между човека и компютъра (HCI) - и всичко това в един цялостен продукт - е едно от най-трудните предизвикателства, с които нашата индустрия някога се е сблъсквала. Толкова е трудно, че смятахме, че имаме по-малко от 10 процента шанс да се справим успешно.
Досега.
Революционен дисплей в несравним форм-фактор
Приблизително 70 градуса, Orion има най-голямото зрително поле в най-малкия до момента форм-фактор на очилата за AR. Това поле на видимост разкрива истински поглъщащи случаи на използване на Orion - от многозадачни прозорци и забавления на голям екран до холограми на хора в естествена големина - цялото цифрово съдържание, което може безпроблемно да се смеси с представата ви за физическия свят.
За Orion зрителното поле беше нашият свещен граал. Бяхме се сблъскали със законите на физиката и трябваше да огънем светлинните лъчи по начин, по който те не се огъват естествено - и трябваше да го направим в рамките на мощност, измервана в миливати.
Вместо стъкло, изработихме лещите от силициев карбид-ново приложение за очилата AR. Силициев карбид е изключително лек, не предизвиква оптични артефакти или разсеяна светлина и има висок коефициент на пречупване - все оптични свойства, които са от ключово значение за голямото зрително поле. Самите вълноводи имат наистина сложни и комплексни нано-мащабни 3D структури, които разсейват или разпространяват светлината по начините, необходими за постигане на това зрително поле. Проекторите са uLEDs - нов тип дисплейна технология, която е изключително малка и изключително енергийно ефективна.
Orion е безспорен чифт очила, както на външен вид, така и на допир - с прозрачни лещи. За разлика от съвременните MR слушалки или други AR очила, вие все още можете да виждате истинските очи и изражения на другите, така че да присъствате и да споделяте преживяването с хората около вас. Бяха необходими десетки нововъведения, за да се сведе индустриалният дизайн до съвременен форм-фактор на очилата, който ще ви е удобно да носите всеки ден. Orion е постижение на миниатюризацията - компонентите са събрани до частица от милиметъра. И успяхме да вградим седем малки камери и сензори в рамката.
Трябваше да поддържаме оптична прецизност с дебелина една десета от дебелината на човешки косъм. Системата може да открива малки движения, като например разширяване или свиване на рамката при различни температури в помещението, и след това да коригира цифрово необходимото оптично подравняване - всичко това в рамките на милисекунди. Изработихме рамките от магнезий - същия материал, който се използва в състезателните автомобили от Формула 1 и космическите кораби - защото е лек, но твърд, така че поддържа оптичните елементи в една линия и ефективно отвежда топлината.
Отопление и охлаждане
След като разчупихме дисплея (без умисъл) и преодоляхме проблемите с физиката, трябваше да се справим с предизвикателството на наистина мощните изчисления при наистина ниска консумация на енергия и необходимостта от разсейване на топлината. За разлика от съвременните MR слушалки, не можете да вкарате вентилатор в чифт очила. Така че трябваше да проявим творчество. Голяма част от материалите, използвани за охлаждане на Orion, са подобни на тези, използвани от НАСА за охлаждане на спътници в космоса.
Построихме високоспециализиран силиций по поръчка който е изключително енергийно ефективен и оптимизиран за нашите алгоритми за изкуствен интелект, машинно възприятие и графика. Изградихме множество персонализирани чипове и десетки силно персонализирани силициеви IP блокове в тези чипове. Това ни позволява да вземем алгоритмите, необходими за проследяване на ръцете и очите, както и технологията за едновременно локализиране и картографиране (SLAM), която обикновено изисква стотици миливата мощност - и следователно генерира съответното количество топлина - и да я свием до само няколко десетки миливата.
И да, потребителският силиций продължава да играе решаваща роля в разработването на продукти в Reality Labs, въпреки че може да сте чели другаде. 😎
Безпроблемно EMG
Всяка нова компютърна платформа носи със себе си промяна на парадигмата в начина, по който взаимодействаме с нашите устройства. Изобретяването на мишката помогна да се проправи пътят за графичните потребителски интерфейси (GUI), които доминират в нашия свят днес, а смартфоните започнаха да набират популярност едва с появата на сензорния екран. Същото правило важи и за носимите устройства.
Говорихме за работата си с електромиография или EMG, в продължение на години, водени от убеждението ни, че въвеждането на данни за очилата AR трябва да бъде бързо, удобно, надеждно, фино и социално приемливо. И сега тази работа е готова за премиера.
Системата за въвеждане и взаимодействие на Orion безпроблемно комбинира глас, поглед и проследяване на ръката с EMG гривна, която ви позволява да плъзгате, кликате и превъртате с лекота.
Действа и се усеща като магия. Представете си, че правите снимка по време на сутрешния си джогинг с едно докосване на върховете на пръстите си или навигирате в менютата с едва забележими движения на ръцете си. Нашата гривна съчетава висококачествен текстил с вградени EMG сензори за откриване на електрическите сигнали, генерирани дори от най-малките мускулни движения. След това вграденият в устройството ML процесор интерпретира тези EMG сигнали, за да създаде входни събития, които се предават безжично към очилата. Системата се адаптира към вас, така че с течение на времето става все по-добра и по-способна да разпознава и най-фините жестове. А днес споделяме повече за нашата подкрепа за външни изследвания, насочени към разширяване на потенциала за равенство и достъпност на ЕМГ гривните.
Запознайте се с безжичния изчислителен блок
Истинските очила за AR трябва да са безжични и да са малки.Затова изградихме безжична изчислителна шайба за Orion. Той поема част от натоварването на очилата, което позволява по-дълъг живот на батерията и по-добър форм-фактор с ниска латентност.
Очилата управляват всички графични алгоритми за проследяване на ръката, проследяване на очите, SLAM и специализирани графични алгоритми за заключване на света на AR, докато логиката на приложението се изпълнява на шайбата, за да бъдат очилата възможно най-леки и компактни.
Шайбата има два процесора, включително един, проектиран по поръчка тук, в Meta, и осигурява изчислителната мощ, необходима за графично рендиране с ниска латентност, изкуствен интелект и някои допълнителни машинни възприятия.
И тъй като е малка и елегантна, можете удобно да хвърлите шайбата в чантата или в джоба си и да продължите да работите - без никакви ограничения.
Опити с AR
Разбира се, както при всеки хардуер, той е толкова добър, колкото са добри нещата, които можете да направете с него. И макар че все още е в началото, преживяванията, които предоставя Orion, са вълнуващ поглед към това, което предстои да се случи.
Имаме своя интелигентен асистент, Мета AI, работещ в Orion. Той разбира какво гледате във физическия свят и може да ви помогне с полезни визуализации. Orion използва същия модел на Llama, който захранва преживяванията с изкуствен интелект, работещи днес на умните очила Ray-Ban Meta, плюс персонализирани изследователски модели за демонстриране на потенциални случаи на употреба за бъдещи разработки на носими устройства.
Можете да проведете видеоразговор в движение, за да се чуете с приятелите и семейството си в реално време, и да поддържате връзка в WhatsApp и Messenger, за да преглеждате и изпращате съобщения. Не е необходимо да вадите телефона си, да го отключвате, да намирате подходящото приложение и да съобщавате на приятеля си, че закъснявате за вечеря - можете да направите всичко това през очилата си.
Можете да играете споделени игри с разширена реалност със семейството си в другия край на страната или с приятеля си от другата страна на дивана. А големият дисплей на Orion ви позволява да работите в няколко прозореца, за да свършите нещо, без да се налага да носите лаптопа си.
Изживяванията, налични в Orion днес, ще ни помогнат да начертаем пътната карта за нашата потребителска линия очила за AR в бъдеще. Екипите ни ще продължат да итерират и да създават нови завладяващи социални изживявания, заедно с нашите партньори разработчици, и нямаме търпение да споделим какво ще последва.
Целесъобразен прототип на продукт
Въпреки че Orion няма да попадне в ръцете на потребителите, не се заблуждавайте: Това е не изследователски прототип. Това е най-съвършеният прототип на продукт, който някога сме разработвали - и е истински представител на нещо, което може да изпращане до потребителите. Вместо да бързаме да го пуснем по рафтовете, решихме да се съсредоточим първо върху вътрешната разработка, което означава, че можем да продължим да изграждаме бързо и да продължим да разширяваме границите на технологията и преживяванията.
А това означава, че ще постигнем още по-добър потребителски продукт по-бързо.
Какво следва
Две основни пречки отдавна стоят на пътя на масовите потребителски очила за разширена реалност: технологичният пробив, необходим за осигуряване на голям дисплей в компактен форм-фактор на очилата, и необходимостта от полезни и завладяващи AR изживявания, които да могат да се изпълняват на тези очила. Orion е огромен крайъгълен камък, който за първи път предоставя истински AR изживявания, работещи на достатъчно стилен хардуер.
Сега, след като споделихме Orion със света, сме се съсредоточили върху няколко неща:
Настройване на качеството на дисплея на AR, за да станат визуализациите още по-ярки
Оптимизираме навсякъде, където можем, за да направим форм-фактора още по-малък
Мащабно строителство, за да станат по-достъпни
През следващите няколко години можете да очаквате нови устройства от нас, които ще се основават на нашите усилия в областта на научноизследователската и развойната дейност. А редица иновации на Orion са разширени в настоящите ни потребителски продукти днес, както и в бъдещата ни продуктова пътна карта. Оптимизирахме някои от нашите алгоритми за пространствено възприятие, които работят както на Meta Quest 3S и Орион. Макар че системата за поглеждане на очите и фино жестово въвеждане първоначално беше проектирана за Orion, планираме да я използваме и в бъдещи продукти. Проучваме и възможността за използване на EMG гривни в бъдещи потребителски продукти.
Orion не е просто прозорец към бъдещето - това е поглед към съвсем реалните възможности, които са достъпни днес. Създадохме го в стремежа си към това, което правим най-добре: да помагаме на хората да се свързват. От очилата Ray-Ban Meta до Orion, ние видяхме доброто, което може да дойде от това да позволим на хората да останат по-присъстващи и по-мощни във физическия свят, дори докато се възползват от цялото допълнително богатство, което предлага цифровият свят.
Вярваме, че не трябва да избирате между двете. И със следващата компютърна платформа няма да ви се налага.
За повече информация за Orion разгледайте тези публикации в блога:
Миналата година на Connect представихме Орион-първият ни истински чифт очила за AR. Кулминацията на работата ни в Reality Labs през последното десетилетие, Orion съчетава предимствата на голям холографски дисплей и персонализирана помощ с изкуствен интелект в удобен, удобен за носене през целия ден форм-фактор. Той получи известно внимание заради водещото си в индустрията зрително поле, вълноводите от силициев карбид, uLED проекторите и др. Но днес обръщаме внимание на един невъзпят герой на Orion: изчислителната шайба.
Проектирана така, че лесно да се прибира в джоба или чантата ви, за да можете да я носите навсякъде, докато си вървите през деня, шайбата разтоварва процесорната мощ на Orion, за да изпълнява логиката на приложенията и да позволява по-привлекателен, по-малък форм-фактор за очилата. Тя се свързва безжично с очилата и гривната EMG за безпроблемно изживяване.
Нагласете го и го забравете, нали?
Но историята на шайбата - дори и като прототип - е заплетена, с драматична арка, за която никога не бихте предположили от външния ѝ вид.
"Когато създавате нещо подобно, започвате да навлизате в границите на физиката", обяснява директорът по управление на продуктите Рахул Прасад. "През последните 50 години законът на Мур направи всичко по-малко, по-бързо и с по-ниска мощност. Проблемът е, че сега започвате да се сблъсквате с границите на това колко топлина можете да разсеете, колко батерия можете да компресирате и колко производителност на антената можете да поберете в обект с определени размери."
Въпреки че погледът назад може да е 20/20, потенциалът на шайбата не беше очевиден веднага. Когато сте първият, който създава нещо, трябва да проучите всички възможности - без да оставяте камък върху камък. Как да създадете нещо, което някои може да сметнат за нежелан аксесоар, а не за важна част от пакета?
"Знаехме, че шайбата е допълнително устройство, което трябва да се носи от хората", отбелязва Джаред Ван Клийв, "затова проучихме как да превърнем грешката във функция."
В крайна сметка тази етика се отплаща с пълна сила, тъй като шайбата притиска много изчисления (и още повече проектиран от Meta персонализиран силиций за AI и машинно възприятие) в малък размер. Това помогна на Orion да се превърне от сферата на научната фантастика в реалност.
"Ако не разполагахте с шайбата, нямаше да можете да изпитате преживяванията, които Orion предлага в своя форм-фактор - точка", казва Прасад. "Доброто AR изживяване изисква наистина висока производителност: висока честота на кадрите, изключително ниска латентност, прецизно управление на безжичната връзка и захранването и т.н. Шайбата и очилата трябва да бъдат проектирани така, че да работят в много тясно сътрудничество, не само на ниво приложения, но и на ниво операционна система, фърмуер и хардуер. И дори ако някой разработи съвместно смартфон, който да работи с очила за разширена реалност, високите изисквания за производителност ще изтощят батерията на телефона и ще отнемат изчислителен капацитет от случаите на използване на телефона. От друга страна, шайбата има собствена батерия с голям капацитет, високопроизводителен SoC и собствен копроцесор за изкуствен интелект, оптимизиран за Orion."
Разбира се, шайбата не е създадена за една нощ. Необходими са били години итеративна работа.
"Не знаехме как хората биха искали да взаимодействат с Orion от гледна точка на входните данни - нямаше нищо, което да можем да използваме на пазара", казва продуктовият мениджър Мат Ресман. "Ако погледнете ранните ни прототипи на очила, те бяха масивни слушалки, които тежаха три или четири килограма. А когато се опитвате да създадете продукт, наистина е трудно да разберете потребителското изживяване, ако не сте в правилния форм-фактор. С шайбата успяхме да създадем прототип много бързо, за да започнем да разбираме как хората ще я използват."
С кодовото име Omega в началото шайбата първоначално е замислена от тогавашната компания Oculus Research като лента с форма на Ω, която се поставя около врата на потребителя и е свързана с очилата...
... докато някои нови иновации на екипа на Reality Labs за безжична връзка, наред с други неща, не им позволиха да прекъснат връзката. Това даде възможност за по-преносим или джобен/в чантата форм-фактор, което откри много възможности.
"В онзи момент обажданията с добавена реалност все още бяха основен случай на употреба", обяснява Ван Клийв. "Шайбата беше мястото, където се закрепваха холографските видеоклипове. Слагахте я на масата със сензорната лавица с лице към вас, заснемахте ви и след това проектирахте от повърхността на шайбата с кого говорите за обаждането."
"Orion е за свързване на хората и обединяване на усилията ни", казва Ресман. "Една от първоначалните концепции за шайбата беше да помогне да се създаде това усещане за присъствие с други хора и да се даде възможност за тази по-богата форма на комуникация."
"То не прилича на нищо, което сте виждали досега - устройството има потенциала да създава наистина забавни и уникални взаимодействия", добавя индустриалният дизайнер Емрон Хенри. "Потребителското изживяване прилича малко на пускане на джин от бутилка, където холограмите плавно излизат от устройството и се разтварят обратно в него."
Както вероятно вече сте разбрали, в шайбата има повече потенциал, отколкото в крайна сметка е включен като функция. В допълнение към сензорите и камерите, които щяха да се използват за AR повикване, шайбата има хаптични и 6DOF сензори, които биха могли да ѝ позволят да се използва като проследяващ контролер за избор и манипулиране на виртуални обекти и игра на AR игри. Екипът също така е проучил капацитивното и силово въвеждане на допир, така че шайбата да може да служи като геймпад, когато се държи в портретен и пейзажен режим.
"Говорихме за необходимостта да носим това допълнително нещо", казва Ван Клийв. "Как да го направим по-полезно? Имаше цяла работна група, която се занимаваше с това. И в един момент хипотезата беше, че AR игрите ще бъдат този убийствен случай на употреба."
Още в началото разбрахме, че трябва да проучим възможностите на шайбата да прави неща, които телефоните не могат. В крайна сметка се спряхме на използването на погледа на очите, EMG и проследяването на ръката за AR игри, като Stargazer и Pong, но в началото на Orion създадохме прототипи на различни демонстрации и игри, които използваха шайбата като контролер.
0:00 / 0:00
0:00 / 0:00
0:00 / 0:00
Изследване на шайбата като 6DOF контролер за AR игри като Pong.
"Тъй като това не е телефон, това ни даде голяма свобода на дизайна", добавя Прасад. "Може да е по-дебел, мога да го направя по-заоблен, така че да пасва удобно в ръката ви като контролер. Доста невероятно е, че шайбата всъщност е по-малка от средния телефон, но е по-мощна от телефона, защото има копроцесор за изкуствен интелект и машинно възприятие, разработен от Meta."
Екипът разгледа въпроса по какво може да се различава една качествена AR игра от игра за MR или конзола. Това означаваше да се проучат различни възможности за контролер за AR игри, включително джойстици, физическо разположение на бутоните, бутони за задействане и др.
"В крайна сметка не построихме нищо от това", отбелязва Ван Клийв. "Създадохме прототипи, но никога не сме се захващали с цялостно изграждане. Искахме да е просто. Искахме да направим тези меки интерфейси, но не и физически, механични бутони."
И макар че сензорите и тактилните устройства не бяха включени в прототипа на готовия продукт, те изпълняваха важна функция по време на разработката, позволявайки на екипите да подават сигнали за грешки, като просто докосват горната част на устройството няколко пъти, за да подадат сигнал за грешка.
Тъй като ИИ започна да заема централно място като ключов случай на използване, изчисленията се фокусираха все повече. В крайна сметка шайбата е дом на безжичната свързаност, изчислителната мощ и капацитета на батерията на Orion - огромно техническо постижение само по себе си - всичко това помага за намаляване на теглото и форм-фактора на очилата, като същевременно разсейва много повече топлина поради своята повърхност.
По време на еволюцията на шайбата едно нещо остава непроменено: шайбата има нещо повече, отколкото се вижда от нетренираното око. Приемането на неконвенционални идеи позволи на нашите екипи да изследват, да разширяват границите и да изграждат бъдещето.
"Определяме категория, която все още не съществува", отбелязва Хенри. "Както може да се очаква при научноизследователската и развойна дейност, по пътя имаше стартове и спирания. Как потребителите ще очакват да взаимодействат с холограмите? Дали ще предпочетат да използват дистанционно за AR или проследяването на ръката, погледът на очите и EMG са достатъчни за въвеждане? Кое е интуитивно, с ниско ниво на триене, познато и полезно?"
"Вместо да гледаме на шайбата само като на камък, ние се запитахме какво още можем да предложим, за да я отличим от телефоните и да обосновем защо искате да я носите със себе си", признава Ресман. "Дали нейната сурова изчислителна мощност и практичен дизайн - които помогнаха за разкриването на форм-фактор на очила, които реално можете да носите по цял ден - в крайна сметка предлагат достатъчно стойност? Нашата задача е да помогнем да се отговори на тези въпроси."
"Още в началото сменихме посоката, за да се съсредоточим върху това, което можем да направим, а телефонът не може да направи", добавя Ван Клийв. "Телефоните трябва да имат екран и определено разположение на физическите бутони, което потребителите очакват. А ние нямаме тези ограничения. Нашата изчислителна шайба може да бъде каквато си поискаме."
За повече информация за Orion разгледайте тези публикации в блога:
Днес в Свържете, Марк Зукърбърг представи Orion - първия ни чифт истински очила с разширена реалност, чието кодово име преди това беше Проект Nazare.
С водещо в индустрията зрително поле, лещи от силициев карбид, сложни вълноводи, uLED проектори и други, Orion е нашият най-усъвършенстван и най-полиран прототип на продукт до момента.
Сега продължаваме да оптимизираме продуктите и да намаляваме разходите, за да създадем мащабируемо потребителско устройство, което ще промени начина, по който хората взаимодействат със света.
"Създаваме очила с разширена реалност."
Пет прости думи, казано преди пет години. С тях забихме знамето на нашата визия за бъдеще, в което вече няма да ни се налага да правим фалшив избор между света на информацията, която е на една ръка разстояние, и физическия свят около нас.
А сега, пет години по-късно, още пет думи, които отново ще променят играта:
Мисията на Meta е проста: даваме на хората силата да създават общности и да сближават света. А в Reality Labs създаваме инструменти, които помагат на хората да се чувстват свързани навсякъде и по всяко време. Ето защо работим за създаването на следващата компютърна платформа, която поставя хората в центъра, така че те да могат да присъстват по-добре, да са свързани и да имат повече възможности в света.
Очила Ray-Ban Meta демонстрираха силата на възможността да се предостави на хората свободен достъп до ключови части от техния цифров живот от техния физически живот. Можем да разговаряме с интелигентен асистент с изкуствен интелект, да се свързваме с приятели и да улавяме важните моменти - всичко това, без да се налага да изваждаме телефон. Тези стилни очила се вписват безпроблемно в ежедневието ни и хората абсолютно ги обичат.
И все пак, докато Ray-Ban Meta открива изцяло нова категория очила без дисплей, заредени с изкуствен интелект, XR индустрията отдавна мечтае за истински AR очила - продукт, който съчетава предимствата на голям холографски дисплей и персонализирана помощ от изкуствен интелект в удобен, стилен и удобен за носене през целия ден форм-фактор.
А днес доближихме тази мечта до реалността с представянето на Орион, който според нас е най-усъвършенстваният чифт очила с разширена реалност, създаван някога. Всъщност това може би е най-предизвикателното устройство за потребителска електроника, произведено след смартфона. Orion е резултат от пробивни изобретения в почти всяка област на съвременните изчислителни технологии - надграждайки върху работата, която вършим в Reality Labs през последното десетилетие.. Той е снабден с изцяло нови технологии, включително най-усъвършенствания AR дисплей, който някога е бил сглобяван, и персонализиран силиций която позволява мощни AR изживявания да се изпълняват на чифт очила, използвайки малка част от мощността и теглото на MR слушалките.
Системата за въвеждане на Orion безпроблемно комбинира глас, поглед и проследяване на ръката с EMG гривна който ви позволява да плъзгате, кликате и превъртате, докато ръката ви е удобно разположена отстрани, като ви позволява да присъствате в света и с хората около вас, докато взаимодействате с богато цифрово съдържание.
Започвайки от днес в Connect и продължавайки през цялата година, отваряме достъп до прототипа на продукта Orion за служителите на Meta и избрани външни публики, така че екипът ни за разработка да може да се учи, да итерира и да изгражда нашата потребителска продуктова линия очила за AR, която планираме да започнем да доставяме в близко бъдеще.
Защо очила AR?
Има три основни причини, поради които очилата за разширена реалност са ключови за отключване на следващия голям скок в ориентираните към човека компютри.
Те дават възможност за цифрови изживявания, които не са ограничени от екрана на смартфона. С големите холографски дисплеи можете да използвате физическия свят като свое платно, като разполагате 2D и 3D съдържание и преживявания навсякъде, където пожелаете.
Те безпроблемно интегрират контекстуален изкуствен интелект, който може да усеща и разбира света около вас, за да предвиди и проактивно да отговори на нуждите ви.
Те са леки и са подходящи за използване както на закрито, така и на открито - и позволяват на хората да видят истинското си лице, истинските си очи и истинските си изражения.
Това е северната звезда, към която се стреми нашата индустрия: продукт, който съчетава удобството и непосредствеността на носимите устройства с голям дисплей, високоскоростен вход и контекстуален AI във форм фактор, който хората се чувстват комфортно да носят в ежедневието си.
Компактен форм-фактор, сложни предизвикателства
В продължение на години бяхме изправени пред фалшив избор - или слушалки за виртуална и смесена реалност, които позволяват дълбоки, поглъщащи изживявания в обемист форм-фактор, или очила, които са идеални за целодневна употреба, но не предлагат богати визуални приложения и изживявания поради липсата на голям дисплей и съответната изчислителна мощ.
Но ние искаме всичко това без компромиси. От години работим усилено, за да използваме невероятните пространствени изживявания, предлагани от VR и MR слушалките, и да миниатюризираме технологията, необходима за осигуряване на тези изживявания, в чифт леки и стилни очила. Усвояването на форм-фактора, осигуряването на холографски дисплеи, разработването на завладяващи AR изживявания и създаването на нови парадигми за взаимодействие между човека и компютъра (HCI) - и всичко това в един цялостен продукт - е едно от най-трудните предизвикателства, с които нашата индустрия някога се е сблъсквала. Толкова е трудно, че смятахме, че имаме по-малко от 10 процента шанс да се справим успешно.
Досега.
Революционен дисплей в несравним форм-фактор
Приблизително 70 градуса, Orion има най-голямото зрително поле в най-малкия до момента форм-фактор на очилата за AR. Това поле на видимост разкрива истински поглъщащи случаи на използване на Orion - от многозадачни прозорци и забавления на голям екран до холограми на хора в естествена големина - цялото цифрово съдържание, което може безпроблемно да се смеси с представата ви за физическия свят.
За Orion зрителното поле беше нашият свещен граал. Бяхме се сблъскали със законите на физиката и трябваше да огънем светлинните лъчи по начин, по който те не се огъват естествено - и трябваше да го направим в рамките на мощност, измервана в миливати.
Вместо стъкло, изработихме лещите от силициев карбид-ново приложение за очилата AR. Силициев карбид е изключително лек, не предизвиква оптични артефакти или разсеяна светлина и има висок коефициент на пречупване - все оптични свойства, които са от ключово значение за голямото зрително поле. Самите вълноводи имат наистина сложни и комплексни нано-мащабни 3D структури, които разсейват или разпространяват светлината по начините, необходими за постигане на това зрително поле. Проекторите са uLEDs - нов тип дисплейна технология, която е изключително малка и изключително енергийно ефективна.
Orion е безспорен чифт очила, както на външен вид, така и на допир - с прозрачни лещи. За разлика от съвременните MR слушалки или други AR очила, вие все още можете да виждате истинските очи и изражения на другите, така че да присъствате и да споделяте преживяването с хората около вас. Бяха необходими десетки нововъведения, за да се сведе индустриалният дизайн до съвременен форм-фактор на очилата, който ще ви е удобно да носите всеки ден. Orion е постижение на миниатюризацията - компонентите са събрани до частица от милиметъра. И успяхме да вградим седем малки камери и сензори в рамката.
Трябваше да поддържаме оптична прецизност с дебелина една десета от дебелината на човешки косъм. Системата може да открива малки движения, като например разширяване или свиване на рамката при различни температури в помещението, и след това да коригира цифрово необходимото оптично подравняване - всичко това в рамките на милисекунди. Изработихме рамките от магнезий - същия материал, който се използва в състезателните автомобили от Формула 1 и космическите кораби - защото е лек, но твърд, така че поддържа оптичните елементи в една линия и ефективно отвежда топлината.
Отопление и охлаждане
След като разчупихме дисплея (без умисъл) и преодоляхме проблемите с физиката, трябваше да се справим с предизвикателството на наистина мощните изчисления при наистина ниска консумация на енергия и необходимостта от разсейване на топлината. За разлика от съвременните MR слушалки, не можете да вкарате вентилатор в чифт очила. Така че трябваше да проявим творчество. Голяма част от материалите, използвани за охлаждане на Orion, са подобни на тези, използвани от НАСА за охлаждане на спътници в космоса.
Построихме високоспециализиран силиций по поръчка който е изключително енергийно ефективен и оптимизиран за нашите алгоритми за изкуствен интелект, машинно възприятие и графика. Изградихме множество персонализирани чипове и десетки силно персонализирани силициеви IP блокове в тези чипове. Това ни позволява да вземем алгоритмите, необходими за проследяване на ръцете и очите, както и технологията за едновременно локализиране и картографиране (SLAM), която обикновено изисква стотици миливата мощност - и следователно генерира съответното количество топлина - и да я свием до само няколко десетки миливата.
И да, потребителският силиций продължава да играе решаваща роля в разработването на продукти в Reality Labs, въпреки че може да сте чели другаде. 😎
Безпроблемно EMG
Всяка нова компютърна платформа носи със себе си промяна на парадигмата в начина, по който взаимодействаме с нашите устройства. Изобретяването на мишката помогна да се проправи пътят за графичните потребителски интерфейси (GUI), които доминират в нашия свят днес, а смартфоните започнаха да набират популярност едва с появата на сензорния екран. Същото правило важи и за носимите устройства.
Говорихме за работата си с електромиография или EMG, в продължение на години, водени от убеждението ни, че въвеждането на данни за очилата AR трябва да бъде бързо, удобно, надеждно, фино и социално приемливо. И сега тази работа е готова за премиера.
Системата за въвеждане и взаимодействие на Orion безпроблемно комбинира глас, поглед и проследяване на ръката с EMG гривна, която ви позволява да плъзгате, кликате и превъртате с лекота.
Действа и се усеща като магия. Представете си, че правите снимка по време на сутрешния си джогинг с едно докосване на върховете на пръстите си или навигирате в менютата с едва забележими движения на ръцете си. Нашата гривна съчетава висококачествен текстил с вградени EMG сензори за откриване на електрическите сигнали, генерирани дори от най-малките мускулни движения. След това вграденият в устройството ML процесор интерпретира тези EMG сигнали, за да създаде входни събития, които се предават безжично към очилата. Системата се адаптира към вас, така че с течение на времето става все по-добра и по-способна да разпознава и най-фините жестове. А днес споделяме повече за нашата подкрепа за външни изследвания, насочени към разширяване на потенциала за равенство и достъпност на ЕМГ гривните.
Запознайте се с безжичния изчислителен блок
Истинските очила за AR трябва да са безжични и да са малки.Затова изградихме безжична изчислителна шайба за Orion. Той поема част от натоварването на очилата, което позволява по-дълъг живот на батерията и по-добър форм-фактор с ниска латентност.
Очилата управляват всички графични алгоритми за проследяване на ръката, проследяване на очите, SLAM и специализирани графични алгоритми за заключване на света на AR, докато логиката на приложението се изпълнява на шайбата, за да бъдат очилата възможно най-леки и компактни.
Шайбата има два процесора, включително един, проектиран по поръчка тук, в Meta, и осигурява изчислителната мощ, необходима за графично рендиране с ниска латентност, изкуствен интелект и някои допълнителни машинни възприятия.
И тъй като е малка и елегантна, можете удобно да хвърлите шайбата в чантата или в джоба си и да продължите да работите - без никакви ограничения.
Опити с AR
Разбира се, както при всеки хардуер, той е толкова добър, колкото са добри нещата, които можете да направете с него. И макар че все още е в началото, преживяванията, които предоставя Orion, са вълнуващ поглед към това, което предстои да се случи.
Имаме своя интелигентен асистент, Мета AI, работещ в Orion. Той разбира какво гледате във физическия свят и може да ви помогне с полезни визуализации. Orion използва същия модел на Llama, който захранва преживяванията с изкуствен интелект, работещи днес на умните очила Ray-Ban Meta, плюс персонализирани изследователски модели за демонстриране на потенциални случаи на употреба за бъдещи разработки на носими устройства.
Можете да проведете видеоразговор в движение, за да се чуете с приятелите и семейството си в реално време, и да поддържате връзка в WhatsApp и Messenger, за да преглеждате и изпращате съобщения. Не е необходимо да вадите телефона си, да го отключвате, да намирате подходящото приложение и да съобщавате на приятеля си, че закъснявате за вечеря - можете да направите всичко това през очилата си.
Можете да играете споделени игри с разширена реалност със семейството си в другия край на страната или с приятеля си от другата страна на дивана. А големият дисплей на Orion ви позволява да работите в няколко прозореца, за да свършите нещо, без да се налага да носите лаптопа си.
Изживяванията, налични в Orion днес, ще ни помогнат да начертаем пътната карта за нашата потребителска линия очила за AR в бъдеще. Екипите ни ще продължат да итерират и да създават нови завладяващи социални изживявания, заедно с нашите партньори разработчици, и нямаме търпение да споделим какво ще последва.
Целесъобразен прототип на продукт
Въпреки че Orion няма да попадне в ръцете на потребителите, не се заблуждавайте: Това е не изследователски прототип. Това е най-съвършеният прототип на продукт, който някога сме разработвали - и е истински представител на нещо, което може да изпращане до потребителите. Вместо да бързаме да го пуснем по рафтовете, решихме да се съсредоточим първо върху вътрешната разработка, което означава, че можем да продължим да изграждаме бързо и да продължим да разширяваме границите на технологията и преживяванията.
А това означава, че ще постигнем още по-добър потребителски продукт по-бързо.
Какво следва
Две основни пречки отдавна стоят на пътя на масовите потребителски очила за разширена реалност: технологичният пробив, необходим за осигуряване на голям дисплей в компактен форм-фактор на очилата, и необходимостта от полезни и завладяващи AR изживявания, които да могат да се изпълняват на тези очила. Orion е огромен крайъгълен камък, който за първи път предоставя истински AR изживявания, работещи на достатъчно стилен хардуер.
Сега, след като споделихме Orion със света, сме се съсредоточили върху няколко неща:
Настройване на качеството на дисплея на AR, за да станат визуализациите още по-ярки
Оптимизираме навсякъде, където можем, за да направим форм-фактора още по-малък
Мащабно строителство, за да станат по-достъпни
През следващите няколко години можете да очаквате нови устройства от нас, които ще се основават на нашите усилия в областта на научноизследователската и развойната дейност. А редица иновации на Orion са разширени в настоящите ни потребителски продукти днес, както и в бъдещата ни продуктова пътна карта. Оптимизирахме някои от нашите алгоритми за пространствено възприятие, които работят както на Meta Quest 3S и Орион. Макар че системата за поглеждане на очите и фино жестово въвеждане първоначално беше проектирана за Orion, планираме да я използваме и в бъдещи продукти. Проучваме и възможността за използване на EMG гривни в бъдещи потребителски продукти.
Orion не е просто прозорец към бъдещето - това е поглед към съвсем реалните възможности, които са достъпни днес. Създадохме го в стремежа си към това, което правим най-добре: да помагаме на хората да се свързват. От очилата Ray-Ban Meta до Orion, ние видяхме доброто, което може да дойде от това да позволим на хората да останат по-присъстващи и по-мощни във физическия свят, дори докато се възползват от цялото допълнително богатство, което предлага цифровият свят.
Вярваме, че не трябва да избирате между двете. И със следващата компютърна платформа няма да ви се налага.
За повече информация за Orion разгледайте тези публикации в блога:
Представете си, че имате помощ при изпълнението на ежедневните задачи в дома си, като пране, миене на чинии и извършване на ремонти. Вече използваме инструменти, които ни помагат в тези задачи, като перални машини, съдомиялни машини и електрически бормашини. Но какво би станало, ако можехте да разполагате с още по-мощен и гъвкав инструмент под формата на хуманоиден робот, който може да се учи от вас и да ускорява всеки брой физически проекти от списъка ви със задачи?
Дори и да разполагате с наличната хардуерна система, обучението на робот за изпълнение на ежедневни задачи може да се осъществи само чрез бавен и тромав метод за събиране на данни, наречен телеоперация на роботи. Досега. С помощта на Изследователски комплект за проекта Aria, професор Danfei Xu и Лаборатория за роботизирано обучение и аргументиране в Georgia Tech използват егоцентричните сензори на очилата Aria, за да създават така наречените "човешки данни" за задачи, които искат да бъдат възпроизведени от хуманоиден робот. Те използват човешките данни, за да намалят драстично количеството на данните за телеоперация на робота, необходими за обучение на политиката на робота - пробив, който един ден може да направи хуманоидните роботи способни да научат всеки брой задачи, които човек може да демонстрира.
Kareer управлява телеуправляемия робот, за да заснеме данни за съвместно обучение за EgoMimic. Телеоперацията може да бъде трудна за мащабиране и да изисква значителни човешки усилия.
"Традиционно събирането на данни за роботиката означава създаване на демонстрационни данни", казва Симар Карер, докторант в Техническия университет в Джорджия. Училище за интерактивни компютри. "Управлявате ставите на робота с помощта на контролер, за да го преместите и да постигнете желаната задача, и правите това стотици пъти, като записвате данни от сензори, след което обучавате моделите си. Това е бавно и трудно. Единственият начин да се прекъсне този цикъл е да се отдели събирането на данни от самия робот".
Днес моделите на политиката за роботите се обучават с големи количества целеви демонстрационни данни, специфични за всяка тясна задача, което е свързано с високи разходи. Кареър изказва хипотезата, че вместо това пасивно събраните данни от много изследователи, като данните, уловени от очилата Aria, могат да се използват за създаване на данни за много по-широк набор от задачи, за да се създадат по-общополезни роботи в бъдеще.
Вдъхновен от Проект Aria и Ego-Exo4D която включва огромен набор от егоцентрични данни с над 3 хил. часа видеозаписи на дейности от ежедневието, Kareer разработи EgoMimic, нова алгоритмична рамка, която използва данни за човека и данни за робота за разработване на хуманоидни роботи.
"Когато погледнах Ego4D, видях набор от данни, който е същият като всички големи набори от данни за роботи, които се опитваме да съберем, само че с хора", обяснява Кареър. "Просто носите чифт очила и отивате да правите нещо. Не е необходимо да идва от робота. Тя трябва да идва от нещо по-скалируемо и пасивно генерирано, което сме ние." В изследването на Кареър очилата Aria са използвани за създаване на човешки данни за съвместно обучение на рамката EgoMimic.
Kareer създава данни за съвместно обучение на хора, като записва с очилата Aria, докато сгъва тениска.
Очилата Aria се използват не само за събиране на данни от хора в изследванията на Georgia Tech. Те се използват и като неразделна част от настройките за работа на робота в реално време. Очилата Aria се монтират на платформата на хуманоидния робот точно като чифт очи и служат като интегриран пакет от сензори, който позволява на робота да възприема околната среда в реално време. Aria Client SDK се използва за стрийминг на сензорните данни на Aria директно в политиката на робота, работеща на прикачен компютър, който на свой ред управлява задвижването на робота. Използването на очила Aria както за събиране на данни, така и за конвейера за възприемане в реално време, свежда до минимум разликата в областта между човека демонстратор и робота, като проправя пътя за мащабно генериране на човешки данни за бъдещо обучение на задачи в областта на роботиката.
Очилата Aria, монтирани в горната част на робота, предоставят на системата сензорни данни, които позволяват на робота да възприема и взаимодейства с пространството.
Благодарение на EgoMimic Kareer постигна 400% увеличение на производителността на своя робот при различни задачи в сравнение с предишни методи само с 90 минути записи на Aria. Роботът също така успя да изпълни успешно тези задачи в непознати досега среди.
В бъдеще хуманоидните роботи ще могат да бъдат обучавани в голям мащаб, като използват егоцентрични данни, за да изпълняват различни задачи по същия начин, както хората.
"Гледаме на Aria като на инвестиция в изследователската общност", казва Джеймс Форт, продуктов мениджър на Reality Labs Research в Meta. "Колкото повече се стандартизира егоцентричната изследователска общност, толкова повече изследователи ще могат да си сътрудничат. Наистина чрез подобно мащабиране с общността можем да започнем да решаваме по-големи проблеми, свързани с това как ще работят нещата в бъдеще."
От стартирането му през 2020 г, Проект Aria даде възможност на изследователи от цял свят да напреднат в областта на машинното възприятие и изкуствения интелект чрез достъп до най-съвременния изследователски хардуер и отворен код. набори от данни, модели и инструменти. Днес сме развълнувани да обявим следващата стъпка в това пътуване: представянето на очилата Aria Gen 2. Това следващо поколение хардуер ще отключи нови възможности в широк спектър от изследователски области, включително машинно възприятие, егоцентричен и контекстуален ИИ и роботика.
0:00 / 0:00
За изследователи, които искат да проучат как системите с изкуствен интелект могат да подобрят да разбирате света от човешка гледна точка., очилата Aria Gen 2 добавят нов набор от възможности към платформата Aria. Те включват редица постижения, които не се срещат в никое друго устройство, налично днес, и достъпът до тези революционни технологии ще позволи на изследователите да разширят границите на възможното.
В сравнение с Aria Gen 1, уникалното предложение за стойност на Aria Gen 2 включва:
Най-съвременният набор от сензори: Подобреният набор от сензори включва RGB камера, 6DOF SLAM камери, камери за проследяване на очите, пространствени микрофони, IMU, барометър, магнитометър и GNSS. В сравнение с предшественика си Aria Gen 1, новото поколение въвежда два иновативни сензора, вградени в подложката за нос: PPG сензор за измерване на сърдечния ритъм и контактен микрофон за разграничаване на гласа на ползвателя от този на странични лица.
Възприемане на машината с изключително ниска консумация на енергия и в устройството: SLAM, проследяването на очите, проследяването на ръцете и разпознаването на речта се обработват в устройството с помощта на персонализирания силиций на Meta.
Целодневна използваемост: Очилата Aria Gen 2 издържат от шест до осем часа непрекъсната работа, тежат около 75 грама и имат сгъваеми рамена за лесно пренасяне.
Взаимодействие чрез аудио: Потребителите получават аудио обратна връзка чрез най-добрите в класа си високоговорители с отворени уши, което позволява създаване на прототипи на системи в контура на потребителя.
Нашият десетилетно пътуване за създаване на следващата компютърна платформа доведе до разработването на тези важни технологии. В Meta екипите на Reality Labs Research и лабораторията FAIR AI ще ги използват, за да развият дългосрочната ни изследователска визия.. Предоставянето им на академичните и търговските изследователски лаборатории чрез проекта Aria ще допринесе за по-нататъшното развитие на отворените изследвания и общественото разбиране на ключов набор от технологии, които според нас ще помогнат да се оформи бъдещето на компютрите и изкуствения интелект.
Отворените изследвания, които проектът Aria позволява от 2020 г. насам, вече доведоха до важна работа, включително до създаването на инструменти с отворен код, които се използват широко в академичните среди и индустрията. На сайта Набор от данни Ego-Exo4D, събрани с помощта на първото поколение очила Aria, се превърнаха в основополагащ инструмент в съвременното компютърно зрение и разрастващата се област на роботиката. Изследователи от Техническия университет в Джорджия наскоро показаха как изследователският комплект Aria може да да помогнете на хуманоидните роботи да се научат да помагат на хората в дома., докато екипи на BMW го използва, за да проучи как да интегрира системите за добавена и виртуална реалност в интелигентните превозни средства.
Aria също така дава възможност за разработване на нови технологии за достъпност. Първото поколение очила Aria се използва от Университет Карнеги Мелън в проекта NavCog, която имаше за цел да създаде технологии за подпомагане на слепи и слабовиждащи лица при навигация в закрити помещения. Въз основа на тази основа очилата Aria Gen 2 сега се използват от Envision, компания, посветена на създаването на решения за незрящи хора или хора със слабо зрение. Envision проучва възможностите за интегриране на своите Ally Асистент с изкуствен интелект и пространствен звук с помощта на най-новите очила Aria Gen 2 за подобряване на навигацията на закрито и достъпността.
0:00 / 0:00
Envision използва SLAM възможностите на Aria Gen 2 в устройството, заедно с функциите за пространствен звук чрез вградените високоговорители, за да помогне на слепи и слабовиждащи хора да се ориентират безпроблемно в закрити пространства. Това иновативно използване на технологиите, което все още е в проучвателна и изследователска фаза, е пример за това как изследователите могат да използват очилата Aria Gen 2 за създаване на прототипи на преживявания с изкуствен интелект въз основа на егоцентрични наблюдения. Усъвършенстваните сензори и възможностите за машинно възприемане на устройството, включително SLAM, проследяване на очите, проследяване на ръцете и аудио взаимодействия, ги правят идеални и за събиране на данни за приложения в областта на научните изследвания и роботиката.
През следващите месеци ще споделим повече подробности за времето, в което устройствата ще бъдат достъпни за партньорите. Изследователите, които се интересуват от достъп до Aria Gen 2, могат регистрирайте се, за да получавате актуализации. С нетърпение очакваме да видим как изследователите ще използват Aria Gen 2, за да проправят пътя към бъдещи иновации, които ще оформят следващата компютърна платформа.
От десетилетия Ray-Ban е емблематично име в модата на очилата. Но в сътрудничество с Мета (бивша Facebook), те пуснаха продукт, който разширява границите - Умни очила Ray-Ban Meta. Това съчетание на класически дизайн с модерна технология предлага уникално изживяване както за модните ентусиасти, така и за любителите на технологиите.
От пръв поглед: Класика с обрат
На пръв поглед те изглеждат като класически Ray-Bans - елегантни черни рамки, първокласна изработка и стилен калъф от екокожа. Но погледнете по-отблизо и ще разберете, че крият нещо повече от стил - те са очила с вградена камера, микрофон, високоговорители и възможност за свързване със смартфон.
Какво може да направи Ray-Ban Meta?
Заснемане на видео и снимки: Дискретна камера на рамката ви позволява да заснемете света от вашата гледна точка - без ръце.
Музика и повиквания: С вградените насочени високоговорители и микрофони можете да приемате обаждания или да слушате музика без слушалки.
Синхронизиране с приложението Meta View: Всичко, което записвате, се синхронизира автоматично с приложението и е готово за споделяне в социалните мрежи.
Гласово управление: Благодарение на поддръжката на гласов асистент можете да управлявате очилата си с прости гласови команди - идеално за шофиране, спорт или използване в движение.
За кого са предназначени?
Очилата Ray-Ban Meta са идеални за създатели на съдържание, влиятелни личности, пътнициили всеки, който иска да улови моменти, без да вади телефона си. Те са чудесни и за бизнес употреба - идеален за бърза документация, потоци на живо или мобилни видеоразговори.
Окончателно решение: интелигентна елегантност без компромиси
Ако търсите очила, които съчетават класическа мода и технология от най-високо ниво, Ray-Ban Meta е ясният избор. Те са не просто стилен аксесоар - те са интелигентни очила които преосмислят начина, по който виждаме и заснемаме света около нас.
Важна актуализация за Очила Ray-Ban Meta собственици днес: Приложението Meta View вече е приложението Meta AI на iOS и Android. Наред с новото име, приложението за спътник на очилата с изкуствен интелект се обновява с нови функции, за да направи работата ви по-забавна, полезна и лична от всякога. Ние сме тук, за да ви запознаем с промените. Но бъдете сигурни, че основните функции, които познавате, ще останат същите.
Очилата се превърнаха в най-вълнуващата нова категория хардуер в ерата на изкуствения интелект, като очилата Ray-Ban Meta са водещи в определянето на възможните възможности. Радваме се, че ще пренесем същите гласови изживявания, които направиха нашите очила толкова популярни, на повече повърхности като приложението Meta AI.
Приятелски настроени и познати
Въпреки че приложението Meta AI има ново име и външен вид, то все още е приложението за очилата Ray-Ban Meta, което познавате и обичате. Съществуващите снимки и видеоклипове, които сте заснели с очилата си, настройките на устройството и функциите, които познавате от Meta View, все още са достъпни в новото приложение. Освен това автоматично прехвърляме съществуващите ви мултимедийни файлове и настройки на устройството от Meta View в приложението Meta AI, така че няма да пропуснете нито един момент. И точно както въведохме в последната си актуализация, можете да използвате приложението Meta AI за сдвояване и управление на до седем чифта очила.
Приложение "Всичко в едно" за спътник
Нов потребител на очила Ray-Ban Meta? Приложението Meta AI е вашият универсален спътник за настройка и управление на устройството. Можете да импортирате, разглеждате и споделяте снимки и видеоклипове, заснети с очилата AI, директно от приложението. Освен това ще използвате приложението Meta AI, за да конфигурирате настройките си, да актуализирате софтуера си и да управлявате опциите за поверителност. Можете да настроите гласови команди от приложението, така че да използвате очилата си без ръце, и дори да регулирате настройките на камерата си.
Чрез интегрирането на Meta AI и всичко, което предлага, в приложението за спътник, ние повишаваме нивото на преживяване с очилата Ray-Ban Meta. Можете да проявите креативност по отношение на снимките от очилата си директно в приложението Meta AI - след като импортирате снимките си, помолете Meta AI в приложението да добави, премахне или промени части от изображението.
Разглеждате нов град? Помолете Meta AI да ви разкаже повече за някоя местна забележителност. Можете да получите достъп и да управлявате запаметени спомени, за да подобрите персонализираните отговори от Meta AI в приложението и очилата си с течение на времето. Можете също така да започнете разговор с Meta AI на очилата си Ray-Ban Meta, след което да получите достъп до него в раздела с история от приложението, за да продължите оттам, където сте спрели.
Нови и забележителни функции в приложението
Приложението Meta AI е създадено, за да ви помогне да намерите вдъхновение и да извлечете максимума от очилата си.
Новият Открийте емисия можете да видите как други хора използват AI, за да свършат нещо. Това е чудесен начин да намерите нови идеи. Преработете умна подкана или я ремиксирайте, за да я направите своя собствена. И както винаги, контролът е ваш: Разговорите ви с Meta AI не са публични, освен ако не решите да ги споделите в канала.
Въпреки че говоренето с ИИ чрез гласа ви не е новост, ние използваме Лама 4 в приложението Meta AI, за да ви дава отговори, които са по-лични, подходящи и разговорни. Изживяването се интегрира с други функции като генериране и редактиране на изображения, които вече могат да се извършват чрез гласов или текстов разговор с вашия асистент с изкуствен интелект в приложението.
Включили сме и демонстрация на гласово преживяване, което изграждаме и което представлява технология за напълно дуплексна реч, която можете да включвате и изключвате, за да тествате в приложението Meta AI. Тази функция няма достъп до информация в реално време, така че е възможно да се сблъскате с технически проблеми или несъответствия. Ще продължим да събираме обратна връзка, за да я подобрим с течение на времето.
И за да улесните работата с няколко задачи, можете да продължите да използвате гласовите функции на Meta AI, докато правите други неща на телефона си, като видима икона ви уведомява, когато микрофонът се използва.
Гласовите разговори в приложението Meta AI, включително демонстрацията на пълен дуплекс, са налични отначало в САЩ, Канада, Австралия и Нова Зеландия.* За да научите повече за това как можете да управлявате опита си в приложението Meta AI и да превключвате между режимите, посетете нашата център за помощ.
Интелигентност за вас
Приложението Meta AI използва Llama 4, за да ви помага да решавате проблеми, да се движите по-лесно през деня и да разбирате по-добре света около вас. А с възможността за търсене в мрежата то може да ви помогне да получавате препоръки, да се задълбочавате в дадена тема и да поддържате връзка с приятелите и семейството си.
Използваме десетилетията си опит персонализиране на преживяванията на хората на нашите платформи, за да направим Meta AI по-личен. Можете да кажете на Meta AI да запомни конкретни детайли за вас (като например, че обичате да пътувате и да учите нови езици) и той може да разбере важни детайли от контекстуални сигнали. Meta AI също така предоставя по-подходящи отговори на вашите въпроси, като използва информация, която вече сте избрали да споделите. във Facebook и Instagram (ако са добавени в същия Център за профили), като например данни за профила и съдържание, което харесвате или с което се ангажирате. Персонализираните отговори са налични от днес в САЩ и Канада.
Едва започваме
Това е първата версия на приложението Meta AI и ние планираме да го обновяваме и подобряваме с течение на времето. Meta AI е създадено, за да ви опознае, така че отговорите му да са по-полезни. С него е лесно да се разговаря, така че взаимодействието с него е по-безпроблемно и естествено. И е по-свързан, така че може да споделя неща от хората и местата, които ви интересуват.
Очилата с изкуствен интелект -Блестящи черни рамки Skyler с поляризирани зелени слънчеви лещи-бяха идеалният аксесоар за заснемане на снимки и видеоклипове през целия ден, като същевременно й помагаха да се подготви. Очилата Ray-Ban Meta превръщат рутинните дейности преди събитието в нещо различно - от приемането на обаждания със свободни ръце и слушането на музика или подкаст до получаването на отговори от Meta AI в движение.
Това не е първият случай, в който очилата с изкуствен интелект стават модни. По-рано тази година Грей дебютира с нашите разпродадени Ray-Ban Meta x Coperni Limited Edition рамки на пистата в Седмица на модата в Париж. Очилата Ray-Ban Meta са най-полезният технологичен аксесоар в модата, който набира популярност сред редактори, стилисти и модели от страниците на списанията до модния подиум, а сега и на червения килим на най-голямата модна вечер в годината.
"Все още излъчвам от нощта!" - каза Амелия Грей. "И да знам, че ще мога да изживея толкова много от тези специални моменти от собствена гледна точка, е наистина нереално. Това е напълно нов начин да изживея и споделя тези моменти, които се случват веднъж в живота, и не мога да не се радвам да бъда част от дебюта на Ray-Ban Meta на Met Gala. "
На събитието към Грей се присъединиха Чарли XCX, Джеф Голдблум, Джена Ортега, Ким Кардашиян, Ники Минаж, Розе, Шабузи и Тараджи П. Хенсън като гости на масата на Instagram заедно с Адам Мосери и Ева Чен.
Фотограф: Куил Лемонс
И от килима, Instagram и Нишки беше домакин на редица икони, които движат културния разговор напред в Хотел The Mark за нашето пето годишно парти за наблюдение. Повече от 50 създатели и коментатори на поп културата и модата се събраха, за да наблюдават пристигането на червения килим и да споделят в реално време визии в Instagram и Threads.
КРЕДИТ: Huy Luong
Стиловете могат да идват и да си отиват, но модата е вечна. А бъдещето на очилата с изкуствен интелект изглежда светло.
Намерете подходящия за вас вариант
Ray-Ban Meta Wayfarer (стандартен)
От панта до панта: 131 ммВисочина на обектива: 41 ммШирина на обектива: 50 ммШирина на моста: 22 ммДължина на храма: 150 мм
Ray-Ban Meta Wayfarer (голям)
От панта до панта: 137 ммВисочина на обектива: 44 ммШирина на обектива: 53 ммШирина на моста: 22 ммДължина на храма: 155 мм
Ray-Ban Meta Headliner (LBF)
От панта до панта: 134 ммВисочина на обектива: 44 ммШирина на обектива: 51 ммШирина на моста: 23 ммДължина на храма: 150 мм
Ray-Ban Meta Skyler (стандартни)
От панта до панта: 133 ммВисочина на обектива: 42 ммШирина на обектива: 52 ммШирина на моста: 20 ммДължина на храма: 150 мм
Какъв е размерът на рамката?
Размерът на рамката се отнася до хоризонталната ширина на рамката. измерена между центъра на лявата и дясната панта. Нашите рамки се предлагат в един или множество размери.
Червените линии показват ширината от панта до панта
Как да избера подходящия размер за себе си?
За да определите правилния размер на рамката, използвайте линийка, за да измерите от панта до панта разстояние от чифт очила, които вече притежавате и които ви пасват добре. Помислете за толерантността обхват +/- 4 mm.
Ръководство за състоянието на опаковката
Ново
Оригинална опаковка с ненарушена защитна пломба
Ново - разопаковано
Разопакована опаковка без защитна пломба
Нова опаковка (със защитна пломба): Опаковката е напълно неразпечатана, с оригиналната защитна пломба, която гарантира, че продуктът никога не е бил подправян. Това е идеалният избор за клиенти, които предпочитат продуктът да остане в първоначалното си състояние и искат да имат сигурност, че продуктът не е бил отварян или връщан. Цената на тази опаковка е по-висока, тъй като тя е напълно нова и недокосната.
Нова - разопакована (без защитна пломба): Тази опаковка е разопакована, но продуктът не е използван. Защитната пломба е била премахната, което означава, че опаковката е била отворена (напр. поради връщане в рамките на 14 дни), но самият продукт все още е нов и не е повреден. Разопакованата опаковка е по-евтино, тъй като вече не съдържа оригиналната пломба, но за клиентите, които не се притесняват от разопакованата опаковка, той все още е отличен избор на по-ниска цена.
BG 
EN 
CS 
ET 
EL 
HR 
HU 
LT 
LV 
FR 
NL 
PL 
PT 
RO 
SL 
SK