Iesūtīts par - Atstājiet savu komentāru

"Boz to the Future" 22. epizode: Orion un valkājamo ierīču nākotne ar viesi Aleksu Himelu

Laipni lūdzam atgriezties vēl vienā epizodē Boz uz nākotni, Reality Labs podkāsts. In šodienas epizode, mūsu raidījuma vadītājam, Meta tehniskajam direktoram un Reality Labs vadītājam Endrjū "Boz" Bosvortam pievienojas Meta viceprezidents valkājamo ierīču jomā Alekss Himels.

Himela komanda strādā pie sarežģītākajām tehniskajām problēmām nozarē, lai palīdzētu izveidot nākamo skaitļošanas platformu. Tāpat kā Bosvorts, arī Himels ir ilggadējs Meta vadītājs, kurš vairāk nekā 15 gadu laikā uzņēmumā ir ieņēmis vairākus vadošus amatus visā uzņēmumā.

Bosvorts un Himels aplūko dažādas tēmas, tostarp valkājamās ierīces, papildināto realitāti un to, kā mākslīgais intelekts paātrina un uzlabo pieredzes veidus, kas ietverti Ray-Ban Meta brilles un nākotnes produktiem.

Viņi dziļi Orion un pozitīvā uzņemšana, ko tā ir saņēmusi, kopš Marks Zuckerbergs par to paziņoja plkst. Savienot. Tāpat kā Stīvs Džobss atzina, ka Alto ir pagrieziena punkts skaitļošanas tehnikā, Bosvorts apgalvoja, ka, lai gan mēs varam nepiekrist par detaļām, ir grūti apstrīdēt, ka tas ir nākotne. Himels un Bosvorts turpina runāt par prototipēšanas un veidošanas milzīgo vērtību, sakot, cik daudz vairāk viņi ir uzzinājuši par Orion un tā ievades paradigmām trīs nedēļu laikā, kad to lietojuši, salīdzinājumā ar gadiem, kas pavadīti, to veidojot.

Viņi runāja arī par mākslīgā intelekta izšķirošo lomu valkājamo ierīču jomā un par to, kā tas kļūst aizvien noderīgāks ikdienā - īpaši tagad, kad varat uzdot Meta AI jautājumus par lietām, ko redzat, un izmantot to, lai iestatītu vizuālus atgādinājumus.

Himels stāsta arī par savu lielo pieredzi cita veida kaudzēs - sviestmaizēs. Septiņus gadus strādājis slavenajā Lange's Little Store Čappakā, Ņujorkas štatā, kur viņš ir uzaudzis, Himels un Bosvorts iztirzā, kas veido lielisku sviestmaizi, kur patiešām der tomāti un kura maize ir labāka.

Varat pieslēgties Boz uz nākotni vietnē Apple podkāstiSpotifyun visur, kur klausāties podkāstus.

Jūs varat sekot Himel Diegi. Jūs varat sekot Bosworth InstagramTwitter/X, un Diegi @boztank.

Iesūtīts par - Atstājiet savu komentāru

Kristāldzidrs: mūsu silīcija karbīda viļņvadi un ceļš uz Orion lielo priekšplānu

0:00 / 0:00

Back in 2019, the Orion team prepared an important demo for Meta Founder & CEO Mark Zuckerberg, showcasing potential waveguides for papildinātās realitātes brilles—a pivotal moment when theoretical calculations on paper were brought to life. And it was a demo that changed everything.

“Wearing the glasses with glass-based waveguides and multiple plates, it felt like you were in a disco,” recalls Optical Scientist Pasqual Rivera. “There were rainbows everywhere, and it was so distracting—you weren’t even looking at the AR content. Then, you put on the glasses with silicon carbide waveguides, and it was like you were at the symphony listening to a quiet, classical piece. You could actually pay attention to the full experience of what we were building. It was a total game changer.”

Yet as clear (pun intended) as the choice of silicon carbide as a substrate seems today, when we first started down the road to AR glasses a decade ago, it was anything but.

“Silicon carbide is normally heavily nitrogen-doped,” says Rivera. “It’s green, and if it gets thick enough, it looks black. There’s no way you could make an optical lens out of it. It’s an electronic material. There’s a reason it’s that color, and it’s because of electronic properties.”

“Silicon carbide has been around as a material for a long time,” agrees AR Waveguides Tech Lead Giuseppe Calafiore. “Its main application is high-power electronics. Take electric vehicles: All EVs require a chip—but that chip must also be capable of very high power, moving the wheels, and driving this thing. It turns out you can’t do it with the regular silicon substrate, which is what makes the chips that we use in our computers and electronics. You need a platform that allows you to go through high currents, high power, and that material is silicon carbide.”

Until fairly recent discussions around renewable energy sources started to heat up, the market for these high-power chipsets was nowhere near the size of the market for chips for consumer electronics. Silicon carbide has always been expensive, and there wasn’t much incentive to bring costs down because, for the size of chip that you make for a car, the price of the substrate was tolerable.

“But it turns out that silicon carbide also has some of the properties that we need for waveguides and optics,” Calafiore says. “The refractive index is the key property that we care about. And silicon carbide has a high refractive index, which means that it’s capable of channeling in and outputting a large quantity of optical data. You can think of it as optical bandwidth—just like you have bandwidth for the internet, and you want it to be large enough so that you can send huge amounts of data through that channel. The same goes for optical devices.”

The higher a material’s refractive index, the higher its étendue, so you can send more optical data through that channel.

“The channel in our case is our waveguide, and a larger étendue translates to a larger field of view,” explains Calafiore. “The larger the refractive index of a material, the larger field of view the display can support.”

The Road to the Right Refractive Index

When Calafiore first joined what was then Oculus Research in 2016, the highest refractive index glass the team had at its disposal was 1.8—which required stacking multiple plates to achieve the desired field of view. Undesirable optical artifacts aside, the assembly line became increasingly complicated as the first two waveguides had to be perfectly aligned, and then that stack had to be perfectly aligned with a third waveguide.

“Not only was it expensive, it was immediately obvious that you couldn’t have three pieces of glass per lens in a pair of glasses,” Calafiore recalls. “They were too heavy, and the thickness was prohibitively large and ugly—nobody would buy it. So we went back to square one: trying to boost the refractive index of the substrate to reduce the number of plates needed.”

The first material the team looked into was lithium niobate, which has a refractive index of roughly 2.3—quite a bit higher than the glass at 1.8.

“We realized that we only had to stack two plates and could maybe even manage with one plate to still cover the field of view,” says Calafiore. “Almost in parallel, we started looking at other materials—which is how we figured out alongside our suppliers in 2019 that silicon carbide, in its purest form, is actually very transparent. It also happens to have the highest refractive index known for an optical application, which is 2.7.”

That’s a 17.4% increase over lithium niobate and a 50% bump over glass, for those keeping score at home.

“With a few modifications to the very same equipment that was used in the industry already, it was possible to get transparent silicon carbide,” Calafiore says. “You could just change the process, be a lot more careful, and instead of optimizing for electronic properties, you optimize for optical properties: transparency, uniformity of the refractive index, etc.”

The Potential Cost of Compromise

At that time, the Reality Labs team was the first to even attempt moving from opaque silicon carbide wafers to transparent ones. And because silicon carbide is one of the hardest known materials, it essentially requires diamond tooling to cut or polish it. As a result, the non-recurring engineering costs were very high, so the resulting substrate was quite expensive.

While more cost-effective alternatives exist, as with any technology, they each have tradeoffs. And as the field of view increases towards Orion’s industry-leading field of view of approximately 70 degrees, new issues arise like ghost images and rainbows.

“Finding the optimum solution for a wide field of view AR display is fraught with tradeoffs between performance and costs,” explains Director of Research Science Barry Silverstein. “Costs can often be driven down, but if performance doesn’t cut it, costs won’t ultimately matter.”

Ghost images are like visual echoes of the primary image being projected onto the display. Rainbows are colorful streaks of light that are created when ambient light reflects off of the waveguide. “Say you’re driving at night with moving car lights around you,” says Silverstein. “You’re going to have rainbows that move, too. Or if you’re out on the beach playing volleyball and the sun’s shining, you’re going to get a rainbow streak that’s moving with you and you’ll miss your shot. And one of the miraculous properties of silicon carbide is that it gets rid of those rainbows.”

“The other advantage of silicon carbide that none of the other materials have is thermal conductivity,” Calafiore adds. “Plastic is a terrible insulator. Glass, lithium niobate, same thing. You go to silicon carbide and it’s transparent, looks like glass, and guess what: It conducts heat.”

So in July 2020, the team determined that silicon carbide was the optimum choice for three primary reasons: It led to an improved form factor because it required only a single plate and smaller mounting structures, it had better optical properties, and it was lighter than dual-plate glass.

The Secret of Slant Etch

With the material in mind, the next nut to crack was the fabrication of the waveguides—and specifically, an unconventional grating technique called slant etch.

“The grating is the nanostructure that in-couples and out-couples the light from the lens,” explains Calafiore. “And for silicon carbide to work, the grating needs to be slant etch. Instead of being vertical, you want the lines of the grating to be sloped diagonally.”

“We were the first ones to do slant etch directly on the devices,” says Research Manager Nihar Mohanty. “The whole industry used to rely on nano imprint, which doesn’t work for substrates with such a high refractive index. That’s why no one else in the world had thought about doing silicon carbide.”

But because slant etch is an immature technology, most semiconductor chip suppliers and factories lack the necessary tools.

“Back in 2019, my manager at the time, Matt Colburn, and I established our own facility as there was nothing in the world that could produce etched silicon carbide waveguides and where we could prove out the technology beyond the labscale,” explains Mohanty. “It was a huge investment, and we established the whole pipeline there. The tooling was custom-made for us by our partners, and the process was developed in-house in Meta, though our systems are research-grade because there were no manufacturing-grade systems out there. We worked with a manufacturing partner to develop manufacturing-grade slant etch tooling and processes. And now that we’ve shown what’s possible with silicon carbide, we want others in the industry to start making tools of their own.”

The more companies that invest in optical-grade silicon carbide and develop equipment, the stronger the category of consumer AR glasses will become.

No Longer Chasing Rainbows

While technological inevitability is a myth, the stars certainly seem to be aligning in silicon carbide’s favor. And although the team continues to investigate alternatives, there’s a strong sense that the right people have come together at the right time under the right market conditions to build AR glasses using this material.

“Orion proved that silicon carbide is a viable option for AR glasses,” says Silverstein, “and we’re now seeing interest across the supply chain on three different continents where they’re heavily pursuing this as an opportunity. Silicon carbide will come out on top. It’s just a matter of time in my book.”

And a lot can happen in that time—much like the way the tables have turned since we grew our first clear silicon carbide crystals.

“All of these silicon carbide manufacturers had cranked up the supply massively in response to the expected EV boom,” notes Calafiore. “Right now, there’s an overcapacity that didn’t exist when we were building Orion. So now, because supply is high and demand is low, the cost of the substrate has started to come down.”

“Suppliers are very excited by the new opportunity of manufacturing optical-grade silicon carbide—after all, each waveguide lens represents a large amount of material relative to an electronic chip, and all of their existing capabilities apply to this new space,” adds Silverstein. “Filling your factory is essential, and scaling your factory is the dream. The size of the wafer matters, too: The bigger the wafer, the lower the cost—but the complexity of the process also goes up. That said, we’ve seen suppliers move from four-inch to eight-inch wafers, and some are working on precursors to 12-inch wafers, which would yield exponentially more pairs of AR glasses.”

These advancements should help continue to drive costs down. It’s still early days, but the future is coming into focus.

“At the beginning of any new technological revolution, you try a bunch of things,” says Calafiore. “Look at television: We started with cathode-ray tubes, and then we went to the LED plasma TVs and now microLEDs. We went through several different technologies and architectures. As you pathfind, lots of paths end up nowhere, but there are some that you just keep coming back to as the most promising. We’re not at the end of the road, and we can’t do it alone, but silicon carbide is a wonder material that is well worth the investment.”

“The world is awake now,” adds Silverstein. “We’ve successfully shown that silicon carbide can flex across electronics and photonics. It’s a material that could have future applications in quantum computing. And we’re seeing signs that it’s possible to significantly reduce the cost. There’s a lot of work left to be done, but the potential upside here is huge.”


Learn more about silicon carbide in Photonics Spectra.

Lai iegūtu vairāk informācijas par Orion, skatiet šos emuāra ierakstus:

Iesūtīts par - Atstājiet savu komentāru

Orions: Ir parādījušās īstas AR brilles

TL;DR:

  • Šodien plkst. Savienot, Marks Zuckerbergs atklāja Orion - mūsu pirmo reālo AR briļļu pāri, kas iepriekš tika kodēts ar nosaukumu Projekts Nazare.
  • Ar nozarē labāko redzamības lauku, silīcija karbīda lēcas, sarežģītiem viļņvadiem, uLED prožektoriem un daudz ko citu, Orion ir mūsu līdz šim modernākais un pilnveidotākais produkta prototips.
  • Tagad mēs turpinām optimizēt produktus un samazināt izmaksas, lai izveidotu mērogojamu patēriņa ierīci, kas revolucionāri mainīs veidu, kā cilvēki mijiedarbojas ar pasauli.

"Mēs veidojam AR brilles."

Pieci vienkārši vārdi, runāts pirms pieciem gadiem. Kopā ar tiem mēs izkārtojām karogu mūsu nākotnes vīzijai, kurā mums vairs nebūs jāizvēlas starp informācijas pasauli, kas mums ir rokas stiepiena attālumā, un fizisko pasauli mums visapkārt.

Un tagad, piecus gadus vēlāk, vēl pieci vārdi, kas atkal var mainīt spēles gaitu:

Mēs esam izveidojuši AR brilles.

https://youtube.com/watch?v=2CJsnyS8u3c%3Fsi%3DTr77gOKEq3PnA7-k%26controls%3D0%3Fautoplay%3D0%26color%3Dwhite%26cc_lang_pref%3Den%26cc_load_policy%3D0%26enablejsapi%3D1%26frameborder%3D0%26hl%3Den%26rel%3D0%26origin%3Dhttps%253A%252F%252Fwww.meta.com

Mūsu Meta misija ir vienkārša: sniegt cilvēkiem iespēju veidot kopienu un tuvināt pasauli. Un Reality Labs mēs radām rīkus, kas palīdz cilvēkiem justies savienotiem jebkurā laikā un jebkurā vietā. Tāpēc mēs strādājam, lai izveidotu nākamo skaitļošanas platformu, kuras centrā ir cilvēki, lai viņi varētu vairāk būt klātesoši, saistīti un pilnvērtīgi pasaulē.

Ray-Ban Meta brilles ir pierādījuši, ka ir iespējams nodrošināt cilvēkiem brīvroku piekļuvi galvenajām digitālās dzīves daļām no viņu fiziskās dzīves. Mēs varam sarunāties ar gudru mākslīgā intelekta asistentu, sazināties ar draugiem un iemūžināt svarīgus mirkļus - un tas viss bez nepieciešamības izvilkt telefonu. Šīs stilīgās brilles nevainojami iekļaujas mūsu ikdienas dzīvē, un cilvēki tās absolūti iemīlējuši.

Tomēr, lai gan Ray-Ban Meta atklāja pilnīgi jaunu bezdisplejveida briļļu kategoriju, ko papildina mākslīgais intelekts, XR nozare jau sen sapņo par īstām AR brillēm - produktu, kas apvieno liela hologrāfiskā displeja un personalizētas mākslīgā intelekta palīdzības priekšrocības ērtā, stilīgā, visu dienu valkājamā formā.

Un šodien mēs esam pietuvojuši šo sapni realitātei, atklājot Orion, kas, mūsuprāt, ir vismodernākās AR brilles, kādas jebkad izgatavotas. Patiesībā, iespējams, tā ir sarežģītākā plaša patēriņa elektronikas ierīce, kas ražota kopš viedtālruņa. Orion ir izcilāko izgudrojumu rezultāts praktiski visās mūsdienu skaitļošanas tehnikas jomās - balstoties uz... darbs, ko esam veikuši Reality Labs pēdējo desmit gadu laikā.. Tas ir aprīkots ar pilnīgi jaunām tehnoloģijām, tostarp līdz šim modernāko AR displeju un pielāgots silīcijs kas ļauj jaudīgu AR pieredzi izmantot briļļu pārī, izmantojot tikai nelielu daļu no MR austiņu jaudas un svara.

Orion ievades sistēma nevainojami apvieno balss, acu skatiena un roku izsekošanas funkciju ar. EMG aproce kas ļauj tev pārcilāt, klikšķināt un ritināt, turot roku ērti novietotu pie sāniem, lai tu varētu būt klātesošs pasaulē un ar apkārtējiem cilvēkiem, kad izmanto bagātīgu digitālo saturu.

Sākot no šodienas Connect un turpinot visa gada garumā, mēs atveram piekļuvi mūsu Orion produkta prototipam Meta darbiniekiem un izvēlētai ārējai auditorijai, lai mūsu izstrādes komanda varētu mācīties, pilnveidot un pilnveidot mūsu patērētājiem paredzēto AR briļļu produktu līniju, kuru mēs plānojam sākt piegādāt tuvākajā nākotnē.

Kāpēc AR brilles?

Ir trīs galvenie iemesli, kādēļ AR brilles ir atslēga nākamā lielā lēciena atklāšanai uz cilvēku orientētās skaitļošanas jomā.

  1. Tie nodrošina digitālo pieredzi, ko neierobežo viedtālruņa ekrāna ierobežojumi. Izmantojot lielos hologrāfiskos displejus, jūs varat izmantot fizisko pasauli kā savu audeklu, izvietojot 2D un 3D saturu un pieredzi jebkurā vietā.
  2. Tajos ir integrēts kontekstuāls mākslīgais intelekts, kas spēj uztvert un izprast apkārtējo pasauli, lai paredzētu un proaktīvi reaģētu uz jūsu vajadzībām.
  3. Tās ir vieglas un lieliski piemērotas gan iekštelpām, gan āra telpām, un tās ļauj cilvēkiem saskatīt viens otra īsto seju, īstās acis un īstās izteiksmes.

Tā ir ziemeļu zvaigzne, uz kuru mūsu nozare ir virzījusies: produkts, kas apvieno valkājamo ierīču ērtības un tūlītēju lietojamību ar lielu displeju, liela joslas platuma ievadi un kontekstualizētu mākslīgo intelektuālo intelektu, turklāt tādā formā, ko cilvēki jūtas ērti valkāt ikdienā.

Kompakts formas faktors, sarežģīti izaicinājumi

Gadiem ilgi esam saskārušies ar nepareizu izvēli - vai nu virtuālās un jauktās realitātes austiņas, kas nodrošina dziļu un aizraujošu pieredzi lielgabarīta formātā, vai arī brilles, kas ir ideāli piemērotas lietošanai visas dienas garumā, bet nepiedāvā bagātīgas vizuālās lietotnes un pieredzi, jo nav liela displeja un atbilstošas skaitļošanas jaudas.

Bet mēs vēlamies visu, bez kompromisiem. Jau gadiem ilgi esam cītīgi strādājuši pie tā, lai VR un MR austiņas sniegtu neticamu telpisko pieredzi un miniaturizētu tehnoloģiju, kas nepieciešama šīs pieredzes nodrošināšanai vieglās un stilīgās brillēs. Izstrādāt formu, nodrošināt hologrāfiskos displejus, radīt pārliecinošu AR pieredzi un radīt jaunas cilvēka un datora mijiedarbības (HCI) paradigmas - un to visu paveikt vienā vienotā produktā - ir viens no sarežģītākajiem izaicinājumiem, ar ko mūsu nozare jebkad ir saskārusies. Tas bija tik liels izaicinājums, ka mēs domājām, ka mums ir mazāk nekā 10 % izredžu to veiksmīgi paveikt.

Līdz šim.

Pārsteidzošs displejs nepārspējamā formātā

Orion ir aptuveni 70 grādu liels redzes lauks līdz šim mazākajās AR briļļu formās. Šāds redzes lauks Orion paver patiesi aizraujošus izmantošanas gadījumus, sākot no daudzfunkcionāliem logiem un izklaides uz liela ekrāna un beidzot ar cilvēku hologrammām - visu digitālo saturu, kas var nevainojami saplūst ar jūsu skatījumu uz fizisko pasauli.

Orion redzamības lauks bija mūsu svētais grāls. Mums nācās saskarties ar fizikas likumiem un gaismas starus izliekt tā, kā tie dabiski neizliekas, un mums tas bija jādara, ņemot vērā milivatos mērāmo jaudu.

Stikla vietā, mēs izgatavojām lēcas no silīcija karbīda.-jauns AR briļļu lietojums. Silīcija karbīds tas ir neticami viegls, nerada optiskus artefaktus vai izkliedēto gaismu, un tam ir augsts refrakcijas koeficients - visas optiskās īpašības, kas ir svarīgas lielam redzamības laukam. Pašiem viļņvadiem ir patiešām sarežģītas un komplicētas nano mēroga 3D struktūras, lai izkliedētu vai izkliedētu gaismu tādā veidā, kas nepieciešams šāda redzamības lauka sasniegšanai. Projektori ir uLED - jauna veida displeju tehnoloģija, kas ir ļoti maza un ļoti energoefektīva.

Orion ir nepārprotami brilles gan izskata, gan izjūtas ziņā - ar caurspīdīgām lēcām. Atšķirībā no MR austiņām vai citām mūsdienu AR brillēm jūs joprojām varat redzēt citu cilvēku reālās acis un izteiksmes, lai jūs varētu būt klāt un dalīties pieredzē ar apkārtējiem. Bija nepieciešami desmitiem inovāciju, lai panāktu, ka rūpnieciskais dizains ir mūsdienīgs briļļu formas faktors, ko būtu ērti valkāt katru dienu. Orion ir miniaturizācijas sasniegums - komponenti ir iepakoti milimetra daļiņās. Mums izdevās rāmja apmalēs iestrādāt septiņas mazas kameras un sensorus.

Mums bija jāsaglabā optiskā precizitāte, kas bija viena desmitā daļa no cilvēka matu šķiedras biezuma. Sistēma var noteikt sīkas kustības, piemēram, kadri paplašinās vai sarūk dažādās telpas temperatūrās, un pēc tam digitāli koriģēt nepieciešamo optisko izlīdzināšanu milisekundes laikā. Mēs izgatavojām rāmjus no magnija - tā paša materiāla, ko izmanto F1 sacīkšu automašīnās un kosmosa kuģos, jo tas ir viegls, bet stingrs, tāpēc saglabā optisko elementu izlīdzinājumu un efektīvi novada siltumu.

Apkure un dzesēšana

Kad mēs atrisinājām displeja problēmu (bez pārspīlējuma) un pārvarējām fizikas problēmas, mums nācās risināt problēmu, kas saistīta ar patiešām jaudīgu skaitļošanu un patiešām mazu enerģijas patēriņu, kā arī siltuma izkliedēšanu. Atšķirībā no mūsdienu MR austiņām jūs nevarat ievietot ventilatoru briļļu pārī. Tāpēc mums bija jābūt radošiem. Daudzi materiāli, kas izmantoti Orion dzesēšanai, ir līdzīgi tiem, ko NASA izmanto satelītu dzesēšanai kosmosā.

Mēs uzbūvējām augsti specializēts silīcijs pēc pasūtījuma kas ir īpaši energoefektīvs un optimizēts mūsu mākslīgā intelekta, mašīniskās uztveres un grafikas algoritmiem. Mēs izveidojām vairākas pielāgotas mikroshēmas un desmitiem īpaši pielāgotu silīcija IP bloku šajās mikroshēmās. Tas ļauj mums izmantot algoritmus, kas nepieciešami roku un acu izsekošanai, kā arī vienlaicīgas lokalizācijas un kartēšanas (SLAM) tehnoloģiju, kas parasti patērē simtiem milivatu enerģijas - un tādējādi rada atbilstošu siltuma daudzumu - un samazināt to līdz tikai dažiem desmitiem milivatu.

Un, jā, neskatoties uz to, ko esat lasījis citur, Reality Labs produktu izstrādē joprojām būtiska nozīme ir pielāgotam silīcija elementam. 😎

EMG bez piepūles

Katra jauna skaitļošanas platforma ir saistīta ar paradigmas maiņa mūsu mijiedarbībā ar ierīcēm. Peles izgudrošana palīdzēja bruģēt ceļu grafiskajām lietotāja saskarnēm (GUI), kas šodien dominē mūsu pasaulē, un viedtālruņi sāka iegūt popularitāti tikai ar skārienekrāna parādīšanos. Tas pats noteikums attiecas arī uz valkājamām ierīcēm.

Mēs esam runājuši par mūsu darbu ar elektromiogrāfija jeb EMG, jau gadiem ilgi, pamatojoties uz mūsu pārliecību, ka AR briļļu ievadei jābūt ātrai, ērtai, uzticamai, smalkai un sociāli pieņemamai. Un tagad šis darbs ir gatavs pirmajam laikam.

Orion ievades un mijiedarbības sistēma nevainojami apvieno balss, acu skatiena un rokas izsekošanu ar EMG aproci, kas ļauj viegli pārcilāt, klikšķināt un ritināt.

Tas darbojas - un sajūta ir maģiska. Iedomājieties, ka rīta skriešanas laikā varat uzņemt fotoattēlu, vienkārši pieskaroties ar pirkstu galiem, vai pārvietoties pa izvēlnēm ar tikko pamanāmām roku kustībām. Mūsu aproce apvieno augstas veiktspējas tekstilmateriālu ar iebūvētiem EMG sensoriem, lai noteiktu elektriskos signālus, ko rada pat vissīkākās muskuļu kustības. Ierīcē iebūvēts ML procesors interpretē šos EMG signālus, lai radītu ievades notikumus, kas bezvadu režīmā tiek pārraidīti uz brillēm. Sistēma pielāgojas jums, tāpēc laika gaitā tā kļūst arvien labāka un spēj atpazīt vissīkākos žestus. Un šodien mēs dalāmies ar informāciju par mūsu atbalstu ārējiem pētījumiem, kas vērsti uz. paplašināt EMG aprocesu vienlīdzības un pieejamības potenciālu..

Iepazīstieties ar bezvadu skaitļošanas ierīci Puck

Īstām AR brillēm jābūt bezvadu, un tām jābūt arī mazām.Tāpēc mēs izveidojām Orion bezvadu skaitļošanas ripa. Tas daļēji atslogo brilles, nodrošinot ilgāku akumulatora darbības laiku un labāku formas faktoru, kā arī zemu latentuma līmeni.

Uz brillēm darbojas visi rokas izsekošanas, acu izsekošanas, SLAM un specializētie AR pasaules bloķēšanas grafikas algoritmi, savukārt lietotnes loģika darbojas uz ripas, lai brilles būtu pēc iespējas vieglākas un kompaktākas.

Šai ripai ir divi procesori, tostarp viens pēc pasūtījuma izstrādāts tieši šeit, Meta, un tā nodrošina skaitļošanas jaudu, kas nepieciešama grafikas atveidošanai ar zemu latentumu, mākslīgajam intelektam un dažām papildu mašīnu uztveres funkcijām.

Tā kā tas ir mazs un gluds, varat ērti iebāzt ripu somā vai kabatā un doties savās darīšanās - bez pieķeršanās.

AR pieredze

Protams, tāpat kā jebkura cita aparatūras daļa, tā ir tik laba, cik laba ir tā. darīt ar to. Un, lai gan vēl ir tikai sākumposms, Orion sniegtā pieredze ir aizraujošs priekšstats par to, kas gaidāms nākotnē.

https://youtube.com/watch?v=HkdSv3QPhNw%3F%26controls%3D0%3Fautoplay%3D0%26color%3Dwhite%26cc_lang_pref%3Den%26cc_load_policy%3D0%26enablejsapi%3D1%26frameborder%3D0%26hl%3Den%26rel%3D0%26origin%3Dhttps%253A%252F%252Fwww.meta.com

Mums ir mūsu gudrais palīgs, Meta AI, kas darbojas ar Orion. Tā saprot, ko jūs skatāties fiziskajā pasaulē, un var palīdzēt jums ar noderīgām vizualizācijām. Orion izmanto to pašu Llama modeli, kas šobrīd nodrošina mākslīgā intelekta pieredzi, kas darbojas Ray-Ban Meta viedajās brillēs, kā arī pielāgotus izpētes modeļus, lai demonstrētu iespējamos izmantošanas gadījumus turpmākai valkājamo ierīču izstrādei.

Lai reālajā laikā sazinātos ar draugiem un ģimeni, varat veikt brīvroku videozvanu, un varat uzturēt savienojumu ar WhatsApp un Messenger, lai skatītu un sūtītu ziņojumus. Nav nepieciešams izvilkt tālruni, atbloķēt to, atrast pareizo lietotni un paziņot draugam, ka kavējat vakariņas - to visu varat izdarīt, izmantojot brilles.

https://youtube.com/watch?v=el7lUVvu8Bo%3F%26controls%3D0%3Fautoplay%3D0%26color%3Dwhite%26cc_lang_pref%3Den%26cc_load_policy%3D0%26enablejsapi%3D1%26frameborder%3D0%26hl%3Den%26rel%3D0%26origin%3Dhttps%253A%252F%252Fwww.meta.com

Varat spēlēt koplietošanas AR spēles ar ģimeni otrā valsts malā vai ar draugu otrā dīvāna pusē. Orion lielais displejs ļauj veikt vairākus uzdevumus, izmantojot vairākus logus, lai paveiktu dažādus darbus un nevajadzētu nēsāt līdzi klēpjdatoru.

Orion šodien pieejamā pieredze palīdzēs iezīmēt mūsu AR briļļu līnijas ceļvedi nākotnē. Mūsu komandas kopā ar izstrādātāju partneriem turpinās pilnveidot un veidot jaunas aizraujošas sociālās pieredzes, un mēs nevaram vien sagaidīt, kad varēsim dalīties ar nākamajiem notikumiem.

Mērķtiecīgs produkta prototips

Lai gan Orion nenonāks līdz patērētājiem, nekļūdieties: Tas ir ne pētniecības prototips. Tas ir vispilnīgākais produkta prototips, kādu jebkad esam izstrādājuši, un tas patiesi reprezentē kaut ko tādu. varētu nosūtīt patērētājiem. Tā vietā, lai steigtos to laist veikalu plauktos, mēs nolēmām vispirms pievērsties iekšējai izstrādei, kas nozīmē, ka mēs varam ātri turpināt veidot un turpināt paplašināt tehnoloģijas un pieredzes robežas.

Tas nozīmē, ka mēs ātrāk izstrādāsim vēl labāku patēriņa produktu.

Kas notiks tālāk

Divi galvenie šķēršļi jau ilgu laiku ir kavējuši AR briļļu ieviešanu plaša patēriņa klases ierīcēs: tehnoloģiskais izrāviens, kas nepieciešams, lai nodrošinātu lielu displeju kompaktās briļļu formās, un nepieciešamība pēc noderīgas un pārliecinošas AR pieredzes, ko var izmantot šajās brillēs. Orion ir milzīgs pagrieziena punkts, kas pirmo reizi nodrošina patiesu AR pieredzi, kas darbojas uz samērā stilīgas aparatūras.

Tagad, kad esam iepazīstinājuši pasauli ar Orion, mēs koncentrējamies uz dažām lietām:

  • AR displeja kvalitātes pielāgošana, lai attēli būtu vēl asāki.
  • Optimizēšana, kur vien iespējams, lai padarītu formu vēl mazāku.
  • Būvniecība mērogā, lai padarītu tos pieejamākus.

Dažos nākamajos gados varat sagaidīt jaunas ierīces, kas balstīsies uz mūsu pētniecības un izstrādes centieniem. Vairākas Orion inovācijas ir attiecinātas uz mūsu pašreizējiem patēriņa produktiem, kā arī uz mūsu nākotnes produktu plānu. Mēs esam optimizējuši dažus no mūsu telpiskās uztveres algoritmiem, kas darbojas gan ierīcē Meta Quest 3S un Orions. Lai gan acu skatiena un smalku žestu ievades sistēma sākotnēji tika izstrādāta Orion, mēs plānojam to izmantot arī turpmākajos produktos. Un mēs pētām iespēju izmantot EMG aproces arī turpmākajos patēriņa produktos.

Orion nav tikai logs nākotnē - tas ir ieskats reālās iespējās, kas ir sasniedzamas jau šodien. Mēs to izveidojām, cenšoties sasniegt to, ko darām vislabāk: palīdzot cilvēkiem veidot saikni. Sākot ar Ray-Ban Meta brillēm un beidzot ar Orion, mēs esam redzējuši, cik daudz laba var panākt, ļaujot cilvēkiem būt klātesošākiem un pilnvērtīgākiem fiziskajā pasaulē, pat tad, kad viņi izmanto visas digitālās pasaules piedāvātās bagātības.

Mēs uzskatām, ka jums nav jāizvēlas starp abām iespējām. Un ar nākamo skaitļošanas platformu jums tas nebūs jādara.


Lai iegūtu vairāk informācijas par Orion, skatiet šos emuāra ierakstus:

Iesūtīts par - Atstājiet savu komentāru

Orion's Compute Puck: Stāsts par ierīci, kas palīdzēja izveidot mūsu AR brilles.

Pagājušajā gadā izstādē Connect mēs atklājām Orion-mūsu pirmais īstais AR briļļu pāris. Kulminācija mūsu darbs Reality Labs pēdējo desmit gadu laikā.Orion apvieno liela hologrāfiskā displeja un personalizētas mākslīgā intelekta palīdzības priekšrocības ērtā, visu dienu valkājamā formā. Tas izpelnījās zināmu ievērību, pateicoties savam nozarē vadošajam redzamības laukam, silīcija karbīda viļņvadiem, uLED prožektoriem un citiem elementiem. Taču šodien mēs pievēršam uzmanību Orion nepiedēvētajam varonim - skaitļošanas ripai.

Izstrādāts tā, lai to varētu viegli iebāzt kabatā vai somā un jūs to varētu ņemt līdzi jebkurā vietā, kad dodaties savā ikdienas gaitās, un tas atslogo Orion procesora jaudu, lai darbinātu lietojumprogrammu loģiku un nodrošinātu pārliecinošāku, mazāku briļļu formu. Tas bezvadu režīmā savienojas ar brillēm un EMG aproci, nodrošinot viengabalainu lietošanas pieredzi.

Iestatiet un aizmirstiet, vai ne?

Taču ripas vēsture - pat prototipa stadijā - ir saistoša, ar dramatisku loku, par kuru jūs nekad nenojaušat pēc tās izskata.

"Veidojot kaut ko līdzīgu, jūs sākat pārvarēt fizikas robežas," skaidro produktu vadības direktors Rahuls Prāsads. "Pēdējo 50 gadu laikā Mūra likums visu ir padarījis mazāku, ātrāku un ar mazāku jaudu. Problēma ir tā, ka tagad jūs sākat saskarties ar ierobežojumiem attiecībā uz to, cik daudz siltuma jūs varat izkliedēt, cik lielu akumulatoru jūs varat saspiest un cik lielu antenas veiktspēju jūs varat ievietot konkrēta izmēra objektā."

Lai gan retrospektīvais skatījums var būt 20/20, ripas potenciāls nebija acīmredzams uzreiz. Ja esat pirmais, kas kaut ko rada, jums ir jāizpēta visas iespējas, neatstājot nevienu akmeni uz akmens. Kā izveidot kaut ko tādu, ko daži varētu uzskatīt par nevēlamu aksesuāru, nevis par svarīgu komplekta daļu?

"Mēs zinājām, ka ripa ir papildu ierīce, ko mēs lūdzam cilvēkiem nēsāt līdzi," norāda produktu dizaina inženierijas vadītājs Džareds Van Klīvs, "tāpēc mēs izpētījām, kā kļūdu pārvērst par funkciju."

Galu galā šī ētikas nostādne atmaksājās ar pīķiem, jo ripa nelielā izmērā iespiež daudz skaitļošanas (un vēl vairāk Meta izstrādāta pielāgota silīcija mākslīgajam intelektam un mašīnu uztverei). Tas palīdzēja Orion no zinātniskās fantastikas sfēras pārtapt realitātē.

"Ja jums nebūtu ripas, jūs nevarētu gūt pieredzi, ko Orion piedāvā savā formātā," saka Prasads. "Labai AR pieredzei ir nepieciešama patiešām augsta veiktspēja: augsts kadru ātrums, ārkārtīgi zema latence, smalka bezvadu un enerģijas pārvaldība utt. Pūķis un brilles ir jāprojektē tā, lai tie patiešām cieši sadarbotos ne tikai lietotņu līmenī, bet arī operētājsistēmas, programmaparatūras un aparatūras līmenī. Pat ja viedtālrunis būtu kopīgi izstrādāts darbam ar AR brillēm, augstas veiktspējas prasības iztukšotu tālruņa akumulatoru un atņemtu skaitļošanas jaudu tālruņa lietošanas gadījumiem. No otras puses, pulksteņbrillēm ir sava augstas kapacitātes baterija, augstas veiktspējas SoC un Meta izstrādāts mākslīgā intelekta kopprocesors, kas optimizēts Orion vajadzībām."

Protams, ripa netika radīta vienā naktī. Tas prasīja vairākus gadus ilgu iteratīvu darbu.

"Mēs nezinājām, kā cilvēki gribētu mijiedarboties ar Orion no ievades viedokļa - nebija nekā, ko mēs varētu izstrādāt, pamatojoties uz tirgū pieejamajiem datiem," saka produktu vadītājs Mets Resmans. "Ja paskatās uz mūsu agrīnajiem briļļu prototipiem, tās bija masīvas austiņas, kas svēra trīs vai četrus kilogramus. Un, kad jūs mēģināt izveidot produktu, ir ļoti grūti saprast lietotāja pieredzi, ja jums nav pareizā formas faktora. Ar riņķi mēs varējām ļoti ātri izveidot prototipu, lai sāktu saprast, kā cilvēki to izmantos."

Sākotnēji toreizējais Oculus Research to sākotnēji bija iecerējis kā Ω-veida joslu, kas būtu apvijama ap lietotāja kaklu un savienota ar brillēm...

... līdz brīdim, kad Reality Labs bezvadu komanda, cita starpā, ieviešot dažus jauninājumus, ļāva viņiem pārtraukt savienojumu. Tas ļāva izveidot vairāk kabatas vai kabatā/ somā ievietojamu ierīci, kas pavēra daudz iespēju.

"Tolaik paplašinātās realitātes zvani joprojām bija galvenais izmantošanas gadījums," skaidro Van Klīvs. "Hologrāfiskie videoklipi bija vieta, kur tie tika izvietoti hologrāfiski. Jūs to noliktu uz galda ar sensoru soliņu pret jums, attēlotu jūs un pēc tam no ripas virsmas projicētu to, ar ko jūs runājat, lai veiktu zvanu."

"Orion mērķis ir savienot cilvēkus un tuvināt mūs," saka Resmans. "Viena no sākotnējām ripas koncepcijām bija palīdzēt radīt šo klātbūtnes sajūtu ar citiem cilvēkiem un nodrošināt bagātāku saziņas veidu.""

"Tā nav līdzīga nekam citam, ko esat jebkad redzējuši - ierīcei ir potenciāls radīt patiešām jautras un unikālas mijiedarbības," piebilst rūpnieciskais dizainers Emrons Henrijs. "Lietotāja pieredze nedaudz atgādina džina izlaišanu no pudeles, kad hologrammas nemanāmi parādās no ierīces un atkal izšķīst tajā."

Kā jau tagad droši vien varat secināt, ripiņā ir vairāk potenciāla nekā tas, kas galu galā tika iekļauts kā funkcija. Papildus sensoriem un kamerām, kas tiktu izmantotas AR izsaukšanai, ripai ir arī haptika un 6DOF sensori, kas ļautu to izmantot kā izsekošanas kontrolieri, lai izvēlētos un manipulētu ar virtuāliem objektiem un spēlētu AR spēles. Komanda pētīja arī kapacitatīvo un spēka pieskāriena ievadi, lai ripu varētu izmantot kā spēļu bloku, kad to tur portretā un ainaviskā režīmā.

"Mēs runājām par nepieciešamību nēsāt šo papildu lietu," saka Van Klīvs. "Kā to padarīt noderīgāku? Ap to bija vesela darba grupa. Vienā brīdī tika izvirzīta hipotēze, ka AR spēlēšana būs galvenais izmantošanas gadījums."

Jau pašā sākumā mēs zinājām, ka mums ir jāizpēta iespējas, kā ar ripu izdarīt lietas, ko telefoni nespēj. Galu galā mēs izvēlējāmies izmantot acu skatienu, EMG un roku izsekošanu AR spēlēm, piemēram, Stargazer un Pong, bet Orion pirmsākumos mēs izstrādājām dažādus demo un spēļu prototipus, kuros ripa tika izmantota kā kontrolieris.

0:00 / 0:00

0:00 / 0:00

0:00 / 0:00

Renderēti pētījumi par ripu kā 6DOF kontrolieri AR spēlēm, piemēram, Pong.

"Tā kā tas nav tālrunis, tas mums deva lielu dizaina brīvību," piebilst Prasads. "Tas var būt biezāks, es varu to veidot noapaļotāku, lai tas ērti iederētos rokā kā kontrolieris. Tas ir diezgan neticami, ka ripa patiesībā ir mazāka par vidējo tālruni, bet tā ir jaudīgāka par tālruni, jo tajā ir Meta izstrādāts līdzprocesors mākslīgā intelekta un mašīniskās uztveres vajadzībām."

Komanda pētīja, kā kvalitatīva AR spēle varētu atšķirties no MR vai konsoles spēles. Tas nozīmēja izpētīt dažādas AR spēles kontroliera iespējas, tostarp džoistikus, fizisku pogu izkārtojumu, sprūda pogas un citas.

"Mēs galu galā neko no tā faktiski neuzbūvējām," norāda Van Klīvs. "Mēs izveidojām prototipu, bet tā arī nekad to pilnībā neuzbūvējām. Mēs vēlējāmies saglabāt vienkāršību. Mēs vēlējāmies izveidot šīs mīkstās saskarnes, bet ne fiziskas, mehāniskas pogas."

Lai gan gatavajā produkta prototipā sensori un haptika netika ieslēgti, tie pildīja neatņemamu funkciju izstrādes laikā, ļaujot komandām iesniegt kļūdas, vienkārši dažas reizes pieskaroties ierīces augšdaļai, lai ievadītu kļūdas ziņojumu.

Kad mākslīgais intelekts sāka ieņemt centrālo vietu kā galvenais izmantošanas gadījums, skaitļošanas tehnika kļuva arvien svarīgāka. Galu galā ripiņā ir izvietota Orion bezvadu savienojamība, skaitļošanas jauda un akumulatora ietilpība - milzīgs tehnisks sasniegums pats par sevi -, un tas viss palīdz samazināt briļļu svaru un formas faktoru, vienlaikus izkliedējot daudz vairāk siltuma, pateicoties tā virsmas laukumam.

Visā tās evolūcijas gaitā viena lieta ir palikusi nemainīga: ripa ir kas vairāk, nekā šķiet neapmācītam skatienam. Netradicionālu ideju pieņemšana ļāva mūsu komandām pētīt, pārkāpt robežas un veidot nākotni.

"Mēs definējam kategoriju, kas vēl neeksistē," norāda Henrijs. "Kā jau tas ir gaidāms pētniecības un izstrādes gadījumā, pa ceļam bija sākumi un apstāšanās. Kā lietotāji sagaida mijiedarbību ar hologrammām? Vai viņi labprātāk izmantotu AR tālvadības pulti, vai arī ievadei pietiek ar roku izsekošanu, acu skatienu un EMG? Kas ir intuitīvs, maz berzes, pazīstams un noderīgs?"

"Tā vietā, lai uz ripu raudzītos kā uz akmeni, mēs jautājām sev, ko vēl varētu piedāvāt, lai tā vēl vairāk atšķirtos no tālruņiem un pamatotu, kāpēc jūs vēlētos to nēsāt līdzi," atzīst Resmans. "Vai tā neapstrādātā skaitļošanas jauda un praktiskais dizains - kas palīdzēja atraisīt briļļu formas faktoru, kuru reāli var nēsāt visu dienu - galu galā piedāvā pietiekamu vērtību? Mūsu uzdevums ir palīdzēt atbildēt uz šiem jautājumiem."

"Sākumā mēs pārorientējāmies uz to, ko mēs varam izdarīt, ko nevar izdarīt tālrunis," piebilst Van Klīvs. "Telefoniem ir jābūt ekrānam, tiem ir jābūt noteiktam fizisku pogu izkārtojumam, ko lietotāji sagaida. Mums nav šo ierobežojumu. Mūsu skaitļošanas ripa var būt, kāda vien mēs vēlamies, lai tā būtu."


Lai iegūtu vairāk informācijas par Orion, skatiet šos emuāra ierakstus:

Iesūtīts par - Atstājiet savu komentāru

Orions: Ir parādījušās īstas AR brilles

TL;DR:

  • Šodien plkst. Savienot, Marks Zuckerbergs atklāja Orion - mūsu pirmo reālo AR briļļu pāri, kas iepriekš tika kodēts ar nosaukumu Projekts Nazare.
  • Ar nozarē labāko redzamības lauku, silīcija karbīda lēcas, sarežģītiem viļņvadiem, uLED prožektoriem un daudz ko citu, Orion ir mūsu līdz šim modernākais un pilnveidotākais produkta prototips.
  • Tagad mēs turpinām optimizēt produktus un samazināt izmaksas, lai izveidotu mērogojamu patēriņa ierīci, kas revolucionāri mainīs veidu, kā cilvēki mijiedarbojas ar pasauli.

"Mēs veidojam AR brilles."

Pieci vienkārši vārdi, runāts pirms pieciem gadiem. Kopā ar tiem mēs izkārtojām karogu mūsu nākotnes vīzijai, kurā mums vairs nebūs jāizvēlas starp informācijas pasauli, kas mums ir rokas stiepiena attālumā, un fizisko pasauli mums visapkārt.

Un tagad, piecus gadus vēlāk, vēl pieci vārdi, kas atkal var mainīt spēles gaitu:

Mēs esam izveidojuši AR brilles.

https://youtube.com/watch?v=2CJsnyS8u3c%3Fsi%3DTr77gOKEq3PnA7-k%26controls%3D0%3Fautoplay%3D0%26color%3Dwhite%26cc_lang_pref%3Den%26cc_load_policy%3D0%26enablejsapi%3D1%26frameborder%3D0%26hl%3Den%26rel%3D0%26origin%3Dhttps%253A%252F%252Fwww.meta.com

Mūsu Meta misija ir vienkārša: sniegt cilvēkiem iespēju veidot kopienu un tuvināt pasauli. Un Reality Labs mēs radām rīkus, kas palīdz cilvēkiem justies savienotiem jebkurā laikā un jebkurā vietā. Tāpēc mēs strādājam, lai izveidotu nākamo skaitļošanas platformu, kuras centrā ir cilvēki, lai viņi varētu vairāk būt klātesoši, saistīti un pilnvērtīgi pasaulē.

Ray-Ban Meta brilles ir pierādījuši, ka ir iespējams nodrošināt cilvēkiem brīvroku piekļuvi galvenajām digitālās dzīves daļām no viņu fiziskās dzīves. Mēs varam sarunāties ar gudru mākslīgā intelekta asistentu, sazināties ar draugiem un iemūžināt svarīgus mirkļus - un tas viss bez nepieciešamības izvilkt telefonu. Šīs stilīgās brilles nevainojami iekļaujas mūsu ikdienas dzīvē, un cilvēki tās absolūti iemīlējuši.

Tomēr, lai gan Ray-Ban Meta atklāja pilnīgi jaunu bezdisplejveida briļļu kategoriju, ko papildina mākslīgais intelekts, XR nozare jau sen sapņo par īstām AR brillēm - produktu, kas apvieno liela hologrāfiskā displeja un personalizētas mākslīgā intelekta palīdzības priekšrocības ērtā, stilīgā, visu dienu valkājamā formā.

Un šodien mēs esam pietuvojuši šo sapni realitātei, atklājot Orion, kas, mūsuprāt, ir vismodernākās AR brilles, kādas jebkad izgatavotas. Patiesībā, iespējams, tā ir sarežģītākā plaša patēriņa elektronikas ierīce, kas ražota kopš viedtālruņa. Orion ir izcilāko izgudrojumu rezultāts praktiski visās mūsdienu skaitļošanas tehnikas jomās - balstoties uz... darbs, ko esam veikuši Reality Labs pēdējo desmit gadu laikā.. Tas ir aprīkots ar pilnīgi jaunām tehnoloģijām, tostarp līdz šim modernāko AR displeju un pielāgots silīcijs kas ļauj jaudīgu AR pieredzi izmantot briļļu pārī, izmantojot tikai nelielu daļu no MR austiņu jaudas un svara.

Orion ievades sistēma nevainojami apvieno balss, acu skatiena un roku izsekošanas funkciju ar. EMG aproce kas ļauj tev pārcilāt, klikšķināt un ritināt, turot roku ērti novietotu pie sāniem, lai tu varētu būt klātesošs pasaulē un ar apkārtējiem cilvēkiem, kad izmanto bagātīgu digitālo saturu.

Sākot no šodienas Connect un turpinot visa gada garumā, mēs atveram piekļuvi mūsu Orion produkta prototipam Meta darbiniekiem un izvēlētai ārējai auditorijai, lai mūsu izstrādes komanda varētu mācīties, pilnveidot un pilnveidot mūsu patērētājiem paredzēto AR briļļu produktu līniju, kuru mēs plānojam sākt piegādāt tuvākajā nākotnē.

Kāpēc AR brilles?

Ir trīs galvenie iemesli, kādēļ AR brilles ir atslēga nākamā lielā lēciena atklāšanai uz cilvēku orientētās skaitļošanas jomā.

  1. Tie nodrošina digitālo pieredzi, ko neierobežo viedtālruņa ekrāna ierobežojumi. Izmantojot lielos hologrāfiskos displejus, jūs varat izmantot fizisko pasauli kā savu audeklu, izvietojot 2D un 3D saturu un pieredzi jebkurā vietā.
  2. Tajos ir integrēts kontekstuāls mākslīgais intelekts, kas spēj uztvert un izprast apkārtējo pasauli, lai paredzētu un proaktīvi reaģētu uz jūsu vajadzībām.
  3. Tās ir vieglas un lieliski piemērotas gan iekštelpām, gan āra telpām, un tās ļauj cilvēkiem saskatīt viens otra īsto seju, īstās acis un īstās izteiksmes.

Tā ir ziemeļu zvaigzne, uz kuru mūsu nozare ir virzījusies: produkts, kas apvieno valkājamo ierīču ērtības un tūlītēju lietojamību ar lielu displeju, liela joslas platuma ievadi un kontekstualizētu mākslīgo intelektuālo intelektu, turklāt tādā formā, ko cilvēki jūtas ērti valkāt ikdienā.

Kompakts formas faktors, sarežģīti izaicinājumi

Gadiem ilgi esam saskārušies ar nepareizu izvēli - vai nu virtuālās un jauktās realitātes austiņas, kas nodrošina dziļu un aizraujošu pieredzi lielgabarīta formātā, vai arī brilles, kas ir ideāli piemērotas lietošanai visas dienas garumā, bet nepiedāvā bagātīgas vizuālās lietotnes un pieredzi, jo nav liela displeja un atbilstošas skaitļošanas jaudas.

Bet mēs vēlamies visu, bez kompromisiem. Jau gadiem ilgi esam cītīgi strādājuši pie tā, lai VR un MR austiņas sniegtu neticamu telpisko pieredzi un miniaturizētu tehnoloģiju, kas nepieciešama šīs pieredzes nodrošināšanai vieglās un stilīgās brillēs. Izstrādāt formu, nodrošināt hologrāfiskos displejus, radīt pārliecinošu AR pieredzi un radīt jaunas cilvēka un datora mijiedarbības (HCI) paradigmas - un to visu paveikt vienā vienotā produktā - ir viens no sarežģītākajiem izaicinājumiem, ar ko mūsu nozare jebkad ir saskārusies. Tas bija tik liels izaicinājums, ka mēs domājām, ka mums ir mazāk nekā 10 % izredžu to veiksmīgi paveikt.

Līdz šim.

Pārsteidzošs displejs nepārspējamā formātā

Orion ir aptuveni 70 grādu liels redzes lauks līdz šim mazākajās AR briļļu formās. Šāds redzes lauks Orion paver patiesi aizraujošus izmantošanas gadījumus, sākot no daudzfunkcionāliem logiem un izklaides uz liela ekrāna un beidzot ar cilvēku hologrammām - visu digitālo saturu, kas var nevainojami saplūst ar jūsu skatījumu uz fizisko pasauli.

Orion redzamības lauks bija mūsu svētais grāls. Mums nācās saskarties ar fizikas likumiem un gaismas starus izliekt tā, kā tie dabiski neizliekas, un mums tas bija jādara, ņemot vērā milivatos mērāmo jaudu.

Stikla vietā, mēs izgatavojām lēcas no silīcija karbīda.-jauns AR briļļu lietojums. Silīcija karbīds tas ir neticami viegls, nerada optiskus artefaktus vai izkliedēto gaismu, un tam ir augsts refrakcijas koeficients - visas optiskās īpašības, kas ir svarīgas lielam redzamības laukam. Pašiem viļņvadiem ir patiešām sarežģītas un komplicētas nano mēroga 3D struktūras, lai izkliedētu vai izkliedētu gaismu tādā veidā, kas nepieciešams šāda redzamības lauka sasniegšanai. Projektori ir uLED - jauna veida displeju tehnoloģija, kas ir ļoti maza un ļoti energoefektīva.

Orion ir nepārprotami brilles gan izskata, gan izjūtas ziņā - ar caurspīdīgām lēcām. Atšķirībā no MR austiņām vai citām mūsdienu AR brillēm jūs joprojām varat redzēt citu cilvēku reālās acis un izteiksmes, lai jūs varētu būt klāt un dalīties pieredzē ar apkārtējiem. Bija nepieciešami desmitiem inovāciju, lai panāktu, ka rūpnieciskais dizains ir mūsdienīgs briļļu formas faktors, ko būtu ērti valkāt katru dienu. Orion ir miniaturizācijas sasniegums - komponenti ir iepakoti milimetra daļiņās. Mums izdevās rāmja apmalēs iestrādāt septiņas mazas kameras un sensorus.

Mums bija jāsaglabā optiskā precizitāte, kas bija viena desmitā daļa no cilvēka matu šķiedras biezuma. Sistēma var noteikt sīkas kustības, piemēram, kadri paplašinās vai sarūk dažādās telpas temperatūrās, un pēc tam digitāli koriģēt nepieciešamo optisko izlīdzināšanu milisekundes laikā. Mēs izgatavojām rāmjus no magnija - tā paša materiāla, ko izmanto F1 sacīkšu automašīnās un kosmosa kuģos, jo tas ir viegls, bet stingrs, tāpēc saglabā optisko elementu izlīdzinājumu un efektīvi novada siltumu.

Apkure un dzesēšana

Kad mēs atrisinājām displeja problēmu (bez pārspīlējuma) un pārvarējām fizikas problēmas, mums nācās risināt problēmu, kas saistīta ar patiešām jaudīgu skaitļošanu un patiešām mazu enerģijas patēriņu, kā arī siltuma izkliedēšanu. Atšķirībā no mūsdienu MR austiņām jūs nevarat ievietot ventilatoru briļļu pārī. Tāpēc mums bija jābūt radošiem. Daudzi materiāli, kas izmantoti Orion dzesēšanai, ir līdzīgi tiem, ko NASA izmanto satelītu dzesēšanai kosmosā.

Mēs uzbūvējām augsti specializēts silīcijs pēc pasūtījuma kas ir īpaši energoefektīvs un optimizēts mūsu mākslīgā intelekta, mašīniskās uztveres un grafikas algoritmiem. Mēs izveidojām vairākas pielāgotas mikroshēmas un desmitiem īpaši pielāgotu silīcija IP bloku šajās mikroshēmās. Tas ļauj mums izmantot algoritmus, kas nepieciešami roku un acu izsekošanai, kā arī vienlaicīgas lokalizācijas un kartēšanas (SLAM) tehnoloģiju, kas parasti patērē simtiem milivatu enerģijas - un tādējādi rada atbilstošu siltuma daudzumu - un samazināt to līdz tikai dažiem desmitiem milivatu.

Un, jā, neskatoties uz to, ko esat lasījis citur, Reality Labs produktu izstrādē joprojām būtiska nozīme ir pielāgotam silīcija elementam. 😎

EMG bez piepūles

Katra jauna skaitļošanas platforma ir saistīta ar paradigmas maiņa mūsu mijiedarbībā ar ierīcēm. Peles izgudrošana palīdzēja bruģēt ceļu grafiskajām lietotāja saskarnēm (GUI), kas šodien dominē mūsu pasaulē, un viedtālruņi sāka iegūt popularitāti tikai ar skārienekrāna parādīšanos. Tas pats noteikums attiecas arī uz valkājamām ierīcēm.

Mēs esam runājuši par mūsu darbu ar elektromiogrāfija jeb EMG, jau gadiem ilgi, pamatojoties uz mūsu pārliecību, ka AR briļļu ievadei jābūt ātrai, ērtai, uzticamai, smalkai un sociāli pieņemamai. Un tagad šis darbs ir gatavs pirmajam laikam.

Orion ievades un mijiedarbības sistēma nevainojami apvieno balss, acu skatiena un rokas izsekošanu ar EMG aproci, kas ļauj viegli pārcilāt, klikšķināt un ritināt.

Tas darbojas - un sajūta ir maģiska. Iedomājieties, ka rīta skriešanas laikā varat uzņemt fotoattēlu, vienkārši pieskaroties ar pirkstu galiem, vai pārvietoties pa izvēlnēm ar tikko pamanāmām roku kustībām. Mūsu aproce apvieno augstas veiktspējas tekstilmateriālu ar iebūvētiem EMG sensoriem, lai noteiktu elektriskos signālus, ko rada pat vissīkākās muskuļu kustības. Ierīcē iebūvēts ML procesors interpretē šos EMG signālus, lai radītu ievades notikumus, kas bezvadu režīmā tiek pārraidīti uz brillēm. Sistēma pielāgojas jums, tāpēc laika gaitā tā kļūst arvien labāka un spēj atpazīt vissīkākos žestus. Un šodien mēs dalāmies ar informāciju par mūsu atbalstu ārējiem pētījumiem, kas vērsti uz. paplašināt EMG aprocesu vienlīdzības un pieejamības potenciālu..

Iepazīstieties ar bezvadu skaitļošanas ierīci Puck

Īstām AR brillēm jābūt bezvadu, un tām jābūt arī mazām.Tāpēc mēs izveidojām Orion bezvadu skaitļošanas ripa. Tas daļēji atslogo brilles, nodrošinot ilgāku akumulatora darbības laiku un labāku formas faktoru, kā arī zemu latentuma līmeni.

Uz brillēm darbojas visi rokas izsekošanas, acu izsekošanas, SLAM un specializētie AR pasaules bloķēšanas grafikas algoritmi, savukārt lietotnes loģika darbojas uz ripas, lai brilles būtu pēc iespējas vieglākas un kompaktākas.

Šai ripai ir divi procesori, tostarp viens pēc pasūtījuma izstrādāts tieši šeit, Meta, un tā nodrošina skaitļošanas jaudu, kas nepieciešama grafikas atveidošanai ar zemu latentumu, mākslīgajam intelektam un dažām papildu mašīnu uztveres funkcijām.

Tā kā tas ir mazs un gluds, varat ērti iebāzt ripu somā vai kabatā un doties savās darīšanās - bez pieķeršanās.

AR pieredze

Protams, tāpat kā jebkura cita aparatūras daļa, tā ir tik laba, cik laba ir tā. darīt ar to. Un, lai gan vēl ir tikai sākumposms, Orion sniegtā pieredze ir aizraujošs priekšstats par to, kas gaidāms nākotnē.

https://youtube.com/watch?v=HkdSv3QPhNw%3F%26controls%3D0%3Fautoplay%3D0%26color%3Dwhite%26cc_lang_pref%3Den%26cc_load_policy%3D0%26enablejsapi%3D1%26frameborder%3D0%26hl%3Den%26rel%3D0%26origin%3Dhttps%253A%252F%252Fwww.meta.com

Mums ir mūsu gudrais palīgs, Meta AI, kas darbojas ar Orion. Tā saprot, ko jūs skatāties fiziskajā pasaulē, un var palīdzēt jums ar noderīgām vizualizācijām. Orion izmanto to pašu Llama modeli, kas šobrīd nodrošina mākslīgā intelekta pieredzi, kas darbojas Ray-Ban Meta viedajās brillēs, kā arī pielāgotus izpētes modeļus, lai demonstrētu iespējamos izmantošanas gadījumus turpmākai valkājamo ierīču izstrādei.

Lai reālajā laikā sazinātos ar draugiem un ģimeni, varat veikt brīvroku videozvanu, un varat uzturēt savienojumu ar WhatsApp un Messenger, lai skatītu un sūtītu ziņojumus. Nav nepieciešams izvilkt tālruni, atbloķēt to, atrast pareizo lietotni un paziņot draugam, ka kavējat vakariņas - to visu varat izdarīt, izmantojot brilles.

https://youtube.com/watch?v=el7lUVvu8Bo%3F%26controls%3D0%3Fautoplay%3D0%26color%3Dwhite%26cc_lang_pref%3Den%26cc_load_policy%3D0%26enablejsapi%3D1%26frameborder%3D0%26hl%3Den%26rel%3D0%26origin%3Dhttps%253A%252F%252Fwww.meta.com

Varat spēlēt koplietošanas AR spēles ar ģimeni otrā valsts malā vai ar draugu otrā dīvāna pusē. Orion lielais displejs ļauj veikt vairākus uzdevumus, izmantojot vairākus logus, lai paveiktu dažādus darbus un nevajadzētu nēsāt līdzi klēpjdatoru.

Orion šodien pieejamā pieredze palīdzēs iezīmēt mūsu AR briļļu līnijas ceļvedi nākotnē. Mūsu komandas kopā ar izstrādātāju partneriem turpinās pilnveidot un veidot jaunas aizraujošas sociālās pieredzes, un mēs nevaram vien sagaidīt, kad varēsim dalīties ar nākamajiem notikumiem.

Mērķtiecīgs produkta prototips

Lai gan Orion nenonāks līdz patērētājiem, nekļūdieties: Tas ir ne pētniecības prototips. Tas ir vispilnīgākais produkta prototips, kādu jebkad esam izstrādājuši, un tas patiesi reprezentē kaut ko tādu. varētu nosūtīt patērētājiem. Tā vietā, lai steigtos to laist veikalu plauktos, mēs nolēmām vispirms pievērsties iekšējai izstrādei, kas nozīmē, ka mēs varam ātri turpināt veidot un turpināt paplašināt tehnoloģijas un pieredzes robežas.

Tas nozīmē, ka mēs ātrāk izstrādāsim vēl labāku patēriņa produktu.

Kas notiks tālāk

Divi galvenie šķēršļi jau ilgu laiku ir kavējuši AR briļļu ieviešanu plaša patēriņa klases ierīcēs: tehnoloģiskais izrāviens, kas nepieciešams, lai nodrošinātu lielu displeju kompaktās briļļu formās, un nepieciešamība pēc noderīgas un pārliecinošas AR pieredzes, ko var izmantot šajās brillēs. Orion ir milzīgs pagrieziena punkts, kas pirmo reizi nodrošina patiesu AR pieredzi, kas darbojas uz samērā stilīgas aparatūras.

Tagad, kad esam iepazīstinājuši pasauli ar Orion, mēs koncentrējamies uz dažām lietām:

  • AR displeja kvalitātes pielāgošana, lai attēli būtu vēl asāki.
  • Optimizēšana, kur vien iespējams, lai padarītu formu vēl mazāku.
  • Būvniecība mērogā, lai padarītu tos pieejamākus.

Dažos nākamajos gados varat sagaidīt jaunas ierīces, kas balstīsies uz mūsu pētniecības un izstrādes centieniem. Vairākas Orion inovācijas ir attiecinātas uz mūsu pašreizējiem patēriņa produktiem, kā arī uz mūsu nākotnes produktu plānu. Mēs esam optimizējuši dažus no mūsu telpiskās uztveres algoritmiem, kas darbojas gan ierīcē Meta Quest 3S un Orions. Lai gan acu skatiena un smalku žestu ievades sistēma sākotnēji tika izstrādāta Orion, mēs plānojam to izmantot arī turpmākajos produktos. Un mēs pētām iespēju izmantot EMG aproces arī turpmākajos patēriņa produktos.

Orion nav tikai logs nākotnē - tas ir ieskats reālās iespējās, kas ir sasniedzamas jau šodien. Mēs to izveidojām, cenšoties sasniegt to, ko darām vislabāk: palīdzot cilvēkiem veidot saikni. Sākot ar Ray-Ban Meta brillēm un beidzot ar Orion, mēs esam redzējuši, cik daudz laba var panākt, ļaujot cilvēkiem būt klātesošākiem un pilnvērtīgākiem fiziskajā pasaulē, pat tad, kad viņi izmanto visas digitālās pasaules piedāvātās bagātības.

Mēs uzskatām, ka jums nav jāizvēlas starp abām iespējām. Un ar nākamo skaitļošanas platformu jums tas nebūs jādara.


Lai iegūtu vairāk informācijas par Orion, skatiet šos emuāra ierakstus:

Iesūtīts par - Atstājiet savu komentāru

EgoMimic: Džordžijas Tehnoloģiju universitātes doktorants izmanto projekta Aria pētniecības brilles, lai palīdzētu apmācīt humanoīdus robotus

Šodien mēs pievēršam uzmanību jaunam pētījumam, ko veica Georgia Tech kas palīdz apmācīt robotus veikt pamata ikdienas uzdevumus, izmantojot Meta's lietotāja egocentriskos ierakstus. Projekts Aria pētniecības brilles. Noskatieties zemāk redzamo video, izlasiet pilnu stāstu vai pieteikties savam Project Aria pētniecības komplektam.

Iedomājieties, ka jums palīdz veikt ikdienas darbus jūsu mājās, piemēram, mazgāt veļu, mazgāt traukus un veikt remontdarbus. Mēs jau izmantojam rīkus, kas palīdz veikt šos uzdevumus, piemēram, veļas mašīnas, trauku mazgājamās mašīnas un elektriskās urbjmašīnas. Bet ko tad, ja jums būtu vēl jaudīgāks un elastīgāks rīks - humanoīds robots, kas varētu mācīties no jums un paātrināt jebkuru no jūsu darāmo darbu sarakstā iekļautajiem fiziskajiem projektiem?

Pat ja jums būtu pieejama aparatūras sistēma, iemācīt robotam veikt ikdienas uzdevumus var tikai ar lēnu un neveiklu datu vākšanas metodi, ko sauc par robotu teleoperāciju. Līdz šim. Izmantojot Projekta Aria pētniecības komplekts, profesors Danfei Xu un Robotu mācīšanās un spriešanas laboratorija vietnē Georgia Tech izmanto Aria briļļu egocentriskos sensorus, lai radītu tā sauktos "cilvēka datus" uzdevumiem, kurus vēlas, lai humanoīds robots atdarinātu. Viņi izmanto cilvēka datus, lai krasi samazinātu robota teleoperācijas datu apjomu, kas nepieciešams robota politikas apmācībai - tas ir sasniegums, kas kādu dienu varētu padarīt humanoīdus robotus spējīgus apgūt jebkuru uzdevumu skaitu, ko cilvēks varētu demonstrēt.

Kareer teleoperē ar robotu, lai iegūtu kopmācības datus EgoMimic. Teleoperāciju var būt sarežģīti paplašināt, un tai ir nepieciešama ievērojama cilvēka piepūle.

"Tradicionāli datu vākšana robotikai nozīmē demonstrējumu datu veidošanu," saka Džordžijas Tehnoloģiju institūta doktorants Simars Kareers (Simar Kareer). Skola Interaktīvās skaitļošanas. "Jūs darbināt robota locītavas ar kontrolieri, lai to pārvietotu un izpildītu vēlamo uzdevumu, un jūs to darāt simtiem reižu, ierakstot sensoru datus, pēc tam trenējat savus modeļus. Tas ir lēni un sarežģīti. Vienīgais veids, kā pārtraukt šo ciklu, ir atdalīt datu vākšanu no paša robota."

Mūsdienās robotu politikas modeļi tiek apmācīti, izmantojot lielu daudzumu mērķtiecīgu demonstrējumu datu, kas ir specifiski katram šauram uzdevumam, un tas rada lielas izmaksas. Kareers izvirza hipotēzi, ka daudzu pētnieku pasīvi savāktos datus, piemēram, Aria brilles uzkrātos datus, tā vietā varētu izmantot, lai nodrošinātu datu veidošanu daudz plašākam uzdevumu klāstam, lai nākotnē radītu vispārēji noderīgākus robotus.

Iedvesmojoties no Projekts Aria un Ego-Exo4D kas ietver milzīgu egocentrisku datu kopu ar vairāk nekā 3 tūkstošiem stundu videoierakstu ar ikdienas dzīves aktivitātēm, Kareer izstrādāja EgoMimic, jauna algoritmiska sistēma, kas izmanto cilvēku datus un robotu datus, lai izstrādātu humanoīdus robotus.

"Kad es apskatīju Ego4D, es ieraudzīju datu kopu, kas ir tāda pati kā visas lielās robotu datu kopas, ko mēs cenšamies apkopot, tikai ar cilvēkiem," skaidro Kareers. "Jūs vienkārši uzliekat brilles un ejat kaut ko darīt. Tam nav jānāk no robota. Tam jānāk no kaut kā vairāk mērogojama un pasīvi ģenerējama, proti, no mums." Kareera pētījumā Aria brilles tika izmantotas, lai radītu cilvēka datus EgoMimic sistēmas apmācībai.

Kareers izveido kopīgas apmācības cilvēka datus, ierakstot ar Aria brilles, kamēr salokās t-kreklu.

Aria brilles tiek izmantotas ne tikai cilvēku datu vākšanai Džordžijas Tehnoloģiju institūta pētījumos. Tās tiek izmantotas arī kā robota reāllaika darbības iestatījumu neatņemama sastāvdaļa. Aria brilles ir piestiprinātas pie to humanoīdu robotu platformas gluži kā acu pāris un kalpo kā integrēta sensoru pakete, kas ļauj robotam uztvert apkārtējo vidi reālajā laikā. Aria Client SDK tiek izmantots, lai pārraidītu Aria sensoru datus tieši uz robota politiku, kas darbojas pievienotajā datorā, kurš savukārt kontrolē robota darbību. Izmantojot Aria brilles gan datu vākšanai, gan reāllaika uztveres cauruļvadam, tiek samazināta domēna plaisa starp cilvēka demonstrētāju un robotu, paverot ceļu mērogotu cilvēka datu ģenerēšanai turpmākai robotikas uzdevumu apmācībai.

Aria brilles, kas piestiprinātas pie robota augšdaļas, nodrošina sistēmu ar sensoru datiem, kas ļauj robotam uztvert telpu un mijiedarboties ar to.

Pateicoties EgoMimic, Kareer, izmantojot tikai 90 minūtes Aria ierakstu, panāca 400% lielāku robota veiktspēju dažādos uzdevumos salīdzinājumā ar iepriekšējām metodēm. Robots varēja arī veiksmīgi veikt šos uzdevumus iepriekš neredzētā vidē.

Nākotnē humanoīdos robotus varētu apmācīt, izmantojot egocentriskos datus, lai tie varētu veikt dažādus uzdevumus tāpat kā cilvēki.

"Mēs uz Aria raugāmies kā uz ieguldījumu pētnieku kopienā," saka Džeimss Forts, Meta Reality Labs pētniecības produktu vadītājs. "Jo vairāk egocentrisko pētnieku kopiena standartizēsies, jo vairāk pētnieki varēs sadarboties. Šādi paplašinot kopienu, mēs varam sākt risināt lielākas problēmas saistībā ar to, kā lietas darbosies nākotnē."

Kareers prezentēs savu referātu par EgoMimic konferencē 2025 IEEE inženieru starptautiskā konference par robotiku un automatizāciju (ICRA) Atlantā.

Iesūtīts par - Atstājiet savu komentāru

Iepazīstinām ar Aria Gen 2: jaunu pētījumu atklāšana mašīniskās uztveres, kontekstuālā mākslīgā intelekta, robotikas un citās jomās

Since its launch in 2020, Projekts Aria has enabled researchers across the world to advance the state of the art in machine perception and AI, through access to cutting-edge research hardware and open-source datasets, models, and tooling. Today, we’re excited to announce the next step in this journey: the introduction of Aria Gen 2 glasses. This next generation of hardware will unlock new possibilities across a wide range of research areas including machine perception, egocentric and contextual AI, and robotics.

0:00 / 0:00

For researchers looking to explore how AI systems can better understand the world from a human perspective, Aria Gen 2 glasses add a new set of capabilities to the Aria platform. They include a number of advances not found on any other device available today, and access to these breakthrough technologies will enable researchers to push the boundaries of what’s possible.

Compared to Aria Gen 1, Aria Gen 2’s unique value proposition includes:

  • State-of-the-art sensor suite: The upgraded sensor suite features an RGB camera, 6DOF SLAM cameras, eye tracking cameras, spatial microphones, IMUs, barometer, magnetometer, and GNSS. Compared to its predecessor, Aria Gen 1, the new generation introduces two innovative sensors embedded in the nosepad: a PPG sensor for measuring heart rate and a contact microphone to distinguish the wearer’s voice from that of bystanders.
  • Ultra low-power and on-device machine perception: SLAM, eye tracking, hand tracking, and speech recognition are all processed on-device using Meta’s custom silicon.
  • All-day usability: Aria Gen 2 glasses are capable of six to eight hours of continuous use, weigh about 75 grams, and have foldable arms for easy portability.
  • Interaction through audio: Users get audio feedback via best-in-class open-ear force-canceling speakers, enabling user-in-the-loop system prototyping.

Our decade-long journey to create the next computing platform has led to the development of these critical technologies. At Meta, teams at Reality Labs Research and the FAIR AI lab will use them to advance our long-term research vision. Making them available to academic and commercial research labs through Project Aria will further advance open research and public understanding of a key set of technologies that we believe will help shape the future of computing and AI.

The open research enabled by Project Aria since 2020 has already led to important work, including the creation of open-source tools in wide use across academia and industry. The Ego-Exo4D dataset, collected using the first generation of Aria glasses, has become a foundational tool across modern computer vision and the growing field of robotics. Researchers at Georgia Tech recently showed how the Aria Research Kit can help humanoid robots learn to assist people in the home, while teams at BMW used it to explore how to integrate augmented and virtual reality systems into smart vehicles.

And Aria is also enabling the development of new technologies for accessibility. The first-generation Aria glasses were utilized by Carnegie Mellon University in their NavCog project, which aimed to build technologies to assist blind and low-vision individuals with indoor navigation. Building on this foundation, the Aria Gen 2 glasses are now being leveraged by Envision, a company dedicated to creating solutions for people who are blind or have low vision. Envision is exploring the integration of its Ally AI assistant and spatial audio using the latest Aria Gen 2 glasses to enhance indoor navigation and accessibility experiences.

0:00 / 0:00

Envision used the on-device SLAM capabilities of Aria Gen 2, along with spatial audio features via onboard speakers, to assist blind and low-vision individuals seamlessly navigate indoor environments. This innovative use of the technologies, which is still in the exploratory and research phase, exemplifies how researchers can leverage Aria Gen 2 glasses for prototyping AI experiences based on egocentric observations. The advanced sensors and on-device machine perception capabilities, including SLAM, eye tracking, hand tracking, and audio interactions, also make them ideal for data collection for research and robotics applications.

Over the coming months, we’ll share more details about the timing of device availability to partners. Researchers interested in accessing Aria Gen 2 can sign up to receive updates. We’re excited to see how researchers will leverage Aria Gen 2 to pave the way for future innovations that will shape the next computing platform.

Iesūtīts par - Atstājiet savu komentāru

Ray-Ban Meta - stils un tehnoloģija vienā rāmī

Ray-Ban jau vairākus gadu desmitus ir ikonisks vārds briļļu modē. Bet sadarbībā ar Meta (agrāk Facebook), viņi ir laiduši klajā produktu, kas pārkāpj robežas, - Ray-Ban Meta viedās brilles. Klasiskā dizaina un moderno tehnoloģiju apvienojums piedāvā unikālu pieredzi gan modes entuziastiem, gan tehnoloģiju cienītājiem.

No pirmā acu uzmetiena: Klasika ar pavērsienu

No pirmā acu uzmetiena tās izskatās kā klasiskās Ray-Bans brilles - eleganti melni rāmji, augstākās kvalitātes meistarība un stilīgs eko ādas futrālis. Taču, ieskatoties tuvāk, jūs sapratīsiet, ka tie slēpj vairāk nekā tikai stilu - tie ir... brilles ar iebūvētu kameru, mikrofonu, skaļruņiem un viedtālruņa savienojamību..

Ko var darīt Ray-Ban Meta?

  • Video un fotoattēlu uzņemšana: Uz rāmja esošā diskrētā kamera ļauj iemūžināt pasauli no sava skatpunkta - bez rokām.
  • Mūzika un zvani: Pateicoties iebūvētajiem virziena skaļruņiem un mikrofoniem, varat veikt zvanus vai klausīties mūziku bez austiņām.
  • Sinhronizēšana ar lietotni Meta View: Viss, ko ierakstāt, automātiski sinhronizējas ar lietotni un ir gatavs kopīgot sociālajos tīklos.
  • Balss vadība: Pateicoties balss asistenta atbalstam, varat vadīt brilles ar vienkāršām balss komandām - ideāli piemērotas braukšanai, sportam vai lietošanai ceļā.

Kam tie ir paredzēti?

Ray-Ban Meta brilles ir ideāli piemērotas satura veidotāji, ietekmētāji, ceļotājivai ikvienam, kas vēlas iemūžināt mirkļus, neizvelkot tālruni. Tie ir arī lieliski piemēroti izmantošana uzņēmējdarbībā - ideāli piemērots ātrai dokumentēšanai, tiešraidēm vai mobilajiem videozvaniem.

Galīgais verdikts: gudra elegance bez kompromisiem

Ja meklējat brilles, kas apvieno klasisko modi un augstākās klases tehnoloģijas, Ray-Ban Meta ir nepārprotama izvēle. Tās ir ne tikai stilīgs aksesuārs - tās ir... viedās brilles kas no jauna nosaka to, kā mēs redzam un iemūžinām apkārtējo pasauli.

Iesūtīts par - Atstājiet savu komentāru

Meta View tagad ir Meta AI lietotne: Lūk, kas jauns un kas paliek nemainīgs.

Svarīgs atjauninājums Ray-Ban Meta brilles īpašniekiem šodien: Tagad Meta View lietotne tagad ir Meta AI lietotne. iOS un Android. Līdztekus jaunam nosaukumam jūsu mākslīgā intelekta briļļu pavadoņa lietotne ir uzlabota, un tajā ir jaunas funkcijas, kas padarīs jūsu pieredzi vēl jautrāku, noderīgāku un personiskāku nekā jebkad iepriekš. Mēs esam šeit, lai iepazīstinātu jūs ar izmaiņām. Taču varat būt droši, ka pamatfunkcijas, ko esat iepazinuši, paliks nemainīgas.

Briļļu brilles ir kļuvušas par aizraujošāko jauno mākslīgā intelekta ēras aparatūras kategoriju, un Ray-Ban Meta brilles ieņem vadošo pozīciju iespējamo iespēju noteikšanā. Mēs esam priecīgi, ka varam nodrošināt to pašu balss pieredzi, kas ir padarījusi mūsu brilles tik populāras, ar vairāk virsmām, piemēram, Meta AI lietotni.

Draudzīgs un pazīstams

Lai gan Meta AI lietotnei ir jauns nosaukums un izskats, tā joprojām ir Ray-Ban Meta briļļu pavadošā lietotne, ko pazīstat un mīlat. Jaunajā lietotnē joprojām ir pieejamas esošās fotogrāfijas un videoklipi, ko esat uzņēmuši ar savām brillēm, ierīces iestatījumi un funkcijas, kas jums ir pazīstamas no Meta View. Mēs arī automātiski migrējam jūsu esošos multivides un ierīces iestatījumus no Meta View uz Meta AI lietotni, lai jūs neko nepalaistu garām. Un, tāpat kā mēs to ieviesām pēdējā atjauninājumā, varat izmantot Meta AI lietotni, lai savienotu un pārvaldītu līdz pat septiņiem briļļu pāriem.

All-In-One Companion lietotne

Ray-Ban Meta brilles ir jaunums? Meta AI lietotne ir jūsu "viss vienā" palīgs ierīces iestatīšanai un pārvaldībai. Jūs varat importēt, apskatīt un kopīgot ar savām AI brillēm uzņemtos fotoattēlus un video tieši no lietotnes. Meta AI lietotni izmantosiet arī, lai konfigurētu iestatījumus, atjauninātu programmatūru un pārvaldītu konfidencialitātes opcijas. Varat iestatīt balss komandas no lietotnes, lai varētu lietot brilles bez rokām, un pat pielāgot kameras iestatījumus.

Integrējot Meta AI un visu, ko tas piedāvā, pavadošajā lietotnē, mēs uzlabojam Ray-Ban Meta briļļu lietošanas pieredzi. Jūs varat radoši strādāt ar brillēs esošajām fotogrāfijām tieši Meta AI lietotnē - pēc fotogrāfiju importēšanas varat lūgt Meta AI lietotnē pievienot, noņemt vai mainīt attēla daļas.

Apskatāt jaunu pilsētu? Palūdz Meta AI pastāstīt vairāk par kādu vietējo apskates objektu. Jūs varat piekļūt saglabātajām atmiņām un pārvaldīt tās, lai laika gaitā uzlabotu personalizētās atbildes, ko Meta AI sniedz lietotnē un jūsu brillēs. Jūs varat arī sākt sarunu ar Meta AI savās Ray-Ban Meta brillēs un pēc tam piekļūt tai vēstures cilnē no lietotnes, lai turpinātu to, ko esat pārtraucis.

Jaunas un ievērojamas funkcijas lietotnē

Meta AI lietotne tika izstrādāta, lai palīdzētu jums rast iedvesmu un maksimāli izmantot brilles.

Jaunais Atklājiet plūsmu var uzzināt, kā citi cilvēki izmanto mākslīgo intelektu, lai paveiktu darbus. Tas ir lielisks veids, kā atrast jaunas idejas. Pārstrādājiet gudru pamudinājumu vai pārveidojiet to, lai radītu savu. Un, kā vienmēr, kontrole ir jūsu rokās: Jūsu sarunas ar Meta AI nav publiski pieejamas, ja vien jūs neizvēlaties tās kopīgot plūsmā.

Lai gan runāšana ar mākslīgo intelektu, izmantojot balsi, nav nekas jauns, mēs izmantojam Lama 4 lietotnē Meta AI, lai sniegtu jums personīgākas, atbilstošākas un sarunvalodai atbilstošākas atbildes. Šī pieredze ir integrēta ar citām funkcijām, piemēram, attēlu ģenerēšanu un rediģēšanu, ko tagad var veikt ar balss vai teksta saruna ar mākslīgā intelekta asistentu lietotnē.

Esam pievienojuši arī mūsu veidotās balss pieredzes demonstrējumu, kas ir pilnīga dupleksa runas tehnoloģija, kuru varat ieslēgt un izslēgt, lai izmēģinātu Meta AI lietotnē. Šai funkcijai nav piekļuves reāllaika informācijai, tāpēc varat saskarties ar tehniskām problēmām vai neatbilstībām. Mēs turpināsim vākt atsauksmes, lai laika gaitā to uzlabotu.

Lai atvieglotu vairāku uzdevumu veikšanu, varat turpināt izmantot Meta AI balss funkcijas arī tad, kad veicat citas darbības tālrunī, - redzama ikona informē, kad tiek izmantots mikrofons.

Balss sarunas Meta AI lietotnē, tostarp pilnas divpusējās demonstrācijas versija, ir pieejamas ASV, Kanādā, Austrālijā un Jaunzēlandē.* Lai uzzinātu vairāk par to, kā varat pārvaldīt savu pieredzi Meta AI lietotnē un pārslēgt režīmus, apmeklējiet mūsu palīdzības centrs.

Inteliģence jums

Lietotne Meta AI izmanto Llama 4, lai palīdzētu jums risināt problēmas, vieglāk pārvietoties pa dienu un labāk izprast apkārtējo pasauli. Pateicoties meklēšanas iespējām tīmeklī, tā var palīdzēt jums saņemt ieteikumus, padziļināti izpētīt kādu tēmu un uzturēt saikni ar draugiem un ģimeni.

Mēs izmantojam savu gadu desmitiem uzkrāto pieredzi cilvēku pieredzes personalizēšana mūsu platformās, lai padarītu Meta AI personiskāku. Varat pateikt Meta AI, lai atceras konkrētu informāciju par jums (piemēram, ka jums patīk ceļot un mācīties jaunas valodas), un tas var uztvert svarīgu informāciju no konteksta norādēm. Meta AI arī sniedz atbilstošākas atbildes uz jūsu jautājumiem, izmantojot informāciju, ko jau esat izvēlējies kopīgot. Facebook un Instagram (ja tie ir pievienoti tam pašam kontu centram), piemēram, profila informāciju un saturu, kas jums patīk vai kurā iesaistāties. Personalizētās atbildes jau šodien ir pieejamas ASV un Kanādā.

Mēs tikai sākam

Šī ir pirmā Meta AI lietotnes versija, un laika gaitā mēs plānojam to papildināt un uzlabot. Meta AI ir veidota tā, lai jūs iepazītu, tāpēc tās atbildes būs noderīgākas. Ar to ir viegli sarunāties, tāpēc mijiedarbība ar to ir ērtāka un dabiskāka. Un tas ir vairāk savienots, lai varētu kopīgot lietas no cilvēkiem un vietām, kas jums ir svarīgas.

Izmēģiniet to šodien iOS vai Android, un uzzināt vairāk par jauno un uzlaboto Meta AI.

*Voices sarunas Jaunzēlandē pieejamas tikai lietotnē, nevis Ray-Ban Meta brillēs.

Iesūtīts par - Atstājiet savu komentāru

Modes uz priekšu: Amelija Greja pamanīta ar Ray-Ban Meta brilles uz Met Gala sarkanā paklāja

Augstas kvalitātes couture ieņēma centrālo vietu pēdējā naktī maija pirmajā pirmdienā. Un uz sarkanā paklāja jūs, iespējams, pamanījāt dažus pazīstamus modes tehnoloģiju pārstāvjus. Kā daļa no viņas pielāgotais izskatsAmēlija Greja bija uzvilcis Ray-Ban Meta brilles.

KREDĪTS: Getty Images Entertainment

Mākslīgā intelekta brilles -Spīdīgi melni Skyler rāmji ar polarizētām zaļām saules lēcām-bija lielisks aksesuārs, lai uzņemtu fotoattēlus un videoklipus visas dienas garumā, vienlaikus palīdzot viņai sagatavoties. Ray-Ban Meta brilles padara ikvienu sagatavošanās rutīnas darbu nevainojamu, sākot no zvanu veikšanas brīvroku režīmā un mūzikas vai podkāsta klausīšanās un beidzot ar atbilžu saņemšanu no Meta mākslīgā intelekta, kas tiek sniegtas uzreiz pēc pasākuma.

Šī nav pirmā reize, kad mūsu mākslīgā intelekta brilles ir kļuvušas modē. Šī gada sākumā Gray debitēja ar izpārdotajām mūsu Ray-Ban Meta x Coperni Limited Edition rāmji uz skrejceļa pie Parīzes modes nedēļa. Ray-Ban Meta brilles ir visnoderīgākais modes tehniskais aksesuārs, kas iekaro redaktoru, stilistu un modeļu atzinību no žurnālu lappusēm līdz pat skrejceļam - un tagad arī uz gada nozīmīgākā modes vakara sarkanā paklāja.

"Es joprojām staroju no šīs nakts!" sacīja Amēlija Greja. "Un apziņa, ka es varēšu izdzīvot tik daudzus no šiem īpašajiem mirkļiem no savas perspektīvas, ir patiešām sirreāla. Tas ir pilnīgi jauns veids, kā piedzīvot un dalīties ar šiem vienreiz mūžā pieredzētajiem mirkļiem, un es nevarētu būt vairāk sajūsmināta par iespēju piedalīties Ray-Ban Meta Met Gala debijas pasākumā. "

Pasākumā pie Instagram galda kopā ar Ādamu Mosseri un Evu Čenu kā viesi bija arī Charli XCX, Džefs Goldblūms, Dženna Ortega, Kima Kardašjana, Nikija Mināža, Rosē, Shaboozey un Taraji P. Hensone.

Fotogrāfs: Quil Lemons

Un nost no paklāja, Instagram un Diegi uzņēma vairākas ikonas, kas virza sarunas par kultūru. Viesnīca The Mark Hotel uz mūsu 5. ikgadējo vērošanas ballīti. Vairāk nekā 50 radošo personību un popkultūras un modes komentētāju pulcējās, lai vērotu sarkanā paklāja atklāšanu un dalītos ar reāllaika skatiem Instagram un Threads.

KREDĪTS: Huy Luong

Stili var nākt un iet, bet mode ir mūžīga. Un mākslīgā intelekta briļļu nākotne izskatās spoža.