Publicat pe de - Lasă un comentariu

Orion: Au sosit ochelarii AR adevărați

TL;DR:

  • Astăzi la Conectare, Mark Zuckerberg a dezvăluit Orion - prima noastră pereche de ochelari AR adevărați, cu nume de cod anterior Proiectul Nazare.
  • Cu un câmp vizual lider în industrie, lentile din carbură de siliciuOrion este prototipul nostru de produs cel mai avansat și cel mai rafinat de până acum, cu ghiduri de undă complexe, proiectoare uLED și multe altele.
  • În prezent, continuăm optimizarea produselor și reducerea costurilor în timp ce ne îndreptăm către un dispozitiv de consum scalabil care va revoluționa modul în care oamenii interacționează cu lumea.

"Construim ochelari AR."

Cinci cuvinte simple, vorbit acum cinci ani. Împreună cu ei, am plantat un steag pe viziunea noastră despre un viitor în care nu mai trebuie să facem falsa alegere între o lume a informațiilor la îndemâna noastră și lumea fizică din jurul nostru.

Și acum, cinci ani mai târziu, alte cinci cuvinte care vor schimba din nou jocul:

Am construit ochelari AR.

https://youtube.com/watch?v=2CJsnyS8u3c%3Fsi%3DTr77gOKEq3PnA7-k%26controls%3D0%3Fautoplay%3D0%26color%3Dwhite%26cc_lang_pref%3Den%26cc_load_policy%3D0%26enablejsapi%3D1%26frameborder%3D0%26hl%3Den%26rel%3D0%26origin%3Dhttps%253A%252F%252Fwww.meta.com

La Meta, misiunea noastră este simplă: să oferim oamenilor puterea de a construi comunități și de a aduce lumea mai aproape. Iar la Reality Labs, construim instrumente care îi ajută pe oameni să se simtă conectați oricând, oriunde. De aceea, ne străduim să construim următoarea platformă de calcul care pune oamenii în centru, astfel încât aceștia să poată fi mai prezenți, mai conectați și mai puternici în lume.

Ochelari Ray-Ban Meta au demonstrat puterea de a oferi oamenilor acces hands-free la părțile cheie ale vieții lor digitale din viața lor fizică. Putem vorbi cu un asistent AI inteligent, ne putem conecta cu prietenii și putem surprinde momentele care contează - toate acestea fără a fi nevoiți să scoatem vreodată telefonul. Acești ochelari eleganți se integrează perfect în viața noastră de zi cu zi, iar oamenii îi adoră.

Cu toate acestea, în timp ce Ray-Ban Meta a deschis o categorie cu totul nouă de ochelari fără afișaj supraîncărcați de AI, industria XR a visat mult timp la ochelari AR adevărați - un produs care combină beneficiile unui afișaj holografic mare și asistență AI personalizată într-un factor de formă confortabil, elegant, purtabil toată ziua.

Iar astăzi, am împins acest vis mai aproape de realitate odată cu dezvăluirea Orioncare, în opinia noastră, este cea mai avansată pereche de ochelari AR fabricată vreodată. De fapt, ar putea fi cel mai provocator dispozitiv electronic de consum produs de la smartphone. Orion este rezultatul unor invenții revoluționare în aproape fiecare domeniu al informaticii moderne - bazându-se pe munca pe care am făcut-o la Reality Labs în ultimul deceniu. Este dotat cu tehnologii complet noi, inclusiv cel mai avansat ecran AR asamblat vreodată și silicon personalizat care permite rularea unor experiențe AR puternice pe o pereche de ochelari folosind o fracțiune din puterea și greutatea unei căști MR.

Sistemul de intrare Orion combină perfect vocea, privirea și urmărirea mâinii cu un Brățară EMG care vă permite să glisați, să faceți clic și să derulați în timp ce brațul dvs. se odihnește confortabil lângă dvs., permițându-vă să rămâneți prezent în lume și cu oamenii din jurul dvs. în timp ce interacționați cu conținut digital bogat.

Începând de astăzi la Connect și continuând pe tot parcursul anului, vom deschide accesul la prototipul nostru de produs Orion pentru angajații Meta și audiențe externe selectate, astfel încât echipa noastră de dezvoltare să poată învăța, itera și construi spre linia noastră de produse de ochelari AR pentru consumatori, pe care intenționăm să începem să o livrăm în viitorul apropiat.

De ce ochelari AR?

Există trei motive principale pentru care ochelarii AR sunt esențiali pentru deblocarea următorului mare salt în informatica orientată către om.

  1. Acestea permit experiențe digitale care nu sunt constrânse de limitele unui ecran de smartphone. Cu ajutorul ecranelor holografice mari, puteți folosi lumea fizică drept pânză, plasând conținut și experiențe 2D și 3D oriunde doriți.
  2. Acestea integrează perfect inteligența artificială contextuală care poate detecta și înțelege lumea din jurul dumneavoastră pentru a anticipa și a răspunde proactiv nevoilor dumneavoastră.
  3. Sunt ușoare și ideale pentru utilizare atât în interior, cât și în exterior - și permit oamenilor să vadă fața reală, ochii reali și expresiile reale ale celorlalți.

Aceasta este steaua nordică spre care s-a îndreptat industria noastră: un produs care combină confortul și caracterul imediat al dispozitivelor portabile cu un ecran mare, o lățime de bandă mare și inteligență artificială contextualizată într-un factor de formă pe care oamenii se simt confortabil să-l poarte în viața de zi cu zi.

Factor de formă compact, provocări complicate

De ani de zile, ne confruntăm cu o alegere falsă - fie căști de realitate virtuală și mixtă care permit experiențe profunde și imersive într-un factor de formă voluminos, fie ochelari care sunt ideali pentru utilizare pe tot parcursul zilei, dar care nu oferă aplicații și experiențe vizuale bogate din cauza lipsei unui ecran mare și a puterii de calcul corespunzătoare.

Dar noi vrem totul, fără compromisuri. De ani de zile, lucrăm din greu pentru a lua experiențele spațiale incredibile oferite de căștile VR și MR și pentru a miniaturiza tehnologia necesară pentru a oferi aceste experiențe într-o pereche de ochelari ușori și eleganți. Realizarea factorului de formă, furnizarea de afișaje holografice, dezvoltarea de experiențe AR convingătoare și crearea de noi paradigme de interacțiune om-computer (HCI) - și toate acestea într-un singur produs coerent - reprezintă una dintre cele mai dificile provocări cu care s-a confruntat vreodată industria noastră. A fost o provocare atât de mare încât am crezut că avem mai puțin de 10% șanse de a reuși.

Până acum.

Un ecran revoluționar într-un factor de formă de neegalat

La aproximativ 70 de grade, Orion are cel mai mare câmp vizual în cel mai mic factor de formă al ochelarilor AR de până acum. Acest câmp de vizualizare deblochează cazuri de utilizare cu adevărat imersive pentru Orion, de la ferestre multitasking și divertisment pe ecran mare la holograme de oameni în mărime naturală - tot conținutul digital care se poate îmbina perfect cu vizualizarea lumii fizice.

Pentru Orion, câmpul vizual a fost Sfântul Graal. Ne ciocneam de legile fizicii și trebuia să îndoim fasciculele de lumină în moduri în care acestea nu se îndoaie în mod natural - și trebuia să facem acest lucru într-un pachet de putere măsurat în miliwați.

În loc de sticlă, am realizat lentilele din carbură de siliciu-o nouă aplicație pentru ochelarii AR. Carbură de siliciu este incredibil de ușor, nu produce artefacte optice sau lumină vagabondă și are un indice de refracție ridicat - toate proprietățile optice esențiale pentru un câmp vizual mare. Ghidurile de undă în sine au structuri 3D la scară nanometrică foarte complicate și complexe pentru a difracta sau răspândi lumina în mod necesar pentru a obține acest câmp vizual. Iar proiectoarele sunt uLED - un nou tip de tehnologie de afișare care este foarte mică și extrem de eficientă energetic.

Orion este fără îndoială o pereche de ochelari, atât la aspect, cât și la atingere, cu lentile transparente. Spre deosebire de căștile MR sau de alți ochelari AR din prezent, puteți vedea în continuare ochii și expresiile reale ale celorlalți, astfel încât să puteți fi prezenți și să împărtășiți experiența cu persoanele din jurul dvs. Au fost necesare zeci de inovații pentru a reduce designul industrial la o formă de ochelari contemporană, pe care să vă simțiți confortabil să o purtați în fiecare zi. Orion este o realizare a miniaturizării - componentele sunt împachetate până la o fracțiune de milimetru. Și am reușit să încorporăm șapte camere și senzori minusculi în marginile ramei.

A trebuit să menținem precizia optică la o zecime din grosimea unui fir de păr uman. Iar sistemul poate detecta mișcări minuscule - cum ar fi extinderea sau contracția cadrelor la diferite temperaturi ale camerei - și apoi corectează digital alinierea optică necesară, totul în câteva milisecunde. Am realizat cadrele din magneziu - același material utilizat la mașinile de curse F1 și la navele spațiale - deoarece este ușor, dar rigid, astfel încât menține elementele optice aliniate și conduce eficient căldura.

Încălzire și răcire

Odată ce am spart afișajul (fără a face un joc de cuvinte) și am depășit problemele de fizică, a trebuit să facem față provocării reprezentate de calculul foarte puternic, alături de consumul foarte redus de energie și de nevoia de disipare a căldurii. Spre deosebire de căștile MR de astăzi, nu poți introduce un ventilator într-o pereche de ochelari. Așa că a trebuit să fim creativi. Multe dintre materialele utilizate pentru răcirea Orion sunt similare cu cele folosite de NASA pentru răcirea sateliților din spațiu.

Am construit siliciu personalizat extrem de specializat care este extrem de eficient din punct de vedere energetic și optimizat pentru algoritmii noștri de inteligență artificială, percepție artificială și grafică. Am construit mai multe cipuri personalizate și zeci de blocuri IP de siliciu foarte personalizate în interiorul acestor cipuri. Acest lucru ne permite să luăm algoritmii necesari pentru urmărirea mâinii și a ochilor, precum și tehnologia de localizare și cartografiere simultană (SLAM), care în mod normal necesită sute de miliwați de putere - și astfel generează o cantitate corespunzătoare de căldură - și să o reducem la doar câteva zeci de miliwați.

Și da, siliciul personalizat continuă să joace un rol esențial în dezvoltarea produselor la Reality Labs, în ciuda a ceea ce ați putut citi în altă parte. 😎

EMG fără efort

Fiecare nouă platformă de calcul aduce cu sine o schimbare de paradigmă în modul în care interacționăm cu dispozitivele noastre. Inventarea mouse-ului a contribuit la deschiderea drumului pentru interfețele grafice cu utilizatorul (GUI) care domină lumea noastră de astăzi, iar smartphone-urile nu au început să câștige cu adevărat teren până la apariția ecranului tactil. Aceeași regulă este valabilă și pentru dispozitivele portabile.

Am vorbit despre munca noastră cu electromiografie, sau EMG, timp de ani de zile, motivat de convingerea noastră că introducerea datelor pentru ochelarii AR trebuie să fie rapidă, convenabilă, fiabilă, subtilă și acceptabilă din punct de vedere social. Iar acum, această muncă este pregătită pentru prime time.

Sistemul de intrare și interacțiune Orion combină perfect vocea, privirea și urmărirea mâinii cu o brățară EMG care vă permite să glisați, să faceți clic și să derulați cu ușurință.

Funcționează și se simte ca prin magie. Imaginați-vă făcând o fotografie în timpul alergării de dimineață cu o simplă atingere a vârfurilor degetelor sau navigând prin meniuri cu mișcări abia perceptibile ale mâinilor. Brățara noastră combină un material textil de înaltă performanță cu senzori EMG încorporați pentru a detecta semnalele electrice generate chiar și de cele mai mici mișcări musculare. Un procesor ML de pe dispozitiv interpretează apoi aceste semnale EMG pentru a produce evenimente de intrare care sunt transmise fără fir către ochelari. Sistemul se adaptează la dumneavoastră, astfel încât devine din ce în ce mai bun și mai capabil să recunoască cele mai subtile gesturi în timp. Și astăzi, vă împărtășim mai multe despre sprijinul nostru pentru cercetarea externă axată pe extinderea potențialului de echitate și accesibilitate al brățărilor EMG.

Faceți cunoștință cu Wireless Compute Puck

Ochelarii cu adevărat AR trebuie să fie wireless și, de asemenea, mici.Așa că am construit un puc de calcul fără fir pentru Orion. Acesta preia o parte din sarcina ochelarilor, permițând o durată de viață mai lungă a bateriei și un factor de formă mai bun, cu latență scăzută.

Ochelarii rulează toți algoritmii de urmărire a mâinii, urmărire a ochilor, SLAM și grafica specializată de blocare a lumii AR, în timp ce logica aplicației rulează pe puc pentru a păstra ochelarii cât mai ușori și mai compacți posibil.

Pucul are procesoare duble, inclusiv unul proiectat la comandă chiar aici, la Meta, și oferă puterea de calcul necesară pentru redarea grafică cu latență redusă, inteligență artificială și unele percepții suplimentare ale mașinii.

Și pentru că este mic și elegant, puteți arunca cu ușurință pucul într-o geantă sau în buzunar și să vă vedeți de treabă, fără obligații.

Experiențe AR

Bineînțeles, ca orice piesă hardware, este la fel de bună ca lucrurile pe care le puteți faceți cu el. Și, deși suntem încă la început, experiențele oferite de Orion sunt o idee interesantă a ceea ce va urma.

https://youtube.com/watch?v=HkdSv3QPhNw%3F%26controls%3D0%3Fautoplay%3D0%26color%3Dwhite%26cc_lang_pref%3Den%26cc_load_policy%3D0%26enablejsapi%3D1%26frameborder%3D0%26hl%3Den%26rel%3D0%26origin%3Dhttps%253A%252F%252Fwww.meta.com

Avem asistentul nostru inteligent, Meta AI, care rulează pe Orion. Acesta înțelege la ce vă uitați în lumea fizică și vă poate ajuta cu vizualizări utile. Orion utilizează același model Llama care alimentează astăzi experiențele AI care rulează pe ochelarii inteligenți Ray-Ban Meta, plus modele de cercetare personalizate pentru a demonstra potențialele cazuri de utilizare pentru dezvoltarea viitoare a dispozitivelor portabile.

Puteți efectua un apel video hands-free în timpul deplasării pentru a vă pune la curent cu prietenii și familia în timp real și puteți rămâne conectat pe WhatsApp și Messenger pentru a vizualiza și trimite mesaje. Nu trebuie să scoateți telefonul, să îl deblocați, să găsiți aplicația potrivită și să îi spuneți prietenului dvs. că întârziați la cină - puteți face toate acestea prin intermediul ochelarilor dvs.

https://youtube.com/watch?v=el7lUVvu8Bo%3F%26controls%3D0%3Fautoplay%3D0%26color%3Dwhite%26cc_lang_pref%3Den%26cc_load_policy%3D0%26enablejsapi%3D1%26frameborder%3D0%26hl%3Den%26rel%3D0%26origin%3Dhttps%253A%252F%252Fwww.meta.com

Puteți juca jocuri AR partajate cu familia din cealaltă parte a țării sau cu prietenul dvs. de pe cealaltă parte a canapelei. Iar ecranul mare al Orion vă permite să efectuați mai multe activități în același timp, cu mai multe ferestre, pentru a face lucruri fără a fi nevoit să vă plimbați cu laptopul.

Experiențele disponibile astăzi pe Orion vor ajuta la trasarea foii de parcurs pentru linia noastră de ochelari AR pentru consumatori în viitor. Echipele noastre vor continua să itereze și să construiască noi experiențe sociale imersive, alături de partenerii noștri dezvoltatori, și abia așteptăm să împărtășim ce urmează.

Un prototip de produs cu scop precis

Deși Orion nu va ajunge în mâinile consumatorilor, nu faceți nicio greșeală: Aceasta este nu un prototip de cercetare. Este cel mai rafinat prototip de produs pe care l-am dezvoltat vreodată și este cu adevărat reprezentativ pentru ceva care ar putea livrați consumatorilor. În loc să ne grăbim să îl punem pe rafturi, am decis să ne concentrăm mai întâi pe dezvoltarea internă, ceea ce înseamnă că putem continua să construim rapid și să depășim limitele tehnologiei și ale experiențelor.

Și asta înseamnă că vom ajunge mai repede la un produs de consum și mai bun.

Ce urmează

Două obstacole majore au stat mult timp în calea ochelarilor AR de larg consum: progresele tehnologice necesare pentru a oferi un ecran mare într-un format compact de ochelari și necesitatea unor experiențe AR utile și convingătoare care să poată rula pe acești ochelari. Orion reprezintă o piatră de hotar uriașă, oferind pentru prima dată adevărate experiențe AR care rulează pe un hardware rezonabil de elegant.

Acum că am împărtășit Orion cu lumea, ne concentrăm pe câteva lucruri:

  • Reglarea calității afișajului AR pentru a face imaginile și mai clare
  • Optimizarea ori de câte ori putem pentru a face factorul de formă și mai mic
  • Construirea la scară largă pentru a le face mai accesibile

În următorii câțiva ani, vă puteți aștepta să vedeți noi dispozitive de la noi care se bazează pe eforturile noastre de cercetare și dezvoltare. Și o serie de inovații Orion au fost extinse la produsele noastre de consum actuale, precum și la foaia de parcurs a produselor noastre viitoare. Am optimizat unii dintre algoritmii noștri de percepție spațială, care rulează atât pe Meta Quest 3S și Orion. În timp ce sistemul de intrare prin privire și gesturi subtile a fost proiectat inițial pentru Orion, intenționăm să îl folosim și în produsele viitoare. De asemenea, explorăm utilizarea brățărilor EMG în viitoarele produse de consum.

Orion nu este doar o fereastră spre viitor - este o privire asupra posibilităților foarte reale pe care le avem la îndemână astăzi. L-am construit în căutarea a ceea ce facem cel mai bine: să ajutăm oamenii să se conecteze. De la ochelarii Ray-Ban Meta la Orion, am văzut binele care poate veni din faptul că oamenii pot fi mai prezenți și mai puternici în lumea fizică, chiar și în timp ce beneficiază de toată bogăția adăugată pe care o oferă lumea digitală.

Credem că nu ar trebui să trebuiască să alegeți între cele două. Iar cu următoarea platformă de calcul, nu va trebui să o faceți.

Pentru mai multe informații despre Orion, consultați aceste articole de blog:

Lasă un răspuns

Adresa ta de email nu va fi publicată. Câmpurile obligatorii sunt marcate cu *