TL;DR:
- Danas u Poveži seMark Zuckerberg predstavio je Orion - naš prvi par pravih AR naočala, prethodno kodnog naziva Projekt Nazare.
- S vodećim vidnim poljem u industriji, silicij-karbidne leće, zamršene valovode, uLED projektore i još mnogo toga, Orion je naš najnapredniji i najdovršeniji prototip proizvoda do sada.
- Sada nastavljamo s optimizacijama proizvoda i snižavanjem troškova dok se krećemo prema skalabilnom potrošačkom uređaju koji će revolucionirati način na koji ljudi komuniciraju sa svijetom.
„Izrađujemo AR naočale.“
Pet jednostavnih riječi, izgovoreno prije pet godinaS njima smo postavili zastavu na našu viziju budućnosti u kojoj više ne moramo praviti lažni izbor između svijeta informacija na dohvat ruke i fizičkog svijeta oko nas.
A sada, pet godina kasnije, još pet riječi koje će ponovno promijeniti pravila igre:
Izradili smo AR naočale.
https://youtube.com/watch?v=2CJsnyS8u3c%3Fsi%3DTr77gOKEq3PnA7-k%26controls%3D0%3Fautoplay%3D0%26color%3Dwhite%26cc_lang_pref%3Den%26cc_load_policy%3D0%26enablejsapi%3D1%26frameborder%3D0%26hl%3Den%26rel%3D0%26origin%3Dhttps%253A%252F%252Fwww.meta.com
U Meti, naša misija je jednostavna: dati ljudima moć da izgrade zajednicu i zbliže svijet. A u Reality Labsu gradimo alate koji pomažu ljudima da se osjećaju povezanima bilo kada i bilo gdje. Zato radimo na izgradnji sljedeće računalne platforme koja ljude stavlja u središte kako bi mogli biti prisutniji, povezaniji i osnaženiji u svijetu.
Ray-Ban Meta naočale pokazali su moć pružanja ljudima pristupa ključnim dijelovima njihovog digitalnog života bez upotrebe ruku iz njihovog fizičkog života. Možemo razgovarati s pametnim AI asistentom, povezati se s prijateljima i zabilježiti trenutke koji su važni - sve to bez potrebe da ikada izvadimo telefon. Ove elegantne naočale besprijekorno se uklapaju u naš svakodnevni život i ljudi ih apsolutno obožavaju.
Iako je Ray-Ban Meta otvorio potpuno novu kategoriju naočala bez zaslona, napunjenih umjetnom inteligencijom, XR industrija već dugo sanja o pravim AR naočalama - proizvodu koji kombinira prednosti velikog holografskog zaslona i personalizirane umjetne inteligencije u udobnom, elegantnom i cjelodnevno nosivom obliku.
A danas smo taj san približili stvarnosti otkrivanjem Orion, za koje vjerujemo da su najnapredniji AR naočale ikad napravljene. Zapravo, to bi mogao biti najizazovniji uređaj potrošačke elektronike proizveden od pametnih telefona. Orion je rezultat revolucionarnih izuma u gotovo svakom području modernog računarstva - nadograđujući se na posao koji radimo u Reality Labsu posljednjih deset godinaPrepun je potpuno novih tehnologija, uključujući najnapredniji AR zaslon ikad sastavljen i prilagođeni silikon koji omogućuje snažna AR iskustva na naočalama koristeći djelić snage i težine MR slušalica.
Orionov sustav unosa besprijekorno kombinira glas, pogled i praćenje ruke s... EMG narukvica koji vam omogućuje prevlačenje, klikanje i pomicanje dok vam ruka udobno leži uz tijelo, omogućujući vam da ostanete prisutni u svijetu i s ljudima oko sebe dok komunicirate s bogatim digitalnim sadržajem.
Počevši od danas u Connectu, pa sve do kraja godine, otvaramo pristup prototipu našeg Orion proizvoda za zaposlenike tvrtke Meta i odabranu vanjsku publiku kako bi naš razvojni tim mogao učiti, unapređivati i graditi prema našoj liniji proizvoda za AR naočale za široku potrošnju, koju planiramo početi isporučivati u bliskoj budućnosti.
Zašto AR naočale?
Postoje tri glavna razloga zašto su AR naočale ključne za otključavanje sljedećeg velikog skoka u računarstvu orijentiranom na ljude.
- Omogućuju digitalna iskustva koja nisu ograničena ograničenjima zaslona pametnog telefona. S velikim holografskim zaslonima možete koristiti fizički svijet kao svoje platno, postavljajući 2D i 3D sadržaj i iskustva gdje god želite.
- Besprijekorno integriraju kontekstualnu umjetnu inteligenciju koja može osjetiti i razumjeti svijet oko vas kako bi predvidjela i proaktivno odgovorila na vaše potrebe.
- Lagane su i izvrsne za unutarnju i vanjsku upotrebu - i omogućuju ljudima da vide pravo lice, prave oči i prave izraze lica.
To je zvijezda sjevernjača prema kojoj je naša industrija gradila: proizvod koji kombinira praktičnost i neposrednost nosivih uređaja s velikim zaslonom, brzim ulazom i kontekstualiziranom umjetnom inteligencijom u obliku koji ljudi osjećaju ugodno noseći u svakodnevnom životu.
Kompaktni oblik, složeni izazovi
Godinama smo se suočavali s lažnim izborom - ili slušalice za virtualnu i miješanu stvarnost koje omogućuju duboka, impresivna iskustva u glomaznom obliku ili naočale koje su idealne za cjelodnevnu upotrebu, ali ne nude bogate vizualne aplikacije i iskustva s obzirom na nedostatak velikog zaslona i odgovarajuće računalne snage.
Ali mi želimo sve, bez kompromisa. Godinama smo naporno radili na tome da nevjerojatna prostorna iskustva koja pružaju VR i MR naočale pretvorimo u minijaturiziranu tehnologiju potrebnu za isporuku tih iskustava u lagane, elegantne naočale. Savršeno oblikovanje, isporuka holografskih zaslona, razvoj uvjerljivih AR iskustava i stvaranje novih paradigmi interakcije čovjeka i računala (HCI) - i sve to u jednom kohezivnom proizvodu - jedan je od najtežih izazova s kojima se naša industrija ikada suočila. Bilo je toliko izazovno da smo mislili da imamo manje od 10 posto šanse da to uspješno izvedemo.
Do sada.
Revolucionarni zaslon u neusporedivom formatu
S otprilike 70 stupnjeva, Orion ima najveće vidno polje u najmanjem formatu AR naočala do danas. To vidno polje otključava uistinu impresivne slučajeve upotrebe za Orion, od prozora za više zadataka istovremeno i zabave na velikom zaslonu do holograma ljudi u prirodnoj veličini - sav digitalni sadržaj koji se može besprijekorno stopiti s vašim pogledom na fizički svijet.
Za Orion, vidno polje bilo je naš sveti gral. Suočavali smo se sa zakonima fizike i morali smo savijati snopove svjetlosti na načine na koje se oni prirodno ne savijaju - i to smo morali učiniti u energetskoj ovojnici mjerenoj u milivatima.
Umjesto stakla, Leće smo napravili od silicijevog karbida—nova aplikacija za AR naočale. Silicijev karbid Nevjerojatno je lagan, ne rezultira optičkim artefaktima ili rasipnom svjetlošću i ima visoki indeks loma - sve optička svojstva koja su ključna za veliko vidno polje. Sami valovodi imaju zaista zamršene i kompleksne 3D strukture nano-razmjera za difrakciju ili širenje svjetlosti na načine potrebne za postizanje ovog vidnog polja. A projektori su uLED - nova vrsta tehnologije prikaza koja je super mala i izuzetno energetski učinkovita.
Orion su nepogrešivo naočale, i izgledom i osjećajem - s prozirnim lećama. Za razliku od MR slušalica ili drugih AR naočala danas, i dalje možete vidjeti prave oči i izraze lica jedno drugome, tako da možete biti prisutni i podijeliti iskustvo s ljudima oko sebe. Deseci inovacija bili su potrebni kako bi se industrijski dizajn sveo na suvremeni oblik naočala koje biste mogli udobno nositi svaki dan. Orion je podvig minijaturizacije - komponente su spakirane u djelić milimetra. Uspjeli smo ugraditi sedam sićušnih kamera i senzora u okvire.
Morali smo održavati optičku preciznost na jednoj desetini debljine vlasi ljudske kose. Sustav može detektirati sitne pokrete - poput okvira koji se šire ili skupljaju na različitim sobnim temperaturama - a zatim digitalno ispraviti potrebno optičko poravnanje, sve unutar milisekundi. Okvire smo napravili od magnezija - istog materijala koji se koristi u trkaćim automobilima Formule 1 i svemirskim letjelicama - jer je lagan, a opet krut, pa održava optičke elemente u poravnanju i učinkovito odvodi toplinu.
Grijanje i hlađenje
Nakon što smo "razbili" zaslon (bez igre riječi) i prevladali fizikalne probleme, morali smo se suočiti s izazovom stvarno snažnog računalstva uz stvarno nisku potrošnju energije i potrebu za odvođenjem topline. Za razliku od današnjih MR slušalica, ne možete ugurati ventilator u naočale. Stoga smo morali biti kreativni. Mnogi materijali koji se koriste za hlađenje Oriona slični su onima koje NASA koristi za hlađenje satelita u svemiru.
Izgradili smo visoko specijalizirani prilagođeni silikon što je izuzetno energetski učinkovito i optimizirano za našu umjetnu inteligenciju, percepciju strojeva i grafičke algoritme. Izgradili smo više prilagođenih čipova i desetke visoko prilagođenih silicijskih IP blokova unutar tih čipova. To nam omogućuje da algoritme potrebne za praćenje ruku i očiju, kao i tehnologiju simultane lokalizacije i mapiranja (SLAM) koja inače troši stotine milivata energije - i stoga generira odgovarajuću količinu topline - smanjimo na samo nekoliko desetaka milivata.
I da, prilagođeni silikon i dalje igra ključnu ulogu u razvoju proizvoda u Reality Labsu, unatoč onome što ste možda negdje drugdje pročitali. 😎
EMG bez napora
Svaka nova računalna platforma sa sobom donosi promjena paradigme u načinu na koji komuniciramo s našim uređajima. Izum miša pomogao je utrti put grafičkim korisničkim sučeljima (GUI) koja danas dominiraju našim svijetom, a pametni telefoni nisu počeli dobivati na popularnosti sve do pojave zaslona osjetljivog na dodir. Isto pravilo vrijedi i za nosive uređaje.
Razgovarali smo o našem radu s elektromiografija ili EMG, godinama, vođeni našim uvjerenjem da unos za AR naočale mora biti brz, praktičan, pouzdan, suptilan i društveno prihvatljiv. A sada je taj rad spreman za veliki termin.
Orionov sustav unosa i interakcije besprijekorno kombinira glas, pogled i praćenje ruke s EMG narukvicom koja vam omogućuje jednostavno prevlačenje, klikanje i pomicanje.
Djeluje – i osjeća se – kao magija. Zamislite da snimate fotografiju tijekom jutarnjeg trčanja jednostavnim dodirom vrhova prstiju ili da se krećete kroz izbornike jedva primjetnim pokretima ruku. Naša narukvica kombinira visokoučinkovitu tekstilnu tkaninu s ugrađenim EMG senzorima za detekciju električnih signala generiranih čak i najsitnijim pokretima mišića. ML procesor na uređaju zatim interpretira te EMG signale kako bi proizveo ulazne događaje koji se bežično prenose na naočale. Sustav se prilagođava vama, pa s vremenom postaje bolji i sposobniji prepoznavati najsuptilnije geste. A danas dijelimo više o našoj podršci vanjskim istraživanjima usmjerenima na… proširenje potencijala jednakosti i dostupnosti EMG narukvica.
Upoznajte bežični računalni puck
Prave AR naočale moraju biti bežične i moraju biti male.Tako smo izgradili bežični računalni pak za OrionTo smanjuje dio opterećenja s naočala, omogućujući dulje trajanje baterije i bolji oblik uz nisku latenciju.
Naočale pokreću sve algoritme za praćenje ruku, praćenje očiju, SLAM i specijalizirane algoritme za zaključavanje AR svijeta, dok se logika aplikacije izvršava na paku kako bi naočale bile što lakše i kompaktnije.
Pak ima dva procesora, uključujući jedan posebno dizajniran ovdje u Meti, i pruža računalnu snagu potrebnu za renderiranje grafike s niskom latencijom, umjetnu inteligenciju i dodatnu strojnu percepciju.
A budući da je malen i elegantan, pak možete udobno ubaciti u torbu ili džep i obavljati svoje poslove - bez ikakvih obaveza.
AR iskustva
Naravno, kao i sa svakim hardverom, dobar je samo onoliko koliko je dobro ono što možete učiniti s tim. I premda je još rano, iskustva koja pruža Orion uzbudljiv su uvid u ono što dolazi.
https://youtube.com/watch?v=HkdSv3QPhNw%3F%26controls%3D0%3Fautoplay%3D0%26color%3Dwhite%26cc_lang_pref%3Den%26cc_load_policy%3D0%26enablejsapi%3D1%26frameborder%3D0%26hl%3Den%26rel%3D0%26origin%3Dhttps%253A%252F%252Fwww.meta.com
Imamo našeg pametnog asistenta, Meta umjetna inteligencija, koji radi na Orionu. Razumije što gledate u fizičkom svijetu i može vam pomoći s korisnim vizualizacijama. Orion koristi isti Llama model koji danas pokreće AI iskustva na pametnim naočalama Ray-Ban Meta, plus prilagođene istraživačke modele kako bi demonstrirao potencijalne slučajeve upotrebe za budući razvoj nosive elektronike.
Možete u pokretu obaviti videopoziv bez upotrebe ruku kako biste se u stvarnom vremenu čuli s prijateljima i obitelji, a možete ostati povezani putem WhatsAppa i Messengera kako biste pregledavali i slali poruke. Nema potrebe vaditi telefon, otključavati ga, tražiti pravu aplikaciju i obavještavati prijatelja da kasnite na večeru - sve to možete učiniti putem naočala.
https://youtube.com/watch?v=el7lUVvu8Bo%3F%26controls%3D0%3Fautoplay%3D0%26color%3Dwhite%26cc_lang_pref%3Den%26cc_load_policy%3D0%26enablejsapi%3D1%26frameborder%3D0%26hl%3Den%26rel%3D0%26origin%3Dhttps%253A%252F%252Fwww.meta.com
Možete igrati zajedničke AR igre s obitelji na drugom kraju zemlje ili s prijateljem na drugom kraju kauča. A Orionov veliki zaslon omogućuje vam obavljanje više zadataka istovremeno s više prozora kako biste obavili stvari bez potrebe za nošenjem prijenosnog računala.
Iskustva dostupna na Orionu danas pomoći će u definiranju plana za našu liniju AR naočala za potrošače u budućnosti. Naši će timovi nastaviti s ponavljanjem i izgradnjom novih impresivnih društvenih iskustava, zajedno s našim partnerskim razvojnim programerima, i jedva čekamo podijeliti što slijedi.
Svrhovit prototip proizvoda
Iako Orion neće doći u ruke potrošača, nemojte se zavaravati: Ovo je ne istraživački prototip. To je najdotjeraniji prototip proizvoda koji smo ikada razvili - i on je zaista reprezentativan za nešto što mogao isporučiti potrošačima. Umjesto da žurimo s stavljanjem na police, odlučili smo se prvo usredotočiti na interni razvoj, što znači da možemo brzo nastaviti graditi i pomicati granice tehnologije i iskustava.
A to znači da ćemo brže doći do još boljeg potrošačkog proizvoda.
Što slijedi
Dvije glavne prepreke dugo su stajale na putu razvoja AR naočala za široku potrošnju: tehnološki prodori potrebni za pružanje velikog zaslona u kompaktnom obliku naočala i potreba za korisnim i uvjerljivim AR iskustvima koja se mogu pokretati na tim naočalama. Orion je velika prekretnica koja prvi put pruža prava AR iskustva koja rade na razumno elegantnom hardveru.
Sada kada smo podijelili Orion sa svijetom, usredotočeni smo na nekoliko stvari:
- Podešavanje kvalitete AR prikaza kako bi vizualni prikazi bili još oštriji
- Optimiziramo gdje god možemo kako bismo oblik učinili još manjim
- Gradnja u velikim razmjerima kako bi bili pristupačniji
U sljedećih nekoliko godina možete očekivati nove uređaje koji se nadovezuju na naše istraživačko-razvojne napore. Brojne Orionove inovacije proširene su na naše trenutne potrošačke proizvode, kao i na naš budući plan razvoja proizvoda. Optimizirali smo neke od naših algoritama prostorne percepcije, koji rade na oba... Meta Quest 3S i Orion. Iako je sustav za pogled i suptilni gestikulacijski unos izvorno dizajniran za Orion, planiramo ga koristiti u budućim proizvodima. Također istražujemo upotrebu EMG narukvica u budućim potrošačkim proizvodima.
Orion nije samo prozor u budućnost - to je pogled na vrlo stvarne mogućnosti koje su nam danas dostupne. Izgradili smo ga u našoj težnji za onim što najbolje radimo: pomaganjem ljudima da se povežu. Od Ray-Ban Meta naočala do Oriona, vidjeli smo dobrobit koju može proizaći iz toga što ljudima omogućujemo da ostanu prisutniji i osnaženiji u fizičkom svijetu, čak i dok koriste sva dodatna bogatstva koja digitalni svijet nudi.
Vjerujemo da ne biste trebali birati između njih dvoje. A sa sljedećom računalnom platformom, nećete morati.
Za više informacija o Orionu, pogledajte ove objave na blogu:
