TL;DR:
- Danes na Povežite, je Mark Zuckerberg predstavil Orion - naša prva očala za AR, ki so imela prej kodno ime Projekt Nazare.
- Z najboljšim vidnim poljem v panogi, leče iz silicijevega karbida, zapletenih valovodov, projektorjev uLED in drugih, je Orion naš najnaprednejši in najbolj izpopolnjen prototip izdelka do zdaj.
- Zdaj nadaljujemo z optimizacijo izdelkov in zniževanjem stroškov, da bi ustvarili razširljivo potrošniško napravo, ki bo revolucionarno spremenila način, kako ljudje komunicirajo s svetom.
"Izdelujemo očala AR."
Pet preprostih besed, povedano pred petimi leti. Z njimi smo izobesili zastavo naše vizije prihodnosti, v kateri nam ne bo več treba izbirati med svetom informacij na dosegu roke in fizičnim svetom, ki nas obdaja.
In zdaj, pet let pozneje, še pet besed, ki bodo ponovno spremenile igro:
Izdelali smo očala AR.
https://youtube.com/watch?v=2CJsnyS8u3c%3Fsi%3DTr77gOKEq3PnA7-k%26controls%3D0%3Fautoplay%3D0%26color%3Dwhite%26cc_lang_pref%3Den%26cc_load_policy%3D0%26enablejsapi%3D1%26frameborder%3D0%26hl%3Den%26rel%3D0%26origin%3Dhttps%253A%252F%252Fwww.meta.com
Naše poslanstvo v družbi Meta je preprosto: dati ljudem moč, da gradijo skupnost in zbližujejo svet. V Reality Labs pa ustvarjamo orodja, ki ljudem pomagajo, da se počutijo povezane kadar koli in kjer koli. Zato si prizadevamo ustvariti naslednjo računalniško platformo, ki bo v središče postavila ljudi, da bodo lahko v svetu bolj prisotni, povezani in opolnomočeni.
Očala Ray-Ban Meta so dokazali, da lahko ljudje prostoročno dostopajo do ključnih delov svojega digitalnega življenja iz fizičnega življenja. Pogovarjamo se lahko s pametnim pomočnikom z umetno inteligenco, se povežemo s prijatelji in zajamemo pomembne trenutke - vse to, ne da bi nam bilo treba izvleči telefon. Ta elegantna očala se brez težav vključijo v naš vsakdan, ljudje pa jih naravnost obožujejo.
Medtem ko je Ray-Ban Meta odprl povsem novo kategorijo očal brez zaslona, ki jih je nadgradila umetna inteligenca, pa industrija XR že dolgo sanja o pravih očalih AR - izdelku, ki združuje prednosti velikega holografskega zaslona in prilagojene pomoči umetne inteligence v udobni, elegantni in celodnevno nosljivi obliki.
Danes pa smo te sanje približali resničnosti s predstavitvijo Orionki so po našem mnenju najnaprednejša očala AR doslej. Pravzaprav je to morda najzahtevnejša naprava potrošniške elektronike po pametnem telefonu. Orion je rezultat prebojnih izumov na praktično vseh področjih sodobnega računalništva - temelji na delo, ki smo ga v Reality Labs opravljali v zadnjem desetletju.. Opremljen je s povsem novimi tehnologijami, vključno z najnaprednejšim zaslonom AR, kar jih je bilo kdaj koli sestavljenih, in silicij po meri ki omogoča, da se zmogljiva doživetja AR izvajajo na paru očal z manjšo močjo in težo kot slušalke za magnetno resonanco.
Orionov vhodni sistem gladko združuje glas, pogled oči in sledenje rokam z Zapestnica EMG ki vam omogoča, da podrsate, kliknete in se pomikate, medtem ko je vaša roka udobno ob strani, kar vam omogoča, da ostanete prisotni v svetu in z ljudmi okoli sebe, medtem ko se ukvarjate z bogato digitalno vsebino.
Z današnjim dnem na konferenci Connect in še naprej skozi vse leto odpiramo dostop do prototipa izdelka Orion za zaposlene v podjetju Meta in izbrano zunanje občinstvo, da se lahko naša razvojna ekipa uči, izboljšuje in gradi na liniji izdelkov AR očal za potrošnike, ki jih nameravamo začeti dobavljati v bližnji prihodnosti.
Zakaj očala AR?
Obstajajo trije glavni razlogi, zakaj so očala AR ključna za sprostitev naslednjega velikega preskoka na področju računalništva, usmerjenega v človeka.
- Omogočajo digitalne izkušnje, ki jih ne omejujejo omejitve zaslona pametnega telefona. Z velikimi holografskimi zasloni lahko fizični svet uporabljate kot platno in 2D- in 3D-vsebine ter doživetja postavite kamor koli želite.
- V njih je brezhibno vključena kontekstualna umetna inteligenca, ki zaznava in razume svet okoli vas ter tako predvideva in proaktivno obravnava vaše potrebe.
- So lahki in primerni za uporabo tako v zaprtih prostorih kot na prostem, poleg tega pa omogočajo, da ljudje vidijo pravi obraz, prave oči in prave izraze drug drugega.
To je severna zvezda, h kateri je naša industrija stremela: izdelek, ki združuje priročnost in neposrednost nosljivih naprav z velikim zaslonom, vnosom visoke pasovne širine in kontekstualizirano umetno inteligenco v obliki, ki jo ljudje z veseljem nosijo v vsakdanjem življenju.
Kompaktna oblika, zapleteni izzivi
Že leta se soočamo z napačno izbiro - ali slušalke za navidezno in mešano resničnost, ki omogočajo globoke in potopitvene izkušnje v okorni obliki, ali očala, ki so idealna za celodnevno uporabo, vendar zaradi pomanjkanja velikega zaslona in ustrezne računske moči ne ponujajo bogatih vizualnih aplikacij in izkušenj.
Vendar želimo vse, brez kompromisov. Že več let se trudimo, da bi neverjetne prostorske izkušnje, ki jih omogočajo slušalke za navidezno resničnost in magnetno resonanco, prenesli v par lahkih in elegantnih očal ter miniaturizirali tehnologijo, ki je potrebna za zagotavljanje teh izkušenj. Ujemanje oblike, zagotavljanje holografskih zaslonov, razvijanje prepričljivih izkušenj AR in ustvarjanje novih paradigem interakcije med človekom in računalnikom (HCI) - in vse to v enem celovitem izdelku - je eden najtežjih izzivov, s katerimi se je naša industrija kdajkoli soočila. Bil je tako zahteven, da smo menili, da imamo manj kot 10 odstotkov možnosti, da ga uspešno izpeljemo.
Do zdaj.
Prelomni zaslon v neprekosljivem ohišju
Orion ima s približno 70 stopinjami največje vidno polje v najmanjši obliki očal AR doslej. To vidno polje omogoča za Orion resnično potopitvene primere uporabe, od večopravilnih oken in zabave na velikem zaslonu do hologramov ljudi v naravni velikosti - vse digitalne vsebine, ki se lahko brez težav zlijejo z vašim pogledom na fizični svet.
Za Orion je bilo vidno polje naš sveti gral. Pri tem smo trčili ob zakone fizike in morali smo upogibati svetlobne žarke na načine, ki niso naravni, in to smo morali narediti v okviru moči, ki se meri v milivatih.
Namesto stekla, leče smo izdelali iz silicijevega karbida-nova aplikacija za očala AR. Silicijev karbid je izjemno lahek, ne povzroča optičnih artefaktov in razpršene svetlobe ter ima visok lomni količnik - vse optične lastnosti, ki so ključne za veliko vidno polje. Sami valovodi imajo zelo zapletene in kompleksne 3D strukture v nanometrskem merilu, ki razpršijo ali razpršijo svetlobo na načine, ki so potrebni za doseganje tega vidnega polja. Projektorji pa so uLED - nova vrsta zaslonske tehnologije, ki je zelo majhna in izjemno energetsko učinkovita.
Orion je tako po videzu kot po otipu nedvomno par očal - s prozornimi lečami. Za razliko od slušalk MR ali drugih očal AR lahko še vedno vidite resnične oči in izraze drugih, zato ste lahko prisotni in izkušnjo delite z ljudmi okoli sebe. Da bi industrijsko zasnovo približali sodobni obliki očal, ki bi jo lahko udobno nosili vsak dan, je bilo potrebnih na desetine inovacij. Orion je dosežek miniaturizacije - komponente so zapakirane do delčka milimetra. V obrobe okvirja nam je uspelo vgraditi sedem majhnih kamer in senzorjev.
Optično natančnost smo morali ohraniti na eni desetini debeline človeškega lasa. Sistem lahko zazna drobne premike, kot je širjenje ali krčenje okvirjev pri različnih temperaturah v prostoru, in nato digitalno popravi potrebno optično poravnavo, vse v milisekundah. Okvirje smo izdelali iz magnezija - istega materiala, ki se uporablja v dirkalnih avtomobilih F1 in vesoljskih plovilih -, ker je lahek, a tog, zato ohranja optične elemente v ravnovesju in učinkovito odvaja toploto.
Ogrevanje in hlajenje
Ko smo razvozlali zaslon (brez besedne igre) in premagali fizikalne težave, smo se morali spopasti z izzivom res zmogljivega računanja ob res nizki porabi energije in potrebi po odvajanju toplote. V nasprotju z današnjimi naglavnimi slušalkami za magnetno resonanco v očala ne morete vstaviti ventilatorja. Zato smo morali biti ustvarjalni. Veliko materialov, uporabljenih za hlajenje Oriona, je podobnih tistim, ki jih NASA uporablja za hlajenje satelitov v vesolju.
Zgradili smo visoko specializiran silicij po meri ki je izjemno energetsko učinkovit in optimiziran za našo umetno inteligenco, strojno zaznavanje in grafične algoritme. Izdelali smo več čipov po meri in na desetine zelo prilagojenih silicijevih blokov IP znotraj teh čipov. To nam omogoča, da algoritme, potrebne za sledenje rokam in očem ter tehnologijo za hkratno lokalizacijo in kartiranje (SLAM), ki običajno porabijo na stotine milivatov energije in s tem ustvarjajo ustrezno količino toplote, zmanjšamo na le nekaj deset milivatov.
In da, kljub temu, da ste morda prebrali kje drugje, ima silicij po meri pri razvoju izdelkov v podjetju Reality Labs še vedno ključno vlogo. 😎
EMG brez težav
Vsaka nova računalniška platforma prinaša sprememba paradigme v načinu interakcije z napravami. Izum miške je pomagal utreti pot grafičnim uporabniškim vmesnikom (GUI), ki danes prevladujejo v našem svetu, pametni telefoni pa so se začeli uveljavljati šele s pojavom zaslona na dotik. Enako pravilo velja za nosljive naprave.
Govorili smo o našem delu z elektromiografija ali EMG, že več let, saj smo prepričani, da mora biti vnos za očala AR hiter, priročen, zanesljiv, subtilen in družbeno sprejemljiv. In zdaj je to delo pripravljeno za najboljši čas.
Orionov sistem za vnos in interakcijo brezhibno združuje glas, pogled oči in sledenje roke z zapestnico EMG, ki omogoča enostavno podrsavanje, klikanje in pomikanje.
Deluje in deluje kot čarovnija. Predstavljajte si, da na jutranjem teku posnamete fotografijo s preprostim dotikom konic prstov ali se po menijih premikate s komaj zaznavnimi gibi rok. Naša zapestnica združuje visoko zmogljiv tekstil z vgrajenimi senzorji EMG za zaznavanje električnih signalov, ki jih ustvarjajo tudi najmanjši gibi mišic. Procesor ML v napravi nato interpretira te signale EMG in ustvari vhodne dogodke, ki se brezžično prenesejo v očala. Sistem se prilagaja vam, tako da sčasoma vedno bolje prepoznava tudi najneznatnejše geste. Danes pa vam predstavljamo našo podporo zunanjim raziskavam, ki se osredotočajo na razširitev možnosti enakosti in dostopnosti zapestnic EMG.
Spoznajte brezžični računalniški priključek
Prava očala AR morajo biti brezžična in majhna.Zato smo zgradili brezžična računska ploščica za Orion. Očala so tako nekoliko razbremenjena, kar omogoča daljšo življenjsko dobo baterije in boljšo obliko z nizko zakasnitvijo.
V očalih se izvajajo vsi algoritmi za sledenje rokam, sledenje očem, SLAM in specializirani grafični algoritmi za zaklepanje sveta AR, medtem ko se logika aplikacije izvaja na ploščku, da so očala čim lažja in kompaktnejša.
Puk ima dva procesorja, vključno z enim, ki je bil po meri zasnovan tukaj v podjetju Meta, in zagotavlja računsko moč, ki je potrebna za grafično upodabljanje z nizko zakasnitvijo, umetno inteligenco in nekatere dodatne strojne zaznave.
Ker je majhen in eleganten, ga lahko udobno pospravite v torbo ali žep in se odpravite na delo - brez kakršnih koli težav.
Izkušnje AR
Seveda je tako kot vsaka strojna oprema tudi ta dobra le toliko, kolikor lahko z njo narediti z njim. In čeprav je še zgodaj, so izkušnje, ki jih omogoča Orion, vznemirljiv vpogled v to, kar se bo zgodilo.
https://youtube.com/watch?v=HkdSv3QPhNw%3F%26controls%3D0%3Fautoplay%3D0%26color%3Dwhite%26cc_lang_pref%3Den%26cc_load_policy%3D0%26enablejsapi%3D1%26frameborder%3D0%26hl%3Den%26rel%3D0%26origin%3Dhttps%253A%252F%252Fwww.meta.com
Imamo pametnega pomočnika, Meta AI, ki deluje v sistemu Orion. Razume, kaj gledate v fizičnem svetu, in vam lahko pomaga z uporabnimi vizualizacijami. Orion uporablja isti model Llama, ki poganja izkušnje umetne inteligence, ki danes tečejo na pametnih očalih Ray-Ban Meta, ter prilagojene raziskovalne modele za prikaz možnih primerov uporabe za prihodnji razvoj nosljivih naprav.
Na poti lahko opravite videoklic brez uporabe rok in se v realnem času pogovarjate s prijatelji in družino ter ostanete povezani v aplikacijah WhatsApp in Messenger, kjer lahko pregledujete in pošiljate sporočila. Ni vam treba izvleči telefona, ga odkleniti, poiskati prave aplikacije in sporočiti prijatelju, da zamujate na večerjo - vse to lahko storite prek očal.
https://youtube.com/watch?v=el7lUVvu8Bo%3F%26controls%3D0%3Fautoplay%3D0%26color%3Dwhite%26cc_lang_pref%3Den%26cc_load_policy%3D0%26enablejsapi%3D1%26frameborder%3D0%26hl%3Den%26rel%3D0%26origin%3Dhttps%253A%252F%252Fwww.meta.com
Igre AR lahko igrate v skupni rabi z družino na drugem koncu države ali s prijateljem na drugi strani kavča. Orionov velik zaslon vam omogoča večopravilnost z več okni, tako da lahko opravljate stvari, ne da bi morali s seboj nositi prenosni računalnik.
Izkušnje, ki so danes na voljo na Orionu, bodo pomagale začrtati načrt za našo linijo očal AR za potrošnike v prihodnosti. Naše ekipe bodo skupaj s partnerji razvijalci še naprej izpopolnjevale in ustvarjale nove potopitvene družbene izkušnje, zato komaj čakamo, da z vami delimo, kaj bo sledilo.
Namenski prototip izdelka
Čeprav Orion ne bo prišel v roke potrošnikov, se ne smete zmotiti: To je ne raziskovalni prototip. To je najbolj izpopolnjen prototip izdelka, kar smo jih kdajkoli razvili - in je resnično predstavnik nečesa, kar lahko pošiljanje potrošnikom. Namesto da bi hiteli z dajanjem na prodajne police, smo se odločili, da se najprej osredotočimo na notranji razvoj, kar pomeni, da lahko hitro gradimo in še naprej premikamo meje tehnologije in izkušenj.
To pomeni, da bomo hitreje prišli do še boljšega potrošniškega izdelka.
Kaj sledi
Na poti do očal AR za široko potrošnjo sta že dolgo dve glavni oviri: tehnološki preboj, ki je potreben za zagotovitev velikega zaslona v kompaktni obliki očal, ter potreba po uporabnih in privlačnih izkušnjah AR, ki jih je mogoče zagnati na teh očalih. Orion je velik mejnik, saj prvič zagotavlja prave izkušnje AR, ki se izvajajo na razumno elegantni strojni opremi.
Zdaj, ko smo Orion predstavili svetu, se osredotočamo na nekaj stvari:
- prilagajanje kakovosti zaslona AR za še bolj ostre slike
- Optimiziramo vse, kar je mogoče, da bi še zmanjšali velikost ohišja
- Gradnja v večjem obsegu, da bodo cenovno dostopnejše.
V naslednjih nekaj letih lahko pričakujete nove naprave, ki bodo temeljile na naših prizadevanjih na področju raziskav in razvoja. Številne Orionove inovacije so danes razširjene na naše trenutne potrošniške izdelke in tudi na naš načrt prihodnjih izdelkov. Optimizirali smo nekatere naše algoritme za prostorsko zaznavanje, ki delujejo tako na Meta Quest 3S in Orion. Čeprav je bil sistem za pogled v oči in subtilno gestikulacijo prvotno zasnovan za Orion, ga nameravamo uporabljati tudi v prihodnjih izdelkih. Raziskujemo tudi uporabo zapestnic EMG v prihodnjih potrošniških izdelkih.
Orion ni le okno v prihodnost - je pogled na zelo realne možnosti, ki so dosegljive že danes. Ustvarili smo ga v prizadevanju za to, kar znamo najbolje: pomagati ljudem, da se povežejo. Od očal Ray-Ban Meta do Oriona - videli smo, kako dobro je, če ljudem omogočimo, da ostanejo bolj prisotni in opolnomočeni v fizičnem svetu, čeprav se hkrati poslužujejo vsega dodatnega bogastva, ki ga ponuja digitalni svet.
Menimo, da vam ne bi smelo biti treba izbirati med njima. Z naslednjo računalniško platformo vam tega ne bo treba storiti.
Če želite več informacij o Orionu, si oglejte te objave na blogu:
