2017. aastal oli Reality Labs juhtivteadur Michael Abrash, mida toetas Meta asutaja ja tegevjuht Mark Zuckerberg, asutas uue, salajase meeskonna tollase Oculus Researchi raames, et luua järgmise arvutiplatvormi alus. Nende kangelaslik ülesanne: Luua kohandatud ränilahendus, mis toetaks tulevaste arvutite unikaalseid nõudmisi. liitreaalsuse prillid-tehniline saavutus, mis nõudis iga komponendi ümberkujundamist kogu päeva kantava toote jaoks. AR prillid vormifaktor, mida lihtsalt ei olnud veel olemas.

Orion AR-prillide prototüübi esiotsanurk.

Kompaktne vormifaktor, märkimisväärne probleemiruum

Mõnest teadlasest sadade inimesteni tootepoolel kasvanud kohandatud räni meeskond loodi lähtuvalt eeldusest, et AR-prillid ei saa tugineda tänastes nutitelefonides olemasolevale ränile. Ja seda eeldust kinnitavad mitmed kohandatud kiibid, mis on sees. Orion, meie esimene tõeline AR-prillide toote prototüüp.

"Laeva ehitamine sadamast väljumise ajal - see oli täpselt see, mida me tegime," ütleb kõrgtehnoloogiate strateegiadirektor Jeremy Snodgrass. "Me pidime oma tagasihoidlikku meeskonda suurendama ja samal ajal neid kiipe ehitama. Oli põnev näha, kuidas juhtkond tõi uusi töötajaid pardale, arendades samal ajal kultuuri, mis väärtustab paindlikkust. Mitte miski ei olnud kellegi teise probleem. Sa võtsid sõru kätte ja hakkasid sõudma, isegi kui see ei olnud täpselt see, milleks sind palgati. See oli väga, väga põnev aeg."

"Peaaegu kõik Orionis oli paljuski uus," nõustub Display Architecture'i tehniline direktor Mike Yee. "Mõned ideed olid juba olemas, kuid keegi ei olnud võtnud ette uurimisprojekti, et ehitada tegelikult kogu päeva kantavad AR-prillid."

Meeskond pidi pakkuma veenvat AR-kogemust võimalikult vähese energiatarbimisega. Prillide vormifaktor suudab hajutada vaid teatud hulga soojust ja mahutab vaid teatud koguse akut. Selle tulemusena sõltuvad prillidega pakutavad kogemused täielikult ränist. Teisisõnu, kui hoida soojus- ja aku mahtu konstantsena, on ainus võimalus pakkuda konkreetset kogemust räni optimeerimine.

"Orioni uue arhitektuuri väljatöötamine nõudis meeskonnalt mitte ainult olemasolevate tehnoloogiate, nagu traadita side ja kuvarid, agressiivset kasutamist, vaid ka uute tehnoloogiate riskide võtmist," ütleb tootejuhtimise direktor Neeraj Choubey. "Näiteks töötas meeskond välja masinõppe (ML) kiirendi, millel polnud sel ajal selget kasutusala, lähtudes kindlast veendumusest, et ML muutub Meta toodetes üha olulisemaks. Orionis kasutatakse kõiki ML-kiirendeid ja mõnel juhul on need ülekoormatud, teenindades selliseid funktsioone nagu silmade jälgimine ja käe jälgimine. Samamoodi töötas meeskond välja kohandatud pakkimisprotokollid, et vähendada ribalaiust ja energiatarbimist, kui andmed liikusid arvutada puck ekraanile. Orioni vormifaktori eesmärkide saavutamiseks kohandatud räni väljatöötamine nõudis nii suure mitmetähenduslikkuse taluvust kui ka hoolikat tähelepanu detailidele, et saavutada uskumatult keeruline süsteemiarhitektuur."

"Meie suurim väljakutse oli 3D-maailmaga lukustatud renderdatud graafika ja ruumilise heli esitamine, mis on renderdatud nii, et see näib lähtuvat virtuaalsest objektist," märgib Snodgrass. "Me pidime mahutama kogu selle elektroonika soojusmahutavuse ja füüsilise ruumi sisse ning seejärel ajama seda aku abil, et see ei läheks liiga kuumaks. Ja me pidime seda kõike tegema tegelikus prillide vormifaktoris - mitte suures visiiris, mida tavaliselt näeb selles kategoorias."

"Me teadsime, kuidas pakkuda vajalikku arvutusvõimsust, et viia ellu meie nägemus Orionist, kuid meil oli ees hirmutav ülesanne: vähendada energiatarbimist 100 korda," ütleb SoC-lahenduste direktor Robert Shearer. "See nõudis meilt ränidisaini piiride avardamist, võttes kasutusele metoodikaid tööstuse erinevatest nurkadest - alates asjade internetist kuni suure jõudlusega arvutamiseni - ja leiutades uusi lähenemisviise, et ületada lüngad. Meie tööstuspartnerid pidasid meid hulluks ja võib-olla nad ei eksinudki täielikult. Kuid just seda oli vaja: valmisolekut seada kahtluse alla tavapärane tarkus ja mõelda kõik ümber. Virtuaalset ja füüsilist maailma sujuvalt ühendava arvuti ehitamine nõuab põhjalikku arusaamist kontekstist, mis ületab kaugelt seda, mida olemasolevad arvutiplatvormid suudavad pakkuda. Sisuliselt leiutasime uuesti selle, kuidas arvutid inimestega suhtlevad, mis tähendas, et me mõtlesime ümber, kuidas me silikooni algusest peale ehitame."

Orioni väliskomponendid.

MicroLEDide maagia

Oli hetki, mil asjad jäid ajakavast maha või tekkis ületamatuna näiv tehniline probleem, mil oli raske säilitada hoogu ja moraali. Kuid meeskond oli vastupidav, leides võimalusi takistuste vältimiseks - või lihtsalt lükkas need ümber.

Võtame näiteks Orioni ekraani. Silikoonimeeskond vastutas räni eest prillide nurkades asuva kuvariprojektori räni eest.

"Nende projektorite puhul oli lahtine küsimus, kas me saame mikroLED-lampe piisavalt suure tõhususe ja heledusega massiivi, et kasutada laia vaateväljaga ekraani," ütleb Snodgrass. "Oli suur kahtlus, kas me suudame seda teha - et see on võimalik selle aja jooksul, mida me kaalusime -, sest see oli väga uus tehnoloogia."

"Me mõistsime väga varakult, et peame ümber mõtlema paljud tootearenduse paradigmad," lisab Yee. "Valguse hulk, mida on vaja kasutatava ekraani loomiseks, on AR-prillide puhul üsna palju heledam, sest kantava ekraanina konkureerid sa päikesega. Seega vajame energiataset, mis konkureerib sellega - või vähemalt see on eesmärk. Me ei ole veel päris valmis, kuid see on suur osa sellest. Ja see tähendab, et ekraanile on vaja valgusallikaid, mis suudavad seda teha, ja te vajate vooluahelaid, mis suudavad seda kontrollida. Ja samal ajal on vaja teha see tillukeseks."

Orioni µLEDide juhtimiseks kasutatav kohandatud räni.

Kuigi mikroLEDid tundusid projektorite jaoks kõige sobivam valgusallikas, aitas räni nende potentsiaali avada.

"Ekraanide puhul räägime pikslite sammudest, mis on kõrvuti asetsevate pikslite keskpunktide vaheline kaugus," selgitab Yee. "Telerite puhul on need vahemaad sajad mikronid. Telefoni puhul on see palju, palju kümneid mikroneid. Me pidime selle vähendama ühekohalise arvu võrra. Ainus teadaolev pooljuhtide tootmisviis, millega seda saavutada, oli räni."

Tööd raskendas asjaolu, et ekraani tagumine pind pidi olema ränist ja keegi maailmas ei olnud veel mikroLEDide jaoks räni projekteerinud.

"Tol ajal olid kõik uurimisrühmad, kes olid seal väljas, kasutasid mikroLEDide jaoks ümber ränikristallkuvarid," ütleb Yee. "Keegi ei olnud varem mikroLEDide jaoks taustaplaati projekteerinud. Ja me seisime silmitsi üsna ainulaadse väljakutsega, sest tegemist on optilise komponendiga. See peab olema lame. Seda ei saa kriimustada. Sellel peavad olema kõik need omadused, sest kui te vaatate läbi lainejuhtide, läbi prožektorite, siis vaatate sõna otseses mõttes ränitüki pealispinda."

Silikoonimeeskond töötas nende mikroLED-ekraanide jaoks välja kompleksse rea testiplatvorme, mis hõlmas tihedat koostööd meie ülemaailmsete tarnijatega. MikroLED-ekraanidel on ülemaailmne jalajälg, mis on pärit ühest kohast ja seejärel viidud teise kohta, kus need asetati vahvlile. Seejärel saadeti vahvlid edasi, et neid lõigata konkreetsesse vormi, seejärel sõideti USAsse, kus neid ühendati teise vahvliga, ning seejärel saadeti tagasi üle maailma, et moodulit ehitada ja testida. See oli väga keeruline protsess ja räni meeskond töötas välja katsesõidukid, et iga sammu tõestada.

Meeskond pidi leidma ka viisi, kuidas anda mikroLED-ekraanidele energiat prillide nurkades asuvas pisikeses ruumis. Meie analoogimeeskond töötas välja kohandatud toitejuhtimise kiibi, mis sobis selle mahu sisse.

"Toitevarustus on ülioluline selliste väikeste kantavate seadmete puhul, kus aku suurus on piiratud ja ruumi on vähe," märgib analoog- ja segasignaalisüsteemide direktor Jihong Ren. "Meie kohandatud Power Management IC lahendus kasutab tipptasemel tehnoloogiaid, et optimeerida energiatõhusust meie konkreetse töökoormuse jaoks süsteemi tasandil, sobides samal ajal olemasoleva ruumi piiridesse. Selle optimaalse lahenduse saavutamine nõudis tihedat interdistsiplinaarset koostööd meie mehaanika-, elektri-, SoC-, μLED- ja soojusmeeskondadega, tagades kõigi komponentide tõrgeteta integreerimise ja üldise jõudluse maksimeerimise."

"See oli hämmastav saavutus mitte ainult inseneri, vaid ka organisatsioonilise juhtimise osas: meeskonna kokku toomine, töötamine üle ajavööndite ja kõigi nende erinevate tarnijatega," lisab Snodgrass. "Mõnes mõttes oli kogu selle korralduslik juhtimine sama suur väljakutse kui tehniliste spetsifikatsioonide täitmine."

"Mitte ainult disain ei ole kohandatud, vaid ka kogu tootmisprotsess on kohandatud," lisab Yee. "Meil on vedanud, et meil on mõned suurepärased partnerid tööstuses, kes aitasid seda teha. Nad näevad AR-ekraanides tervikuna pikaajalist potentsiaali ja kindlasti ka Meta nägemust sellest. Nii et nad on olnud valmis meiega koostööd tegema, et need kohandused ja optimeerimised toimuksid selle ekraani võimaldamiseks."

Orion AR prillid.

Iteratsioon kohtub kiirendusega

Silikoonimeeskonna ja Reality Labs Researchi ja XR Techi geniaalsete vaimude vahel, kes arendasid algoritme, oli tihe tagasiside. Viimati nimetatud meeskonnad esitasid need algoritmid, mille esimene neist tõlkis riistvarasse, kõrvaldades üldotstarbelise CPU-ga töötava tarkvara koormuse. See tähendas, et algoritmid töötavad väiksema võimsusega, kuid see tähendas ka seda, et räni meeskonnal oli kindel positsioon. Kui algoritmid olid karastatud, ei saanud nad enam muudatusi teha.

"Ütleme, et XR Tech arendas algoritmiliselt teatavat distsipliini," selgitab Silicon Accelerators arhitektuuri ja algoritmide direktor Ohad Meitav. "Neile kuulub algoritmihunnik ja selle jõudlus. Minu meeskond otsustaks siis koostöös nendega, kuidas kiirendada algoritmi, kuidas kõvendada algoritmi osi ja kuidas panna see tegelikult riistvarasse nii, et see töötaks ülitõhusalt. Seejärel kohandaks XR Tech oma tarkvarapaketti, et võtta arvesse riistvara. See on väga iteratiivne protsess."

Teine edulugu on räni meeskonna koostöö Reality Labs Researchiga, et töötada välja uudne reprojektsioonialgoritm.

"Meil oli vaja, et reprojektsioonialgoritm toetaks erinevaid moonutusi ja korrektsioone," märgib Silicon Architect Steve Clohset. "Algoritmi, mille RL-R töötas välja ja mida me lõpuks kasutasime, ei kasutata üldises arvutustehnikas. Ja tänaseks on see osutunud üsna võimsaks tööriistaks."

Kui algoritmid olid karastatud ja riistvara optimeeritud, pani silikoonistamise meeskond kohandatud kiibid proovile.

"Orioni kohandatud räni kiibistik on täis keerukust," ütleb lõppsüsteemi ja infrastruktuuri vanemdirektor Liping Guo. "Iseseisvate kiipide ja nende koostalitlusvõime lühikese aja jooksul kasutusele võtmine ja valideerimine on uskumatult keeruline. Õnneks tegutseme vertikaalselt integreeritud keskkonnas, kus Reality Labs omab kogu korpust - alates ränist ja madalast püsivara tasemest kuni operatsioonisüsteemi, tarkvara ja ülemise kihi kogemusteni. Me kasutasime seda täielikult ära, tehes tihedat koostööd oma valdkonnaüleste partneritega, ja vahetasime oma räni valideerimise etapis ränivõrgustiku integratsiooni. Orion oli meie katseprojekt selle metoodika jaoks - me arendasime oma shift-left-muskleid ja lõime tugeva aluse, et Reality Labs saaks tulevikus kasutada kõiki kohandatud räni eeliseid."

Ja pärast käivitamist oli aeg optimeerida tarkvara.

"See on iteratiivne protsess, kus alustatakse täiesti optimeerimata tarkvarapakiga, et kõik käivitada ja käivitada," ütleb Snodgrass. "Seejärel käiakse ükshaaval läbi allsüsteemid ja hakatakse tarkvara optimeerima konkreetse riistvara jaoks - sealhulgas vähendatakse tarkvara kasutatava mälu hulka. Riistvara võib olla suurepäraselt disainitud, kuid te ei saavuta teoreetilist energiatõhusust, kui te ei investeeri sama palju või rohkem aega, et tarkvara saaks riistvara täielikult ära kasutada. Niisiis, see on Orioni lugu: riistvara ja tarkvara on optimeeritud lõpuni. Ei jäta ühtegi pikojouli ega millivatti maha."

Ja kuigi Orion võib olla prototüüp, on sellega tehtud töö potentsiaal, mis võib mõjutada Meta teekaarti.

"Me vaatame räni IP-dele, mida me ehitame, kui platvormidele selles mõttes, et need on hinnatud IP-d, mida me täiustame ühest põlvkonnast või ühest tootest teise," lisab Meitav. "Kõik arvutinägemise ja graafika algoritmid ei ole loodud ainult Orioni jaoks. Need lähevad edasi tulevaste toodete jaoks."

Meie ränitöö hõlmab uudsete lahenduste loomist, tehes samal ajal tihedat koostööd partneritega. Tegelikult ulatub ränimeeskonna mõju Orionist kaugemale, nii Ray-Ban Meta prillid ja Meta Quest peakomplektid kuigi mõlemad kasutavad kolmanda osapoole kiipe. Silikoonimeeskond jagab regulaarselt oma tööd segareaalsuse meeskonnaga, näidates, mis on võimalik energiatõhususe osas. Seejärel jagab MR-meeskond neid tulemusi partneritega, nagu näiteks Qualcomm et aidata kaasa tulevaste kiipide projekteerimisele. Ja kuna räni meeskond kasutab samu standardseid digitaalseid signaaliprotsessoreid (DSP) kui Ray-Ban Meta prillid, on nad saanud jagada saadud kogemusi ja parimaid tavasid nende DSP-de rakendamiseks ja koodi kirjutamiseks, et aidata parandada meie tehisintellekti prillide helikogemust.

Ja see teadmiste jagamine käib mõlemas suunas: MR-meeskond on andnud silikoonimeeskonnale teadmisi sellistest asjadest nagu Asünkroonne TimeWarp ja Rakendus SpaceWarp tootmises.

"See, mida inimene teeb tootmises, on palju huvitavam kui see, mida me saaksime teha prototüübiga," ütleb Clohset. "Me püüdsime integreerida seda, mida nad teevad lõimingutega, nii palju kui võimalik."

Mitmetähenduslikkus < Ambitsioon

Kuna Orion oli tõesti null üheni, pidid asjaomased meeskonnad paratamatult tegelema ülemäärase hulga ebaselgusega.

"Orioni puhul ei oska ma üle hinnata, kui keeruliseks muutis mitmetähenduslikkus asjad," ütleb Clohset. "Kui teete näiteks arvutit, siis on teil üldiselt hea ettekujutus sellest, milline saab olema ekraan. Aga me ei teadnud, milline on lõpuks lainejuht, nii et pidime proovima erinevaid lainejuhte ja mõtlema välja mehhanismi, mis suudaks halvima stsenaariumiga toime tulla, sest me ei teadnud, kuhu asjad maanduvad. Üks optimeerimine siin kääriks kokku kõigi nende teiste valikutega ja teil oleks lõpuks see maatriks nagu kõik need erinevad asjad, mida teil oli toetusena ja püüdsid valideerida, sest te ei teadnud, kuhu toode kuue kuu pärast maandub."

Oluline on märkida, et Orion ei ole lihtsalt paar AR-prille - see on kolmest osast koosnev riistvara komplekt. Suur osa töötlemisest toimub arvutada puck, mis eeldab tugevat seost selle ja prillide vahel. Lisage pinna EMG randmepael ja süsteemi ülesehitus muutub veelgi keerulisemaks.

"See oli meeskondade jaoks tohutult keeruline lahendada, ja kõik see lihtsalt töötab," ütleb Snodgrass. "See oli hämmastav koostöö silikoonimeeskonna, traadita meeskonna ja tarkvarameeskondade vahel kogu organisatsioonis."

Orioni arvutuskäik.

"Orioniga moodustasime terve meeskonna, mis koosnes väga erinevatest inseneridest, ja nad suutsid projekteerida täiesti uue torujuhtme," lisab Clohset. "See on torujuhe, mis tegeleb objektide kuue vabadusastmega liikumisega 3D-ruumis. See kasutab omaenda kohandatud ekraanijuhtimist. Me pidime tegema tõesti unikaalseid pildikvaliteedi parandusi. Ja ma arvan, et meie jaoks oli väljakutse see, et kuna see oli null-ühele projekt, ei olnud olemasolevaid spetsifikatsioone, mida parandada. Kõik siin on täiesti uus, nii et meil oli vabadus kõike teha."

Sarnaselt Puck on mõned pinna all peidus olevad uinuvad omadused, on ka kohandatud räni oma kaalust kõrgemal. Kuigi Orion ei võimalda kasutajal oma RGB-kaameraga fotosid teha, on räni võimeline seda toetama, samuti koodekite avatarid. Ja nii nagu puck aitas avada tõelise prillide vormifaktori, eemaldades suure osa arvutustegevusest, osutus Orioni kohandatud räni vajalikuks AR-puzzle osaks.

"Selleks, et selline null-ühele kogemus nagu AR-prillid ellu viia, on vaja kohandatud silikoonist täielikku stoppi," selgitab Snodgrass. "Aja jooksul, kui on olemas turg, siis arendavad räni müüjad tooteid, mis vastavad nõudlusele. Kuid nullist üks-üheni puhul ei saa lihtsalt võtta midagi, mis on olemas riiulilt, mis on mõeldud teise toote jaoks, ja seda uude vormi sobitada. Tuleb investeerida millessegi, mis on kohandatud. Ja nende null-ühele kogemuste ellu viimiseks on vaja laiaulatuslikku koostööd tarkvarapartnerite, tööstusdisainerite, mehaanikainseneride ja teiste vahel."

"Vabanedes traditsioonilistest mõttemudelitest, oleme loonud midagi tõeliselt tähelepanuväärset," lisab Shearer. "Me usume, et see arvutiplatvorm esindab tehnoloogia tulevikku, mis muudab revolutsiooniliselt meie elu, töö ja omavahelise suhtlemise. Oleme põnevil, et saame olla selle innovatsiooni esirinnas, nihutada võimaluste piire ja aidata kaasa ajaloo kujunemisele."

---

Lisateavet Orioni kohta leiate nendest blogipostitustest:

• Kristallselge: meie ränikarbiidist lainejuhid ja tee Orioni suure FoV-ini
• Orioni Compute Puck: Lugu seadme taga, mis aitas teha meie AR-prillid võimalikuks

Kui me esimest korda alustasime demode andmist Orion Selle aasta alguses meenus mulle üks lause, mida te kuulete palju Meta juures - tegelikult oli see isegi meie esimeses kirjas potentsiaalsetele aktsionäridele 2012. aastal: Kood võidab argumendid. Tõenäoliselt õppisime selle tooteruumi kohta sama palju paari kuu jooksul reaalsete demode käigus kui aastatepikkuse töö käigus, mis kulus nende valmistamiseks. Ei ole lihtsalt mingit asendust, kui midagi tegelikult ehitada, anda see inimeste kätte ja õppida sellest, kuidas nad sellele reageerivad.

Orion ei olnud meie ainus näide sellest sel aastal. Meie segatud reaalsuse riistvara ja AI prillid on mõlemad saavutanud uue kvaliteedi ja kättesaadavuse taseme. Nende platvormide stabiilsus võimaldab meie tarkvaraarendajatel liikuda palju kiiremini, alates operatsioonisüsteemidest kuni uute tehisintellekti funktsioonideni. Nii näen ma, et metaversioon hakkab üha enam esile kerkima, ja seetõttu olen ma nii kindel, et eelolev aasta saab olema Reality Labsi ajaloo tähtsaim.

https://youtube.com/watch?v=xwMNZb6UE1o%3F%26controls%3D0%3Fautoplay%3D0%26color%3Dwhite%26cc_lang_pref%3Den%26cc_load_policy%3D0%26enablejsapi%3D1%26frameborder%3D0%26hl%3Den%26rel%3D0%26origin%3Dhttps%253A%252F%252Fwww.meta.com

2024 oli aasta, mil tehisintellekti prillid saavutasid oma edu. Kui me 2021. aastal esimest korda alustasime nutiprillide valmistamist, arvasime, et need võiksid olla esimene samm AR-prillide suunas, mida me lõpuks tahtsime ehitada. Kuigi segareaalsuse peakomplektid on muutumas üldotstarbeliseks arvutiplatvormiks sarnaselt tänastele arvutitele, nägime prille kui tänaste mobiilsete arvutiplatvormide loomulikku edasiarendust. Seega tahtsime võimalikult kiiresti alustada reaalsest maailmast õppimist.

Suurim asi, mida me oleme õppinud, on see, et prillid on kaugelt parim vormifaktor tõeliselt AI-natiivse seadme jaoks. Tegelikult võivad need olla esimene riistvarakategooria, mida tehisintellekt on algusest peale täielikult määratlenud. Paljude inimeste jaoks on prillid koht, kus AI assistent on kõige mõttekam, eriti kui see on multimodaalne süsteem mis suudab tõeliselt mõista ümbritsevat maailma.

Oleme kogu selle tootekategooria puhul S-kõvera alguses ja ees ootavad lõputud võimalused. Üks asi, mille üle ma 2025. aastal kõige rohkem elevil olen, on tehisintellekti assistentide areng tööriistadeks, mis ei reageeri ainult abipalvele, kui te abi palute, vaid võivad muutuda proaktiivseks abiliseks, kui te oma päeva jooksul tegutsete. Näitasime Connecti konverentsil, kuidas prillidega Live AI saab olla rohkem reaalajas osaline, kui te asju ajate. Kuna see funktsioon hakkab sel kuul varajase juurdepääsuga turule tulema näeme esimest sammu uut tüüpi personaliseeritud tehisintellekti assistendi suunas.

See ei jää viimaseks. Praegu on meil käimas kogu tööstusharu hõlmav jõupingutus tehisintellektipõhise riistvara loomiseks. Te näete, kuidas telefoni- ja arvutitootjad püüavad oma tooteid ümber ehitada, et panna tehisintellekti assistendid nende südamesse. Kuid ma arvan, et palju suurem võimalus on teha seadmeid, mis on algusest peale AI-natiivsed, ja ma olen kindel, et prillid on esimesed, kes selleni jõuavad. Meta juhtiv teadur Michael Abrash on rääkinud prillide personaalse, kontekstiteadliku tehisintellekti assistendi potentsiaalist. aastaidja seda võimaldavate tehnoloogiate väljatöötamine on olnud meie uurimisrühmade suur tähelepanu keskmes.

Segatud reaalsus on olnud veel üks koht, kus õige toote olemasolu paljude inimeste käes on olnud suur edasimineku kiirendaja. Me oleme näinud Meta Quest 3 muutub iga kuu paremaks, kuna me jätkame süsteemi põhisüsteemi läbipääsu, multitegumtöötluse, ruumiliste kasutajaliideste ja muu sellise täiustamise arendamist. Kõik need edusammud laienevad Quest 3S hetkel, mil see käivitati. See tähendas, et $299 Quest 3S oli esimesel päeval mitmes mõttes parem peakomplekt kui $499 Quest 3, kui see 2023. aastal esmakordselt turule tuli. Ja kogu Quest 3 perekond muutub üha paremaks, sest iga uuendus.

Aastal 2025 näeme selle järgmist iteratsiooni, kui Quest 3S toob esimest korda palju rohkem inimesi segareaalsusesse. Kui Quest 3 on olnud hitt inimeste seas, kes on põnevil, et omada kõige paremat seadet turul, siis Quest 3S peaks olema tugevalt andekas aastal 2024. Mustal reedel nädalavahetusel oli müük tugev ja me ootame, et inimesed aktiveerivad oma uued kõrvaklapid pühade ajal.

See jätkab viimase aasta jooksul kujunenud suundumust: uute kasutajate arvu suurenemine, kes otsivad oma peakomplektidega rohkem võimalusi. Me tahame, et need uued kasutajad näeksid MR-i võlu ja jääksid pikemaks ajaks, mistõttu rahastame arendajaid, et nad saaksid luua uut tüüpi rakendusi ja mänge, mida nad otsivad.

Eelkõige nooremad inimesed on märkimisväärselt kasvanud ja nad on hakanud eelistama sotsiaalseid ja konkurentsivõimelisi mitmikmängumänge ning tasuta sisu. Ja sellised mängud nagu Skydance'i BEHEMOTH, Batman: Arkham Shadow (mis võitis just parima AR/VR-mängu auhinna The Game Awards'il!) ja Metro Awakening näitas taas kord, et mõned parimad uued mängud, mida meie tööstus toodab, on nüüd võimalik ainult tänapäeva peakomplektidega.

Kuna MR-teenuste kasutajate arv kasvab, kasvab paralleelselt sellega ka sotsiaalse kogemuse kvaliteet. See on selle keskmes, mida Meta üritab saavutada Reality Labsiga, ja see on koht, kus metaperspektiivi suurim potentsiaal avaneb: "Võimalus luua kõige sotsiaalsem platvorm, mis on kunagi olnud", kirjeldasime seda, kui me alustas esimest korda tööd selle kallal. Aastal 2024 astusime selles valdkonnas kaks sammu edasi: esiteks Horizon Worldsi laiaulatusliku täiustamisega, sealhulgas selle laiendamisega mobiiltelefonidele, ja teiseks järgmise põlvkonna Meta Avatarsi süsteemiga, mis võimaldab inimestel end meie rakendustes ja peakomplektides kujutada. Ja kuna nende süsteemide visuaalne kvaliteet ja üldine kogemus paranevad, saavad üha rohkem inimesi esimest korda aimu sotsiaalsest metaperspektiivist. Me näeme sarnaseid suundumusi: uued Quest 3S-i kasutajad veedavad Horizon Worldsis rohkem aega, mistõttu on see Quest 3S-i jaoks TOP 3 immersiivne rakendus, ning inimesed jätkavad uute Meta Avatarite loomist mobiil- ja MR-rakendustes.

Segareaalsuse jõudmine peavoolu on aidanud selgitada, mis saab edasi. Üks esimesi suundumusi, mida me avastasime pärast Quest 3 käivitamist eelmisel aastal, oli see, et inimesed kasutavad segareaalsust videote vaatamiseks, samal ajal kui nad teevad kodus mitu ülesannet - teevad nõusid või tolmuimejad oma elutoas. See oli varajane märk sellest, et inimestele meeldib suur virtuaalne ekraan, mida saab võtta ükskõik kuhu ja paigutada füüsilisse maailma enda ümber. Me oleme näinud, kuidas see trend levib ja kõikvõimalikud meelelahutuskogemused kasvavad kiiresti kogu Quest 3 perekonnas. Uued funktsioonid nagu YouTube Co-Watch näitavad, kui palju potentsiaali on täiesti uut tüüpi sotsiaalse meelelahutuse kogemuse loomiseks metaversioonis.

Seepärast töötab James Cameron, üks meie elu tehnoloogiliselt kõige uuenduslikumaid loojate loo loojaid, nüüd selle nimel, et aidata rohkematel filmitegijatel ja loojatel... toota suurepärast 3D sisu Meta Quest'ile. Kuigi 3D-filme on toodetud juba aastakümneid, ei ole kunagi olnud võimalust neid vaadata nii hästi kui MR-peakomplektid, ja järgmisel aastal on rohkem inimesi, kes omavad peakomplekti kui kunagi varem. "Me oleme tõelises ajaloolises pöördepunktis,"Jim ütles, et kui me käivitas meie uue partnerluse sel kuul.

See toimub koos suurema nihkega Mark Rabkin mida sel aastal Connectis jagati: Meie visioon Horizon OSi jaoks on luua uut tüüpi üldotstarbeline arvutiplatvorm, mis suudab käivitada igasugust tarkvara, toetada igat tüüpi kasutajaid ning on avatud igat tüüpi loojatele ja arendajatele. Meie hiljutised versioonid 2D/3D multitegutsemise, paneelide positsioneerimise, parema käe jälgimise, Windows Remote Desktopi integreerimise ja Open Store'i jaoks on hakanud seda uut teed mööda liikuma. Horizon OS on teel, et olla esimene platvorm, mis toetab kogu kogemuste spektrit alates immersiivsest VR-st kuni 2D-ekraanide, mobiilirakenduste ja virtuaalsete töölaudadeni - ja arendajate kogukond on selle edu juures kesksel kohal.

Järgmine suur samm metaversiooni suunas kombineerib tehisintellektiprillid sellise tõelise liitreaalsuse kogemusega, mille me sel aastal Orioniga avalikustasime. Ei juhtu tihti, et saad pilguheitu tulevikku ja näed täiesti uut tehnoloogiat, mis näitab, kuhu asjad liiguvad. Inimesed, kes Orioni nägid, mõistsid kohe, mida see tuleviku jaoks tähendab, nagu inimesed, kes nägid 1970ndatel Xerox PARCis esimesi personaalarvuteid kujunemas ("kümne minuti jooksul oli mulle selge, et kõik arvutid töötavad ühel päeval niimoodi," ütles Steve Jobs hiljem oma 1979. aasta Xerox Alto demo kohta).

Võimalus panna inimesed ajamasinasse ja näidata neile, kuidas järgmine arvutiplatvorm välja näeb, oli 2024. aasta - ja minu senise karjääri - tipphetk. Kuid Orioni tegelik mõju seisneb toodetes, mida me järgmisena tarnime, ja selles, kuidas see aitab meil paremini mõista, mis inimestele AR-prillide juures meeldib ja mida on vaja parandada. Töötasime aastaid kasutajauuringute, tooteplaneerimise ja eksperimentaaluuringute kallal, et mõista, kuidas AR-prillid peaksid toimima, ning see töö võimaldas meil Orioni ehitada. Kuid nüüd, kui meil on olemas reaalne toode, mille ümber me oma intuitsiooni üles ehitada, on edusammud palju kiiremad.

See on olnud õppetund ikka ja jälle viimase kümne aasta jooksul Reality Labsis. Kõige tähtsam asi, mida saab teha, kui püüad leiutada tulevikku, on tarnida asju ja õppida sellest, kuidas reaalsed inimesed neid kasutavad. Need ei ole alati kohesed hitid, kuid nad õpetavad teile alati midagi. Ja kui sa jõuad asjadeni, mis tõesti tabavad, nagu segareaalsus Quest 3 või tehisintellekt prillide peal, siis ongi see hetk, kui sa annad gaasi. See ongi see, mis teeb 2025. aasta nii eriliseks: Kui õiged seadmed on turul, inimesed kogevad neid esmakordselt ja arendajad avastavad kõik eelseisvad võimalused, on aeg kiirendada.

Tere tulemast tagasi teise episoodi juurde Boz tulevikku, Reality Labs'i podcast. Veebilehel tänane episoodmeie saatejuhi, Meta tehnoloogiavoliniku ja Reality Labs'i juhi Andrew "Boz" Bosworthiga on liitunud Meta kantavate seadmete asepresident Alex Himel.

Himeli meeskond töötab tööstuse kõige keerulisemate tehniliste probleemide kallal, et aidata kaasa järgmise arvutiplatvormi loomisele. Nagu Bosworth, on ka Himel Meta pikaajaline juht, kes on oma enam kui 15 aasta jooksul ettevõttes täitnud mitmeid juhtivaid rolle.

Bosworth ja Himel käsitlevad erinevaid teemasid, sealhulgas kantavad seadmed, laiendatud reaalsus ja see, kuidas tehisintellekt kiirendab ja parandab selliseid kogemusi, mis on integreeritud Ray-Ban Meta prillid ja tulevased tooted.

Nad lähevad sügavale Orion ja positiivne vastuvõtt, mida see on saanud pärast seda, kui Mark Zuckerberg teatas sellest aadressil Ühendage. Nii nagu Steve Jobs tunnustas Alto't kui pöördepunkti arvutitehnoloogias, kinnitas Bosworth, et kuigi me võime üksikasjade osas eriarvamusele jääda, on raske selle vastu vaielda, et see on tulevik. Himel ja Bosworth räägivad edasi prototüüpimise ja ehitamise tohutust väärtusest, öeldes, kui palju rohkem nad on Orioni ja selle sisendparadigmade kohta kolme nädalaga õppinud, võrreldes aastatepikkuse ehitamisega.

Nad rääkisid ka tehisintellekti olulisest rollist kantavates seadmetes ja sellest, kuidas see muutub igapäevaelus üha kasulikumaks - eriti nüüd, kui sa saad Meta AI-lt küsida asju, mida sa näed, ja kasutada seda visuaalsete meeldetuletuste seadmiseks.

Himel räägib ka oma sügavatest kogemustest teistsuguse virna puhul: võileivad. Seitsme aasta jooksul on ta töötanud kuulsas Lange's Little Store'is Chappaquas, NY, kus ta üles kasvas, ning Himel ja Bosworth räägivad sellest, mis teeb suurepärase võileiva, kuhu tomatid tegelikult lähevad ja milline leib on parem.

Saate häälestada Boz tulevikku aadressil Apple Podcastid, Spotify, ja kus iganes te podcaste kuulate.

Saate Himelit jälgida aadressil Niidid. Saate jälgida Bosworthi aadressil Instagram, Twitter/Xja Niidid @boztank.

0:00 / 0:00

Tagasi 2019. aastal on Orion meeskond valmistas Meta asutajale ja tegevjuhile Mark Zuckerbergile ette olulise demo, näidates potentsiaalseid lainejuhte liitreaalsuse prillid-see oli pöördeline hetk, mil paberil olevad teoreetilised arvutused muutusid elavaks. Ja see oli demo, mis muutis kõike.

"Klaaspõhiste lainejuhtide ja mitme plaadiga prille kandes oli tunne, nagu oleksite diskos," meenutab optikateadlane Pasqual Rivera. "Kõikjal olid vikerkaared ja see oli nii häiriv - sa isegi ei vaadanud AR-sisu. Siis panid sa prillid koos ränikarbiid lainejuhid, ja see oli nagu sümfooniaorkestris, kus kuulasid vaikset klassikalist pala. Sa võisid tegelikult pöörata tähelepanu sellele, mida me ehitasime. See muutis kogu mängu."

Kuid nii selge (sõnamäng mõeldud) kui ränikarbiidi valik substraadina ka täna ei tundu, kui me esimest korda alustasime tee AR prillidele kümme aastat tagasi, see oli kõike muud kui.

"Ränikarbiid on tavaliselt tugevalt lämmastikuga doteeritud," ütleb Rivera. "See on roheline ja kui see muutub piisavalt paksuks, näeb see välja must. Sellest ei saa kuidagi optilist läätse teha. See on elektrooniline materjal. Sellel on põhjus, miks see on sellist värvi, ja seda elektrooniliste omaduste tõttu."

"Ränikarbiid on materjalina kasutusel olnud juba pikka aega," nõustub AR Waveguides'i tehniline juht Giuseppe Calafiore. "Selle peamine kasutusala on suure võimsusega elektroonika. Võtame näiteks elektrisõidukid: Kõik elektriautod vajavad kiipi - kuid see kiip peab olema võimeline ka väga suurt võimsust andma, rattaid liigutama ja seda asja ajama. Tuleb välja, et seda ei saa teha tavalise ränisubstraadiga, millest tehakse kiibid, mida me kasutame oma arvutites ja elektroonikas. Vaja on platvormi, mis võimaldab läbida suuri voolusid, suurt võimsust, ja see materjal on ränikarbiid."

Kuni üsna hiljutiste arutelude elavnemisele taastuvate energiaallikate üle ei olnud nende suure võimsusega kiibistikute turg kaugeltki nii suur kui tarbeelektroonika kiipide turg. Ränikarbiid on alati olnud kallis ja kulude alandamiseks ei olnud suurt stiimulit, sest sellise suurusega kiibi puhul, mida tehakse auto jaoks, oli põhimiku hind talutav.

"Kuid selgub, et ränikarbiidil on ka mõned omadused, mida me vajame lainejuhtide ja optika jaoks," ütleb Calafiore. "Murdumisnäitaja on peamine omadus, mis meid huvitab. Ja ränikarbiidil on kõrge murdumisnäitaja, mis tähendab, et see on võimeline kanaliseerima ja väljastama suure hulga optilisi andmeid. Võite mõelda sellest kui optilisest ribalaiusest - täpselt nagu interneti jaoks on olemas ribalaius ja te soovite, et see oleks piisavalt suur, et saaksite selle kanali kaudu saata suuri andmemahte. Sama kehtib ka optiliste seadmete kohta."

Mida kõrgem on materjali murdumisnäitaja, seda kõrgem on selle étendue, nii et saate selle kanali kaudu saata rohkem optilisi andmeid.

"Meie puhul on kanal meie lainejuht ja suurem étendue tähendab suuremat vaatevälja," selgitab Calafiore. "Mida suurem on materjali murdumisnäitaja, seda suuremat vaatevälja suudab ekraan toetada."

Tee õige murdumisnäitajani

Kui Calafiore esimest korda 2016. aastal Oculus Researchiga liitus, oli meeskonna käsutuses kõrgeim murdumisnäitaja 1,8, mis nõudis soovitud vaatevälja saavutamiseks mitme plaadi virnastamist. Soovimatuid optilisi artefakte kõrvale jättes muutus kokkupanek üha keerulisemaks, kuna kaks esimest lainejuhti pidid olema ideaalselt joondatud ja seejärel pidi see virnas olema ideaalselt joondatud kolmanda lainejuhiga.

"See ei olnud mitte ainult kallis, vaid oli ka kohe selge, et prillide puhul ei saa olla kolm klaasi ühe klaasi kohta," meenutab Calafiore. "Need olid liiga rasked ja paksus oli lubamatult suur ja kole - keegi ei ostaks seda. Seega läksime tagasi alguspunkti: püüdsime suurendada põhimiku murdumisnäitajat, et vähendada vajalike plaatide arvu."

Esimene materjal, mida meeskond uuris, oli liitiumniobaat, mille murdumisnäitaja on umbes 2,3 - üsna palju kõrgem kui klaasil, mille murdumisnäitaja on 1,8.

"Me mõistsime, et meil piisab kahe plaadi virnastamisest ja võib-olla saaksime isegi ühe plaadiga hakkama, et katta ikkagi vaatevälja," ütleb Calafiore. "Peaaegu paralleelselt hakkasime uurima teisi materjale - nii saime 2019. aastal koos oma tarnijatega teada, et ränikarbiid on oma puhtal kujul tegelikult väga läbipaistev. Samuti juhtub, et sellel on kõrgeim optilise rakenduse jaoks teadaolev murdumisnäitaja, mis on 2,7."

See on 17,4% kasv võrreldes liitiumniobaadiga ja 50% kasv võrreldes klaasiga, kui te kodus arvestust peate.

"Mõne muudatusega samadel seadmetel, mida tööstuses juba kasutati, oli võimalik saada läbipaistvat ränikarbiidi," ütleb Calafiore. "Võis lihtsalt muuta protsessi, olla palju hoolikam ja optimeerida elektrooniliste omaduste asemel optilisi omadusi: läbipaistvust, ühtlast murdumisnäitajat jne."

Kompromisside potentsiaalne hind

Reality Labs'i meeskond oli toona esimene, kes üritas isegi läbipaistmatult ränikarbiidplaatidelt läbipaistvatele plaatidele üle minna. Ja kuna ränikarbiid on üks kõvemaid teadaolevaid materjale, on selle lõikamiseks või lihvimiseks sisuliselt vaja teemantist tööriistu. Selle tulemusena olid ühekordsed insenerikulud väga suured, nii et saadud põhimik oli üsna kallis.

Kuigi on olemas kuluefektiivsemad alternatiivid, nagu iga tehnoloogia puhul, on neil kõigil kompromissid. Ja kui vaateväli suureneb Orioni tööstusharu juhtiva vaatevälja (umbes 70 kraadi) suunas, tekivad uued probleemid, nagu kummituskujutised ja vikerkaared.

"Optimaalse lahenduse leidmine laia vaateväljaga AR-ekraanile on seotud kompromissidega jõudluse ja kulude vahel," selgitab teadusdirektor Barry Silverstein. "Kulusid saab sageli vähendada, kuid kui jõudlus ei ole piisav, ei ole kulud lõppkokkuvõttes olulised."

Kummituskujutised on nagu ekraanile projitseeritava esmase kujutise visuaalne kaja. Vihmakaared on värvilised valgusvihud, mis tekivad siis, kui ümbritsev valgus peegeldub lainejuhilt. "Ütleme, et te sõidate öösel, kui teie ümber on liikuvad autotuled," ütleb Silverstein. "Siis tekivad ka vikerkaared, mis liiguvad. Või kui sa oled rannas võrkpalli mängimas ja päike paistab, siis saad sa vikerkaarevihma, mis liigub koos sinuga ja sa jääd oma löögist ilma. Ja üks ränikarbiidi imelisi omadusi on see, et ta vabaneb neist vikerkaartest."

"Ränikarbiidi teine eelis, mida ükski teine materjal ei oma, on soojusjuhtivus," lisab Calafiore. "Plast on kohutav isolaator. Klaas, liitiumniobaat, sama asi. Ränikarbiid on läbipaistev, näeb välja nagu klaas ja arvake ära: see juhib soojust."

Seega otsustas meeskond 2020. aasta juulis, et ränikarbiid on optimaalne valik kolmel peamisel põhjusel: See andis parema vormifaktori, sest vajas ainult ühte plaati ja väiksemaid kinnitusstruktuure, sellel olid paremad optilised omadused ja see oli kergem kui kahe plaadiga klaas.

Slant Etch'i saladus

Kui materjal oli meeles, oli järgmine pähkel, mida pidi murdma, lainejuhtide valmistamine - ja eriti ebatraditsiooniline võre tehnika, mida nimetatakse kaldlõikamiseks.

"Võre on nanostruktuur, mis ühendab ja lahutab läätse valguse," selgitab Calafiore. "Ja et ränikarbiid toimiks, peab võre olema kaldlõikega. Selle asemel, et olla vertikaalne, tahate, et võrega jooned oleksid diagonaalselt kaldu."

"Me olime esimesed, kes tegid otse seadmetele kaldsöövitust," ütleb teadusjuht Nihar Mohanty. "Kogu tööstus tugines varem nanoprindile, mis ei toimi nii suure murdumisnäitajaga substraatide puhul. Seetõttu ei olnud keegi teine maailmas mõelnud ränikarbiidi tegemise peale."

Kuid kuna kaldsöövitus on ebaküps tehnoloogia, puuduvad enamikul pooljuhtkiipide tarnijatel ja tehastel vajalikud tööriistad.

"2019. aastal asutasime koos oma toonase juhi Matt Colburniga oma rajatise, sest maailmas ei olnud midagi, mis oleks suutnud valmistada söövitatud ränikarbiidist lainejuhte ja kus me oleksime saanud tõestada, et tehnoloogia on väljaspool laboratooriumi," selgitab Mohanty. "See oli tohutu investeering ja me rajasime seal kogu torujuhtme. Meie partnerid valmistasid meie jaoks eritellimusena tööriistad ja protsessi arendasime välja Meta ettevõttes, kuigi meie süsteemid on teadusuuringute tasemel, sest tootmisotstarbelisi süsteeme ei olnud olemas. Töötasime koos tootmispartneriga, et arendada välja tootmiskvaliteediga kaldsöövituse tööriistad ja protsessid. Ja nüüd, kui oleme näidanud, mis on ränikarbiidiga võimalik, tahame, et teised tööstusharu esindajad hakkaksid ise tööriistu valmistama."

Mida rohkem ettevõtteid investeerivad optilise kvaliteediga ränikarbiidi ja arendavad seadmeid, seda tugevamaks muutub tarbijate AR-prillide kategooria.

Enam ei jaga vihmaussid

Kuigi tehnoloogiline paratamatus on müüt, tunduvad tähed kindlasti olevat ränikarbiidi kasuks joondumas. Ja kuigi meeskond uurib jätkuvalt alternatiive, on tunne, et õiged inimesed on õigel ajal ja õigetes turutingimustes kokku tulnud, et ehitada selle materjali abil AR-prille.

"Orion tõestas, et ränikarbiid on elujõuline võimalus AR-prillide jaoks," ütleb Silverstein, "ja nüüd näeme huvi kogu tarneahelas kolmel erineval kontinendil, kus seda võimalust tõsiselt otsitakse. Ränikarbiid tuleb võitjaks. Minu arvates on see vaid aja küsimus."

Ja selle aja jooksul võib palju juhtuda - nii nagu on muutunud ka see, kui me kasvatasime esimesed selged ränikarbiidkristallid.

"Kõik need ränikarbiiditootjad olid vastuseks oodatavale EV-buumile pakkumist tohutult suurendanud," märgib Calafiore. "Praegu valitseb ülevõimsus, mida ei olnud olemas, kui me Orioni ehitasime. Nüüd, kus pakkumine on suur ja nõudlus väike, on põhimiku hind hakanud langema."

"Tarnijad on väga põnevil uue võimaluse üle toota optilise kvaliteediga ränikarbiidi - iga lainejuhtlääts kujutab endast ju suurt materjali kogust võrreldes elektroonilise kiibiga ning kõik nende olemasolevad võimalused kehtivad ka selles uues valdkonnas," lisab Silverstein. "Oma tehase täitmine on hädavajalik ja tehase skaleerimine on unistus. Ka vahvli suurus on oluline: Mida suurem on vaabel, seda väiksemad on kulud, kuid ka protsessi keerukus suureneb. See tähendab, et oleme näinud tarnijaid, kes on liikunud neljatolliselt vahvlilt kaheksatollisele ning mõned töötavad 12-tollise vahvli eelkäijatega, mis annaks eksponentsiaalselt rohkem AR-prille."

Need edusammud peaksid aitama kulusid jätkuvalt vähendada. Praegu on veel vara, kuid tulevik on jõudmas fookusesse.

"Iga uue tehnoloogilise revolutsiooni alguses proovitakse palju asju," ütleb Calafiore. "Vaadake näiteks televisiooni: Alustasime katoodkiiretorudega, siis läksime üle LED-plasmatelerite ja nüüd mikro LED-ide juurde. Me käisime läbi mitu erinevat tehnoloogiat ja arhitektuuri. Kui te otsite teed, siis paljud teed ei lõpe kuhugi, kuid on mõned, mille juurde te ikka ja jälle tagasi tulete, sest need on kõige paljutõotavamad. Me ei ole tee lõpus ja me ei saa seda üksi teha, kuid ränikarbiid on imematerjal, mis on investeeringut väärt."

"Maailm on nüüd ärkvel," lisab Silverstein. "Oleme edukalt näidanud, et ränikarbiid võib painduda elektroonika ja fotoonika valdkonnas. See on materjal, millel võib tulevikus olla rakendusi kvantarvutites. Ja me näeme märke, et on võimalik kulusid oluliselt vähendada. Palju tööd on veel teha, kuid potentsiaalne kasu on tohutu."

---

Lisateave ränikarbiidi kohta Fotoonika spekter.

Lisateavet Orioni kohta leiate nendest blogipostitustest:

• Nullist üheni: kuidas meie kohandatud räni ja kiibid muudavad AR-i revolutsiooniliseks
• Orioni Compute Puck: Lugu seadme taga, mis aitas teha meie AR-prillid võimalikuks

TL;DR:

• Täna kell Ühendage, Mark Zuckerberg avalikustas Orioni - meie esimesed tõelised AR-prillid, mille koodnimetus oli varem Projekt Nazare.
• Tööstuse juhtiva vaateväljaga, ränikarbiidist läätsed, keerulised lainejuhid, uLED-projektorid ja palju muud, Orion on meie kõige arenenum ja viimistletum toote prototüüp.
• Nüüd jätkame toote optimeerimist ja kulude vähendamist, et jõuda skaleeritava tarbijaseadme väljatöötamiseni, mis muudab revolutsiooniliselt inimeste suhtlemise maailma.

---

"Me ehitame AR-prille."

Viis lihtsat sõna, räägitud viis aastat tagasi. Nende abil panime lipu alla oma nägemuse tulevikust, kus me ei pea enam tegema valet valikuid sõrmeotstega info maailma ja meid ümbritseva füüsilise maailma vahel.

Ja nüüd, viis aastat hiljem, veel viis sõna, mis võivad taas kord mängu muuta:

Oleme ehitanud AR-prillid.

https://youtube.com/watch?v=2CJsnyS8u3c%3Fsi%3DTr77gOKEq3PnA7-k%26controls%3D0%3Fautoplay%3D0%26color%3Dwhite%26cc_lang_pref%3Den%26cc_load_policy%3D0%26enablejsapi%3D1%26frameborder%3D0%26hl%3Den%26rel%3D0%26origin%3Dhttps%253A%252F%252Fwww.meta.com

Meta missioon on lihtne: anda inimestele võimalus luua kogukonda ja lähendada maailma. Reality Labsis ehitame vahendeid, mis aitavad inimestel end igal ajal ja igal pool ühendada. Seepärast töötame selle nimel, et luua järgmine arvutiplatvorm, mis asetab inimesed keskmesse, et nad saaksid olla maailmas rohkem kohal, ühendatud ja võimekamad.

Ray-Ban Meta prillid on näidanud, et inimestele on võimalik anda füüsilisest elust käed-vabad juurdepääs oma digitaalse elu olulistele osadele. Me saame rääkida nutika tehisintellekti assistendiga, suhelda sõpradega ja jäädvustada olulisi hetki - ja seda kõike ilma, et peaksime telefoni välja võtma. Need stiilsed prillid sobivad sujuvalt meie igapäevaellu ja inimesed armastavad neid absoluutselt.

Kuigi Ray-Ban Meta avas täiesti uue kategooria ekraanita prillidest, mis on tehisintellekti abil ülelaaditud, on XR-tööstus juba ammu unistanud tõelistest AR-prillidest - tootest, mis ühendab suure holograafilise ekraani ja personaalse tehisintellekti abi mugavas, stiilses ja kogu päeva kantavas vormis.

Ja täna oleme seda unistust reaalsusele lähemale viinud, kui avalikustame Orion, mis on meie arvates kõige arenenum AR-prillid, mis on kunagi valmistatud. Tegelikult võib see olla kõige keerulisem tarbeelektroonikaseade, mis on toodetud pärast nutitelefoni. Orion on läbimurdeliste leiutiste tulemus praktiliselt igas kaasaegse arvutitehnika valdkonnas, tuginedes töö, mida oleme Reality Labsis teinud viimased kümme aastat. See on täis täiesti uusi tehnoloogiaid, sealhulgas kõige arenenum AR-ekraan, mis on kunagi kokku pandud, ja kohandatud räni mis võimaldab võimsaid AR-kogemusi kasutada prillide abil, kasutades vaid murdosa MR-peakomplektide võimsusest ja kaalust.

Orioni sisestussüsteem ühendab sujuvalt hääle, pilgu ja käe jälgimise koos EMG randmepael mis võimaldab sul pühkida, klõpsata ja kerida, hoides käe mugavalt külje kõrval, võimaldades sul jääda maailma ja ümbritsevate inimeste juurde, kui suhtled rikkaliku digitaalse sisuga.

Alates tänasest Connectist ja kogu aasta jooksul avame juurdepääsu meie Orioni tooteprototüübile Meta töötajatele ja valitud väliskülastajatele, et meie arendusmeeskond saaks õppida, täiustada ja arendada oma tarbijatele mõeldud AR-prillide tootesarja, mida plaanime lähitulevikus tarnida.

Miks AR prillid?

On kolm peamist põhjust, miks AR-prillid on võtmetähtsusega järgmise suure hüppe avamisel inimsõbraliku arvutitehnika vallas.

1. Need võimaldavad digitaalseid kogemusi, mida ei piira nutitelefoni ekraani piirid. Suurte holograafiliste kuvarite abil saate kasutada füüsilist maailma oma lõuendina, paigutades 2D- ja 3D-sisu ja elamusi kõikjale, kuhu soovite.
2. Nad integreerivad sujuvalt kontekstipõhise tehisintellekti, mis suudab tajuda ja mõista teid ümbritsevat maailma, et ennetada ja ennetavalt tegeleda teie vajadustega.
3. Need on kerged ja sobivad suurepäraselt nii sise- kui ka välitingimustes kasutamiseks - ning võimaldavad inimestel näha üksteise tõelist nägu, tõelisi silmi ja tõelisi väljendeid.

See on põhjatäht, mille poole meie tööstus on liikunud: toode, mis ühendab endas kantavate seadmete mugavuse ja vahetuse, suure ekraani, suure ribalaiusega sisendi ja kontekstipõhise tehisintellekti sellises vormis, mida inimesed tunnevad end igapäevaelus mugavalt kandes.

Kompaktne vormifaktor, keerulised väljakutsed

Aastaid oleme seisnud valede valikute ees - kas virtuaal- ja segareaalsuse peakomplektid, mis võimaldavad sügavaid, kaasahaaravaid elamusi mahukas vormifaktoris, või prillid, mis on ideaalsed kogu päeva kasutamiseks, kuid ei paku suure ekraani ja vastava arvutusvõimsuse puudumise tõttu rikkalikke visuaalseid rakendusi ja kogemusi.

Aga me tahame seda kõike, ilma kompromissideta. Oleme aastaid töötanud selle nimel, et võtta VR- ja MR-peakettide pakutavad uskumatud ruumilised elamused ja miniatuuristada nende elamuste pakkumiseks vajalik tehnoloogia kergetesse ja stiilsetesse prillidesse. Vormifaktori saavutamine, holograafiliste ekraanide pakkumine, köitvate AR-kogemuste arendamine ja uute inim-arvuti interaktsiooni (HCI) paradigmade loomine - ja seda kõike ühes ühtses tootes - on üks kõige raskemaid väljakutseid, millega meie tööstus on kunagi silmitsi seisnud. See oli nii keeruline, et me arvasime, et meil on vähem kui 10% võimalus seda edukalt ellu viia.

Seni.

Murranguline ekraan võrratu vormifaktori juures

Orionil on ligikaudu 70-kraadine vaateväli, mis on seni väikseima AR-prillide vormifaktori juures suurim. See vaateväli avab Orionile tõeliselt kaasahaaravad kasutusviisid, alates multitasking-akendest ja suure ekraaniga meelelahutusest kuni elusuuruses inimeste hologrammideni - kogu digitaalne sisu, mis võib sujuvalt sulanduda teie füüsilise maailma vaatega.

Orioni jaoks oli vaateväli meie püha graal. Me põrkasime vastu füüsikaseadusi ja pidime painutama valguskiirte viisil, mida nad looduslikult ei painuta - ja me pidime seda tegema millivattides mõõdetava võimsuse piires.

Klaasi asemel, tegime läätsed ränikarbiidist.-uuenduslik rakendus AR-prillidele. Ränikarbiid on uskumatult kerge, see ei tekita optilisi artefakte ega hajuvalgust ning sellel on kõrge murdumisnäitaja - kõik optilised omadused, mis on suure vaatevälja jaoks olulised. Lainejuhtidel endil on tõesti keerulised ja keerulised nanomõõtmelised 3D-struktuurid, mis hajutavad või levitavad valgust sellisel viisil, mis on vajalik sellise vaatevälja saavutamiseks. Ja projektorid on uLEDid - uut tüüpi kuvamistehnoloogia, mis on ülimalt väike ja äärmiselt energiatõhus.

Orion on eksimatult prillid nii välimuse kui ka tunnetuse poolest - koos läbipaistvate läätsedega. Erinevalt MR-kõrvaklappidest või teistest tänapäevastest AR-prillidest näete siiski üksteise tõelisi silmi ja nägusid, nii et saate olla kohal ja jagada kogemust ümbritsevate inimestega. Tööstusliku disaini viimiseks kaasaegse prillide vormifaktorini, mida oleks mugav kanda iga päev, oli vaja kümneid uuendusi. Orion on miniatuursuse saavutus - komponendid on pakitud kuni millimeetri murdosani. Ja meil õnnestus raami servadesse paigutada seitse pisikest kaamerat ja andurit.

Me pidime säilitama optilise täpsuse kümnendiku inimjuuksekarva paksuse juures. Ja süsteem suudab tuvastada pisikesi liikumisi - näiteks raamide laienemist või kokkutõmbumist erinevatel ruumitemperatuuridel - ning seejärel korrigeerida digitaalselt vajalikku optilist joondamist, ja seda kõike millisekundite jooksul. Valmistasime raamid magneesiumist - samast materjalist, mida kasutatakse F1 võidusõiduautodes ja kosmosesõidukites -, sest see on kerge ja samas jäik, nii et see hoiab optilised elemendid joondatuna ja juhib tõhusalt soojust ära.

Küte ja jahutus

Kui me olime ekraani lahti mõtestanud (ilma sõnamänguta) ja füüsikaprobleemid ületanud, tuli meil lahendada väljakutse, mis seisnes väga võimsate arvutuste ja väga madala energiatarbimise ning soojuse hajutamise vajaduse vahel. Erinevalt tänapäevastest MR-peakomplektidest ei saa prillidesse ventilaatorit torgata. Seega pidime olema loomingulised. Paljud Orioni jahutusmaterjalid on sarnased nendega, mida NASA kasutab kosmoses olevate satelliitide jahutamiseks.

Me ehitasime kõrgelt spetsialiseerunud kohandatud räni mis on äärmiselt energiatõhus ja optimeeritud meie tehisintellekti, masintaju ja graafika algoritmide jaoks. Me ehitasime mitu kohandatud kiipi ja nende kiipide sees kümneid väga kohandatud räni IP-blokke. See võimaldab meil võtta käe ja silmade jälgimiseks vajalikud algoritmid ning samaaegse lokaliseerimise ja kaardistamise (SLAM) tehnoloogia, mis tavaliselt võtab sadu millivatte energiat - ja tekitab seega ka vastava hulga soojust - ning vähendada seda vaid mõnekümne millivatini.

Ja jah, kohandatud räni mängib Reality Labs'i tootearenduses jätkuvalt olulist rolli, hoolimata sellest, mida te võib-olla olete mujalt lugenud. 😎

Mugeldamatu EMG

Iga uus arvutiplatvorm toob endaga kaasa paradigma muutus kuidas me oma seadmetega suhtleme. Hiire leiutamine aitas sillutada teed graafilistele kasutajaliideseile (GUI), mis tänapäeval meie maailmas domineerivad, ning nutitelefonid hakkasid tõeliselt levima alles puuteekraani tulekuga. Sama kehtib ka kantavate seadmete kohta.

Me oleme rääkinud oma tööst koos elektromüograafia ehk EMG, aastaid, lähtudes meie veendumusest, et AR-prillide sisend peab olema kiire, mugav, usaldusväärne, peen ja sotsiaalselt aktsepteeritav. Ja nüüd on see töö parimaks ajaks valmis.

Orioni sisend- ja interaktsioonisüsteem ühendab sujuvalt hääle, pilgu ja käe jälgimise EMG-randmikuga, mis võimaldab teil hõlpsasti pühkida, klõpsata ja kerida.

See toimib - ja tundub nagu võluvägi. Kujutage ette, et saate hommikuse jooksu ajal teha foto lihtsa sõrmejälje puudutusega või navigeerida menüüdes vaevu tajutavate käeliigutustega. Meie randmepael ühendab endas suure jõudlusega tekstiili ja sisseehitatud EMG-andurid, mis tuvastavad elektrilisi signaale, mida tekitavad isegi kõige väiksemad lihasliigutused. Seadmesisene ML-protsessor tõlgendab neid EMG-signaale, et tekitada sisendsündmusi, mis edastatakse juhtmevabalt prillidele. Süsteem kohandub teiega, nii et see muutub aja jooksul üha paremaks ja võimekamaks kõige peenemate žestide äratundmisel. Ja täna jagame rohkem teavet meie toetusest välistele teadusuuringutele, mis keskenduvad järgmistele teemadele laiendada EMG randmepaelte võrdsete võimaluste ja juurdepääsetavuse potentsiaali.

Tutvuge juhtmevaba arvutipuckiga

Tõelised AR-prillid peavad olema juhtmevabad ja väikesed.Nii et me ehitasime traadita arvutusketta Orioni jaoks. See võtab osa koormusest prillidelt, võimaldades pikemat aku kasutusaega ja paremat vormifaktorit koos madala latentsusega.

Prillid kasutavad kõiki käe jälgimise, silmade jälgimise, SLAMi ja spetsiaalse AR-maailma lukustava graafika algoritme, samal ajal kui rakenduse loogika töötab plaadil, et hoida prillid võimalikult kerged ja kompaktsed.

Puckil on kaks protsessorit, sealhulgas üks siinsamas Meta juures loodud, ja see pakub madala latentsusega graafika renderdamiseks, tehisintellekti ja mõningate täiendavate masinate tajumiseks vajalikku arvutusvõimsust.

Ja kuna see on väike ja peenike, saate selle mugavalt kotti või taskusse visata ja oma asjadega edasi minna - ei mingeid kohustusi.

AR-kogemused

Loomulikult, nagu iga riistvara puhul, on see ainult nii hea kui asjad, mida saab do sellega. Ja kuigi see on alles algusjärgus, annavad Orioni pakutavad kogemused põneva ettekujutuse sellest, mis on veel tulemas.

https://youtube.com/watch?v=HkdSv3QPhNw%3F%26controls%3D0%3Fautoplay%3D0%26color%3Dwhite%26cc_lang_pref%3Den%26cc_load_policy%3D0%26enablejsapi%3D1%26frameborder%3D0%26hl%3Den%26rel%3D0%26origin%3Dhttps%253A%252F%252Fwww.meta.com

Meil on oma nutikas assistent, Meta AI, mis töötab Orionil. See mõistab, mida te füüsilises maailmas vaatate, ja võib teid aidata kasulikke visualiseerimisi. Orion kasutab sama Llama mudelit, mis toetab Ray-Ban Meta nutiprillide peal jooksvaid AI-kogemusi, ning lisaks kohandatud uurimismudeleid, et näidata võimalikke kasutusjuhtumeid tulevaste kantavate toodete arendamiseks.

Saate sõprade ja pereliikmetega reaalajas suhtlemiseks käed-vabad videokõnesid pidada ning saate sõnumeid vaadata ja saata WhatsAppis ja Messengeris. Pole vaja telefoni välja võtta, avada see, leida õige rakendus ja anda sõbrale teada, et oled õhtusöögile hiljaks jäänud - seda kõike saab teha läbi prillide.

https://youtube.com/watch?v=el7lUVvu8Bo%3F%26controls%3D0%3Fautoplay%3D0%26color%3Dwhite%26cc_lang_pref%3Den%26cc_load_policy%3D0%26enablejsapi%3D1%26frameborder%3D0%26hl%3Den%26rel%3D0%26origin%3Dhttps%253A%252F%252Fwww.meta.com

Saate mängida ühiseid AR-mänge koos perekonnaga teisel pool riiki või oma sõbraga teisel pool diivanit. Ja Orioni suur ekraan võimaldab teil mitme aknaga multitööd teha, ilma et peaksite sülearvutit kaasas tassima.

Täna Orionil saadaval olevad kogemused aitavad kaardistada meie tulevaste AR-prillide tarbijaliini tegevuskava. Meie meeskonnad jätkavad koos meie arenduspartneritega uute kaasahaaravate sotsiaalsete kogemuste loomist ja me ei jõua ära oodata, et jagada seda, mis tuleb järgmiseks.

Sihtotstarbeline toote prototüüp

Kuigi Orion ei jõua tarbijate kätte, ei saa teha ühtegi viga: See on mitte uurimisprototüüp. See on kõige viimistletum toote prototüüp, mille oleme kunagi välja töötanud - ja see esindab tõepoolest midagi, mida võiks tarbijale saata. Selle asemel, et kiirustada selle riiulitele toomist, otsustasime esmalt keskenduda sisemisele arendusele, mis tähendab, et saame jätkata kiiret ehitamist ning jätkata tehnoloogia ja kogemuste piiride avardamist.

Ja see tähendab, et me jõuame veelgi kiiremini veelgi parema tarbekaubani.

Mis saab edasi

Kaks peamist takistust on pikka aega seisnud peavoolu tarbijaklassi AR-prillide teel: tehnoloogilised läbimurded, mis on vajalikud suure ekraani pakkumiseks kompaktses prillide vormifaktoris, ning vajadus kasulike ja veenvate AR-kogemuste järele, mida saaks nendes prillides kasutada. Orion on suur verstapost, mis pakub esmakordselt tõelisi AR-kogemusi, mis toimivad mõistlikult stiilsel riistvaral.

Nüüd, kui me oleme Orioni maailmale tutvustanud, oleme keskendunud mõnele asjale:

• AR-ekraani kvaliteedi häälestamine, et muuta visuaalid veelgi teravamaks
• Optimeerimine, kus iganes me saame, et muuta vormifaktor veelgi väiksemaks
• Mastaapne ehitamine, et muuta need taskukohasemaks

Järgnevatel aastatel võite oodata meilt uusi seadmeid, mis põhinevad meie teadus- ja arendustegevusel. Mitmeid Orioni uuendusi on laiendatud nii meie praegustele tarbekaupadele kui ka meie tulevastele toodetele. Oleme optimeerinud mõned meie ruumilise tajumise algoritmid, mis töötavad nii Meta Quest 3S ja Orion. Kuigi silmade pilgu ja peente žestide sisestamise süsteem oli algselt mõeldud Orioni jaoks, kavatseme seda kasutada ka tulevastes toodetes. Samuti uurime EMG-randmepaelte kasutamist ka tulevastes tarbekaupades.

Orion ei ole lihtsalt aken tulevikku - see on pilk väga reaalsetele võimalustele, mis on juba praegu käeulatuses. Me ehitasime selle, et teha seda, mida me kõige paremini oskame: aidata inimestel luua sidemeid. Alates Ray-Ban Meta prillidest kuni Orionini oleme näinud, kui hea on see, kui inimesed saavad füüsilises maailmas rohkem kohal olla ja rohkem võimalusi kasutada, isegi kui nad saavad kasutada kõiki digitaalse maailma pakutavaid lisavõimalusi.

Me usume, et te ei peaks nende kahe vahel valima. Ja järgmise arvutiplatvormiga ei pea te seda tegema.

---

Lisateavet Orioni kohta leiate nendest blogipostitustest:

• Orioni Compute Puck: Lugu seadme taga, mis aitas teha meie AR-prillid võimalikuks
• Nullist üheni: kuidas meie kohandatud räni ja kiibid muudavad AR-i revolutsiooniliseks
• Kristallselge: meie ränikarbiidist lainejuhid ja tee Orioni suure FoV-ini

Eelmisel aastal esitlesime Connecti konverentsil Orionmeie esimesed tõelised AR-prillid. Kulminatsiooniks on meie töö Reality Labs'is viimase kümne aasta jooksulOrion ühendab suure holograafilise ekraani ja personaalse AI-abi eelised mugavas, kogu päeva kantavas vormis. See sai tähelepanu oma valdkonna juhtiva vaatevälja, ränikarbiidist lainejuhtide, uLED-projektorite ja muu eest. Kuid täna pöörame tähelepanu Orioni laulmata kangelasele: arvutipuuteele.

Puck on loodud nii, et see mahub hõlpsasti taskusse või kotti, nii et saate seda oma päeva jooksul peaaegu kõikjale kaasa võtta, ning see vabastab Orioni töötlemisvõimsuse rakendusloogika käivitamiseks ja võimaldab prillide veenvamat, väiksemat vormifaktorit. See ühendub juhtmevabalt prillidega ja EMG-randmepaelaga, et tagada sujuv kogemus.

Seadke see ja unustage see, eks ole?

Kuid selle plaadi taustalugu - isegi prototüübina - on seotud dramaatilise kaarega, mida selle välimuse põhjal ei oskaks iialgi arvata.

"Kui sa ehitad midagi sellist, siis hakkad füüsika piiridesse jõudma," selgitab tootejuhtimise direktor Rahul Prasad. "Viimase 50 aasta jooksul on Moore'i seadus muutnud kõik väiksemaks, kiiremaks ja energiatõhusamaks. Probleem seisneb selles, et nüüd hakkad jõudma piiridesse, kui palju soojust saad hajutada, kui palju akut saad kokku suruda ja kui palju antenni jõudlust saad teatud suurusega objekti sisse mahutada."

Kuigi tagantjärele võib olla 20/20, ei olnud selle plaadi potentsiaal kohe ilmne. Kui sa oled esimene, kes midagi ehitab, pead sa uurima kõiki võimalusi - ei jäta ühtegi kivi maha. Kuidas ehitada midagi, mida mõned võivad pidada pigem ebasoovitavaks lisaseadmeks kui paketi oluliseks osaks?

"Me teadsime, et puck on lisaseadme, mida me palume inimestel kaasas kanda," märgib tootekujundusjuht Jared Van Cleave, "seega uurisime, kuidas muuta see viga funktsiooniks."

Lõppkokkuvõttes tasus see eetos end ära, kuna see puck pigistab palju arvutusvõimsust (ja veelgi rohkem Meta poolt loodud kohandatud räni AI ja masintaju jaoks) väikesesse suurusesse. See aitas Orionil ulme vallast tegelikkuseks saada.

"Kui sul poleks seda plaati, ei oleks sul võimalik saada kogemusi, mida Orion oma vormifaktoriga pakub," ütleb Prasad. "Hea AR-kogemus nõuab väga suurt jõudlust: kõrget kaadrisagedust, äärmiselt madalat latentsust, peensusteni välja töötatud traadita side- ja energiahaldust jne. Puck ja prillid peavad olema ühiselt disainitud, et nad töötaksid väga tihedalt koos, mitte ainult rakenduse tasandil, vaid ka operatsioonisüsteemi, püsivara ja riistvara tasandil. Ja isegi kui nutitelefon kavandataks koos AR-prillidega, tühjendaksid nõudlikud jõudlusnõuded telefoni akut ja võtaksid arvutusvõimsuse ära telefoni kasutusjuhtumite arvutusmahust. Seevastu on puckil oma suure võimsusega aku, suure jõudlusega SoC ja kohandatud Meta poolt disainitud ja Orioni jaoks optimeeritud tehisintellekti kaasprotsessor."

Loomulikult ei loodud see ketas üleöö. See nõudis aastatepikkust iteratiivset tööd.

"Me ei teadnud, kuidas inimesed tahaksid Orioniga suhelda sisendi seisukohast - me ei saanud turul midagi ette valmistada," ütleb tootejuht Matt Resman. "Kui te vaatate meie varaseid prillide prototüüpe, siis need olid massiivsed kõrvaklapid, mis kaalusid kolm või neli kilo. Ja kui sa üritad toodet luua, siis on väga raske mõista kasutajakogemust, kui sa ei ole õiges vormifaktoris. Pucki puhul saime väga kiiresti prototüüpe luua, et mõista, kuidas inimesed seda kasutaksid."

Alguses kandis Oculus Research esialgu koodnimetust Omega, mis oli tollase Oculus Researchi poolt ette nähtud Ω-kujulise rihmana, mis käiks kasutaja kaela ümber ja oleks prillidega ühendatud....

... kuni Reality Labs'i traadita side meeskonna mõned uued uuendused võimaldasid neil muu hulgas kaabli katkestada. See võimaldas rohkem pihuarvuti või taskusse / kotti paigutatavat vormi, mis avas palju võimalusi.

"Sel hetkel oli liitreaalsuse helistamine veel esmane kasutusviis," selgitab Van Cleave. "Pakk oli see, kuhu holograafilised videod ankurdati. Paneksite selle lauale, sensorpink teie poole, kujutaks teid ja siis projitseeriksite kõne jaoks selle, kellega te räägite korvi pinnalt."

"Orioni eesmärk on ühendada inimesi ja tuua meid kokku," ütleb Resman. "Üks esialgsetest kontseptsioonidest oli aidata luua seda kohaloleku tunnet teiste inimestega ja võimaldada seda rikkalikumat suhtlemisvormi."

"See on erinev kõigest, mida te olete kunagi näinud - seadmel on potentsiaali luua tõeliselt lõbusaid ja unikaalseid interaktsioone," lisab tööstusdisainer Emron Henry. "Kasutajakogemus on natuke nagu džinni vabastamine pudelist, kus hologrammid tekivad sujuvalt seadmest välja ja lahustuvad sinna tagasi."

Nagu nüüdseks ilmselt juba aru saad, on puckis rohkem potentsiaali kui see, mis lõpuks funktsioonina sisse lülitati. Lisaks anduritele ja kaameratele, mida oleks kasutatud AR-kõne jaoks, on puckil haptika ja 6DOF-andurid, mis võimaldaksid seda kasutada jälgitava kontrollerina virtuaalsete objektide valimiseks ja nendega manipuleerimiseks ning AR-mängude mängimiseks. Meeskond uuris ka mahtuvus- ja jõupuute sisendit, nii et puck võiks olla mängupadina, kui seda hoitakse nii portree- kui ka maastikurežiimil.

"Rääkisime sellest, et seda lisa asja on vaja kaasas kanda," ütleb Van Cleave. "Kuidas me selle kasulikumaks teeme? Selle ümber oli terve töövoog. Ja ühel hetkel oli hüpotees, et AR-mängudest saab see peamine kasutusviis."

Juba varakult teadsime, et peame uurima võimalusi, mida telefonid ei saa teha. Lõpuks jõudsime silma pilgu, EMG ja käe jälgimise kasutamiseni AR-mängudes, nagu Stargazer ja Pong, kuid Orioni algusaegadel prototüüpisime mitmesuguseid demosid ja mänge, milles kasutasime puck'i kontrollerina.

0:00 / 0:00

0:00 / 0:00

0:00 / 0:00

Renderdatud uurimused puckist kui 6DOF kontrollerist AR-mängude, näiteks Pongi jaoks.

"Kuna tegemist ei ole telefoniga, andis see meile palju vabadust disainis," lisab Prasad. "See võib olla paksem, ma võin selle teha ümaramaks, et see sobiks mugavalt käes kui kontroller. See on päris uskumatu, et puck on tegelikult väiksem kui keskmine telefon, kuid see on võimsam kui telefon, sest sellel on Meta poolt loodud kaasprotsessor tehisintellekti ja masintaju jaoks."

Meeskond uuris, kuidas kvaliteetne AR-mäng võiks erineda MR- või konsoolimängust. See tähendas AR-mängu kontrolleri erinevate võimaluste, sealhulgas joystickide, füüsiliste nuppude paigutuse, päästikunuppude ja muude võimaluste uurimist.

"Me ei hakanud tegelikult midagi sellist ehitama," märgib Van Cleave. "Me prototüüpisime seda, kuid me ei hakanud seda kunagi täielikult ehitama. Me tahtsime hoida asja lihtsana. Tahtsime teha neid pehmeid liideseid, kuid mitte teha füüsilisi, mehaanilisi nuppe."

Ja kuigi andurid ja haptika ei olnud valmis toote prototüübis sisse lülitatud, oli neil arenduse ajal oluline funktsioon, võimaldades meeskondadel esitada vigu, koputades lihtsalt paar korda seadme ülaosa, et käivitada veateade.

Kui tehisintellekt hakkas peamise kasutusviisina esile tõusma, muutus arvutamine üha teravamaks. Lõpuks on Orioni juhtmevaba ühenduvus, arvutusvõimsus ja aku mahtuvus - iseenesest suur tehniline saavutus -, mis kõik aitab vähendada prillide kaalu ja vormifaktorit, hajutades samal ajal tänu oma pindalale palju rohkem soojust.

Kogu selle arengu vältel on üks asi jäänud samaks: puckis on rohkem, kui treenimata silmale paistab. Ebakonventsionaalsete ideede omaksvõtmine võimaldas meie meeskondadel uurida, ületada piire ja ehitada tulevikku.

"Me määratleme kategooriat, mida veel ei ole päris olemas," märgib Henry. "Nagu uurimis- ja arendustegevuse puhul võib eeldada, oli teel algusi ja peatusi. Kuidas ootavad kasutajad hologrammidega suhtlemist? Kas nad eelistavad kasutada AR-pulti või piisab käe jälgimisest, pilgupildist ja EMG-st? Mis tundub intuitiivne, vähese hõõrdumisega, tuttavlik ja kasulik?"

"Selle asemel, et vaadata puck'i kui pelgalt kivi, küsisime endalt, mida võiksime veel pakkuda, et seda telefonidest veelgi enam eristada ja põhjendada, miks sa seda kaasas kanda tahad," tunnistab Resman. "Kas selle toores arvutusvõimsus ja praktiline disain - mis aitas avada prillide vormifaktori, mida saab reaalselt kogu päeva kaasas kanda - pakub lõpuks piisavalt väärtust? Meie ülesanne on aidata neile küsimustele vastata."

"Varakult nihutasime käike, et keskenduda sellele, mida me saame teha, mida telefon ei saa teha," lisab Van Cleave. "Telefonidel peab olema ekraan, neil peab olema teatud füüsiline nupu paigutus, mida kasutajad ootavad. Meil ei ole neid piiranguid. Meie arvutipuute saab olla selline, nagu me tahame."

---

Lisateavet Orioni kohta leiate nendest blogipostitustest:

• Kristallselge: meie ränikarbiidist lainejuhid ja tee Orioni suure FoV-ini
• Nullist üheni: kuidas meie kohandatud räni ja kiibid muudavad AR-i revolutsiooniliseks

TL;DR:

• Täna kell Ühendage, Mark Zuckerberg avalikustas Orioni - meie esimesed tõelised AR-prillid, mille koodnimetus oli varem Projekt Nazare.
• Tööstuse juhtiva vaateväljaga, ränikarbiidist läätsed, keerulised lainejuhid, uLED-projektorid ja palju muud, Orion on meie kõige arenenum ja viimistletum toote prototüüp.
• Nüüd jätkame toote optimeerimist ja kulude vähendamist, et jõuda skaleeritava tarbijaseadme väljatöötamiseni, mis muudab revolutsiooniliselt inimeste suhtlemise maailma.

---

"Me ehitame AR-prille."

Viis lihtsat sõna, räägitud viis aastat tagasi. Nende abil panime lipu alla oma nägemuse tulevikust, kus me ei pea enam tegema valet valikuid sõrmeotstega info maailma ja meid ümbritseva füüsilise maailma vahel.

Ja nüüd, viis aastat hiljem, veel viis sõna, mis võivad taas kord mängu muuta:

Oleme ehitanud AR-prillid.

https://youtube.com/watch?v=2CJsnyS8u3c%3Fsi%3DTr77gOKEq3PnA7-k%26controls%3D0%3Fautoplay%3D0%26color%3Dwhite%26cc_lang_pref%3Den%26cc_load_policy%3D0%26enablejsapi%3D1%26frameborder%3D0%26hl%3Den%26rel%3D0%26origin%3Dhttps%253A%252F%252Fwww.meta.com

Meta missioon on lihtne: anda inimestele võimalus luua kogukonda ja lähendada maailma. Reality Labsis ehitame vahendeid, mis aitavad inimestel end igal ajal ja igal pool ühendada. Seepärast töötame selle nimel, et luua järgmine arvutiplatvorm, mis asetab inimesed keskmesse, et nad saaksid olla maailmas rohkem kohal, ühendatud ja võimekamad.

Ray-Ban Meta prillid on näidanud, et inimestele on võimalik anda füüsilisest elust käed-vabad juurdepääs oma digitaalse elu olulistele osadele. Me saame rääkida nutika tehisintellekti assistendiga, suhelda sõpradega ja jäädvustada olulisi hetki - ja seda kõike ilma, et peaksime telefoni välja võtma. Need stiilsed prillid sobivad sujuvalt meie igapäevaellu ja inimesed armastavad neid absoluutselt.

Kuigi Ray-Ban Meta avas täiesti uue kategooria ekraanita prillidest, mis on tehisintellekti abil ülelaaditud, on XR-tööstus juba ammu unistanud tõelistest AR-prillidest - tootest, mis ühendab suure holograafilise ekraani ja personaalse tehisintellekti abi mugavas, stiilses ja kogu päeva kantavas vormis.

Ja täna oleme seda unistust reaalsusele lähemale viinud, kui avalikustame Orion, mis on meie arvates kõige arenenum AR-prillid, mis on kunagi valmistatud. Tegelikult võib see olla kõige keerulisem tarbeelektroonikaseade, mis on toodetud pärast nutitelefoni. Orion on läbimurdeliste leiutiste tulemus praktiliselt igas kaasaegse arvutitehnika valdkonnas, tuginedes töö, mida oleme Reality Labsis teinud viimased kümme aastat. See on täis täiesti uusi tehnoloogiaid, sealhulgas kõige arenenum AR-ekraan, mis on kunagi kokku pandud, ja kohandatud räni mis võimaldab võimsaid AR-kogemusi kasutada prillide abil, kasutades vaid murdosa MR-peakomplektide võimsusest ja kaalust.

Orioni sisestussüsteem ühendab sujuvalt hääle, pilgu ja käe jälgimise koos EMG randmepael mis võimaldab sul pühkida, klõpsata ja kerida, hoides käe mugavalt külje kõrval, võimaldades sul jääda maailma ja ümbritsevate inimeste juurde, kui suhtled rikkaliku digitaalse sisuga.

Alates tänasest Connectist ja kogu aasta jooksul avame juurdepääsu meie Orioni tooteprototüübile Meta töötajatele ja valitud väliskülastajatele, et meie arendusmeeskond saaks õppida, täiustada ja arendada oma tarbijatele mõeldud AR-prillide tootesarja, mida plaanime lähitulevikus tarnida.

Miks AR prillid?

On kolm peamist põhjust, miks AR-prillid on võtmetähtsusega järgmise suure hüppe avamisel inimsõbraliku arvutitehnika vallas.

1. Need võimaldavad digitaalseid kogemusi, mida ei piira nutitelefoni ekraani piirid. Suurte holograafiliste kuvarite abil saate kasutada füüsilist maailma oma lõuendina, paigutades 2D- ja 3D-sisu ja elamusi kõikjale, kuhu soovite.
2. Nad integreerivad sujuvalt kontekstipõhise tehisintellekti, mis suudab tajuda ja mõista teid ümbritsevat maailma, et ennetada ja ennetavalt tegeleda teie vajadustega.
3. Need on kerged ja sobivad suurepäraselt nii sise- kui ka välitingimustes kasutamiseks - ning võimaldavad inimestel näha üksteise tõelist nägu, tõelisi silmi ja tõelisi väljendeid.

See on põhjatäht, mille poole meie tööstus on liikunud: toode, mis ühendab endas kantavate seadmete mugavuse ja vahetuse, suure ekraani, suure ribalaiusega sisendi ja kontekstipõhise tehisintellekti sellises vormis, mida inimesed tunnevad end igapäevaelus mugavalt kandes.

Kompaktne vormifaktor, keerulised väljakutsed

Aastaid oleme seisnud valede valikute ees - kas virtuaal- ja segareaalsuse peakomplektid, mis võimaldavad sügavaid, kaasahaaravaid elamusi mahukas vormifaktoris, või prillid, mis on ideaalsed kogu päeva kasutamiseks, kuid ei paku suure ekraani ja vastava arvutusvõimsuse puudumise tõttu rikkalikke visuaalseid rakendusi ja kogemusi.

Aga me tahame seda kõike, ilma kompromissideta. Oleme aastaid töötanud selle nimel, et võtta VR- ja MR-peakettide pakutavad uskumatud ruumilised elamused ja miniatuuristada nende elamuste pakkumiseks vajalik tehnoloogia kergetesse ja stiilsetesse prillidesse. Vormifaktori saavutamine, holograafiliste ekraanide pakkumine, köitvate AR-kogemuste arendamine ja uute inim-arvuti interaktsiooni (HCI) paradigmade loomine - ja seda kõike ühes ühtses tootes - on üks kõige raskemaid väljakutseid, millega meie tööstus on kunagi silmitsi seisnud. See oli nii keeruline, et me arvasime, et meil on vähem kui 10% võimalus seda edukalt ellu viia.

Seni.

Murranguline ekraan võrratu vormifaktori juures

Orionil on ligikaudu 70-kraadine vaateväli, mis on seni väikseima AR-prillide vormifaktori juures suurim. See vaateväli avab Orionile tõeliselt kaasahaaravad kasutusviisid, alates multitasking-akendest ja suure ekraaniga meelelahutusest kuni elusuuruses inimeste hologrammideni - kogu digitaalne sisu, mis võib sujuvalt sulanduda teie füüsilise maailma vaatega.

Orioni jaoks oli vaateväli meie püha graal. Me põrkasime vastu füüsikaseadusi ja pidime painutama valguskiirte viisil, mida nad looduslikult ei painuta - ja me pidime seda tegema millivattides mõõdetava võimsuse piires.

Klaasi asemel, tegime läätsed ränikarbiidist.-uuenduslik rakendus AR-prillidele. Ränikarbiid on uskumatult kerge, see ei tekita optilisi artefakte ega hajuvalgust ning sellel on kõrge murdumisnäitaja - kõik optilised omadused, mis on suure vaatevälja jaoks olulised. Lainejuhtidel endil on tõesti keerulised ja keerulised nanomõõtmelised 3D-struktuurid, mis hajutavad või levitavad valgust sellisel viisil, mis on vajalik sellise vaatevälja saavutamiseks. Ja projektorid on uLEDid - uut tüüpi kuvamistehnoloogia, mis on ülimalt väike ja äärmiselt energiatõhus.

Orion on eksimatult prillid nii välimuse kui ka tunnetuse poolest - koos läbipaistvate läätsedega. Erinevalt MR-kõrvaklappidest või teistest tänapäevastest AR-prillidest näete siiski üksteise tõelisi silmi ja nägusid, nii et saate olla kohal ja jagada kogemust ümbritsevate inimestega. Tööstusliku disaini viimiseks kaasaegse prillide vormifaktorini, mida oleks mugav kanda iga päev, oli vaja kümneid uuendusi. Orion on miniatuursuse saavutus - komponendid on pakitud kuni millimeetri murdosani. Ja meil õnnestus raami servadesse paigutada seitse pisikest kaamerat ja andurit.

Me pidime säilitama optilise täpsuse kümnendiku inimjuuksekarva paksuse juures. Ja süsteem suudab tuvastada pisikesi liikumisi - näiteks raamide laienemist või kokkutõmbumist erinevatel ruumitemperatuuridel - ning seejärel korrigeerida digitaalselt vajalikku optilist joondamist, ja seda kõike millisekundite jooksul. Valmistasime raamid magneesiumist - samast materjalist, mida kasutatakse F1 võidusõiduautodes ja kosmosesõidukites -, sest see on kerge ja samas jäik, nii et see hoiab optilised elemendid joondatuna ja juhib tõhusalt soojust ära.

Küte ja jahutus

Kui me olime ekraani lahti mõtestanud (ilma sõnamänguta) ja füüsikaprobleemid ületanud, tuli meil lahendada väljakutse, mis seisnes väga võimsate arvutuste ja väga madala energiatarbimise ning soojuse hajutamise vajaduse vahel. Erinevalt tänapäevastest MR-peakomplektidest ei saa prillidesse ventilaatorit torgata. Seega pidime olema loomingulised. Paljud Orioni jahutusmaterjalid on sarnased nendega, mida NASA kasutab kosmoses olevate satelliitide jahutamiseks.

Me ehitasime kõrgelt spetsialiseerunud kohandatud räni mis on äärmiselt energiatõhus ja optimeeritud meie tehisintellekti, masintaju ja graafika algoritmide jaoks. Me ehitasime mitu kohandatud kiipi ja nende kiipide sees kümneid väga kohandatud räni IP-blokke. See võimaldab meil võtta käe ja silmade jälgimiseks vajalikud algoritmid ning samaaegse lokaliseerimise ja kaardistamise (SLAM) tehnoloogia, mis tavaliselt võtab sadu millivatte energiat - ja tekitab seega ka vastava hulga soojust - ning vähendada seda vaid mõnekümne millivatini.

Ja jah, kohandatud räni mängib Reality Labs'i tootearenduses jätkuvalt olulist rolli, hoolimata sellest, mida te võib-olla olete mujalt lugenud. 😎

Mugeldamatu EMG

Iga uus arvutiplatvorm toob endaga kaasa paradigma muutus kuidas me oma seadmetega suhtleme. Hiire leiutamine aitas sillutada teed graafilistele kasutajaliideseile (GUI), mis tänapäeval meie maailmas domineerivad, ning nutitelefonid hakkasid tõeliselt levima alles puuteekraani tulekuga. Sama kehtib ka kantavate seadmete kohta.

Me oleme rääkinud oma tööst koos elektromüograafia ehk EMG, aastaid, lähtudes meie veendumusest, et AR-prillide sisend peab olema kiire, mugav, usaldusväärne, peen ja sotsiaalselt aktsepteeritav. Ja nüüd on see töö parimaks ajaks valmis.

Orioni sisend- ja interaktsioonisüsteem ühendab sujuvalt hääle, pilgu ja käe jälgimise EMG-randmikuga, mis võimaldab teil hõlpsasti pühkida, klõpsata ja kerida.

See toimib - ja tundub nagu võluvägi. Kujutage ette, et saate hommikuse jooksu ajal teha foto lihtsa sõrmejälje puudutusega või navigeerida menüüdes vaevu tajutavate käeliigutustega. Meie randmepael ühendab endas suure jõudlusega tekstiili ja sisseehitatud EMG-andurid, mis tuvastavad elektrilisi signaale, mida tekitavad isegi kõige väiksemad lihasliigutused. Seadmesisene ML-protsessor tõlgendab neid EMG-signaale, et tekitada sisendsündmusi, mis edastatakse juhtmevabalt prillidele. Süsteem kohandub teiega, nii et see muutub aja jooksul üha paremaks ja võimekamaks kõige peenemate žestide äratundmisel. Ja täna jagame rohkem teavet meie toetusest välistele teadusuuringutele, mis keskenduvad järgmistele teemadele laiendada EMG randmepaelte võrdsete võimaluste ja juurdepääsetavuse potentsiaali.

Tutvuge juhtmevaba arvutipuckiga

Tõelised AR-prillid peavad olema juhtmevabad ja väikesed.Nii et me ehitasime traadita arvutusketta Orioni jaoks. See võtab osa koormusest prillidelt, võimaldades pikemat aku kasutusaega ja paremat vormifaktorit koos madala latentsusega.

Prillid kasutavad kõiki käe jälgimise, silmade jälgimise, SLAMi ja spetsiaalse AR-maailma lukustava graafika algoritme, samal ajal kui rakenduse loogika töötab plaadil, et hoida prillid võimalikult kerged ja kompaktsed.

Puckil on kaks protsessorit, sealhulgas üks siinsamas Meta juures loodud, ja see pakub madala latentsusega graafika renderdamiseks, tehisintellekti ja mõningate täiendavate masinate tajumiseks vajalikku arvutusvõimsust.

Ja kuna see on väike ja peenike, saate selle mugavalt kotti või taskusse visata ja oma asjadega edasi minna - ei mingeid kohustusi.

AR-kogemused

Loomulikult, nagu iga riistvara puhul, on see ainult nii hea kui asjad, mida saab do sellega. Ja kuigi see on alles algusjärgus, annavad Orioni pakutavad kogemused põneva ettekujutuse sellest, mis on veel tulemas.

https://youtube.com/watch?v=HkdSv3QPhNw%3F%26controls%3D0%3Fautoplay%3D0%26color%3Dwhite%26cc_lang_pref%3Den%26cc_load_policy%3D0%26enablejsapi%3D1%26frameborder%3D0%26hl%3Den%26rel%3D0%26origin%3Dhttps%253A%252F%252Fwww.meta.com

Meil on oma nutikas assistent, Meta AI, mis töötab Orionil. See mõistab, mida te füüsilises maailmas vaatate, ja võib teid aidata kasulikke visualiseerimisi. Orion kasutab sama Llama mudelit, mis toetab Ray-Ban Meta nutiprillide peal jooksvaid AI-kogemusi, ning lisaks kohandatud uurimismudeleid, et näidata võimalikke kasutusjuhtumeid tulevaste kantavate toodete arendamiseks.

Saate sõprade ja pereliikmetega reaalajas suhtlemiseks käed-vabad videokõnesid pidada ning saate sõnumeid vaadata ja saata WhatsAppis ja Messengeris. Pole vaja telefoni välja võtta, avada see, leida õige rakendus ja anda sõbrale teada, et oled õhtusöögile hiljaks jäänud - seda kõike saab teha läbi prillide.

https://youtube.com/watch?v=el7lUVvu8Bo%3F%26controls%3D0%3Fautoplay%3D0%26color%3Dwhite%26cc_lang_pref%3Den%26cc_load_policy%3D0%26enablejsapi%3D1%26frameborder%3D0%26hl%3Den%26rel%3D0%26origin%3Dhttps%253A%252F%252Fwww.meta.com

Saate mängida ühiseid AR-mänge koos perekonnaga teisel pool riiki või oma sõbraga teisel pool diivanit. Ja Orioni suur ekraan võimaldab teil mitme aknaga multitööd teha, ilma et peaksite sülearvutit kaasas tassima.

Täna Orionil saadaval olevad kogemused aitavad kaardistada meie tulevaste AR-prillide tarbijaliini tegevuskava. Meie meeskonnad jätkavad koos meie arenduspartneritega uute kaasahaaravate sotsiaalsete kogemuste loomist ja me ei jõua ära oodata, et jagada seda, mis tuleb järgmiseks.

Sihtotstarbeline toote prototüüp

Kuigi Orion ei jõua tarbijate kätte, ei saa teha ühtegi viga: See on mitte uurimisprototüüp. See on kõige viimistletum toote prototüüp, mille oleme kunagi välja töötanud - ja see esindab tõepoolest midagi, mida võiks tarbijale saata. Selle asemel, et kiirustada selle riiulitele toomist, otsustasime esmalt keskenduda sisemisele arendusele, mis tähendab, et saame jätkata kiiret ehitamist ning jätkata tehnoloogia ja kogemuste piiride avardamist.

Ja see tähendab, et me jõuame veelgi kiiremini veelgi parema tarbekaubani.

Mis saab edasi

Kaks peamist takistust on pikka aega seisnud peavoolu tarbijaklassi AR-prillide teel: tehnoloogilised läbimurded, mis on vajalikud suure ekraani pakkumiseks kompaktses prillide vormifaktoris, ning vajadus kasulike ja veenvate AR-kogemuste järele, mida saaks nendes prillides kasutada. Orion on suur verstapost, mis pakub esmakordselt tõelisi AR-kogemusi, mis toimivad mõistlikult stiilsel riistvaral.

Nüüd, kui me oleme Orioni maailmale tutvustanud, oleme keskendunud mõnele asjale:

• AR-ekraani kvaliteedi häälestamine, et muuta visuaalid veelgi teravamaks
• Optimeerimine, kus iganes me saame, et muuta vormifaktor veelgi väiksemaks
• Mastaapne ehitamine, et muuta need taskukohasemaks

Järgnevatel aastatel võite oodata meilt uusi seadmeid, mis põhinevad meie teadus- ja arendustegevusel. Mitmeid Orioni uuendusi on laiendatud nii meie praegustele tarbekaupadele kui ka meie tulevastele toodetele. Oleme optimeerinud mõned meie ruumilise tajumise algoritmid, mis töötavad nii Meta Quest 3S ja Orion. Kuigi silmade pilgu ja peente žestide sisestamise süsteem oli algselt mõeldud Orioni jaoks, kavatseme seda kasutada ka tulevastes toodetes. Samuti uurime EMG-randmepaelte kasutamist ka tulevastes tarbekaupades.

Orion ei ole lihtsalt aken tulevikku - see on pilk väga reaalsetele võimalustele, mis on juba praegu käeulatuses. Me ehitasime selle, et teha seda, mida me kõige paremini oskame: aidata inimestel luua sidemeid. Alates Ray-Ban Meta prillidest kuni Orionini oleme näinud, kui hea on see, kui inimesed saavad füüsilises maailmas rohkem kohal olla ja rohkem võimalusi kasutada, isegi kui nad saavad kasutada kõiki digitaalse maailma pakutavaid lisavõimalusi.

Me usume, et te ei peaks nende kahe vahel valima. Ja järgmise arvutiplatvormiga ei pea te seda tegema.

---

Lisateavet Orioni kohta leiate nendest blogipostitustest:

• Orioni Compute Puck: Lugu seadme taga, mis aitas teha meie AR-prillid võimalikuks
• Nullist üheni: kuidas meie kohandatud räni ja kiibid muudavad AR-i revolutsiooniliseks
• Kristallselge: meie ränikarbiidist lainejuhid ja tee Orioni suure FoV-ini