V roku 2017 hlavný vedecký pracovník spoločnosti Reality Labs Michael Abrash, podporovaný zakladateľom a generálnym riaditeľom spoločnosti Meta Markom Zuckerbergom, založil v rámci vtedajšieho výskumu Oculus Research nový tajný tím, ktorý mal vytvoriť základ ďalšej počítačovej platformy. Ich herkulovská úloha: Vytvoriť vlastné kremíkové riešenie, ktoré by podporovalo jedinečné požiadavky budúcich okuliare s rozšírenou realitou-technický výkon, ktorý si vyžadoval prepracovanie každého komponentu pre celodenné nosenie Okuliare AR form factor, ktorý ešte jednoducho neexistoval.

Predný uhol prototypu okuliarov Orion AR.

Kompaktný tvar, značný problémový priestor

Tím zaoberajúci sa vlastným kremíkom, ktorý sa rozrástol z niekoľkých výskumníkov na stovky ľudí na strane produktov, vychádzal z predpokladu, že okuliare na rozšírenú realitu sa nemôžu spoliehať na kremík dostupný v dnešných smartfónoch. Tento predpoklad potvrdzuje aj niekoľko vlastných čipov vo vnútri Orion, náš prvý skutočný prototyp okuliarov AR.

"Stavba lode, ktorá vypláva z prístavu - to bolo presne to, čo sme robili," hovorí riaditeľ pre stratégiu pokročilých technológií Jeremy Snodgrass. "Museli sme zväčšiť pôvodne skromný tím a zároveň vybudovať tieto čipy. Bolo fascinujúce sledovať, ako vedenie privádza na palubu nových zamestnancov a zároveň rozvíja kultúru, ktorá si cení agilitu. Nič nebolo problémom niekoho iného. Vzali ste veslo a začali veslovať, aj keď to nebolo presne to, na čo vás najali. Bolo to veľmi, veľmi vzrušujúce obdobie."

"Takmer všetko v Orione bolo v mnohých ohľadoch nové," súhlasí technický riaditeľ Display Architecture Mike Yee. "Niektoré nápady tu už boli, ale nikto sa nepustil do výskumného projektu, aby skutočne vytvoril celodenné nositeľné okuliare rozšírenej reality."

Tím musel poskytnúť presvedčivý zážitok z rozšírenej reality s čo najnižšou spotrebou energie. Formát okuliarov môže odvádzať len toľko tepla a môže pojať len toľko kapacity batérie. Výsledkom je, že zážitky, ktoré je možné na okuliaroch poskytnúť, sú úplne závislé od kremíka. Inými slovami, ak udržíte konštantnú tepelnú kapacitu a kapacitu batérie, jediný spôsob, ako poskytnúť daný zážitok, je optimalizovať kremík.

"Návrh novej architektúry pre Orion si vyžadoval, aby tím nielen intenzívne presadzoval existujúce technológie, ako sú bezdrôtové pripojenie a displeje, ale aj riskoval v oblasti nových technológií," hovorí riaditeľ produktového manažmentu Neeraj Choubey. "Tím napríklad vyvinul akcelerátor strojového učenia (ML) bez toho, aby mal v tom čase jasný prípad použitia, pričom ho viedlo silné presvedčenie, že ML bude v produktoch Meta čoraz dôležitejší. V Orione sa využíva každý ML akcelerátor a v niektorých prípadoch sú nadmieru využívané, pretože slúžia na funkcie, ako je sledovanie očí a rúk. Podobne tím vyvinul vlastné kompresné protokoly na zníženie šírky pásma a spotreby energie, keď sa údaje presúvali z vypočítať puk na displej. Vývoj vlastného kremíka na dosiahnutie cieľov spoločnosti Orion v oblasti tvarového faktora si vyžadoval toleranciu voči vysokej nejednoznačnosti a dôkladnú pozornosť venovanú detailom, aby sa dosiahla neuveriteľne komplexná architektúra systému."

"Najväčšou výzvou pre nás bolo dodať 3D grafiku s vykresľovaním sveta spolu s priestorovým zvukom, ktorý je vykreslený tak, že sa zdá, že vychádza z virtuálneho objektu," poznamenáva Snodgrass. "Museli sme všetku túto elektroniku vtesnať do tepelnej kapacity a fyzického priestoru a potom ju prevádzkovať na batériu, aby sa príliš nezahrievala. A to všetko sme museli urobiť v skutočnom tvare okuliarov - nie vo veľkom hľadáčiku, aký sa zvyčajne používa v tejto kategórii."

"Vedeli sme, ako dodať potrebný výpočtový výkon na realizáciu našej vízie pre Orion, ale stáli sme pred náročnou úlohou: znížiť spotrebu energie stonásobne," hovorí riaditeľ SoC Solutions Robert Shearer. "To si vyžadovalo, aby sme posunuli hranice návrhu kremíka, prijali metodiky z rôznych kútov priemyslu - od internetu vecí po vysoko výkonné výpočty - a vymysleli nové prístupy na preklenutie rozdielov. Naši partneri z odvetvia si mysleli, že sme sa zbláznili, a možno sa celkom nemýlili. Ale presne to bolo potrebné: ochota spochybniť zaužívané názory a všetko prehodnotiť. Vytvorenie počítača, ktorý hladko spája virtuálny a fyzický svet, si vyžaduje hlboké pochopenie súvislostí, ktoré ďaleko presahujú to, čo môžu ponúknuť existujúce výpočtové platformy. V podstate sme nanovo vynašli spôsob, akým počítače komunikujú s ľuďmi, čo znamenalo, že sme od základov zmenili spôsob, akým vytvárame kremík."

Vonkajšie komponenty Orion.

Kúzlo MicroLED

Boli chvíle, keď veci zaostávali za plánom alebo sa objavili zdanlivo neprekonateľné technické problémy, keď bolo ťažké udržať si dynamiku a morálku. Tím bol však odolný a našiel si cestu, ako prekážky obísť - alebo ich jednoducho zlikvidovať.

Vezmite si napríklad displej Orionu. Kremíkový tím bol zodpovedný za kremík v projektore displeja, ktorý sa nachádza v rohoch okuliarov.

"Pri týchto projektoroch bola otvorená otázka, či dokážeme získať mikroLED v poli s dostatočne vysokou účinnosťou a jasom na nasadenie displeja so širokým zorným poľom," hovorí Snodgrass. "Boli obrovské pochybnosti, či to dokážeme - či je to možné v časovom rámci, ktorý sme zvažovali - pretože to bola veľmi nová technológia."

"Veľmi skoro sme si uvedomili, že musíme prehodnotiť mnohé paradigmy vývoja produktov," dodáva Yee. "Množstvo svetla, ktoré potrebujete na vytvorenie použiteľného displeja, je v prípade okuliarov na rozšírenú realitu o dosť väčšie, pretože ako nositeľný displej súťažíte so slnkom. Takže potrebujeme také úrovne energie, ktoré mu budú konkurovať - alebo to je aspoň cieľom. Ešte sme sa k tomu nedostali, ale je to veľká časť. A to znamená, že potrebujete zdroje svetla pre displej, ktoré sú toho schopné, a potrebujete obvody, ktoré to dokážu ovládať. A zároveň je potrebné, aby to bolo malé."

Vlastný kremík poháňajúci µLED diódy Orion.

Hoci sa mikroLED zdali byť najvhodnejším zdrojom svetla pre projektory, kremík pomohol odhaliť ich potenciál.

"Pri displejoch hovoríme o rozstupoch pixelov, čo sú vzdialenosti medzi stredmi susedných pixelov," vysvetľuje Yee. "Pri televízoroch sú tieto vzdialenosti stovky mikrónov. V telefóne je to mnoho, mnoho desiatok mikrónov. A my sme to potrebovali znížiť na jednociferné hodnoty. Jediná známa výroba polovodičov, ktorá to dokázala, bol kremík."

Prácu komplikovala skutočnosť, že zadný povrch displeja musel byť z kremíka a nikto na svete kremík pre microLED nenavrhoval.

"Všetky výskumné tímy, ktoré v tom čase pracovali, používali tekuté kryštály na kremíkových displejoch, aby na ne mohli umiestniť microLED," hovorí Yee. "Nikto predtým nenavrhol základnú dosku pre microLED. A my sme čelili celkom jedinečnej výzve, pretože ide o optický komponent. Musí byť plochá. Nemôžete ju poškriabať. Musí mať všetky tieto vlastnosti, pretože keď sa pozeráte cez vlnovody, cez projektory, doslova sa pozeráte na horný povrch kúska kremíka."

Kremíkový tím vyvinul komplexnú sériu testovacích platforiem pre tieto displeje microLED, ktoré si vyžadovali úzku koordináciu s našimi globálnymi dodávateľmi. MikroLED majú globálnu stopu, vznikajú na jednom mieste a potom sa prenášajú na iné miesto, kde boli umiestnené na doštičku. Tieto doštičky sa potom odoslali na rezanie do určitého tvaru, po ktorom nasledovala cesta do USA, kde sa spojili s ďalšou doštičkou, a potom sa odoslali späť na druhý koniec sveta, aby sa mohol zostaviť a otestovať skutočný modul. Bol to nesmierne komplikovaný proces a kremíkový tím vyvinul testovacie vozidlá na overenie každého kroku.

Tím tiež musel nájsť spôsob, ako dodať energiu displejom microLED v malom objeme rohov okuliarov. Náš analógový tím vyvinul vlastný čip na správu napájania, ktorý sa zmestil do tohto objemu.

"Dodávka energie je kľúčová pre takéto nositeľné zariadenia s malými rozmermi, kde je veľkosť batérie obmedzená a priestor je vzácny," poznamenáva riaditeľ oddelenia analógových a zmiešaných signálov Jihong Ren. "Naše prispôsobené riešenie IC pre správu napájania využíva najmodernejšie technológie na optimalizáciu energetickej účinnosti pre našu špecifickú pracovnú záťaž na úrovni systému, pričom sa zmestí do dostupného priestoru. Dosiahnutie tohto optimálneho riešenia si vyžadovalo úzku interdisciplinárnu spoluprácu s našimi tímami pre mechaniku, elektrotechniku, SoC, μLED a tepelnú techniku, čo zabezpečilo bezproblémovú integráciu všetkých komponentov a maximalizáciu celkového výkonu."

"Bol to úžasný výkon nielen v oblasti inžinierstva, ale aj organizačného riadenia: spojiť tím, pracovať v rôznych časových pásmach a so všetkými týmito rôznymi dodávateľmi," dodáva Snodgrass. "V istom zmysle bolo organizačné riadenie toho všetkého rovnakou výzvou ako splnenie technických špecifikácií."

"Na mieru je prispôsobený nielen dizajn, ale aj celý výrobný proces," dodáva Yee. "Máme šťastie, že máme v tomto odvetví niekoľko skvelých partnerov, ktorí nám pomohli to zrealizovať. V displejoch AR ako celku vidia dlhodobý potenciál a určite aj víziu spoločnosti Meta. Preto boli ochotní spolupracovať s nami pri realizácii týchto prispôsobení a optimalizácií, ktoré umožnia tento displej."

Okuliare Orion AR.

Iterácia sa stretáva so zrýchlením

Medzi kremíkovým tímom a brilantnými mozgami v Reality Labs Research a XR Tech, ktoré vyvíjali algoritmy, existovala úzka spätná väzba. Tieto tímy poskytovali tieto algoritmy, ktoré tímy v oblasti technológií prekladali do hardvéru, čím sa odstránili režijné náklady na softvér, ktorý využíval univerzálny procesor. To znamenalo, že algoritmy by fungovali pri nižšej spotrebe, ale tiež to znamenalo, že kremíkový tím bol uzamknutý. Keď boli algoritmy hardvérovo upravené, nemohli už vykonávať zmeny.

"Povedzme, že spoločnosť XR Tech vyvíjala určitú disciplínu algoritmicky," vysvetľuje riaditeľ pre architektúru a algoritmy spoločnosti Silicon Accelerators Ohad Meitav. "Vlastnia algoritmický zásobník a jeho výkon. Môj tím by potom v spolupráci s nimi rozhodol, ako algoritmus urýchliť, ako spevniť časti algoritmu a ako ho vlastne umiestniť do hardvéru tak, aby fungoval super efektívne. Potom by spoločnosť XR Tech prispôsobila svoj softvérový zásobník tak, aby zohľadňoval hardvér. Je to veľmi opakujúci sa proces."

Ďalším úspechom je spolupráca kremíkového tímu so spoločnosťou Reality Labs Research, ktorá prišla s novým algoritmom reprojekcie.

"Potrebovali sme, aby algoritmus reprojekcie podporoval rôzne skreslenia a korekcie," poznamenáva architekt spoločnosti Silicon Steve Clohset. "Algoritmus, ktorý vyvinula spoločnosť RL-R a ktorý sme nakoniec použili, sa vo všeobecných výpočtoch nepoužíva. A dodnes sa ukazuje, že je to dosť výkonný nástroj."

Keď boli algoritmy vyladené a hardvér optimalizovaný, tím pre zavádzanie kremíka vyskúšal vlastné čipy.

"Vlastná kremíková čipová súprava Orion je veľmi zložitá," hovorí Liping Guo, senior riaditeľ oddelenia End-to-End System and Infrastructure. "Zavedenie a overenie samostatných čipov a ich vzájomnej interoperability v krátkom čase je neuveriteľne náročné. Našťastie pracujeme vo vertikálne integrovanom prostredí, kde Reality Labs vlastní celý zásobník - od kremíka a nízkoúrovňového firmvéru až po operačný systém, softvér a skúsenosti z vyššej vrstvy. To sme naplno využili, úzko sme spolupracovali s našimi multifunkčnými partnermi a posunuli sme našu integráciu naprieč zásobníkom vo fáze validácie kremíka. Orion bol našou pilotnou prevádzkou tejto metodiky - vybudovali sme si svaly shift-left a vytvorili silný základ pre Reality Labs, aby sme v budúcnosti mohli naplno využívať výhody vlastného kremíka."

Po uvedení do prevádzky prišiel čas na optimalizáciu softvéru.

"Je to iteračný proces, v ktorom začínate s úplne neoptimalizovaným softvérovým zásobníkom, len aby ste všetko spustili a spustili," hovorí Snodgrass. "A potom postupne prechádzate subsystémy a začínate optimalizovať softvér pre konkrétny hardvér - vrátane zníženia množstva pamäte, ktorú softvér využíva. Hardvér môže byť krásne navrhnutý, ale nedosiahnete teoretickú energetickú účinnosť, ak neinvestujete toľko alebo viac času do toho, aby softvér naplno využil hardvér. Taký je teda príbeh Orionu: hardvér a softvér optimalizovaný do posledného detailu. Nenechajte za sebou žiadny pikojoul ani miliwatt."

Hoci je Orion len prototypom, práca, ktorá sa na ňom vykonala, má značný potenciál ovplyvniť plán spoločnosti Meta.

"Na kremíkové IP, ktoré vytvárame, sa pozeráme ako na platformy v tom zmysle, že ide o hodnotné IP, ktoré budeme zlepšovať od jednej generácie alebo jedného produktu k druhému," dodáva Meitav. "Všetky algoritmy počítačového videnia a grafiky nie sú vytvorené len pre Orion. Budú sa používať v budúcich produktoch."

Naša kremíková práca zahŕňa vytváranie nových riešení a zároveň úzku spoluprácu s partnermi. Vplyv kremíkového tímu v skutočnosti presahuje rámec Orionu a týka sa aj Okuliare Ray-Ban Meta a Náhlavné súpravy Meta Quest aj keď oba používajú čipy tretích strán. Kremíkový tím pravidelne zdieľa svoju prácu s tímom zmiešanej reality a ukazuje, čo je možné z hľadiska energetickej účinnosti. Tím MR potom zdieľa tieto zistenia s partnermi, ako napr. Qualcomm na pomoc pri navrhovaní budúcich čipov. A keďže kremíkový tím používa rovnaké hotové digitálne signálové procesory (DSP) ako okuliare Ray-Ban Meta, mohol sa podeliť o získané skúsenosti a osvedčené postupy pri implementácii a písaní kódu pre tieto DSP, aby pomohol zlepšiť zvukové zážitky dostupné v našich okuliaroch s umelou inteligenciou.

A toto zdieľanie poznatkov sa týka oboch strán: Tím MR poskytol kremíkovému tímu poznatky o veciach, ako sú Asynchrónny TimeWarp a Aplikácia SpaceWarp vo výrobe.

"To, čo človek robí vo výrobe, je oveľa zaujímavejšie ako niečo, čo by sme mohli urobiť s prototypom," hovorí Clohset. "Snažili sme sa čo najviac integrovať to, čo robili s osnovami."

Nejednoznačnosť < Ambície

Keďže Orion bol skutočne nula k jednej, zúčastnené tímy sa museli nevyhnutne vysporiadať s nadmerným množstvom nejasností.

"V prípade Orionu si neviem vynachváliť, ako sa veci skomplikovali kvôli nejednoznačnosti," hovorí Clohset. "Keď napríklad vyrábate počítač, zvyčajne máte dobrú predstavu o tom, aký bude displej. Ale my sme nevedeli, aký bude nakoniec vlnovod, takže sme museli vyskúšať rôzne vlnovody a vymyslieť mechanizmus, ktorý by zvládol najhorší možný scenár, pretože sme nevedeli, kam veci dopadnú. Jedna optimalizácia by sa tu zmiešala so všetkými ostatnými možnosťami a skončili by ste s maticou všetkých týchto rôznych vecí, ktoré ste mali ako podporu a snažili sa ich overiť, pretože ste nevedeli, kde výrobok pristane za šesť mesiacov."

Je dôležité poznamenať, že Orion nie je len pár okuliarov na rozšírenú realitu - je to trojdielne súhvezdie hardvéru. Veľká časť spracovania sa odohráva na vypočítať puk, čo si vyžaduje silné prepojenie medzi ním a okuliarmi. Pridajte povrchový EMG náramok do slučky a architektúra systému sa stáva ešte komplikovanejšou.

"To bolo pre tímy nesmierne náročné vyriešiť a všetko to jednoducho funguje," hovorí Snodgrass. "Bola to úžasná spolupráca medzi tímom pre kremík, tímom pre bezdrôtové pripojenie a softvérovými tímami v rámci celej organizácie."

Počítačový puk Orion.

"So spoločnosťou Orion sme vytvorili celý tím so širokou škálou inžinierov, ktorí boli schopní navrhnúť úplne nové potrubie," dodáva Clohset. "Je to potrubie, ktoré zvláda pohyb objektov v 3D priestore so šiestimi stupňami voľnosti. Používa vlastný ovládač displeja. Museli sme urobiť naozaj jedinečné korekcie kvality obrazu. A myslím, že výzvou pre nás bolo, že keďže išlo o projekt nula k jednej, neexistovala žiadna existujúca špecifikácia, ktorú by sme mohli upraviť a vylepšiť. Všetko je tu úplne nové, takže sme mali voľnosť v rozhodovaní."

Podobne ako puk má niekoľko skrytých funkcií pod povrchom, aj tento vlastný silikón je nad jeho sily. Hoci Orion neumožňuje používateľovi fotografovať pomocou kamier RGB, kremík to dokáže podporovať, ako aj avatary kodekov. A rovnako ako puk pomohol odomknúť skutočnú formu okuliarov tým, že odľahčil veľkú časť výpočtovej techniky, aj vlastný kremík Orion sa ukázal ako nevyhnutný kúsok skladačky rozšírenej reality.

"Na to, aby ste dokázali oživiť zážitok zero-to-one, ako sú okuliare rozšírenej reality, potrebujete vlastný kremík s úplnou zastávkou," vysvetľuje Snodgrass. "Ak bude časom existovať trh, dodávatelia kremíka vyvinú produkty, ktoré uspokoja dopyt. Ale pre zero-to-one nemôžete len tak vziať niečo, čo existuje z regálu a je určené pre iný produkt, a vložiť to do novej formy. Musíte investovať do niečoho na mieru. A na to, aby ste tieto zero-to-one skúsenosti uviedli do života, potrebujete širokú spoluprácu medzi softvérovými partnermi, priemyselnými dizajnérmi, strojnými inžiniermi a ďalšími."

"Tým, že sme sa oslobodili od tradičných mentálnych modelov, sme vytvorili niečo skutočne pozoruhodné," dodáva Shearer. "Veríme, že táto počítačová platforma predstavuje budúcnosť technológií - takú, ktorá spôsobí revolúciu v spôsobe, akým žijeme, pracujeme a komunikujeme medzi sebou. Sme nadšení, že môžeme byť na čele tejto inovácie, posúvať hranice možného a pomáhať formovať chod dejín."

Ďalšie informácie o spoločnosti Orion nájdete v týchto príspevkoch na blogu:

• Krištáľovo čisté: naše vlnovody z karbidu kremíka a cesta k veľkému rozptylu Orion
• Orion's Compute Puck: Príbeh zariadenia, ktoré nám pomohlo vytvoriť okuliare s rozšírenou realitou

Keď sme prvýkrát začali predvádzať ukážky Orion začiatkom tohto roka som si spomenul na vetu, ktorú v spoločnosti Meta počujete často - v skutočnosti bola dokonca v našom prvom liste potenciálnym akcionárom v roku 2012: Kód vyhráva argumenty. Pravdepodobne sme sa za niekoľko mesiacov reálnych ukážok naučili o tomto produkte toľko, čo za roky práce, ktorú sme potrebovali na ich vytvorenie. Nič nenahradí to, keď niečo skutočne vytvoríme, dáme to ľuďom do rúk a naučíme sa, ako na to reagujú.

Orion nebol tento rok jediným príkladom. Naša stránka hardvér zmiešanej reality a Okuliare s umelou inteligenciou dosiahli novú úroveň kvality a dostupnosti. Stabilita týchto platforiem umožňuje našim vývojárom softvéru postupovať oveľa rýchlejšie vo všetkých oblastiach, od operačných systémov až po nové funkcie umelej inteligencie. Takto vidím, že metaverse sa začína dostávať do väčšieho centra pozornosti, a preto som presvedčený, že nadchádzajúci rok bude najdôležitejší v histórii Reality Labs.

https://youtube.com/watch?v=xwMNZb6UE1o%3F%26controls%3D0%3Fautoplay%3D0%26color%3Dwhite%26cc_lang_pref%3Den%26cc_load_policy%3D0%26enablejsapi%3D1%26frameborder%3D0%26hl%3Den%26rel%3D0%26origin%3Dhttps%253A%252F%252Fwww.meta.com

Rok 2024 bol rokom, keď okuliare s umelou inteligenciou dosiahli svoj vrchol. Keď sme v roku 2021 začali vyrábať inteligentné okuliare, mysleli sme si, že by mohli byť pekným prvým krokom k okuliarom rozšírenej reality, ktoré sme nakoniec chceli vytvoriť. Zatiaľ čo náhlavné súpravy pre zmiešanú realitu sú na najlepšej ceste stať sa všeobecnou počítačovou platformou podobne ako dnešné počítače, my sme okuliare považovali za prirodzený vývoj dnešných mobilných počítačových platforiem. Preto sme sa chceli čo najskôr začať učiť z reálneho sveta.

Najviac sme sa naučili, že okuliare sú zďaleka najlepším formálnym faktorom pre zariadenie so skutočnou umelou inteligenciou. V skutočnosti by to mohla byť prvá kategória hardvéru, ktorá bude od začiatku úplne definovaná AI. Pre mnohých ľudí sú okuliare miestom, kde má asistent AI najväčší zmysel, najmä ak ide o multimodálny systém ktoré dokážu skutočne pochopiť svet okolo vás.

Sme na začiatku S-krivky pre celú túto kategóriu produktov a pred nami je nekonečné množstvo príležitostí. Jednou z vecí, z ktorých sa v roku 2025 najviac teším, je vývoj asistentov s umelou inteligenciou do podoby nástrojov, ktoré nereagujú len na výzvu, keď požiadate o pomoc, ale môžu sa stať aktívnym pomocníkom počas vášho dňa. Na konferencii Connect sme ukázali, ako sa Live AI na okuliaroch môže stať viac účastníkom v reálnom čase, keď si vybavujete veci. Keďže táto funkcia sa tento mesiac začína zavádzať v rámci skorého prístupu uvidíme prvý krok k novému druhu personalizovaného asistenta s umelou inteligenciou.

Nebude to posledný prípad. V súčasnosti sme uprostred celosvetového úsilia o vytvorenie hardvéru s umelou inteligenciou. Vidíte, ako sa výrobcovia telefónov a počítačov snažia prebudovať svoje produkty tak, aby ich jadrom boli asistenti s umelou inteligenciou. Myslím si však, že oveľa väčšou príležitosťou je vyrábať zariadenia, ktoré sú od začiatku natívne pre umelú inteligenciu, a som presvedčený, že okuliare budú prvé, ktoré sa k tomu dostanú. Vedúci výskumný pracovník spoločnosti Meta Michael Abrash hovoril o potenciáli personalizovaného, kontextovo orientovaného asistenta AI v okuliaroch už mnoho rokova vytváranie technológií, ktoré to umožňujú, je v centre pozornosti našich výskumných tímov.

Zmiešaná realita bolo ďalším miestom, kde bol správny produkt v rukách mnohých ľudí hlavným urýchľovačom pokroku. Boli sme svedkami Meta Quest 3 sa mesiac od mesiaca zlepšuje, pretože pokračujeme v zdokonaľovaní základného systému passthrough, multitaskingu, priestorových používateľských rozhraní a ďalších funkcií. Všetky tieto zisky sa rozšírili na Quest 3S v okamihu jeho spustenia. To znamenalo, že $299 Quest 3S bol v mnohých ohľadoch lepší headset v prvý deň ako $499 Quest 3 pri jeho prvom uvedení na trh v roku 2023. A celá rodina Quest 3 sa neustále zlepšuje každá aktualizácia.

V roku 2025 sa dočkáme ďalšej iterácie, keď Quest 3S prvýkrát privedie do zmiešanej reality oveľa viac ľudí. Zatiaľ čo Quest 3 bol hitom medzi ľuďmi, ktorí sa tešia na to, že môžu vlastniť to najlepšie zariadenie na trhu, očakáva sa, že Quest 3S bude veľmi nadaný v roku 2024. Počas víkendu Black Friday bol predaj silný a očakávame, že počas prázdnin si ľudia aktivujú svoje nové slúchadlá.

Pokračuje tak trend, ktorý sa prejavil v minulom roku: nárast počtu nových používateľov, ktorí hľadajú širšiu škálu možností, čo robiť so svojimi slúchadlami. Chceme, aby títo noví používatelia spoznali čaro MR a zostali s nami dlhodobo, a preto financujeme vývojárov, aby vytvárali nové typy aplikácií a hier, ktoré hľadajú.

Výrazný prílev zaznamenali najmä mladší ľudia, ktorí sa orientujú na spoločenské a súťažné hry pre viacerých hráčov, ako aj na bezplatný obsah. A tituly ako napr. BEHEMOTH spoločnosti Skydance, Batman: Arkham Shadow (ktorá práve získala cenu za najlepšiu AR/VR hru na The Game Awards!) a Metro Awakening opäť ukázali, že niektoré z najlepších nových hier, ktoré naše odvetvie produkuje, sú teraz možné len na dnešných náhlavných súpravách.

S rastúcim počtom ľudí v MR rastie aj kvalita spoločenských zážitkov, ktoré môže poskytnúť. To je jadrom toho, čo sa Meta snaží dosiahnuť prostredníctvom Reality Labs a kde sa uvoľní najväčší potenciál metaversa: "šanca vytvoriť najsociálnejšiu platformu v histórii" - takto sme to opísali, keď sme začal na ňom pracovať po prvýkrát.. V roku 2024 sme v tomto smere urobili dva kroky vpred: po prvé, rozsiahly súbor vylepšení hry Horizon Worlds vrátane jej rozšírenia na mobilné zariadenia, a po druhé, systém Meta Avatars novej generácie, ktorý umožňuje ľuďom reprezentovať samých seba v našich aplikáciách a náhlavných súpravách. A keďže sa vizuálna kvalita a celkový zážitok z týchto systémov zlepšuje, čoraz viac ľudí získava prvý pohľad na sociálne metaverse. Podobné trendy pozorujeme aj u nových používateľov aplikácie Quest 3S, ktorí trávia viac času v Horizon Worlds, vďaka čomu sa táto aplikácia dostala medzi top 3 imerzívnych aplikácií pre Quest 3S, a ľudia naďalej vytvárajú nové Meta Avatary v mobilných zariadeniach a MR.

Presadenie zmiešanej reality do hlavného prúdu pomohlo objasniť, čo bude nasledovať. Jedným z prvých trendov, ktoré sme objavili po uvedení Questu 3 na trh minulý rok, bolo, že ľudia používajú zmiešanú realitu na sledovanie videí pri multitaskingu v domácnosti - umývaní riadu alebo vysávaní obývačky. Bol to prvý signál, že ľudia milujú veľkú virtuálnu obrazovku, ktorú si môžete vziať kamkoľvek a umiestniť ju do fyzického sveta okolo seba. Videli sme, že tento trend sa rýchlo rozbieha a v celej rodine zariadení Quest 3 pribúdajú najrôznejšie druhy zábavy. Nové funkcie, ako napríklad YouTube Co-Watch ukazujú, aký veľký potenciál má úplne nový druh spoločenskej zábavy v metaverse.

Preto James Cameron, jeden z technologicky najinovatívnejších rozprávačov našich životov, teraz pracuje na tom, aby pomohol viacerým filmárom a tvorcom vytvárať skvelý 3D obsah pre Meta Quest. Hoci sa 3D filmy vyrábajú už desaťročia, nikdy neexistoval spôsob ich sledovania, ktorý by bol taký dobrý ako MR headset, a budúci rok bude vlastniť headset viac ľudí ako kedykoľvek predtým. "Nachádzame sa v skutočnom historickom bode zlomu,"Jim povedal keď sme spustili naše nové partnerstvo tento mesiac.

Deje sa to popri väčšej zmene Mark Rabkin zdieľané na konferencii Connect v tomto roku: Našou víziou pre Horizon OS je vytvoriť nový druh univerzálnej počítačovej platformy, ktorá bude schopná spustiť každý druh softvéru, podporovať každý druh používateľa a bude otvorená pre každý druh tvorcov a vývojárov. Naše nedávne verzie pre 2D/3D multi-tasking, polohovanie panelov, lepšie sledovanie rúk, integráciu Windows Remote Desktop a Open Store začali budovať dynamiku na tejto novej ceste. Horizon OS je na dobrej ceste stať sa prvou platformou, ktorá podporuje celé spektrum zážitkov od pohlcujúcej VR až po 2D obrazovky, mobilné aplikácie a virtuálne desktopy - a komunita vývojárov je pre tento úspech kľúčová.

Ďalší veľký krok smerom k metaverse bude kombinovať okuliare s umelou inteligenciou a skutočnú rozšírenú realitu, ktorú sme tento rok odhalili v aplikácii Orion. Nestáva sa často, aby ste mali možnosť nahliadnuť do budúcnosti a vidieť úplne novú technológiu, ktorá vám ukáže, kam veci smerujú. Ľudia, ktorí videli Orion, okamžite pochopili, čo to znamená pre budúcnosť, podobne ako ľudia, ktorí videli prvé osobné počítače, ako sa formovali v Xerox PARC v 70. rokoch minulého storočia ("v priebehu desiatich minút mi bolo jasné, že raz budú všetky počítače fungovať takto," povedal neskôr Steve Jobs o svojej demonštrácii Xerox Alto v roku 1979).

Možnosť posadiť ľudí do stroja času a ukázať im, ako bude vyzerať ďalšia počítačová platforma, bola vrcholom roku 2024 a mojej doterajšej kariéry. Skutočný vplyv Orionu však bude v produktoch, ktoré budeme dodávať ďalej, a v spôsoboch, ako nám pomôže lepšie pochopiť, čo ľudia na okuliaroch AR milujú a čo treba zlepšiť. Roky sme pracovali na výskume používateľov, plánovaní produktov a experimentálnych štúdiách, aby sme pochopili, ako by mali okuliare AR fungovať, a práve táto práca nám umožnila vytvoriť Orion. Odteraz však bude tempo pokroku oveľa rýchlejšie, keď už máme skutočný produkt, na ktorom môžeme budovať svoju intuíciu.

Toto je opakovaná lekcia za posledné desaťročie v Reality Labs. Najdôležitejšia vec, ktorú môžete urobiť, keď sa snažíte vymyslieť budúcnosť, je dodávať veci a učiť sa, ako ich používajú skutoční ľudia. Nie vždy to budú okamžité hity, ale vždy vás niečo naučia. A keď pristanete na veci, ktoré naozaj zasiahnu do deja, ako je zmiešaná realita v Quest 3 alebo umelá inteligencia v okuliaroch, vtedy šliapnete na plyn. Práve vďaka tomu bude rok 2025 taký výnimočný: Keď budú na trhu tie správne zariadenia, ľudia ich po prvýkrát zažijú a vývojári objavia všetky možnosti, ktoré sa pred nimi otvárajú, je čas zrýchliť.

Vitajte späť v ďalšej epizóde Boz do budúcnosti, podcast z Reality Labs. Na stránke dnešná epizódak nášmu hostiteľovi, technickému riaditeľovi spoločnosti Meta a vedúcemu oddelenia Reality Labs Andrewovi "Bozovi" Bosworthovi, sa pripojí viceprezident spoločnosti Meta pre nositeľné zariadenia Alex Himel.

Himelov tím pracuje na najťažších technických problémoch v priemysle, a to všetko s cieľom pomôcť vytvoriť ďalšiu počítačovú platformu. Podobne ako Bosworth, aj Himel je dlhoročným vedúcim pracovníkom spoločnosti Meta, ktorý počas viac ako 15 rokov pôsobenia v spoločnosti zastával mnohé vedúce funkcie v rámci celého podniku.

Bosworth a Himel sa zaoberajú celým radom tém vrátane nositeľných zariadení, rozšírenej reality a toho, ako umelá inteligencia urýchľuje a zlepšuje druhy zážitkov zabudovaných do Okuliare Ray-Ban Meta a budúce produkty.

Idú hlboko na Orion a pozitívne prijatie, ktoré sa jej dostalo, odkedy ju Mark Zuckerberg oznámil na Pripojenie. Podobne ako Steve Jobs považoval Alto za zlomový bod v oblasti počítačov, Bosworth tvrdí, že hoci sa môžeme nezhodnúť na detailoch, je ťažké namietať proti tomu, že ide o budúcnosť. Himel a Bosworth ďalej hovoria o obrovskej hodnote prototypovania a budovania a hovoria, o koľko viac sa naučili o Orione a jeho vstupných paradigmách za tri týždne používania v porovnaní s rokmi strávenými jeho budovaním.

Hovorili aj o kľúčovej úlohe umelej inteligencie v nositeľných zariadeniach a o tom, ako sa stáva čoraz užitočnejšou v každodennom živote - najmä teraz, keď sa môžete pýtať Meta AI na veci, ktoré vidíte, a používať ju na nastavenie vizuálnych pripomienok.

Himel hovorí aj o svojich bohatých skúsenostiach s iným druhom zásobníkov: sendvičmi. Himel a Bosworth, ktorý má za sebou sedem rokov práce v slávnom obchode Lange's Little Store v Chappaqua v New Yorku, kde vyrastal, sa venujú tomu, čo robí sendvič skvelým, kam naozaj patria paradajky a ktorý chlieb je lepší.

Môžete si naladiť Boz do budúcnosti na stránke . Apple Podcasty, Spotifya kdekoľvek počúvate podcasty.

Spoločnosť Himel môžete sledovať na Vlákna. Spoločnosť Bosworth môžete sledovať na Instagram, Twitter/Xa Vlákna @boztank.