Uverejnené - Vložiť komentár

Krištáľovo čisté: naše vlnovody z karbidu kremíka a cesta k veľkému rozptylu Orion

0:00 / 0:00

V roku 2019 Orion tím pripravil pre zakladateľa a generálneho riaditeľa spoločnosti Meta Marka Zuckerberga dôležitú ukážku, ktorá predstavila potenciálne vlnovody pre okuliare s rozšírenou realitou-kľúčový moment, keď sa teoretické výpočty na papieri dostali do života. Bola to demonštrácia, ktorá všetko zmenila.

"Pri nosení okuliarov so sklenenými vlnovodmi a viacerými platničkami ste sa cítili ako na diskotéke," spomína optický vedec Pasqual Rivera. "Všade boli dúhy a bolo to také rušivé - ani ste sa nepozerali na obsah rozšírenej reality. Potom ste si nasadili okuliare s karbid kremíka vlnovodov a bolo to, akoby ste boli na symfónii a počúvali tichú klasickú skladbu. Mohli ste skutočne venovať pozornosť plnému zážitku z toho, čo sme stavali. Úplne to zmenilo pravidlá hry."

Napriek tomu, že voľba karbidu kremíka ako substrátu sa dnes zdá byť jasná (slovná hračka), keď sme sa prvýkrát vydali na cestu cesta k okuliarom AR pred desiatimi rokmi, bolo to niečo iné.

"Karbid kremíka je zvyčajne silne dopovaný dusíkom," hovorí Rivera. "Je zelený, a ak je dostatočne hrubý, vyzerá čierny. Nie je možné z neho vyrobiť optickú šošovku. Je to elektronický materiál. Existuje dôvod, prečo má takúto farbu, a to kvôli elektronickým vlastnostiam."

"Karbid kremíka je ako materiál známy už dlho," súhlasí Giuseppe Calafiore, technický vedúci spoločnosti AR Waveguides. "Jeho hlavnou aplikáciou je výkonná elektronika. Vezmite si napríklad elektrické vozidlá: Všetky elektromobily vyžadujú čip - ale tento čip musí byť schopný aj veľmi vysokého výkonu, pohybovať kolesami a poháňať túto vec. Ukázalo sa, že s bežným kremíkovým substrátom, z ktorého sa vyrábajú čipy, ktoré používame v našich počítačoch a elektronike, sa to nedá. Potrebujete platformu, ktorá vám umožní prechádzať vysokými prúdmi, vysokým výkonom, a tým materiálom je karbid kremíka."

Až do nedávnej diskusie o obnoviteľných zdrojoch energie, ktorá sa začala rozprúdiť, sa trh s týmito vysoko výkonnými čipmi ani zďaleka nepribližoval veľkosti trhu s čipmi pre spotrebnú elektroniku. Karbid kremíka bol vždy drahý a neexistovala veľká motivácia znižovať náklady, pretože pri veľkosti čipu, ktorý sa vyrába pre auto, bola cena substrátu únosná.

"Ukázalo sa však, že karbid kremíka má aj niektoré vlastnosti, ktoré potrebujeme pre vlnovody a optiku," hovorí Calafiore. "Kľúčovou vlastnosťou, ktorá nás zaujíma, je index lomu. A karbid kremíka má vysoký index lomu, čo znamená, že je schopný kanalizovať a vysielať veľké množstvo optických dát. Môžete si to predstaviť ako optickú šírku pásma - podobne ako máte šírku pásma pre internet a chcete, aby bola dostatočne veľká, aby ste mohli cez tento kanál posielať obrovské množstvo dát. To isté platí aj pre optické zariadenia."

Čím vyšší je index lomu materiálu, tým vyšší je jeho étendue, takže cez tento kanál môžete posielať viac optických údajov.

"Kanálom je v našom prípade vlnovod a väčší étendue znamená väčšie zorné pole," vysvetľuje Calafiore. "Čím väčší je index lomu materiálu, tým väčšie zorné pole môže displej podporovať."

Cesta k správnemu indexu lomu

Keď sa Calafiore v roku 2016 prvýkrát pripojil k vtedajšej spoločnosti Oculus Research, najvyšší index lomu skla, ktorý mal tím k dispozícii, bol 1,8 - čo si vyžadovalo stohovanie viacerých dosiek na dosiahnutie požadovaného zorného poľa. Odhliadnuc od nežiaducich optických artefaktov sa montážna linka stávala čoraz komplikovanejšou, pretože prvé dva vlnovody museli byť dokonale zarovnané a potom musel byť tento stoh dokonale zarovnaný s tretím vlnovodom.

"Nielenže to bolo drahé, ale hneď bolo jasné, že v okuliaroch nemôžu byť tri kusy skla na šošovku," spomína Calafiore. "Boli príliš ťažké a ich hrúbka bola neúnosne veľká a škaredá - nikto by si ich nekúpil. Takže sme sa vrátili na začiatok: snažili sme sa zvýšiť index lomu substrátu, aby sme znížili počet potrebných doštičiek."

Prvým materiálom, ktorý tím skúmal, bol niobát lítny, ktorý má index lomu približne 2,3, čo je o niečo viac ako sklo s indexom 1,8.

"Uvedomili sme si, že nám stačia dve dosky a možno by sme si vystačili aj s jednou doskou, aby sme stále pokryli zorné pole," hovorí Calafiore. "Takmer paralelne sme začali skúmať iné materiály - a tak sme v roku 2019 spolu s našimi dodávateľmi zistili, že karbid kremíka je vo svojej najčistejšej forme vlastne veľmi priehľadný. Zhodou okolností má tiež najvyšší známy index lomu pre optické aplikácie, ktorý je 2,7."

To je nárast o 17,4% oproti niobátu lítia a o 50% oproti sklu, pre tých, ktorí si doma vedú skóre.

"S niekoľkými úpravami toho istého zariadenia, ktoré sa už v priemysle používalo, bolo možné získať priehľadný karbid kremíka," hovorí Calafiore. "Stačilo zmeniť proces, byť oveľa opatrnejší a namiesto optimalizácie pre elektronické vlastnosti optimalizovať pre optické vlastnosti: priehľadnosť, rovnomernosť indexu lomu atď."

Potenciálne náklady na kompromis

V tom čase bol tím Reality Labs vôbec prvým, ktorý sa pokúsil prejsť z nepriehľadných kremíkovo-karbidových doštičiek na priehľadné. A keďže karbid kremíka je jedným z najtvrdších známych materiálov, na jeho rezanie alebo leštenie sú v podstate potrebné diamantové nástroje. V dôsledku toho boli jednorazové technické náklady veľmi vysoké, takže výsledný substrát bol pomerne drahý.

Hoci existujú aj nákladovo efektívnejšie alternatívy, ako pri každej technológii, každá z nich má svoje kompromisy. A keď sa zorné pole zväčšuje smerom k špičkovému zornému poľu Orion, ktoré je približne 70 stupňov, vznikajú nové problémy, ako napríklad duchovité obrazy a dúhy.

"Hľadanie optimálneho riešenia pre široký zorný uhol displeja rozšírenej reality je spojené s kompromismi medzi výkonom a nákladmi," vysvetľuje riaditeľ vedeckého výskumu Barry Silverstein. "Náklady sa často dajú znížiť, ale ak sa výkon nezníži, na nákladoch nakoniec nezáleží."

Obrazy duchov sú ako vizuálne ozveny primárneho obrazu premietaného na displej. Dúhy sú farebné svetelné pruhy, ktoré vznikajú pri odraze okolitého svetla od vlnovodu. "Povedzme, že jazdíte v noci a okolo vás sa pohybujú svetlá áut," hovorí Silverstein. "Budete mať dúhy, ktoré sa tiež pohybujú. Alebo ak ste na pláži a hráte volejbal a svieti slnko, budete mať dúhový pruh, ktorý sa pohybuje spolu s vami a vy miniete svoj záber. A jednou zo zázračných vlastností karbidu kremíka je, že sa týchto dúh zbaví."

"Ďalšou výhodou karbidu kremíka, ktorú nemá žiadny z ostatných materiálov, je tepelná vodivosť," dodáva Calafiore. "Plast je hrozný izolant. Sklo, niobát lítia, to isté. Keď prejdete na karbid kremíka, je priehľadný, vyzerá ako sklo a hádajte čo: vedie teplo."

V júli 2020 preto tím rozhodol, že karbid kremíka je optimálnou voľbou z troch hlavných dôvodov: Viedol k lepšiemu tvarovému faktoru, pretože vyžadoval len jednu dosku a menšie montážne štruktúry, mal lepšie optické vlastnosti a bol ľahší ako dvojdoskové sklo.

Tajomstvo šikmého leptania

Keď už sme mali materiál v hlave, ďalším orieškom bola výroba vlnovodov - konkrétne netradičná technika leptania mriežok nazývaná šikmé leptanie.

"Mriežka je nanoštruktúra, ktorá spája a oddeľuje svetlo zo šošovky," vysvetľuje Calafiore. "Aby karbid kremíka fungoval, musí byť mriežka šikmo leptaná. Namiesto vertikálnych línií chcete, aby boli línie mriežky šikmé."

"Boli sme prví, ktorí robili šikmé leptanie priamo na zariadeniach," hovorí vedúci výskumu Nihar Mohanty. "Celé odvetvie sa spoliehalo na nanotlač, ktorá nefunguje na substrátoch s takým vysokým indexom lomu. To je dôvod, prečo nikto iný na svete nepomyslel na to, že by mohol robiť karbid kremíka."

Keďže je však šikmé leptanie nezrelá technológia, väčšina dodávateľov a tovární na výrobu polovodičových čipov nemá potrebné nástroje.

"V roku 2019 sme s mojím vtedajším manažérom Mattom Colburnom založili vlastné zariadenie, pretože na svete neexistovalo nič, čo by dokázalo vyrábať leptané vlnovody z karbidu kremíka a kde by sme mohli overiť technológiu nad rámec laboratórneho meradla," vysvetľuje Mohanty. "Bola to obrovská investícia a vytvorili sme tam celé potrubie. Nástroje pre nás vyrobili naši partneri na zákazku a proces bol vyvinutý priamo v Mete, hoci naše systémy sú výskumné, pretože neexistovali žiadne výrobné systémy. Spolupracovali sme s výrobným partnerom na vývoji nástrojov a procesov na šikmé leptanie na výrobnej úrovni. A teraz, keď sme ukázali, čo je možné s karbidom kremíka, chceme, aby aj ostatní v tomto odvetví začali vyrábať vlastné nástroje."

Čím viac spoločností bude investovať do karbidu kremíka optickej kvality a vyvíjať zariadenia, tým silnejšia bude kategória spotrebiteľských okuliarov AR.

Už nie naháňať dúhy

Zatiaľ čo technologická nevyhnutnosť je mýtus, zdá sa, že hviezdy sú v prospech karbidu kremíka. A hoci tím pokračuje v skúmaní alternatív, je tu silný pocit, že sa v správnom čase a za správnych trhových podmienok zišli správni ľudia, aby vytvorili okuliare rozšírenej reality s použitím tohto materiálu.

"Spoločnosť Orion dokázala, že karbid kremíka je životaschopnou možnosťou pre okuliare na rozšírenú realitu," hovorí Silverstein, "a teraz vidíme záujem v celom dodávateľskom reťazci na troch rôznych kontinentoch, kde sa o to intenzívne zaujímajú. Karbid kremíka sa dostane na vrchol. Podľa mňa je to len otázka času."

A za ten čas sa môže stať veľa vecí - podobne ako sa otočili karty, odkedy sme vypestovali prvé kryštály číreho karbidu kremíka.

"Všetci títo výrobcovia karbidu kremíka masívne zvýšili dodávky v reakcii na očakávaný rozmach elektrických vozidiel," poznamenáva Calafiore. "Teraz je tu nadbytok kapacít, ktorý neexistoval, keď sme stavali Orion. Takže teraz, keď je ponuka vysoká a dopyt nízky, cena substrátu začala klesať."

"Dodávatelia sú veľmi nadšení novou príležitosťou výroby karbidu kremíka optickej kvality - veď každá vlnovodná šošovka predstavuje veľké množstvo materiálu v porovnaní s elektronickým čipom a všetky ich existujúce schopnosti sa vzťahujú na tento nový priestor," dodáva Silverstein. "Naplnenie továrne je nevyhnutné a zväčšenie továrne je sen. Dôležitá je aj veľkosť plátku: Čím väčší je wafer, tým nižšie sú náklady, ale zvyšuje sa aj zložitosť procesu. Napriek tomu sme videli, že dodávatelia prechádzajú zo štvorpalcových na osempalcové plátky a niektorí pracujú na predchodcoch 12-palcových plátkov, čo by prinieslo exponenciálne viac párov okuliarov na rozšírenú realitu."

Tieto pokroky by mali prispieť k ďalšiemu znižovaniu nákladov. Je ešte len začiatok, ale budúcnosť sa už čoraz viac približuje.

"Na začiatku každej novej technologickej revolúcie vyskúšate niekoľko vecí," hovorí Calafiore. "Pozrite sa na televíziu: Začali sme s katódovými trubicami, potom sme prešli na plazmové televízory LED a teraz na mikroLED. Prešli sme niekoľkými rôznymi technológiami a architektúrami. Keď hľadáte cestu, veľa ciest sa nikam nedostane, ale k niektorým sa stále vraciate ako k najsľubnejším. Nie sme na konci cesty a sami to nedokážeme, ale karbid kremíka je zázračný materiál, do ktorého sa oplatí investovať."

"Svet sa teraz zobudil," dodáva Silverstein. "Úspešne sme ukázali, že karbid kremíka sa môže ohýbať v elektronike a fotonike. Je to materiál, ktorý by sa v budúcnosti mohol uplatniť v kvantových počítačoch. A vidíme náznaky, že je možné výrazne znížiť náklady. Zostáva ešte veľa práce, ale potenciálny prínos je tu obrovský."


Ďalšie informácie o karbide kremíka nájdete v Fotonické spektrum.

Ďalšie informácie o spoločnosti Orion nájdete v týchto príspevkoch na blogu:

Uverejnené - Vložiť komentár

Orion: Skutočné AR okuliare sú na svete

TL;DR:

  • Dnes na Pripojenie, Mark Zuckerberg predstavil Orion - náš prvý pár skutočných okuliarov s rozšírenou realitou, ktoré mali predtým kódové označenie Projekt Nazare.
  • S najlepším zorným poľom v odvetví, šošovky z karbidu kremíka, zložitých vlnovodov, uLED projektorov a ďalších, Orion je náš najpokročilejší a najprepracovanejší prototyp produktu.
  • Teraz pokračujeme v optimalizácii produktov a znižovaní nákladov, pretože sa snažíme vytvoriť škálovateľné spotrebiteľské zariadenie, ktoré spôsobí revolúciu v interakcii ľudí so svetom.

"Vyrábame okuliare rozšírenej reality."

Päť jednoduchých slov, vyslovené pred piatimi rokmi. Spolu s nimi sme vztýčili vlajku našej vízie budúcnosti, v ktorej si už nebudeme musieť falošne vyberať medzi svetom informácií na dosah ruky a fyzickým svetom okolo nás.

A teraz, o päť rokov neskôr, ďalších päť slov, ktoré môžu opäť zmeniť hru:

Vytvorili sme okuliare rozšírenej reality.

https://youtube.com/watch?v=2CJsnyS8u3c%3Fsi%3DTr77gOKEq3PnA7-k%26controls%3D0%3Fautoplay%3D0%26color%3Dwhite%26cc_lang_pref%3Den%26cc_load_policy%3D0%26enablejsapi%3D1%26frameborder%3D0%26hl%3Den%26rel%3D0%26origin%3Dhttps%253A%252F%252Fwww.meta.com

V spoločnosti Meta je naše poslanie jednoduché: dať ľuďom silu budovať komunitu a zbližovať svet. A v Reality Labs vytvárame nástroje, ktoré pomáhajú ľuďom cítiť sa prepojení kedykoľvek a kdekoľvek. Preto pracujeme na vytvorení ďalšej počítačovej platformy, ktorá postaví ľudí do centra pozornosti, aby mohli byť vo svete viac prítomní, prepojení a posilnení.

Okuliare Ray-Ban Meta ukázali, že je možné poskytnúť ľuďom hands-free prístup ku kľúčovým častiam ich digitálneho života z ich fyzického života. Môžeme sa rozprávať s inteligentným asistentom s umelou inteligenciou, spojiť sa s priateľmi a zachytiť dôležité momenty - a to všetko bez toho, aby sme museli vytiahnuť telefón. Tieto štýlové okuliare bez problémov zapadajú do nášho každodenného života a ľudia ich absolútne milujú.

Zatiaľ čo Ray-Ban Meta otvorila úplne novú kategóriu okuliarov bez displeja, ktoré sú nabité umelou inteligenciou, odvetvie XR už dlho sníva o skutočných okuliaroch s rozšírenou realitou - produkte, ktorý kombinuje výhody veľkého holografického displeja a personalizovanej asistencie umelej inteligencie v pohodlnej, štýlovej a celodennej podobe.

A dnes sme tento sen posunuli bližšie k realite odhalením Orion, ktoré sú podľa nás najpokročilejšími okuliarmi rozšírenej reality, aké boli kedy vyrobené. V skutočnosti by mohlo ísť o najnáročnejšie zariadenie spotrebnej elektroniky vyrobené od čias smartfónu. Orion je výsledkom prelomových vynálezov prakticky v každej oblasti modernej výpočtovej techniky - stavia na práca, ktorú sme v Reality Labs vykonávali počas posledných desiatich rokov.. Je vybavený úplne novými technológiami vrátane najpokročilejšieho displeja AR, aký bol kedy zostavený, a vlastný silikón ktorá umožňuje spustiť výkonné zážitky rozšírenej reality na okuliaroch s použitím zlomku výkonu a hmotnosti náhlavnej súpravy MR.

Vstupný systém Orion bezproblémovo kombinuje hlas, pohľad očí a sledovanie ruky s EMG náramok ktorá vám umožňuje posúvať, klikať a posúvať sa, pričom máte ruku pohodlne položenú vedľa seba, čo vám umožňuje zostať prítomní vo svete a s ľuďmi okolo vás pri interakcii s bohatým digitálnym obsahom.

Počnúc dnešným dňom na veľtrhu Connect a pokračujúc počas celého roka otvárame prístup k prototypu nášho produktu Orion pre zamestnancov spoločnosti Meta a vybrané externé publikum, aby sa náš vývojový tím mohol učiť, vylepšovať a budovať náš produktový rad okuliarov AR pre spotrebiteľov, ktorý plánujeme začať dodávať v blízkej budúcnosti.

Prečo okuliare AR?

Existujú tri hlavné dôvody, prečo sú okuliare rozšírenej reality kľúčom k odomknutiu ďalšieho veľkého skoku v oblasti počítačov orientovaných na človeka.

  1. Umožňujú digitálne zážitky, ktoré nie sú obmedzené limitmi obrazovky smartfónu. Vďaka veľkým holografickým displejom môžete používať fyzický svet ako plátno a umiestniť 2D a 3D obsah a zážitky kamkoľvek chcete.
  2. Bez problémov integrujú kontextovú umelú inteligenciu, ktorá dokáže vnímať a chápať svet okolo vás s cieľom predvídať a proaktívne riešiť vaše potreby.
  3. Sú ľahké a skvelé na použitie v interiéri aj exteriéri - a umožňujú ľuďom vidieť skutočnú tvár, skutočné oči a skutočné výrazy.

To je severná hviezda, ku ktorej naše odvetvie smeruje: produkt kombinujúci pohodlie a bezprostrednosť nositeľných zariadení s veľkým displejom, vstupom s vysokou šírkou pásma a kontextualizovanou umelou inteligenciou vo formáte, ktorý ľudia pohodlne nosia v každodennom živote.

Kompaktný tvar, zložité výzvy

Roky sme stáli pred falošnou voľbou - buď náhlavné súpravy pre virtuálnu a zmiešanú realitu, ktoré umožňujú hlboké, pohlcujúce zážitky v objemnom formáte, alebo okuliare, ktoré sú ideálne na celodenné používanie, ale neponúkajú bohaté vizuálne aplikácie a zážitky vzhľadom na nedostatok veľkého displeja a zodpovedajúceho výpočtového výkonu.

Chceme však všetko bez kompromisov. Už roky tvrdo pracujeme na tom, aby sme do páru ľahkých a štýlových okuliarov preniesli neuveriteľné priestorové zážitky, ktoré poskytujú náhlavné súpravy VR a MR, a miniaturizovali technológiu potrebnú na poskytovanie týchto zážitkov. Vyladenie tvarového faktora, holografických displejov, vývoj presvedčivých zážitkov s rozšírenou realitou a vytvorenie nových paradigiem interakcie človeka s počítačom (HCI) - a to všetko v jednom ucelenom produkte - je jednou z najťažších výziev, akej kedy naše odvetvie čelilo. Bola to taká výzva, že sme si mysleli, že máme menej ako 10-percentnú šancu na jej úspešné zvládnutie.

Až doteraz.

Prelomový displej v bezkonkurenčnom formáte

Orion má približne 70° zorné pole v doteraz najmenšom formáte okuliarov AR. Toto zorné pole umožňuje skutočne pohlcujúce prípady použitia Orionu, od multitaskingových okien a veľkoplošnej zábavy až po hologramy ľudí v životnej veľkosti - všetok digitálny obsah, ktorý sa môže plynulo prelínať s vaším pohľadom na fyzický svet.

Pre Orion bolo zorné pole naším svätým grálom. Narážali sme na fyzikálne zákony a museli sme ohýbať svetelné lúče tak, ako sa prirodzene neohýbajú - a museli sme to robiť v rámci výkonovej obálky meranej v miliwattoch.

Namiesto skla, šošovky sme vyrobili z karbidu kremíka-nová aplikácia pre okuliare rozšírenej reality. Karbid kremíka je neuveriteľne ľahký, nespôsobuje optické artefakty ani rozptýlené svetlo a má vysoký index lomu - všetky optické vlastnosti, ktoré sú kľúčové pre veľké zorné pole. Samotné vlnovody majú skutočne zložité a komplexné 3D štruktúry v nanorozmeroch, ktoré rozptyľujú alebo rozptyľujú svetlo spôsobom potrebným na dosiahnutie tohto zorného poľa. A projektory sú uLED - nový typ zobrazovacej technológie, ktorá je veľmi malá a mimoriadne energeticky účinná.

Orion je nezameniteľný pár okuliarov na pohľad aj na dotyk - s priehľadnými šošovkami. Na rozdiel od dnešných náhlavných súprav MR alebo iných okuliarov AR stále vidíte skutočné oči a výrazy druhých, takže môžete byť prítomní a zdieľať zážitok s ľuďmi okolo seba. Na to, aby sa priemyselný dizajn dostal do podoby moderných okuliarov, ktoré by sa vám pohodlne nosili každý deň, boli potrebné desiatky inovácií. Orion je výdobytkom miniaturizácie - komponenty sú zbalené do zlomku milimetra. A do obruby rámu sa nám podarilo zabudovať sedem malých kamier a senzorov.

Museli sme zachovať optickú presnosť na úrovni jednej desatiny hrúbky ľudského vlasu. Systém dokáže rozpoznať nepatrné pohyby, ako napríklad rozťahovanie alebo zmršťovanie rámov pri rôznych teplotách v miestnosti, a potom digitálne korigovať potrebné optické zarovnanie, a to všetko v priebehu milisekúnd. Rámy sme vyrobili z horčíka - rovnakého materiálu, aký sa používa v pretekárskych autách F1 a vesmírnych lodiach - pretože je ľahký a zároveň tuhý, takže udržiava optické prvky v správnej polohe a účinne odvádza teplo.

Vykurovanie a chladenie

Keď sme rozlúskli displej (bez slovnej hračky) a prekonali problémy s fyzikou, museli sme sa vyrovnať s výzvou skutočne výkonného počítača a zároveň s naozaj nízkou spotrebou energie a potrebou odvádzania tepla. Na rozdiel od dnešných MR headsetov nemôžete do okuliarov vložiť ventilátor. Takže sme museli byť kreatívni. Mnohé materiály použité na chladenie Orionu sú podobné tým, ktoré používa NASA na chladenie satelitov vo vesmíre.

Postavili sme vysoko špecializovaný kremík na zákazku ktorý je mimoriadne energeticky efektívny a optimalizovaný pre naše algoritmy umelej inteligencie, strojového vnímania a grafiky. Vytvorili sme niekoľko vlastných čipov a desiatky vysoko prispôsobených kremíkových blokov IP v týchto čipoch. To nám umožňuje použiť algoritmy potrebné na sledovanie rúk a očí, ako aj technológiu simultánnej lokalizácie a mapovania (SLAM), ktorá bežne spotrebúva stovky miliwattov energie - a teda generuje zodpovedajúce množstvo tepla - a zmenšiť ju len na niekoľko desiatok miliwattov.

A áno, napriek tomu, čo ste sa možno dočítali inde, vlastný kremík naďalej zohráva kľúčovú úlohu pri vývoji produktov v spoločnosti Reality Labs. 😎

Bez námahy EMG

Každá nová počítačová platforma so sebou prináša zmena paradigmy v spôsobe, akým komunikujeme so svojimi zariadeniami. Vynález myši pomohol pripraviť pôdu pre grafické používateľské rozhrania (GUI), ktoré dnes dominujú nášmu svetu, a smartfóny sa začali skutočne presadzovať až s príchodom dotykovej obrazovky. To isté pravidlo platí aj pre nositeľné zariadenia.

Hovorili sme o našej práci s elektromyografia alebo EMG, už niekoľko rokov, pričom nás viedlo presvedčenie, že zadávanie údajov do okuliarov rozšírenej reality musí byť rýchle, pohodlné, spoľahlivé, jemné a spoločensky prijateľné. A teraz je táto práca pripravená na hlavný čas.

Vstupný a interakčný systém Orion hladko kombinuje hlas, pohľad očí a sledovanie ruky s EMG náramkom, ktorý vám umožní ľahko posúvať, klikať a rolovať.

Funguje to ako kúzlo. Predstavte si, že fotografujete pri rannom behu jednoduchým ťuknutím prstov alebo prechádzate menu sotva postrehnuteľnými pohybmi rúk. Náš náramok kombinuje vysoko výkonný textil so zabudovanými EMG snímačmi na detekciu elektrických signálov generovaných aj tými najmenšími pohybmi svalov. ML procesor v zariadení potom interpretuje tieto EMG signály a vytvára vstupné udalosti, ktoré sa bezdrôtovo prenášajú do okuliarov. Systém sa vám prispôsobuje, takže sa časom zlepšuje a dokáže rozpoznať aj tie najjemnejšie gestá. A dnes sa podelíme o ďalšie informácie o našej podpore externého výskumu zameraného na rozšírenie potenciálu rovnosti a dostupnosti EMG náramkov.

Zoznámte sa s bezdrôtovým výpočtovým zariadením Puck

Skutočné okuliare rozšírenej reality musia byť bezdrôtové a musia byť aj malé.Tak sme postavili bezdrôtový výpočtový puk pre Orion. To čiastočne odbremeňuje okuliare, čo umožňuje dlhšiu výdrž batérie a lepší tvar s nízkou latenciou.

Na okuliaroch bežia všetky algoritmy na sledovanie rúk, očí, SLAM a špecializované grafické algoritmy na uzamknutie sveta AR, zatiaľ čo logika aplikácie beží na puku, aby boli okuliare čo najľahšie a najkompaktnejšie.

Puk má dva procesory, vrátane jedného navrhnutého priamo v spoločnosti Meta, a poskytuje výpočtový výkon potrebný na vykresľovanie grafiky s nízkou latenciou, umelú inteligenciu a niektoré ďalšie strojové vnímanie.

Keďže je malý a elegantný, môžete si ho pohodlne hodiť do tašky alebo do vrecka a pokračovať v práci - bez akýchkoľvek prekážok.

Skúsenosti s rozšírenou realitou

Samozrejme, ako každý hardvér, aj tento je taký dobrý, ako veci, ktoré môžete do s ním. A hoci je to ešte len začiatok, skúsenosti, ktoré Orion poskytuje, sú vzrušujúcim zábleskom toho, čo príde.

https://youtube.com/watch?v=HkdSv3QPhNw%3F%26controls%3D0%3Fautoplay%3D0%26color%3Dwhite%26cc_lang_pref%3Den%26cc_load_policy%3D0%26enablejsapi%3D1%26frameborder%3D0%26hl%3Den%26rel%3D0%26origin%3Dhttps%253A%252F%252Fwww.meta.com

Máme svojho inteligentného asistenta, Meta AI, spustený v systéme Orion. Rozumie tomu, na čo sa pozeráte vo fyzickom svete, a môže vám pomôcť s užitočnými vizualizáciami. Orion využíva rovnaký model Llama, ktorý dnes poháňa zážitky s umelou inteligenciou bežiace na inteligentných okuliaroch Ray-Ban Meta, plus vlastné výskumné modely na demonštráciu potenciálnych prípadov použitia pre budúci vývoj nositeľných zariadení.

Na cestách môžete uskutočniť videohovor bez použitia rúk, aby ste sa v reálnom čase spojili s priateľmi a rodinou, a môžete zostať v spojení v aplikáciách WhatsApp a Messenger a zobrazovať a odosielať správy. Nemusíte vyťahovať telefón, odomykať ho, hľadať správnu aplikáciu a oznamovať priateľovi, že meškáte na večeru - to všetko môžete urobiť cez okuliare.

https://youtube.com/watch?v=el7lUVvu8Bo%3F%26controls%3D0%3Fautoplay%3D0%26color%3Dwhite%26cc_lang_pref%3Den%26cc_load_policy%3D0%26enablejsapi%3D1%26frameborder%3D0%26hl%3Den%26rel%3D0%26origin%3Dhttps%253A%252F%252Fwww.meta.com

Spoločné hry s rozšírenou realitou môžete hrať s rodinou na druhom konci krajiny alebo s priateľom na druhej strane gauča. A veľký displej Orionu vám umožní multitasking s viacerými oknami, aby ste mohli robiť veci bez toho, aby ste so sebou museli nosiť notebook.

Skúsenosti, ktoré sú dnes k dispozícii na Orione, pomôžu načrtnúť plán pre našu budúcu líniu okuliarov AR pre spotrebiteľov. Naše tímy budú spolu s našimi partnermi z radov vývojárov pokračovať vo vylepšovaní a vytváraní nových pohlcujúcich sociálnych zážitkov a my sa už nevieme dočkať, kedy sa s vami podelíme o to, čo príde.

Účelný prototyp výrobku

Hoci sa Orion nedostane do rúk spotrebiteľov, nenechajte sa mýliť: Toto je nie výskumný prototyp. Je to najdokonalejší prototyp produktu, aký sme kedy vyvinuli - a je skutočne reprezentatívny. mohol dodávať spotrebiteľom. Namiesto toho, aby sme sa ponáhľali s uvedením na pulty, sme sa rozhodli zamerať sa najprv na interný vývoj, čo znamená, že môžeme pokračovať v rýchlom budovaní a naďalej posúvať hranice technológie a zážitkov.

A to znamená, že rýchlejšie dosiahneme ešte lepší spotrebiteľský produkt.

Čo bude nasledovať

Dve hlavné prekážky dlho stáli v ceste bežnej spotrebiteľskej triede okuliarov AR: technologický prielom potrebný na zabezpečenie veľkého displeja v kompaktnom tvare okuliarov a potreba užitočných a presvedčivých zážitkov AR, ktoré by sa dali na týchto okuliaroch spustiť. Orion je obrovským míľnikom, ktorý po prvýkrát prináša skutočné zážitky s rozšírenou realitou na primerane štýlovom hardvéri.

Teraz, keď sme sa o Orion podelili so svetom, sme sa zamerali na niekoľko vecí:

  • Vyladenie kvality zobrazenia rozšírenej reality, aby bol obraz ešte ostrejší
  • Optimalizácia všade, kde sa dá, s cieľom ešte viac zmenšiť rozmery
  • Výstavba vo väčšom rozsahu, aby boli cenovo dostupnejšie

V nasledujúcich rokoch môžete očakávať nové zariadenia, ktoré budú vychádzať z nášho výskumu a vývoja. A viaceré inovácie Orion boli rozšírené na naše súčasné spotrebiteľské produkty, ako aj na náš plán budúcich produktov. Optimalizovali sme niektoré naše algoritmy priestorového vnímania, ktoré bežia na oboch Meta Quest 3S a Orion. Hoci bol systém pohľadu očí a jemných gest pôvodne navrhnutý pre Orion, plánujeme ho použiť aj v budúcich produktoch. A skúmame možnosti využitia EMG náramkov aj v budúcich spotrebiteľských produktoch.

Orion nie je len oknom do budúcnosti - je to pohľad na veľmi reálne možnosti, ktoré sú dnes na dosah. Vytvorili sme ho v snahe o to, čo robíme najlepšie: pomáhame ľuďom spájať sa. Od okuliarov Ray-Ban Meta až po Orion sme videli, čo dobré môže priniesť to, že ľudia môžu zostať viac prítomní a mať viac možností vo fyzickom svete, aj keď využívajú všetko bohatstvo, ktoré ponúka digitálny svet.

Veríme, že by ste si nemali vyberať medzi týmito dvoma možnosťami. A s ďalšou počítačovou platformou už nebudete musieť.


Ďalšie informácie o spoločnosti Orion nájdete v týchto príspevkoch na blogu:

Uverejnené - Vložiť komentár

Orion's Compute Puck: Príbeh zariadenia, ktoré nám pomohlo vytvoriť okuliare s rozšírenou realitou

Minulý rok sme na veľtrhu Connect predstavili Orion-naše prvé skutočné okuliare s rozšírenou realitou. Vyvrcholenie naša práca v Reality Labs za posledné desaťročieOrion kombinuje výhody veľkého holografického displeja a personalizovanej asistencie AI v pohodlnom, celodennom nositeľnom tvare. Pozornosť si získal vďaka svojmu špičkovému zornému poľu, vlnovodom z karbidu kremíka, projektorom uLED a ďalším prvkom. Dnes však upriamime pozornosť na neopozeraného hrdinu Orionu: výpočtový puk.

Puk je navrhnutý tak, aby sa dal ľahko vložiť do vrecka alebo tašky, takže ho môžete mať pri každodenných činnostiach takmer kdekoľvek, a odľahčuje výpočtový výkon Orionu na spúšťanie aplikačnej logiky a umožňuje vytvoriť presvedčivejší, menší tvar okuliarov. S okuliarmi a náramkom EMG sa spája bezdrôtovo, čím sa dosiahne bezproblémový zážitok.

Nastaviť a zabudnúť, však?

Príbeh puku - dokonca aj ako prototypu - je však zaujímavý a má dramatický oblúk, ktorý by ste z jeho vzhľadu nikdy neuhádli.

"Keď vytvárate niečo také, začínate sa dostávať na hranice fyziky," vysvetľuje riaditeľ produktového manažmentu Rahul Prasad. "Za posledných 50 rokov sa vďaka Moorovmu zákonu všetko zmenšilo, zrýchlilo a znížila sa spotreba. Problémom je, že teraz začínate narážať na limity, koľko tepla môžete rozptýliť, koľko batérie môžete stlačiť a aký výkon antény môžete vtesnať do objektu určitej veľkosti."

Hoci pohľad späť môže byť 20/20, potenciál puku nebol zrejmý okamžite. Keď ste prvý, kto niečo vytvorí, musíte preskúmať všetky možnosti - a nenechať kameň na kameni. Ako vytvoriť niečo, čo by niektorí mohli považovať za nežiaduci doplnok, a nie za dôležitú súčasť balíka?

"Vedeli sme, že puk je zariadenie navyše, ktoré od ľudí vyžadujeme," poznamenáva Jared Van Cleave, manažér pre dizajn produktov, "preto sme skúmali, ako túto chybu premeniť na funkciu."

Nakoniec sa tento princíp vyplatil, pretože puk vtesnal do malých rozmerov veľa výpočtovej kapacity (a ešte viac kremíka navrhnutého spoločnosťou Meta na mieru pre umelú inteligenciu a strojové vnímanie). To pomohlo Orionu dostať sa z ríše sci-fi do reality.

"Ak by ste nemali puk, nemohli by ste mať také zážitky, aké ponúka Orion vo svojej podobe," hovorí Prasad. "Dobrý zážitok z rozšírenej reality si vyžaduje naozaj vysoký výkon: vysoké snímkové frekvencie, extrémne nízku latenciu, jemné riadenie bezdrôtových sietí a napájania atď. Puk a okuliare musia byť navrhnuté tak, aby naozaj úzko spolupracovali, a to nielen na úrovni aplikácií, ale aj na úrovni operačného systému, firmvéru a hardvéru. A aj keby sa podarilo navrhnúť smartfón tak, aby spolupracoval s okuliarmi rozšírenej reality, náročné požiadavky na výkon by vyčerpali batériu telefónu a odčerpali by výpočtovú kapacitu z prípadov používania telefónu. Na druhej strane, puk má vlastnú vysokokapacitnú batériu, vysoko výkonný SoC a vlastný koprocesor AI navrhnutý spoločnosťou Meta a optimalizovaný pre Orion."

Samozrejme, puk nebol navrhnutý zo dňa na deň. Vyžadoval si roky opakovanej práce.

"Nevedeli sme, ako by ľudia chceli komunikovať s Orionom z hľadiska vstupov - na trhu sme nemali nič, čo by sme mohli navrhnúť," hovorí produktový manažér Matt Resman. "Ak sa pozriete na naše prvé prototypy okuliarov, boli to masívne náhlavné súpravy, ktoré vážili tri alebo štyri kilogramy. A keď sa snažíte vytvoriť produkt, je naozaj ťažké pochopiť používateľskú skúsenosť, ak nemáte správny tvarový faktor. S pukom sme mohli veľmi rýchlo vytvoriť prototyp a začať chápať, ako ho ľudia budú používať."

Puk s kódovým označením Omega bol pôvodne predstavený vtedajšou spoločnosťou Oculus Research ako pás v tvare Ω, ktorý by sa dal umiestniť na krk používateľa a bol by pevne spojený s okuliarmi...

... až do chvíle, keď im niektoré nové inovácie bezdrôtového tímu Reality Labs okrem iného umožnili prerušiť spojenie. To umožnilo vytvoriť vreckové alebo vreckové zariadenie, čo otvorilo veľa možností.

"V tom čase bolo volanie v rozšírenej realite stále primárnym prípadom použitia," vysvetľuje Van Cleave. "Puk bol miestom, kde sa ukotvovali holografické videá. Položili by ste ho na stôl, lavička so snímačom by bola otočená k vám, zobrazovala by vás a potom by sa z povrchu puku premietalo, s kým hovoríte, aby ste mohli volať."

"Orion spája ľudí a spája nás," hovorí Resman. "Jedným z pôvodných konceptov puku bolo pomôcť vytvoriť tento pocit prítomnosti s inými ľuďmi a umožniť túto bohatšiu formu komunikácie."

"Je to niečo iné, ako ste kedy videli - zariadenie má potenciál vytvárať skutočne zábavné a jedinečné interakcie," dodáva priemyselný dizajnér Emron Henry. "Používateľský zážitok je trochu ako vypustenie džina z fľaše, kde sa hologramy plynule objavujú a rozpúšťajú späť do zariadenia."

Ako už asi tušíte, v puku sa skrýva väčší potenciál, než aký bol nakoniec zapnutý ako funkcia. Okrem senzorov a kamier, ktoré by sa použili na volanie AR, má puk haptiku a senzory 6DOF, ktoré by ho mohli umožniť používať ako sledovaný ovládač na výber a manipuláciu s virtuálnymi objektmi a hranie hier AR. Tím skúmal aj kapacitný a silový dotykový vstup, takže puk by mohol slúžiť ako gamepad pri držaní na výšku aj na šírku.

"Hovorili sme o potrebe nosiť túto ďalšiu vec," hovorí Van Cleave. "Ako ju urobíme užitočnejšou? Bol okolo toho celý pracovný prúd. A v istom momente bola hypotéza, že hry s rozšírenou realitou budú týmto kľúčovým prípadom použitia."

Už na začiatku sme vedeli, že musíme preskúmať možnosti puku, ktorý dokáže veci, ktoré telefóny nedokážu. Nakoniec sme sa rozhodli používať pohľad očí, EMG a sledovanie rúk v hrách AR, ako sú Stargazer a Pong, ale v začiatkoch Orionu sme vytvorili prototypy rôznych ukážok a hier, ktoré používali puk ako ovládač.

0:00 / 0:00

0:00 / 0:00

0:00 / 0:00

Renderované skúmanie puku ako ovládača 6DOF pre AR hry, ako je Pong.

"Keďže nejde o telefón, mali sme veľkú voľnosť pri navrhovaní," dodáva Prasad. "Môže byť hrubší, môžem ho viac zaobliť, aby sa pohodlne držal v ruke ako ovládač. Je celkom neuveriteľné, že puk je v skutočnosti menší ako priemerný telefón, ale je výkonnejší ako telefón, pretože má koprocesor navrhnutý spoločnosťou Meta pre umelú inteligenciu a strojové vnímanie."

Tím sa zaoberal otázkou, ako sa môže kvalitná hra na rozšírenú realitu líšiť od hry na MR alebo konzolu. To znamenalo preskúmať rôzne možnosti herného ovládača AR vrátane joystickov, fyzického rozloženia tlačidiel, spúšťacích tlačidiel a ďalších.

"Nakoniec sme nič z toho nepostavili," poznamenáva Van Cleave. "Vyrobili sme prototyp, ale nikdy sme sa nepustili do úplnej stavby. Chceli sme, aby to bolo jednoduché. Chceli sme urobiť tieto mäkké rozhrania, ale nie fyzické, mechanické tlačidlá."

Senzory a haptika síce neboli zapnuté v prototype hotového produktu, ale počas vývoja plnili svoju neoddeliteľnú funkciu a umožňovali tímom nahlasovať chyby jednoduchým niekoľkonásobným poklepaním na hornú časť zariadenia, čím sa spustila správa o chybe.

Keď sa umelá inteligencia začala dostávať do popredia ako kľúčový prípad použitia, výpočetná technika sa dostávala do čoraz väčšej pozornosti. Nakoniec je puk domovom bezdrôtového pripojenia Orion, výpočtového výkonu a kapacity batérie - čo je samo o sebe obrovský technický výkon - a to všetko pomáha znížiť hmotnosť a tvar okuliarov, pričom vďaka svojej ploche rozptyľuje oveľa viac tepla.

Počas celého vývoja sa nezmenila jedna vec: puk v sebe skrýva viac, než sa na prvý pohľad zdá. Prijímanie netradičných nápadov umožnilo našim tímom skúmať, posúvať hranice a budovať budúcnosť.

"Definujeme kategóriu, ktorá ešte celkom neexistuje," poznamenáva Henry. "Ako sa dá očakávať pri výskume a vývoji, na ceste sme sa stretli so začiatkami a zastávkami. Ako budú používatelia očakávať interakciu s hologramami? Budú radšej používať diaľkový ovládač AR, alebo im na zadávanie údajov postačí sledovanie rúk, pohľad očí a EMG? Čo sa im zdá intuitívne, málo trecie, známe a užitočné?"

"Namiesto toho, aby sme sa na puk pozerali len ako na kameň, sme sa pýtali, čo ďalšie by sme mohli poskytnúť, aby sme ho ešte viac odlíšili od telefónov a zdôvodnili, prečo by ste ho chceli nosiť so sebou," priznáva Resman. "Ponúka jeho hrubý výpočtový výkon a praktický dizajn - ktorý pomohol odomknúť tvar okuliarov, ktoré môžete reálne nosiť celý deň - nakoniec dostatočnú hodnotu? Našou úlohou je pomôcť odpovedať na tieto otázky."

"Na začiatku sme sa zamerali na to, čo dokážeme urobiť, čo telefón nedokáže," dodáva Van Cleave. "Telefóny musia mať obrazovku, musia mať určité fyzické rozloženie tlačidiel, ktoré používatelia očakávajú. A my tieto obmedzenia nemáme. Náš výpočtový puk môže byť, aký len chceme."


Ďalšie informácie o spoločnosti Orion nájdete v týchto príspevkoch na blogu:

Uverejnené - Vložiť komentár

Orion: Skutočné AR okuliare sú na svete

TL;DR:

  • Dnes na Pripojenie, Mark Zuckerberg predstavil Orion - náš prvý pár skutočných okuliarov s rozšírenou realitou, ktoré mali predtým kódové označenie Projekt Nazare.
  • S najlepším zorným poľom v odvetví, šošovky z karbidu kremíka, zložitých vlnovodov, uLED projektorov a ďalších, Orion je náš najpokročilejší a najprepracovanejší prototyp produktu.
  • Teraz pokračujeme v optimalizácii produktov a znižovaní nákladov, pretože sa snažíme vytvoriť škálovateľné spotrebiteľské zariadenie, ktoré spôsobí revolúciu v interakcii ľudí so svetom.

"Vyrábame okuliare rozšírenej reality."

Päť jednoduchých slov, vyslovené pred piatimi rokmi. Spolu s nimi sme vztýčili vlajku našej vízie budúcnosti, v ktorej si už nebudeme musieť falošne vyberať medzi svetom informácií na dosah ruky a fyzickým svetom okolo nás.

A teraz, o päť rokov neskôr, ďalších päť slov, ktoré môžu opäť zmeniť hru:

Vytvorili sme okuliare rozšírenej reality.

https://youtube.com/watch?v=2CJsnyS8u3c%3Fsi%3DTr77gOKEq3PnA7-k%26controls%3D0%3Fautoplay%3D0%26color%3Dwhite%26cc_lang_pref%3Den%26cc_load_policy%3D0%26enablejsapi%3D1%26frameborder%3D0%26hl%3Den%26rel%3D0%26origin%3Dhttps%253A%252F%252Fwww.meta.com

V spoločnosti Meta je naše poslanie jednoduché: dať ľuďom silu budovať komunitu a zbližovať svet. A v Reality Labs vytvárame nástroje, ktoré pomáhajú ľuďom cítiť sa prepojení kedykoľvek a kdekoľvek. Preto pracujeme na vytvorení ďalšej počítačovej platformy, ktorá postaví ľudí do centra pozornosti, aby mohli byť vo svete viac prítomní, prepojení a posilnení.

Okuliare Ray-Ban Meta ukázali, že je možné poskytnúť ľuďom hands-free prístup ku kľúčovým častiam ich digitálneho života z ich fyzického života. Môžeme sa rozprávať s inteligentným asistentom s umelou inteligenciou, spojiť sa s priateľmi a zachytiť dôležité momenty - a to všetko bez toho, aby sme museli vytiahnuť telefón. Tieto štýlové okuliare bez problémov zapadajú do nášho každodenného života a ľudia ich absolútne milujú.

Zatiaľ čo Ray-Ban Meta otvorila úplne novú kategóriu okuliarov bez displeja, ktoré sú nabité umelou inteligenciou, odvetvie XR už dlho sníva o skutočných okuliaroch s rozšírenou realitou - produkte, ktorý kombinuje výhody veľkého holografického displeja a personalizovanej asistencie umelej inteligencie v pohodlnej, štýlovej a celodennej podobe.

A dnes sme tento sen posunuli bližšie k realite odhalením Orion, ktoré sú podľa nás najpokročilejšími okuliarmi rozšírenej reality, aké boli kedy vyrobené. V skutočnosti by mohlo ísť o najnáročnejšie zariadenie spotrebnej elektroniky vyrobené od čias smartfónu. Orion je výsledkom prelomových vynálezov prakticky v každej oblasti modernej výpočtovej techniky - stavia na práca, ktorú sme v Reality Labs vykonávali počas posledných desiatich rokov.. Je vybavený úplne novými technológiami vrátane najpokročilejšieho displeja AR, aký bol kedy zostavený, a vlastný silikón ktorá umožňuje spustiť výkonné zážitky rozšírenej reality na okuliaroch s použitím zlomku výkonu a hmotnosti náhlavnej súpravy MR.

Vstupný systém Orion bezproblémovo kombinuje hlas, pohľad očí a sledovanie ruky s EMG náramok ktorá vám umožňuje posúvať, klikať a posúvať sa, pričom máte ruku pohodlne položenú vedľa seba, čo vám umožňuje zostať prítomní vo svete a s ľuďmi okolo vás pri interakcii s bohatým digitálnym obsahom.

Počnúc dnešným dňom na veľtrhu Connect a pokračujúc počas celého roka otvárame prístup k prototypu nášho produktu Orion pre zamestnancov spoločnosti Meta a vybrané externé publikum, aby sa náš vývojový tím mohol učiť, vylepšovať a budovať náš produktový rad okuliarov AR pre spotrebiteľov, ktorý plánujeme začať dodávať v blízkej budúcnosti.

Prečo okuliare AR?

Existujú tri hlavné dôvody, prečo sú okuliare rozšírenej reality kľúčom k odomknutiu ďalšieho veľkého skoku v oblasti počítačov orientovaných na človeka.

  1. Umožňujú digitálne zážitky, ktoré nie sú obmedzené limitmi obrazovky smartfónu. Vďaka veľkým holografickým displejom môžete používať fyzický svet ako plátno a umiestniť 2D a 3D obsah a zážitky kamkoľvek chcete.
  2. Bez problémov integrujú kontextovú umelú inteligenciu, ktorá dokáže vnímať a chápať svet okolo vás s cieľom predvídať a proaktívne riešiť vaše potreby.
  3. Sú ľahké a skvelé na použitie v interiéri aj exteriéri - a umožňujú ľuďom vidieť skutočnú tvár, skutočné oči a skutočné výrazy.

To je severná hviezda, ku ktorej naše odvetvie smeruje: produkt kombinujúci pohodlie a bezprostrednosť nositeľných zariadení s veľkým displejom, vstupom s vysokou šírkou pásma a kontextualizovanou umelou inteligenciou vo formáte, ktorý ľudia pohodlne nosia v každodennom živote.

Kompaktný tvar, zložité výzvy

Roky sme stáli pred falošnou voľbou - buď náhlavné súpravy pre virtuálnu a zmiešanú realitu, ktoré umožňujú hlboké, pohlcujúce zážitky v objemnom formáte, alebo okuliare, ktoré sú ideálne na celodenné používanie, ale neponúkajú bohaté vizuálne aplikácie a zážitky vzhľadom na nedostatok veľkého displeja a zodpovedajúceho výpočtového výkonu.

Chceme však všetko bez kompromisov. Už roky tvrdo pracujeme na tom, aby sme do páru ľahkých a štýlových okuliarov preniesli neuveriteľné priestorové zážitky, ktoré poskytujú náhlavné súpravy VR a MR, a miniaturizovali technológiu potrebnú na poskytovanie týchto zážitkov. Vyladenie tvarového faktora, holografických displejov, vývoj presvedčivých zážitkov s rozšírenou realitou a vytvorenie nových paradigiem interakcie človeka s počítačom (HCI) - a to všetko v jednom ucelenom produkte - je jednou z najťažších výziev, akej kedy naše odvetvie čelilo. Bola to taká výzva, že sme si mysleli, že máme menej ako 10-percentnú šancu na jej úspešné zvládnutie.

Až doteraz.

Prelomový displej v bezkonkurenčnom formáte

Orion má približne 70° zorné pole v doteraz najmenšom formáte okuliarov AR. Toto zorné pole umožňuje skutočne pohlcujúce prípady použitia Orionu, od multitaskingových okien a veľkoplošnej zábavy až po hologramy ľudí v životnej veľkosti - všetok digitálny obsah, ktorý sa môže plynulo prelínať s vaším pohľadom na fyzický svet.

Pre Orion bolo zorné pole naším svätým grálom. Narážali sme na fyzikálne zákony a museli sme ohýbať svetelné lúče tak, ako sa prirodzene neohýbajú - a museli sme to robiť v rámci výkonovej obálky meranej v miliwattoch.

Namiesto skla, šošovky sme vyrobili z karbidu kremíka-nová aplikácia pre okuliare rozšírenej reality. Karbid kremíka je neuveriteľne ľahký, nespôsobuje optické artefakty ani rozptýlené svetlo a má vysoký index lomu - všetky optické vlastnosti, ktoré sú kľúčové pre veľké zorné pole. Samotné vlnovody majú skutočne zložité a komplexné 3D štruktúry v nanorozmeroch, ktoré rozptyľujú alebo rozptyľujú svetlo spôsobom potrebným na dosiahnutie tohto zorného poľa. A projektory sú uLED - nový typ zobrazovacej technológie, ktorá je veľmi malá a mimoriadne energeticky účinná.

Orion je nezameniteľný pár okuliarov na pohľad aj na dotyk - s priehľadnými šošovkami. Na rozdiel od dnešných náhlavných súprav MR alebo iných okuliarov AR stále vidíte skutočné oči a výrazy druhých, takže môžete byť prítomní a zdieľať zážitok s ľuďmi okolo seba. Na to, aby sa priemyselný dizajn dostal do podoby moderných okuliarov, ktoré by sa vám pohodlne nosili každý deň, boli potrebné desiatky inovácií. Orion je výdobytkom miniaturizácie - komponenty sú zbalené do zlomku milimetra. A do obruby rámu sa nám podarilo zabudovať sedem malých kamier a senzorov.

Museli sme zachovať optickú presnosť na úrovni jednej desatiny hrúbky ľudského vlasu. Systém dokáže rozpoznať nepatrné pohyby, ako napríklad rozťahovanie alebo zmršťovanie rámov pri rôznych teplotách v miestnosti, a potom digitálne korigovať potrebné optické zarovnanie, a to všetko v priebehu milisekúnd. Rámy sme vyrobili z horčíka - rovnakého materiálu, aký sa používa v pretekárskych autách F1 a vesmírnych lodiach - pretože je ľahký a zároveň tuhý, takže udržiava optické prvky v správnej polohe a účinne odvádza teplo.

Vykurovanie a chladenie

Keď sme rozlúskli displej (bez slovnej hračky) a prekonali problémy s fyzikou, museli sme sa vyrovnať s výzvou skutočne výkonného počítača a zároveň s naozaj nízkou spotrebou energie a potrebou odvádzania tepla. Na rozdiel od dnešných MR headsetov nemôžete do okuliarov vložiť ventilátor. Takže sme museli byť kreatívni. Mnohé materiály použité na chladenie Orionu sú podobné tým, ktoré používa NASA na chladenie satelitov vo vesmíre.

Postavili sme vysoko špecializovaný kremík na zákazku ktorý je mimoriadne energeticky efektívny a optimalizovaný pre naše algoritmy umelej inteligencie, strojového vnímania a grafiky. Vytvorili sme niekoľko vlastných čipov a desiatky vysoko prispôsobených kremíkových blokov IP v týchto čipoch. To nám umožňuje použiť algoritmy potrebné na sledovanie rúk a očí, ako aj technológiu simultánnej lokalizácie a mapovania (SLAM), ktorá bežne spotrebúva stovky miliwattov energie - a teda generuje zodpovedajúce množstvo tepla - a zmenšiť ju len na niekoľko desiatok miliwattov.

A áno, napriek tomu, čo ste sa možno dočítali inde, vlastný kremík naďalej zohráva kľúčovú úlohu pri vývoji produktov v spoločnosti Reality Labs. 😎

Bez námahy EMG

Každá nová počítačová platforma so sebou prináša zmena paradigmy v spôsobe, akým komunikujeme so svojimi zariadeniami. Vynález myši pomohol pripraviť pôdu pre grafické používateľské rozhrania (GUI), ktoré dnes dominujú nášmu svetu, a smartfóny sa začali skutočne presadzovať až s príchodom dotykovej obrazovky. To isté pravidlo platí aj pre nositeľné zariadenia.

Hovorili sme o našej práci s elektromyografia alebo EMG, už niekoľko rokov, pričom nás viedlo presvedčenie, že zadávanie údajov do okuliarov rozšírenej reality musí byť rýchle, pohodlné, spoľahlivé, jemné a spoločensky prijateľné. A teraz je táto práca pripravená na hlavný čas.

Vstupný a interakčný systém Orion hladko kombinuje hlas, pohľad očí a sledovanie ruky s EMG náramkom, ktorý vám umožní ľahko posúvať, klikať a rolovať.

Funguje to ako kúzlo. Predstavte si, že fotografujete pri rannom behu jednoduchým ťuknutím prstov alebo prechádzate menu sotva postrehnuteľnými pohybmi rúk. Náš náramok kombinuje vysoko výkonný textil so zabudovanými EMG snímačmi na detekciu elektrických signálov generovaných aj tými najmenšími pohybmi svalov. ML procesor v zariadení potom interpretuje tieto EMG signály a vytvára vstupné udalosti, ktoré sa bezdrôtovo prenášajú do okuliarov. Systém sa vám prispôsobuje, takže sa časom zlepšuje a dokáže rozpoznať aj tie najjemnejšie gestá. A dnes sa podelíme o ďalšie informácie o našej podpore externého výskumu zameraného na rozšírenie potenciálu rovnosti a dostupnosti EMG náramkov.

Zoznámte sa s bezdrôtovým výpočtovým zariadením Puck

Skutočné okuliare rozšírenej reality musia byť bezdrôtové a musia byť aj malé.Tak sme postavili bezdrôtový výpočtový puk pre Orion. To čiastočne odbremeňuje okuliare, čo umožňuje dlhšiu výdrž batérie a lepší tvar s nízkou latenciou.

Na okuliaroch bežia všetky algoritmy na sledovanie rúk, očí, SLAM a špecializované grafické algoritmy na uzamknutie sveta AR, zatiaľ čo logika aplikácie beží na puku, aby boli okuliare čo najľahšie a najkompaktnejšie.

Puk má dva procesory, vrátane jedného navrhnutého priamo v spoločnosti Meta, a poskytuje výpočtový výkon potrebný na vykresľovanie grafiky s nízkou latenciou, umelú inteligenciu a niektoré ďalšie strojové vnímanie.

Keďže je malý a elegantný, môžete si ho pohodlne hodiť do tašky alebo do vrecka a pokračovať v práci - bez akýchkoľvek prekážok.

Skúsenosti s rozšírenou realitou

Samozrejme, ako každý hardvér, aj tento je taký dobrý, ako veci, ktoré môžete do s ním. A hoci je to ešte len začiatok, skúsenosti, ktoré Orion poskytuje, sú vzrušujúcim zábleskom toho, čo príde.

https://youtube.com/watch?v=HkdSv3QPhNw%3F%26controls%3D0%3Fautoplay%3D0%26color%3Dwhite%26cc_lang_pref%3Den%26cc_load_policy%3D0%26enablejsapi%3D1%26frameborder%3D0%26hl%3Den%26rel%3D0%26origin%3Dhttps%253A%252F%252Fwww.meta.com

Máme svojho inteligentného asistenta, Meta AI, spustený v systéme Orion. Rozumie tomu, na čo sa pozeráte vo fyzickom svete, a môže vám pomôcť s užitočnými vizualizáciami. Orion využíva rovnaký model Llama, ktorý dnes poháňa zážitky s umelou inteligenciou bežiace na inteligentných okuliaroch Ray-Ban Meta, plus vlastné výskumné modely na demonštráciu potenciálnych prípadov použitia pre budúci vývoj nositeľných zariadení.

Na cestách môžete uskutočniť videohovor bez použitia rúk, aby ste sa v reálnom čase spojili s priateľmi a rodinou, a môžete zostať v spojení v aplikáciách WhatsApp a Messenger a zobrazovať a odosielať správy. Nemusíte vyťahovať telefón, odomykať ho, hľadať správnu aplikáciu a oznamovať priateľovi, že meškáte na večeru - to všetko môžete urobiť cez okuliare.

https://youtube.com/watch?v=el7lUVvu8Bo%3F%26controls%3D0%3Fautoplay%3D0%26color%3Dwhite%26cc_lang_pref%3Den%26cc_load_policy%3D0%26enablejsapi%3D1%26frameborder%3D0%26hl%3Den%26rel%3D0%26origin%3Dhttps%253A%252F%252Fwww.meta.com

Spoločné hry s rozšírenou realitou môžete hrať s rodinou na druhom konci krajiny alebo s priateľom na druhej strane gauča. A veľký displej Orionu vám umožní multitasking s viacerými oknami, aby ste mohli robiť veci bez toho, aby ste so sebou museli nosiť notebook.

Skúsenosti, ktoré sú dnes k dispozícii na Orione, pomôžu načrtnúť plán pre našu budúcu líniu okuliarov AR pre spotrebiteľov. Naše tímy budú spolu s našimi partnermi z radov vývojárov pokračovať vo vylepšovaní a vytváraní nových pohlcujúcich sociálnych zážitkov a my sa už nevieme dočkať, kedy sa s vami podelíme o to, čo príde.

Účelný prototyp výrobku

Hoci sa Orion nedostane do rúk spotrebiteľov, nenechajte sa mýliť: Toto je nie výskumný prototyp. Je to najdokonalejší prototyp produktu, aký sme kedy vyvinuli - a je skutočne reprezentatívny. mohol dodávať spotrebiteľom. Namiesto toho, aby sme sa ponáhľali s uvedením na pulty, sme sa rozhodli zamerať sa najprv na interný vývoj, čo znamená, že môžeme pokračovať v rýchlom budovaní a naďalej posúvať hranice technológie a zážitkov.

A to znamená, že rýchlejšie dosiahneme ešte lepší spotrebiteľský produkt.

Čo bude nasledovať

Dve hlavné prekážky dlho stáli v ceste bežnej spotrebiteľskej triede okuliarov AR: technologický prielom potrebný na zabezpečenie veľkého displeja v kompaktnom tvare okuliarov a potreba užitočných a presvedčivých zážitkov AR, ktoré by sa dali na týchto okuliaroch spustiť. Orion je obrovským míľnikom, ktorý po prvýkrát prináša skutočné zážitky s rozšírenou realitou na primerane štýlovom hardvéri.

Teraz, keď sme sa o Orion podelili so svetom, sme sa zamerali na niekoľko vecí:

  • Vyladenie kvality zobrazenia rozšírenej reality, aby bol obraz ešte ostrejší
  • Optimalizácia všade, kde sa dá, s cieľom ešte viac zmenšiť rozmery
  • Výstavba vo väčšom rozsahu, aby boli cenovo dostupnejšie

V nasledujúcich rokoch môžete očakávať nové zariadenia, ktoré budú vychádzať z nášho výskumu a vývoja. A viaceré inovácie Orion boli rozšírené na naše súčasné spotrebiteľské produkty, ako aj na náš plán budúcich produktov. Optimalizovali sme niektoré naše algoritmy priestorového vnímania, ktoré bežia na oboch Meta Quest 3S a Orion. Hoci bol systém pohľadu očí a jemných gest pôvodne navrhnutý pre Orion, plánujeme ho použiť aj v budúcich produktoch. A skúmame možnosti využitia EMG náramkov aj v budúcich spotrebiteľských produktoch.

Orion nie je len oknom do budúcnosti - je to pohľad na veľmi reálne možnosti, ktoré sú dnes na dosah. Vytvorili sme ho v snahe o to, čo robíme najlepšie: pomáhame ľuďom spájať sa. Od okuliarov Ray-Ban Meta až po Orion sme videli, čo dobré môže priniesť to, že ľudia môžu zostať viac prítomní a mať viac možností vo fyzickom svete, aj keď využívajú všetko bohatstvo, ktoré ponúka digitálny svet.

Veríme, že by ste si nemali vyberať medzi týmito dvoma možnosťami. A s ďalšou počítačovou platformou už nebudete musieť.


Ďalšie informácie o spoločnosti Orion nájdete v týchto príspevkoch na blogu:

Uverejnené - Vložiť komentár

EgoMimic: Doktorand z Georgia Tech používa výskumné okuliare Project Aria na pomoc pri výcviku humanoidných robotov

Dnes upozorňujeme na nový výskum Georgia Tech ktorý pomáha trénovať roboty na vykonávanie základných každodenných úloh pomocou egocentrických záznamov od používateľov zariadenia Meta Projekt Aria výskumné okuliare. Pozrite si video nižšie, prečítajte si celý príbeh alebo požiadajte o svoju vlastnú výskumnú súpravu Project Aria.

Predstavte si, že by vám v domácnosti pomáhali s každodennými úlohami, ako je pranie bielizne, umývanie riadu a opravy. Na pomoc pri týchto úlohách už používame nástroje, ako sú práčky, umývačky riadu a elektrické vŕtačky. Ale čo keby ste mohli mať ešte výkonnejší a flexibilnejší nástroj v podobe humanoidného robota, ktorý by sa od vás mohol učiť a urýchliť akýkoľvek počet fyzických projektov na vašom zozname úloh?

Aj keby ste mali k dispozícii hardvérový systém, naučiť robota vykonávať každodenné úlohy sa dá len pomalou a neohrabanou metódou zberu údajov, ktorá sa nazýva teleoperácia robota. Až doteraz. Pomocou Výskumná súprava projektu Aria, profesor Danfei Xu a Laboratórium robotického učenia a uvažovania na adrese Georgia Tech používajú egocentrické senzory na okuliaroch Aria na vytváranie tzv. "ľudských údajov" pre úlohy, ktoré má humanoidný robot kopírovať. Pomocou ľudských údajov výrazne znižujú množstvo údajov o teleoperácii robota potrebných na trénovanie politiky robota - prelom, vďaka ktorému by humanoidné roboty mohli byť jedného dňa schopné naučiť sa akýkoľvek počet úloh, ktoré by mohol predviesť človek.

Kareer teleoperuje s robotom, aby získal údaje o tréningu pre EgoMimic. Teleoperácia môže byť náročná na škálovanie a vyžaduje si značné ľudské úsilie.

"Zber údajov pre robotiku tradične znamená vytváranie demonštračných údajov," hovorí Simar Kareer, doktorand na Georgia Tech Škola interaktívnej výpočtovej techniky. "Pomocou ovládača ovládate kĺby robota, aby sa pohyboval a dosiahol požadovanú úlohu, a to stokrát, pričom zaznamenávate údaje zo senzorov, a potom trénujete svoje modely. Je to pomalé a náročné. Jediný spôsob, ako prelomiť tento cyklus, je oddeliť zber údajov od samotného robota."

V súčasnosti sa modely politiky robotov trénujú pomocou veľkého množstva cielených demonštračných údajov špecifických pre každú úzku úlohu s vysokými nákladmi. Kareer predpokladá, že pasívne zozbierané údaje od mnohých výskumníkov, ako sú údaje zachytené okuliarmi Aria, by sa namiesto toho mohli použiť na umožnenie tvorby údajov pre oveľa širší súbor úloh, aby sa v budúcnosti vytvorili všeobecne užitočnejšie roboty.

Inšpirované Projekt Aria a Ego-Exo4D ktorý obsahuje obrovský súbor egocentrických údajov s viac ako 3 000 hodinami videozáznamov každodenných činností, Kareer vyvinul EgoMimic, nový algoritmický rámec, ktorý využíva ľudské údaje a údaje o robotoch na vývoj humanoidných robotov.

"Keď som sa pozrel na Ego4D, videl som súbor údajov, ktorý je rovnaký ako všetky veľké súbory údajov o robotoch, ktoré sa snažíme zhromažďovať, až na to, že ide o údaje o ľuďoch," vysvetľuje Kareer. "Jednoducho si nasadíte okuliare a idete robiť veci. Nemusí to pochádzať od robota. Mala by pochádzať od niečoho škálovateľnejšieho a pasívne generovaného, čo sme my." V Kareerovom výskume sa okuliare Aria použili na vytvorenie ľudských údajov na spolutrénovanie rámca EgoMimic.

Kareer vytvára údaje o spolu-tréningu človeka nahrávaním pomocou okuliarov Aria počas skladania trička.

Okuliare Aria sa vo výskume Georgia Tech nepoužívajú len na zber údajov o ľuďoch. Používajú sa aj ako neoddeliteľná súčasť nastavenia prevádzky robota v reálnom čase. Okuliare Aria sú namontované na ich humanoidnú robotickú platformu rovnako ako pár očí a slúžia ako integrovaný balík senzorov, ktorý umožňuje robotovi vnímať svoje prostredie v reálnom čase. Súprava Aria Client SDK sa využíva na streamovanie údajov zo senzorov Aria priamo do politiky robota, ktorá beží na pripojenom počítači, ktorý následne riadi ovládanie robota. Použitie okuliarov Aria na zber údajov aj na pipeline vnímania v reálnom čase minimalizuje doménovú priepasť medzi ľudským demonštrátorom a robotom, čím sa otvára cesta pre škálované generovanie ľudských údajov pre budúce školenia robotických úloh.

Okuliare Aria pripevnené na hornej časti robota poskytujú systému údaje zo senzorov, ktoré umožňujú robotovi vnímať priestor a komunikovať s ním.

Vďaka systému EgoMimic dosiahol Kareer zvýšenie výkonu svojho robota o 400% v rôznych úlohách v porovnaní s predchádzajúcimi metódami len s 90 minútami nahrávok Aria. Robot dokázal tieto úlohy úspešne vykonávať aj v predtým nevídaných prostrediach.

V budúcnosti by sa humanoidné roboty mohli trénovať vo veľkom meradle pomocou egocentrických údajov, aby mohli vykonávať rôzne úlohy rovnakým spôsobom ako ľudia.

"Na spoločnosť Aria sa pozeráme ako na investíciu do výskumnej komunity," hovorí James Fort, produktový manažér pre výskum v spoločnosti Meta Reality Labs. "Čím viac sa egocentrická výskumná komunita štandardizuje, tým viac výskumníkov bude môcť spolupracovať. Práve vďaka takémuto škálovaniu s komunitou môžeme začať riešiť väčšie problémy týkajúce sa toho, ako budú veci fungovať v budúcnosti."

Kareer prednesie svoj príspevok o EgoMimicu na konferencii 2025 Medzinárodná konferencia inžinierov IEEE o robotike a automatizácii (ICRA) v Atlante.

Uverejnené - Vložiť komentár

Predstavujeme Aria Gen 2: odomknutie nového výskumu v oblasti strojového vnímania, kontextovej umelej inteligencie, robotiky a ďalších

Od svojho uvedenia na trh v roku 2020, Projekt Aria umožnila výskumníkom na celom svete pokročiť v oblasti strojového vnímania a umelej inteligencie vďaka prístupu k špičkovému výskumnému hardvéru a otvoreným zdrojovým kódom. súbory údajov, modely a nástroje. Dnes s radosťou oznamujeme ďalší krok na tejto ceste: uvedenie okuliarov Aria Gen 2. Táto nová generácia hardvéru odomkne nové možnosti v širokej škále oblastí výskumu vrátane strojového vnímania, egocentrickej a kontextovej umelej inteligencie a robotiky.

0:00 / 0:00

Pre výskumníkov, ktorí chcú preskúmať, ako môžu systémy AI lepšie pochopiť svet z ľudskej perspektívy., okuliare Aria Gen 2 prinášajú do platformy Aria nový súbor funkcií. Zahŕňajú množstvo pokrokov, ktoré sa nenachádzajú v žiadnom inom dnes dostupnom zariadení, a prístup k týmto prelomovým technológiám umožní výskumníkom posunúť hranice možností.

V porovnaní so systémom Aria Gen 1 zahŕňa jedinečná ponuka hodnoty systému Aria Gen 2:

  • Najmodernejší súbor senzorov: Vylepšená sada senzorov obsahuje kameru RGB, kamery SLAM 6DOF, kamery na sledovanie očí, priestorové mikrofóny, IMU, barometer, magnetometer a GNSS. V porovnaní s predchodcom Aria Gen 1 zavádza nová generácia dva inovatívne snímače zabudované v nosovej podložke: PPG snímač na meranie srdcovej frekvencie a kontaktný mikrofón na rozlíšenie hlasu používateľa od hlasu okolostojacich osôb.
  • Mimoriadne nízka spotreba energie a vnímanie strojov v zariadení: SLAM, sledovanie očí, sledovanie rúk a rozpoznávanie reči sa spracúvajú priamo v zariadení pomocou vlastného kremíka spoločnosti Meta.
  • Celodenná použiteľnosť: Okuliare Aria Gen 2 vydržia šesť až osem hodín nepretržitého používania, vážia približne 75 gramov a majú skladacie ramienka na jednoduché prenášanie.
  • Interakcia prostredníctvom zvuku: Používatelia získavajú zvukovú spätnú väzbu prostredníctvom najlepších reproduktorov s potlačením sily v otvorených ušiach vo svojej triede, čo umožňuje vytváranie prototypov systému priamo u používateľa.

Naša stránka desaťročie trvajúca cesta na vytvorenie ďalšej počítačovej platformy viedlo k vývoju týchto kritických technológií. V spoločnosti Meta ich budú tímy Reality Labs Research a laboratória FAIR AI využívať na podporu našej dlhodobej výskumnej vízie.. Ich sprístupnenie akademickým a komerčným výskumným laboratóriám prostredníctvom projektu Aria prispeje k ďalšiemu pokroku v otvorenom výskume a verejnému pochopeniu kľúčového súboru technológií, ktoré podľa nášho názoru pomôžu formovať budúcnosť výpočtovej techniky a umelej inteligencie.

Otvorený výskum, ktorý projekt Aria umožňuje od roku 2020, už viedol k dôležitej práci vrátane vytvorenia nástrojov s otvoreným zdrojovým kódom, ktoré sa široko používajú v akademickom a priemyselnom prostredí. Na stránke . Súbor údajov Ego-Exo4Dzhromaždené pomocou prvej generácie okuliarov Aria, sa stali základným nástrojom moderného počítačového videnia a rastúcej oblasti robotiky. Výskumníci z Georgia Tech nedávno ukázali, ako môže výskumná súprava Aria pomôcť humanoidným robotom naučiť sa pomáhať ľuďom v domácnosti., zatiaľ čo tímy v BMW použil na preskúmanie možností integrácie systémov rozšírenej a virtuálnej reality do inteligentných vozidiel.

Aria tiež umožňuje vývoj nových technológií pre prístupnosť. Prvú generáciu okuliarov Aria využili Carnegie Mellon University v ich projekte NavCog, ktorého cieľom bolo vytvoriť technológie na pomoc nevidiacim a slabozrakým osobám pri navigácii vo vnútri budov. Na tomto základe teraz okuliare Aria Gen 2 využívajú Envision, spoločnosť zameraná na vytváranie riešení pre nevidiacich alebo slabozrakých ľudí. Spoločnosť Envision skúma možnosti integrácie svojich Ally Asistent s umelou inteligenciou a priestorový zvuk pomocou najnovších okuliarov Aria Gen 2 na zlepšenie navigácie v interiéri a prístupnosti.

0:00 / 0:00

Spoločnosť Envision využila možnosti SLAM v zariadení Aria Gen 2 spolu s funkciami priestorového zvuku prostredníctvom zabudovaných reproduktorov, aby pomohla nevidiacim a slabozrakým osobám bezproblémovo sa orientovať vo vnútornom prostredí. Toto inovatívne využitie technológií, ktoré je zatiaľ v prieskumnej a výskumnej fáze, je príkladom toho, ako môžu výskumníci využiť okuliare Aria Gen 2 na prototypovanie zážitkov s umelou inteligenciou na základe egocentrického pozorovania. Vďaka pokročilým senzorom a možnostiam strojového vnímania na zariadení vrátane SLAM, sledovania očí, sledovania rúk a zvukových interakcií sú tiež ideálne na zber údajov pre výskumné a robotické aplikácie.

V nasledujúcich mesiacoch sa s partnermi podelíme o ďalšie podrobnosti o termíne dostupnosti zariadenia. Výskumníci, ktorí majú záujem o prístup k zariadeniu Aria Gen 2, môžu prihláste sa na odber aktualizácií. Tešíme sa na to, ako výskumníci využijú Aria Gen 2, aby pripravili pôdu pre budúce inovácie, ktoré budú formovať ďalšiu počítačovú platformu.

Uverejnené - Vložiť komentár

Ray-Ban Meta - štýl a technológia v jednom ráme

Ray-Ban has been an iconic name in eyewear fashion for decades. But in collaboration with Meta (formerly Facebook), they’ve launched a product that pushes boundaries – the Ray-Ban Meta smart glasses. This fusion of classic design with modern technology offers a unique experience for both fashion enthusiasts and tech lovers.

At First Glance: Classic with a Twist

At first look, they seem like classic Ray-Bans – elegant black frames, premium craftsmanship, and a stylish eco-leather case. But take a closer look and you’ll realize they hide more than just style – they’re glasses with a built-in camera, microphone, speakers, and smartphone connectivity.

What Can Ray-Ban Meta Do?

  • Video and photo capture: A discreet camera on the frame lets you capture the world from your point of view – hands-free.
  • Music and calls: With built-in directional speakers and microphones, you can take calls or listen to music without earbuds.
  • Sync with the Meta View app: Everything you record syncs automatically to the app, ready to be shared on your socials.
  • Voice control: Thanks to voice assistant support, you can control your glasses with simple voice commands – ideal for driving, sports, or on-the-go use.

Who Are They For?

Ray-Ban Meta glasses are perfect for content creators, influencers, travelers, or anyone who wants to capture moments without pulling out their phone. They’re also great for business use – ideal for quick documentation, live streams, or mobile video calls.

Final Verdict: Smart Elegance Without Compromise

If you’re looking for eyewear that blends classic fashion with top-tier technology, Ray-Ban Meta is the clear choice. They’re not just a stylish accessory – they’re smart glasses that redefine how we see and capture the world around us.

Uverejnené - Vložiť komentár

Meta View je teraz aplikácia Meta AI: Čo je nové a čo zostáva rovnaké

Dôležitá aktualizácia pre Okuliare Ray-Ban Meta majitelia dnes: Aplikácia Meta View je teraz aplikáciou Meta AI na iOS a Android. Spolu s novým názvom sa vylepšuje aj aplikácia AI glasses companion s novými funkciami, vďaka ktorým budú vaše zážitky zábavnejšie, užitočnejšie a osobnejšie ako kedykoľvek predtým. Sme tu, aby sme vás oboznámili so zmenami. Môžete si však byť istí, že základné funkcie, ktoré poznáte, zostanú nezmenené.

Okuliare sa stali najzaujímavejšou novou kategóriou hardvéru v ére umelej inteligencie a okuliare Ray-Ban Meta sú lídrom v definovaní možností. Tešíme sa, že rovnaké hlasové zážitky, vďaka ktorým sa naše okuliare stali takými populárnymi, môžeme preniesť na ďalšie povrchy, ako je aplikácia Meta AI.

Priateľské a známe

Hoci aplikácia Meta AI má nový názov a vzhľad, stále je to sprievodná aplikácia k okuliarom Ray-Ban Meta, ktoré poznáte a máte radi. Existujúce fotografie a videá, ktoré ste zachytili pomocou okuliarov, nastavenia zariadenia a funkcie, ktoré poznáte z aplikácie Meta View, sú v novej aplikácii stále k dispozícii. Do aplikácie Meta AI tiež automaticky migrujeme vaše existujúce médiá a nastavenia zariadenia z aplikácie Meta View, takže vám nič neunikne. A rovnako ako sme zaviedli v našej poslednej aktualizácii, aplikáciu Meta AI môžete používať na párovanie a správu až siedmich párov okuliarov.

Sprievodná aplikácia typu "všetko v jednom

Nové okuliare Ray-Ban Meta? Aplikácia Meta AI je váš komplexný spoločník na nastavenie a správu zariadenia. Priamo z aplikácie môžete importovať, prezerať a zdieľať fotografie a videá zachytené okuliarmi AI. Aplikáciu Meta AI využijete aj na konfiguráciu nastavení, aktualizáciu softvéru a správu možností ochrany osobných údajov. Z aplikácie môžete nastaviť hlasové príkazy, takže môžete okuliare používať bez použitia rúk, a dokonca upraviť nastavenia fotoaparátu.

Integráciou umelej inteligencie Meta AI a všetkého, čo ponúka, do sprievodnej aplikácie zvyšujeme úroveň zážitku s okuliarmi Ray-Ban Meta. S fotografiami z okuliarov môžete kreatívne pracovať priamo v aplikácii Meta AI - po importovaní fotografií požiadajte Meta AI v aplikácii o pridanie, odstránenie alebo zmenu častí obrazu.

Poznávate nové mesto? Požiadajte umelú inteligenciu Meta, aby vám povedala viac o miestnej pamätihodnosti. Môžete pristupovať k uloženým spomienkam a spravovať ich, aby ste časom zlepšili personalizované odpovede od Meta AI v aplikácii a okuliaroch. Môžete tiež začať konverzáciu s Meta AI na okuliaroch Ray-Ban Meta a potom k nej pristupovať na karte histórie z aplikácie, aby ste pokračovali tam, kde ste skončili.

Nové a pozoruhodné funkcie v aplikácii

Aplikácia Meta AI bola navrhnutá tak, aby vám pomohla nájsť inšpiráciu a čo najlepšie využiť vaše okuliare.

Nový Objavte zdroj môžete vidieť, ako iní ľudia používajú umelú inteligenciu na vykonávanie úloh. Je to skvelý spôsob, ako nájsť nové nápady. Zrecyklujte šikovnú výzvu alebo ju zremixujte a vytvorte si vlastnú. A ako vždy, všetko máte pod kontrolou vy: Vaše konverzácie s Meta AI nie sú verejné, pokiaľ sa nerozhodnete zdieľať ich do kanála.

Hoci komunikácia s umelou inteligenciou pomocou hlasu nie je novinkou, používame Lama 4 v aplikácii Meta AI, aby vám prinášala osobnejšie, relevantnejšie a konverzačné odpovede. Táto skúsenosť sa integruje s ďalšími funkciami, ako je generovanie a úprava obrázkov, ktoré sa teraz dajú vykonávať prostredníctvom hlasová alebo textová konverzácia s asistentom AI v aplikácii.

Zahrnuli sme aj ukážku hlasového zážitku, ktorý vytvárame a ktorý je plne duplexnou rečovou technológiou, ktorú môžete zapnúť a vypnúť a otestovať v aplikácii Meta AI. Táto funkcia nemá prístup k informáciám v reálnom čase, takže sa môžete stretnúť s technickými problémami alebo nezrovnalosťami. Budeme pokračovať v zhromažďovaní spätnej väzby, aby sme ju časom vylepšili.

A aby ste mohli ľahšie vykonávať viac úloh naraz, môžete hlasové funkcie Meta AI používať aj počas vykonávania iných činností na telefóne, pričom viditeľná ikona vás upozorní, že sa mikrofón používa.

Hlasové konverzácie v aplikácii Meta AI vrátane plne duplexnej ukážky sú na začiatku dostupné v USA, Kanade, Austrálii a na Novom Zélande.* Ak sa chcete dozvedieť viac o tom, ako môžete spravovať svoje skúsenosti v aplikácii Meta AI a prepínať medzi režimami, navštívte našu stránku centrum pomoci.

Inteligencia pre vás

Aplikácia Meta AI využíva Llama 4, aby vám pomohla riešiť problémy, ľahšie sa pohybovať počas dňa a lepšie porozumieť svetu okolo vás. A vďaka možnosti vyhľadávania na webe vám pomôže získať odporúčania, ponoriť sa do témy a zostať v kontakte s priateľmi a rodinou.

Využívame naše dlhoročné skúsenosti personalizácia skúseností ľudí na našich platformách, aby bola Meta AI osobnejšia. Môžete Meta AI povedať, aby si o vás zapamätala konkrétne detaily (napríklad, že radi cestujete a učíte sa nové jazyky), a ona si môže dôležité detaily zapamätať z kontextových podnetov. Meta AI tiež poskytuje relevantnejšie odpovede na vaše otázky tým, že využíva informácie, ktoré ste sa už rozhodli zdieľať na Facebooku a Instagrame (ak sú pridané do rovnakého centra účtov), ako sú podrobnosti profilu a obsah, ktorý sa vám páči alebo do ktorého ste sa zapojili. Personalizované odpovede sú dnes k dispozícii v USA a Kanade.

Práve začíname

Toto je prvá verzia aplikácie Meta AI, ktorú plánujeme časom vylepšovať. Aplikácia Meta AI je vytvorená tak, aby vás spoznala a jej odpovede boli užitočnejšie. Ľahko sa s ňou hovorí, takže interakcia s ňou je plynulejšia a prirodzenejšia. A je prepojenejšia, takže dokáže zdieľať veci od ľudí a z miest, na ktorých vám záleží.

Vyskúšajte to ešte dnes na iOS alebo Androiddozvedieť sa viac o novej a vylepšenej Meta AI.

* Hlasové konverzácie na Novom Zélande sú k dispozícii len v aplikácii, nie na okuliaroch Ray-Ban Meta.

Uverejnené - Vložiť komentár

Móda dopredu: Amelia Gray na červenom koberci slávnostného večera Met Gala v okuliaroch Ray-Ban Meta

High couture took center stage last night on the first Monday in May. And you may have spotted some familiar fashion-forward tech on the proverbial red carpet. As part of her custom lookAmelia Gray sported a pair of Okuliare Ray-Ban Meta.

CREDIT: Getty Images Entertainment

The AI glasses—Shiny Black Skyler frames with Polarized Green sun lenses—were the perfect accessory to capture photos and videos throughout the day while also helping her get ready. From taking calls hands-free and listening to music or a podcast to getting answers from Meta AI on the fly, Ray-Ban Meta glasses make any pre-event routine anything but.

This isn’t the first time our AI glasses have gone high fashion. Earlier this year, Gray debuted our sold-out Ray-Ban Meta x Coperni Limited Edition frames on the runway at Paris Fashion Week. Ray-Ban Meta glasses are fashion’s most useful tech-accessory, gaining traction among editors, stylists, and models from the pages of magazines to the runway—and now on the red carpet of fashion’s biggest night of the year.

“I’m still radiating from the night!” said Amelia Gray. “And to know that I will be able to relive so many of those special moments from my own perspective is truly surreal. It’s an entirely new way to experience and share these once-in-a-lifetime moments, and I couldn’t be more excited to be part of Ray-Ban Meta’s Met Gala debut. ”

Inside the event, Gray was joined by Charli XCX, Jeff Goldblum, Jenna Ortega, Kim Kardashian, Nicki Minaj, Rosé, Shaboozey, and Taraji P. Henson as guests at Instagram’s table along with Adam Mosseri and Eva Chen.

Photographer: Quil Lemons

And off the carpet, Instagram a Vlákna hosted a number of icons who are driving the cultural conversation forward at The Mark Hotel for our 5th annual Watch Party. More than 50 creators and pop culture and fashion commentators gathered to watch the red carpet arrivals and share real-time looks on Instagram and Threads.

CREDIT: Huy Luong

Styles may come and go, but fashion is forever. And the future of AI glasses is looking bright.

Uverejnené - Vložiť komentár

New Ray-Ban | Meta Smart Glasses Styles and Meta AI Updates

00:00

00:30

Výstupy

  • We’re expanding the Ray-Ban Meta smart glasses collection with new styles.
  • We’re adding video calling with WhatsApp and Messenger to share your view on a video call. 
  • We’re rolling out Meta AI with Vision, so you can ask your glasses about what you’re seeing and get helpful information — completely hands-free. 

Our second-generation smart glasses, in partnership with EssilorLuxottica, have been flying off the shelves — they’re selling out faster than we can make them. And just in time for sunglasses season, we’re expanding the Ray-Ban Meta smart glasses collection with new styles designed to fit more face shapes so you can find the perfect pair. We’re also adding new features, including updates to Meta AI, to make the glasses even more useful.

A Frame for Every Face

Looking for a vintage vibe? Our new Skyler frames feature a cat eye design inspired by an era of iconic jet-set style, designed to suit smaller faces. 

We’re also adding a new low bridge option for our Headliner frames. If your glasses tend to slide down your nose, sit too low on your face or press on your cheeks, this is the fit for you. 

There are hundreds of different custom frame and lens combinations on the Ray-Ban Remix platform, so you can mix and match to make the glasses your own on ray-ban.com. And our new styles are designed to be prescription lens compatible. Skyler and the new Headliner low bridge fit are available for pre-order now on meta.com a ray-ban.com. These new styles are available in 15 countries, including the US, Canada, Australia, and throughout Europe.

Photo of 6 different pairs of Ray-Ban Meta frames

We’re also introducing the first limited-edition Ray-Ban Meta smart glasses in an exclusive Scuderia Ferrari colorway for Miami 2024. Ray-Ban Meta for Scuderia Limited Edition brings together the legacy of Ferrari, timeless Ray-Ban design and cutting-edge tech from Meta, available April 24, 2024.

Share Your View on a Video Call

From a breathtaking vista on a hike to experiencing your kid’s first steps, there are some moments in life that are just meant to be shared. That’s why we’re adding the ability to share your view on a video call via WhatsApp and Messenger, completely hands-free. 

Image showing hands-free video calling on Ray-Ban Meta smart glasses - a father cooking with his child

At the grocery store and not sure which brand of kombucha to buy? Can’t tell if that pineapple is ripe? Now you can hop on a video call with your mom and get her advice based on what you see. Video calling on Ray-Ban Meta smart glasses is rolling out gradually, so if you don’t see the update right away, sit tight — it’s on the way!

Meta AI Makes Your Smart Glasses Even Smarter

From integrated audio to an ultra-wide 12 MP camera, Ray-Ban Meta smart glasses are jam-packed with tech. And in the US and Canada, you also get Meta AI — an intelligent assistant that helps you get things done, create and connect with the people and things you care about. Just say, “Hey Meta,” and ask away! You can control the glasses using voice commands, and thanks to Meta AI, even get access to real-time information.

We started testing a multimodal AI update in December, so you can ask your glasses about what you’re seeing, and they’ll give you smart, helpful answers or suggestions. That means you can do more with your glasses because now they can see what you see. Starting today, we’re rolling this functionality out to all Ray-Ban Meta smart glasses in the US and Canada in beta. 

Say you’re traveling and trying to read a menu in French. Your smart glasses can use their built-in camera and Meta AI to translate the text for you, giving you the info you need without having to pull out your phone or stare at a screen. 

Image showing a woman wearing Ray-Ban Meta smart glasses using Meta AI feature