Objavljeno Komentiraj

Orionov računalni pak: Priča iza uređaja koji je omogućio stvaranje naših AR naočala

Prošle godine na Connectu smo predstavili Orion—naš prvi pravi par AR naočala. Kulminacija naš rad u Reality Labsu tijekom posljednjeg desetljećaOrion kombinira prednosti velikog holografskog zaslona i personalizirane umjetne inteligencije u udobnom, cjelodnevno nosivom obliku. Privukao je pozornost zbog vodećeg vidnog polja u industriji, silicij-karbidnih valovoda, uLED projektora i još mnogo toga. Ali danas svoju pozornost usmjeravamo na neopjevanog heroja Oriona: računalni pak.

Dizajniran da se lako uvuče u džep ili torbu, tako da ga možete ponijeti gotovo bilo gdje tijekom dana, pak rasterećuje Orionovu procesorsku snagu za pokretanje aplikacijske logike i omogućuje uvjerljiviji, manji oblik naočala. Bežično se povezuje s naočalama i EMG narukvicom za besprijekorno iskustvo.

Postavi i zaboravi, zar ne?

Ali pozadinska priča paka - čak i kao prototipa - je složena, s dramatičnim lukom koji nikada ne biste pogodili na temelju njegovog izgleda.

„Kada gradite nešto ovakvo, počinjete ulaziti u granice fizike“, objašnjava direktor upravljanja proizvodima Rahul Prasad. „Posljednjih 50 godina, Mooreov zakon je sve učinio manjim, bržim i energetski manje energetskim. Problem je što sada počinjete nailaziti na ograničenja u pogledu količine topline koju možete raspršiti, količine baterije koju možete komprimirati i performansi antene koju možete smjestiti u objekt određene veličine.“

Iako retrospektiva može biti 20/20, potencijal paka nije bio odmah očit. Kada ste prvi koji nešto gradi, morate istražiti svaku mogućnost - ne ostavljajući kamen na kamenu. Kako izgraditi nešto što bi neki mogli smatrati nepoželjnim dodatkom, a ne ključnim dijelom paketa?

„Znali smo da je pak dodatni uređaj koji smo tražili od ljudi da nose“, napominje voditelj inženjerskog dizajna proizvoda Jared Van Cleave, „pa smo istražili kako pretvoriti bubu u značajku.“

U konačnici, taj etos se isplatio u izobilju jer pak u malu veličinu stišće mnogo računalnih resursa (i još više prilagođenog silicija dizajniranog od strane Meta za umjetnu inteligenciju i strojnu percepciju). To je bilo ključno u pomaganju Orionu da prijeđe iz područja znanstvene fantastike u stvarnost.

„Da nemate pak, ne biste mogli imati iskustva koja Orion nudi u svom formatu - točka“, kaže Prasad. „Dobro AR iskustvo zahtijeva stvarno visoke performanse: visoku brzinu kadrova, izuzetno nisku latenciju, precizno upravljanje bežičnom vezom i napajanjem itd. Pak i naočale moraju biti zajednički dizajnirani da blisko surađuju, ne samo na razini aplikacije, već i na razini operativnog sustava, firmvera i hardvera. Čak i ako bi se zajednički dizajnirao pametni telefon za rad s AR naočalama, zahtjevni zahtjevi za performansama ispraznili bi bateriju telefona i isisali računalni kapacitet iz slučajeva upotrebe telefona. S druge strane, pak ima vlastitu bateriju velikog kapaciteta, visokoučinkoviti SoC i prilagođeni AI koprocesor dizajniran od strane Meta, optimiziran za Orion.“

Naravno, pak nije dizajniran preko noći. Zahtijevao je godine iterativnog rada.

„Nismo znali kako bi ljudi htjeli komunicirati s Orionom s gledišta unosa podataka - nije bilo ničega što bismo mogli skicirati s tržišta“, kaže voditelj proizvoda Matt Resman. „Ako pogledate naše rane prototipove naočala, to su bile te masivne slušalice koje su težile tri ili dva kilograma. A kada pokušavate izraditi proizvod, stvarno je teško razumjeti korisničko iskustvo ako niste u pravom formatu. S puckom smo mogli vrlo brzo izraditi prototip kako bismo počeli shvaćati kako bi ga ljudi koristili.“

Kodnog naziva Omega u ranim danima, pak je isprva zamišljen od strane tadašnjeg Oculus Researcha kao traka u obliku slova Ω koja bi se stavljala oko vrata korisnika i bila bi čvrsto povezana s naočalama...

... sve dok im neke nove inovacije bežičnog tima Reality Labsa, između ostalog, nisu omogućile da se riješe kabela. To je omogućilo oblik koji se lakše nosi u ruci ili džepu / u torbi, što je otvorilo mnogo mogućnosti.

„U tom trenutku, pozivanje proširenom stvarnošću još je uvijek bilo primarni slučaj upotrebe“, objašnjava Van Cleave. „Pak je bio mjesto gdje bi se holografski videozapisi usidrili. Stavili biste ga na stol sa senzorskom klupom okrenutom prema vama, snimajući vas, a zatim biste projicirali s kim razgovarate s površine paka tijekom poziva.“

„Orion se bavi povezivanjem ljudi i njihovim okupljanjem“, kaže Resman. „Jedan od početnih koncepata za pak bio je pomoći u stvaranju osjećaja prisutnosti s drugim ljudima i omogućiti ovaj bogatiji oblik komunikacije.“

„To je nešto što nikada niste vidjeli – uređaj ima potencijal stvoriti zaista zabavne i jedinstvene interakcije“, dodaje industrijski dizajner Emron Henry. „Korisničko iskustvo pomalo se osjeća kao oslobađanje duha iz boce, gdje hologrami neprimjetno izlaze iz uređaja i ponovno se otapaju u njemu.“

Kao što vjerojatno već možete vidjeti, u paku se krije više potencijala nego što je na kraju postalo dio funkcije. Osim senzora i kamera koji bi se koristili za AR pozivanje, pak ima haptičke i 6DOF senzore koji bi mu omogućili korištenje kao praćenog kontrolera za odabir i manipuliranje virtualnim objektima te igranje AR igara. Tim je također istražio kapacitivni i forsirani dodirni unos kako bi pak mogao poslužiti kao gamepad kada se drži i u portretnom i u pejzažnom načinu.

„Razgovarali bismo o potrebi nošenja ove dodatne stvari“, kaže Van Cleave. „Kako je možemo učiniti korisnijom? Postojao je cijeli radni tok oko toga. I u jednom trenutku, hipoteza je bila da će AR igranje biti taj ubojiti slučaj upotrebe.“

U ranoj fazi smo znali da moramo istražiti mogućnosti paka da radi stvari koje telefoni ne mogu. Na kraju smo se odlučili za korištenje pogleda, EMG-a i praćenja ruku za AR igre, poput Stargazera i Ponga, ali smo u ranim danima Oriona izradili prototipove raznih demo verzija i igara koje su koristile pak kao kontroler.

0:00 / 0:00

0:00 / 0:00

0:00 / 0:00

Renderirana istraživanja paka kao 6DOF kontroler za AR igre poput Ponga.

„Budući da nije telefon, to nam je dalo puno dizajnerske slobode“, dodaje Prasad. „Može biti deblji, mogu ga učiniti zaobljenijim kako bi udobno stajao u ruci kao kontroler. Prilično je nevjerojatno da je pak zapravo manji od prosječnog telefona, ali je snažniji od telefona jer ima koprocesor koji je dizajnirao Meta za umjetnu inteligenciju i strojnu percepciju.“

Tim se pozabavio pitanjem kako se kvalitetna AR igra može razlikovati od MR ili konzolske igre. To je značilo istraživanje različitih mogućnosti za AR kontroler igara, uključujući joysticke, raspored fizičkih tipki, okidačke tipke i još mnogo toga.

„Na kraju nismo ništa od toga zapravo izgradili“, primjećuje Van Cleave. „Napravili smo prototip, ali nikada nismo išli na potpunu izradu. Željeli smo da sve bude jednostavno. Željeli smo napraviti ova softverska sučelja, ali ne i fizičke, mehaničke gumbe.“

I premda senzori i haptika nisu bili uključeni u prototipu gotovog proizvoda, imali su ključnu funkciju tijekom razvoja, omogućujući timovima da prijave greške jednostavnim dodirom na vrh uređaja nekoliko puta kako bi se pokrenulo izvješće o grešci.

Kako je umjetna inteligencija počela zauzimati središnje mjesto kao ključni slučaj upotrebe, računalstvo je došlo u sve oštriji fokus. Na kraju krajeva, pak je dom Orionove bežične povezivosti, računalne snage i kapaciteta baterije - što je samo po sebi ogroman tehnički podvig - a sve to pomaže u smanjenju težine i oblika naočala, a istovremeno raspršuje puno više topline zbog svoje površine.

Kroz cijelu svoju evoluciju, jedna stvar je ostala ista: pak nudi više nego što se vidi na prvi pogled. Prihvaćanje nekonvencionalnih ideja omogućilo je našim timovima da istražuju, pomiču granice i grade budućnost.

„Definiramo kategoriju koja još ne postoji“, napominje Henry. „Kao što biste i očekivali s istraživanjem i razvojem, bilo je početaka i zaustavljanja na tom putu. Kako će korisnici očekivati interakciju s hologramima? Bi li radije koristili AR daljinski upravljač ili je praćenje ruke, pogled i EMG dovoljni za unos? Što se čini intuitivnim, bez trenja, poznatim i korisnim?“

„Umjesto da na pak gledamo samo kao na kamen, pitali smo se što još možemo ponuditi kako bismo ga dodatno razlikovali od telefona i opravdali zašto biste ga htjeli nositi sa sobom“, priznaje Resman. „Nude li njegova sirova računalna snaga i praktičan dizajn – koji su pomogli u oblikovanju naočala koje realno možete nositi cijeli dan – u konačnici dovoljno vrijednosti? Naš je posao pomoći u odgovorima na ta pitanja.“

„U početku smo promijenili smjer kako bismo se usredotočili na ono što možemo učiniti, a što telefon ne može“, dodaje Van Cleave. „Telefoni moraju imati zaslon, moraju imati određeni fizički raspored tipki koji korisnici očekuju. A mi nemamo ta ograničenja. Naš računalni paket može biti što god želimo.“


Za više informacija o Orionu, pogledajte ove objave na blogu:

Odgovori

Vaša adresa e-pošte neće biti objavljena. Obavezna polja su označena sa * (obavezno)