Vorig jaar onthulden we tijdens Connect Oriononze eerste echte AR-bril. Het hoogtepunt van ons werk bij Reality Labs in de afgelopen tien jaarOrion combineert de voordelen van een groot holografisch beeldscherm en gepersonaliseerde AI-hulp in een comfortabele, de hele dag door draagbare vorm. Het kreeg wat aandacht voor zijn toonaangevende gezichtsveld, siliciumcarbide golfgeleiders, uLED projectoren en meer. Maar vandaag richten we onze aandacht op een onbezongen held van Orion: de compute puck.
De puck is ontworpen om gemakkelijk in je zak of tas te passen, zodat je hem overal mee naar toe kunt nemen. Hij ontlast de verwerkingskracht van Orion om applicatielogica uit te voeren en maakt een aantrekkelijkere, kleinere vormfactor voor de bril mogelijk. De puck maakt draadloos verbinding met de bril en de EMG-polsband voor een naadloze ervaring.
Instellen en vergeten, toch?
Maar de achtergrond van de puck - zelfs als prototype - is betrokken, met een dramatisch verloop dat je niet zou vermoeden op basis van zijn uiterlijk.
"Als je zoiets bouwt, kom je op de grenzen van de fysica", legt directeur productmanagement Rahul Prasad uit. "De afgelopen 50 jaar heeft de Wet van Moore alles kleiner, sneller en energiezuiniger gemaakt. Het probleem is dat je nu tegen grenzen aanloopt van hoeveel warmte je kunt afvoeren, hoeveel batterij je kunt comprimeren en hoeveel antenneprestaties je in een object van een bepaald formaat kunt stoppen."
Achteraf gezien is het misschien 20/20, maar het potentieel van de puck was niet meteen duidelijk. Als je de eerste bent die iets bouwt, moet je alle mogelijkheden onderzoeken en geen middel onbeproefd laten. Hoe bouw je iets dat sommigen eerder als een ongewenst accessoire beschouwen dan als een essentieel onderdeel van het pakket?
"We wisten dat de puck een extra apparaat was waarvan we vroegen dat mensen hem bij zich zouden dragen," merkt product design engineering manager Jared Van Cleave op, "dus onderzochten we hoe we van de bug een functie konden maken."
Uiteindelijk heeft dat ethos zijn vruchten afgeworpen, want de puck perst veel rekenkracht (en nog meer door Meta ontworpen silicium op maat voor AI en machinewaarneming) in een klein formaat. Dit hielp Orion om van sciencefiction naar realiteit te gaan.
"Als je de puck niet zou hebben, zou je niet de ervaringen kunnen hebben die Orion in zijn vormfactor biedt - punt," zegt Prasad. "Een goede AR-ervaring vereist echt hoge prestaties: hoge framerates, extreem lage latentie, fijnmazig draadloos en energiebeheer, enz. De puck en de bril moeten samen worden ontworpen om heel nauw samen te werken, niet alleen op de app-laag, maar ook op de besturingssysteem-, firmware- en hardwarelaag. En zelfs als je een smartphone zou ontwerpen om samen te werken met een AR-bril, zouden de veeleisende prestatie-eisen de batterij van de telefoon uitputten en rekencapaciteit wegzuigen uit de gebruikssituaties van de telefoon. Aan de andere kant heeft de puck zijn eigen batterij met hoge capaciteit, een SoC met hoge prestaties en een speciaal door Meta ontworpen AI co-processor die geoptimaliseerd is voor Orion."
Natuurlijk is de puck niet van de ene op de andere dag ontworpen. Er waren jaren van iteratief werk voor nodig.
"We wisten niet hoe mensen met Orion zouden willen omgaan vanuit een invoerperspectief, er was niets dat we in de markt konden gebruiken", zegt productmanager Matt Resman. "Als je kijkt naar onze eerste brilprototypes, dat waren van die enorme headsets die drie of vier kilo wogen. En als je een product probeert te maken, is het heel moeilijk om de gebruikerservaring te begrijpen als je niet de juiste vormfactor hebt. Met de puck konden we heel snel prototypes maken om te begrijpen hoe mensen het zouden gebruiken."
De puck, die in de begindagen de codenaam Omega kreeg, werd in eerste instantie door het toenmalige Oculus Research bedacht als een Ω-vormige band die om de nek van de gebruiker zou gaan en zou worden vastgemaakt aan de bril...
... totdat ze door enkele nieuwe innovaties van onder andere het draadloze team van Reality Labs het snoer konden doorknippen. Dat maakte een meer handzame of zakbare / in-tas vormfactor mogelijk, wat veel mogelijkheden opende.
"Op dat moment was augmented reality bellen nog steeds een primaire use case", legt Van Cleave uit. "De puck was de plek waar de holografische video's werden verankerd. Je legde de puck op tafel met de sensorbank naar je toe, maakte een beeld van je en projecteerde vervolgens met wie je sprak op het oppervlak van de puck voor het gesprek."
"Orion gaat over mensen verbinden en ons samenbrengen," zegt Resman. "Een van de eerste concepten voor de puck was om te helpen dit gevoel van aanwezigheid bij andere mensen te creëren en deze rijkere vorm van communicatie mogelijk te maken."
"Het is anders dan alles wat je ooit hebt gezien - het apparaat heeft het potentieel om echt leuke en unieke interacties te creëren," voegt industrieel ontwerper Emron Henry toe. "De gebruikerservaring voelt een beetje als het ontketenen van een geest uit een fles, waarbij hologrammen naadloos tevoorschijn komen en weer oplossen in het apparaat."
Zoals je nu waarschijnlijk wel kunt zien, zit er meer potentieel in de puck dan wat er uiteindelijk als functie is toegevoegd. Naast de sensoren en camera's die zouden zijn gebruikt voor AR-oproepen, heeft de puck haptische en 6DOF-sensoren waarmee hij zou kunnen worden gebruikt als een tracked controller om virtuele objecten te selecteren en manipuleren en AR-games te spelen. Het team heeft ook capacitieve en geforceerde aanraakinvoer onderzocht, zodat de puck als gamepad kan dienen wanneer hij zowel in staande als liggende modus wordt vastgehouden.
"We spraken over de noodzaak om dit extra ding mee te nemen," zegt Van Cleave. "Hoe maken we het nuttiger? Er was een hele workstream omheen. En op een gegeven moment was de hypothese dat AR gaming deze killer use case zou worden."
Al vroeg wisten we dat we de mogelijkheden moesten onderzoeken om de puck dingen te laten doen die telefoons niet kunnen. Uiteindelijk zijn we uitgekomen bij het gebruik van oogbesturing, EMG en handbesturing voor AR-games, zoals Stargazer en Pong, maar in de begindagen van Orion hebben we verschillende demo's en games gemaakt die de puck als controller gebruikten.
0:00 / 0:00
0:00 / 0:00
0:00 / 0:00
Weergegeven verkenningen van de puck als 6DOF-controller voor AR-spellen zoals Pong.
"Omdat het geen telefoon is, hebben we veel ontwerpvrijheid", voegt Prasad toe. "Hij kan dikker zijn, ik kan hem ronder maken zodat hij goed in je hand ligt als controller. Het is ongelooflijk dat de puck eigenlijk kleiner is dan de gemiddelde telefoon, maar hij is krachtiger dan een telefoon omdat hij een door Meta ontworpen co-processor heeft voor AI en machinewaarneming."
Het team onderzocht hoe een AR-game van hoge kwaliteit zou kunnen verschillen van een MR- of consolegame. Dat betekende dat er verschillende mogelijkheden voor een AR-gamecontroller werden onderzocht, waaronder joysticks, fysieke knopindelingen, triggerknoppen en meer.
"We hebben uiteindelijk niets van dat spul gebouwd," merkt Van Cleave op. "We hebben er een prototype van gemaakt, maar we hebben het nooit volledig gebouwd. We wilden het simpel houden. We wilden deze zachte interfaces maken, maar geen fysieke, mechanische knoppen."
En hoewel de sensoren en haptics niet werden ingeschakeld in het prototype van het eindproduct, dienden ze een integrale functie tijdens de ontwikkeling, waarbij teams bugs konden rapporteren door simpelweg een paar keer op de bovenkant van het apparaat te tikken om een bugrapport te genereren.
Toen AI steeds meer in het middelpunt van de belangstelling kwam te staan als een van de belangrijkste gebruiksmogelijkheden, kwam computergebruik steeds meer in beeld. Uiteindelijk herbergt de puck de draadloze connectiviteit, rekenkracht en batterijcapaciteit van Orion - een enorme technische prestatie op zich - wat allemaal helpt om het gewicht en de vormfactor van de bril te verminderen en tegelijkertijd veel meer warmte af te voeren dankzij het oppervlak.
Tijdens de evolutie is één ding hetzelfde gebleven: er zit meer achter de puck dan je op het eerste gezicht zou denken. Door onconventionele ideeën te omarmen, konden onze teams onderzoeken, grenzen verleggen en bouwen aan de toekomst.
"We definiëren een categorie die nog niet helemaal bestaat," merkt Henry op. "Zoals je kunt verwachten bij R&D, waren er onderweg stops en starts. Hoe willen gebruikers omgaan met hologrammen? Willen ze liever een AR-afstandsbediening gebruiken of is hand-tracking, oogopslag en EMG voldoende voor input? Wat voelt intuïtief, wrijvingsarm, vertrouwd en nuttig?"
"In plaats van de puck te zien als gewoon een steen, vroegen we ons af wat we nog meer konden bieden om hem verder te onderscheiden van telefoons en te rechtvaardigen waarom je hem bij je zou willen dragen," erkent Resman. "Bieden de ruwe rekenkracht en het praktische ontwerp - dat hielp om een bril te vinden die je de hele dag kunt dragen - uiteindelijk genoeg waarde? Het is onze taak om deze vragen te helpen beantwoorden."
"In het begin hebben we ons gericht op wat wij kunnen doen dat een telefoon niet kan doen," voegt Van Cleave toe. "Telefoons moeten een scherm hebben, ze moeten een bepaalde fysieke knoppenindeling hebben die gebruikers verwachten. Wij hebben die beperkingen niet. Onze compute puck kan zijn wat we maar willen."
Bekijk voor meer informatie over Orion deze blogposts:
NL 
EN 
BG 
CS 
ET 
EL 
HR 
HU 
LT 
LV 
FR 
PL 
PT 
RO 
SL 
SK