L'année dernière, lors du salon Connect, nous avons dévoilé Orion-notre première véritable paire de lunettes AR. L'aboutissement de notre travail à Reality Labs au cours de la dernière décennieOrion combine les avantages d'un grand écran holographique et d'une assistance personnalisée par l'IA dans un format confortable et portable toute la journée. Il a attiré l'attention sur son champ de vision de pointe, ses guides d'ondes en carbure de silicium, ses projecteurs uLED, etc. Mais aujourd'hui, nous nous intéressons à un héros méconnu d'Orion : le compute puck.
Conçue pour se glisser facilement dans votre poche ou votre sac afin que vous puissiez l'emmener à peu près n'importe où dans votre journée, la rondelle décharge la puissance de traitement d'Orion pour exécuter la logique de l'application et permettre un facteur de forme plus convaincant et plus petit pour les lunettes. Il se connecte sans fil aux lunettes et au bracelet EMG pour une expérience transparente.
Il suffit de le régler et de l'oublier, n'est-ce pas ?
Mais l'histoire du palet, même à l'état de prototype, est passionnante, avec un arc dramatique que l'on ne soupçonnerait pas en le voyant.
"Lorsque vous construisez quelque chose comme cela, vous commencez à vous heurter aux limites de la physique", explique Rahul Prasad, directeur de la gestion des produits. "Au cours des 50 dernières années, la loi de Moore a tout rendu plus petit, plus rapide et moins gourmand en énergie. Le problème, c'est que l'on commence à se heurter aux limites de la chaleur que l'on peut dissiper, de la quantité de batterie que l'on peut comprimer et des performances de l'antenne que l'on peut faire tenir dans un objet d'une taille donnée.
Même si le recul est de 20/20, le potentiel du palet n'était pas immédiatement évident. Lorsque vous êtes le premier à construire quelque chose, vous devez explorer toutes les possibilités et ne négliger aucune piste. Comment construire quelque chose que certains pourraient considérer comme un accessoire indésirable plutôt que comme un élément essentiel de l'ensemble ?
"Nous savions que le palet était un appareil supplémentaire que nous demandions aux gens de transporter", explique Jared Van Cleave, responsable de l'ingénierie de la conception des produits, "nous avons donc cherché à transformer ce problème en une fonctionnalité".
En fin de compte, cette philosophie s'est avérée payante, car le puck concentre beaucoup de puissance de calcul (et encore plus de silicium personnalisé conçu par Meta pour l'IA et la perception de la machine) dans une petite taille. C'est ce qui a permis à Orion de passer du domaine de la science-fiction à celui de la réalité.
"Si vous n'aviez pas la rondelle, vous ne pourriez pas vivre les expériences qu'offre Orion dans son format, un point c'est tout", explique M. Prasad. "Une bonne expérience de réalité augmentée exige des performances très élevées : des taux de rafraîchissement élevés, une latence extrêmement faible, une gestion fine du sans fil et de l'alimentation, etc. La rondelle et les lunettes doivent être conçues conjointement pour fonctionner en étroite collaboration, non seulement au niveau de l'application, mais aussi au niveau du système d'exploitation, du micrologiciel et du matériel. Et même si l'on concevait un smartphone pour qu'il fonctionne avec des lunettes de réalité augmentée, les exigences élevées en matière de performances épuiseraient la batterie du téléphone et réduiraient la capacité de calcul des cas d'utilisation du téléphone. En revanche, le puck dispose de sa propre batterie haute capacité, d'un SoC haute performance et d'un coprocesseur d'IA personnalisé conçu par Meta et optimisé pour Orion".
Bien entendu, le palet n'a pas été conçu du jour au lendemain. Il a nécessité des années de travail itératif.
"Nous ne savions pas comment les gens voudraient interagir avec Orion du point de vue de l'entrée, il n'y avait rien dont nous pouvions nous inspirer sur le marché", explique Matt Resman, chef de produit. "Si vous regardez nos premiers prototypes de lunettes, il s'agissait de casques massifs qui pesaient trois ou quatre livres. Et lorsque vous essayez de construire un produit, il est vraiment difficile de comprendre l'expérience de l'utilisateur si vous n'avez pas le bon facteur de forme. Avec le puck, nous avons pu réaliser des prototypes très rapidement pour commencer à comprendre comment les gens allaient l'utiliser".
Sous le nom de code Omega, la rondelle a d'abord été envisagée par ce qui était alors Oculus Research comme une bande en forme d'Ω qui s'enroulerait autour du cou de l'utilisateur et serait reliée aux lunettes....
... jusqu'à ce que de nouvelles innovations de l'équipe sans fil de Reality Labs, entre autres, leur permettent de couper le cordon. Cela a permis d'obtenir un facteur de forme plus portable ou de poche / dans un sac, ce qui a ouvert de nombreuses possibilités.
"À l'époque, les appels en réalité augmentée étaient encore un cas d'utilisation primaire", explique M. Van Cleave. "Le palet était l'endroit où les vidéos holographiques étaient ancrées. Vous le posiez sur la table avec le banc de capteurs face à vous, vous filmant et projetant ensuite votre interlocuteur sur la surface du palet pour l'appel".
"Orion a pour but de relier les gens et de nous rassembler", explique M. Resman. "L'un des concepts initiaux du palet était d'aider à créer ce sentiment de présence avec d'autres personnes et de permettre cette forme de communication plus riche.
"L'appareil ne ressemble à rien de ce que vous avez déjà vu. Il a le potentiel de créer des interactions vraiment amusantes et uniques", ajoute le designer industriel Emron Henry. "L'expérience de l'utilisateur ressemble un peu à celle d'un génie sorti d'une bouteille, où les hologrammes émergent de l'appareil et s'y dissolvent de manière transparente."
Comme vous pouvez le constater, le puck a plus de potentiel que ce qui a finalement été mis en place comme fonctionnalité. Outre les capteurs et les caméras qui auraient été utilisés pour les appels AR, le puck est doté de capteurs haptiques et 6DOF qui pourraient lui permettre d'être utilisé comme un contrôleur suivi pour sélectionner et manipuler des objets virtuels et jouer à des jeux AR. L'équipe a également étudié les entrées tactiles capacitives et de force afin que le puck puisse servir de manette de jeu lorsqu'il est tenu en mode portrait ou paysage.
"Nous parlions de la nécessité de transporter cet objet supplémentaire", explique M. Van Cleave. "Comment le rendre plus utile ? Il y avait tout un courant de travail autour de cette question. À un moment donné, l'hypothèse était que les jeux en réalité augmentée allaient être le cas d'utilisation idéal.
Très tôt, nous avons su que nous devions explorer les possibilités du puck pour faire des choses que les téléphones ne peuvent pas faire. Nous avons fini par utiliser le regard, l'EMG et le suivi de la main pour les jeux de réalité augmentée, comme Stargazer et Pong, mais nous avons prototypé plusieurs démos et jeux qui utilisaient le palet comme contrôleur dans les premiers jours d'Orion.
0:00 / 0:00
0:00 / 0:00
0:00 / 0:00
Explorations rendues du palet en tant que contrôleur 6DOF pour des jeux AR comme Pong.
"Le fait qu'il ne s'agisse pas d'un téléphone nous a donné une grande liberté de conception", ajoute M. Prasad. "Il peut être plus épais, je peux le rendre plus arrondi pour qu'il tienne confortablement dans la main comme une manette. C'est assez incroyable que le puck soit plus petit qu'un téléphone moyen, mais il est plus puissant qu'un téléphone parce qu'il est doté d'un coprocesseur Meta conçu pour l'IA et la perception de la machine.
L'équipe s'est penchée sur la question de savoir en quoi un jeu de réalité augmentée de qualité pouvait différer d'un jeu sur console ou d'un jeu sur téléphone portable. Pour ce faire, elle a exploré les différentes possibilités offertes par un contrôleur de jeu de réalité augmentée, notamment les manettes, la disposition des boutons physiques, les boutons de déclenchement, etc.
"Nous n'avons pas fini par construire tout cela", précise M. Van Cleave. "Nous avons créé des prototypes, mais nous n'avons jamais cherché à les construire entièrement. Nous voulions rester simples. Nous voulions créer des interfaces souples, mais pas de boutons physiques et mécaniques.
Bien que les capteurs et l'haptique n'aient pas été activés dans le prototype du produit fini, ils ont joué un rôle essentiel pendant le développement, permettant aux équipes de signaler des bogues en tapant simplement sur la partie supérieure de l'appareil à plusieurs reprises pour déclencher un rapport de bogue.
Lorsque l'IA a commencé à occuper le devant de la scène en tant que cas d'utilisation clé, le calcul est devenu de plus en plus important. En fin de compte, le puck abrite la connectivité sans fil, la puissance de calcul et la capacité de la batterie d'Orion - une énorme prouesse technique en soi - qui permet de réduire le poids et le facteur de forme des lunettes tout en dissipant beaucoup plus de chaleur grâce à sa surface.
Tout au long de son évolution, une chose est restée inchangée : le palet est bien plus qu'un simple regard. L'adoption d'idées non conventionnelles a permis à nos équipes d'explorer, de repousser les limites et de construire l'avenir.
"Nous définissons une catégorie qui n'existe pas encore tout à fait", note M. Henry. "Comme on peut s'y attendre en matière de R&D, il y a eu des débuts et des arrêts en cours de route. Comment les utilisateurs s'attendent-ils à interagir avec les hologrammes ? Préféreraient-ils utiliser une télécommande AR ou le suivi de la main, le regard et l'EMG suffisent-ils pour la saisie ? Qu'est-ce qui est intuitif, sans frottement, familier et utile ?
"Plutôt que de considérer la rondelle comme une simple pierre, nous nous sommes demandé ce que nous pouvions apporter de plus pour la différencier des téléphones et justifier les raisons pour lesquelles vous voudriez la porter", reconnaît M. Resman. "Sa puissance de calcul brute et son design pratique (qui a permis de créer un format de lunettes que l'on peut porter toute la journée) offrent-ils une valeur suffisante ? C'est notre travail d'aider à répondre à ces questions".
"Très tôt, nous avons changé de cap pour nous concentrer sur ce que nous pouvions faire et qu'un téléphone ne pouvait pas faire", ajoute M. Van Cleave. "Les téléphones doivent avoir un écran, ils doivent avoir une certaine disposition physique des boutons que les utilisateurs attendent. Nous n'avons pas ces contraintes. Notre puck de calcul peut être ce que nous voulons".
Pour plus d'informations sur Orion, consultez ces articles de blog :
