Publié le par - Laisser un commentaire

Orion : Les vraies lunettes AR sont arrivées

TL;DR :

  • Aujourd'hui à ConnecterMark Zuckerberg a dévoilé Orion, notre première paire de véritables lunettes de réalité augmentée, dont le nom de code était auparavant Projet Nazare.
  • Avec un champ de vision inégalé dans l'industrie, lentilles en carbure de siliciumOrion est notre prototype de produit le plus avancé et le plus abouti à ce jour, avec ses guides d'ondes complexes, ses projecteurs uLED et bien d'autres choses encore.
  • Aujourd'hui, nous poursuivons l'optimisation des produits et la réduction des coûts en vue de créer un appareil grand public évolutif qui révolutionnera la façon dont les gens interagissent avec le monde.

"Nous construisons des lunettes AR.

Cinq mots simples, parlé il y a cinq ans. Avec eux, nous avons planté un drapeau sur notre vision d'un avenir où nous n'aurons plus à faire le faux choix entre un monde d'informations au bout de nos doigts et le monde physique qui nous entoure.

Et aujourd'hui, cinq ans plus tard, cinq autres mots qui devraient à nouveau changer la donne :

Nous avons construit des lunettes AR.

https://youtube.com/watch?v=2CJsnyS8u3c%3Fsi%3DTr77gOKEq3PnA7-k%26controls%3D0%3Fautoplay%3D0%26color%3Dwhite%26cc_lang_pref%3Den%26cc_load_policy%3D0%26enablejsapi%3D1%26frameborder%3D0%26hl%3Den%26rel%3D0%26origin%3Dhttps%253A%252F%252Fwww.meta.com

Chez Meta, notre mission est simple : donner aux gens le pouvoir de construire une communauté et de rapprocher le monde. Et à Reality Labs, nous créons des outils qui aident les gens à se sentir connectés à tout moment et en tout lieu. C'est pourquoi nous travaillons à la construction de la prochaine plateforme informatique qui place les personnes au centre afin qu'elles puissent être plus présentes, connectées et autonomes dans le monde.

Lunettes Ray-Ban Meta ont démontré qu'il était possible de donner aux gens un accès mains libres aux éléments clés de leur vie numérique à partir de leur vie physique. Nous pouvons parler à un assistant intelligent, nous connecter avec nos amis et immortaliser les moments importants, le tout sans avoir à sortir notre téléphone. Ces lunettes élégantes s'intègrent parfaitement dans notre vie quotidienne, et les gens les adorent.

Pourtant, si Ray-Ban Meta a ouvert une toute nouvelle catégorie de lunettes sans écran suralimentées par l'IA, l'industrie du XR rêve depuis longtemps de véritables lunettes AR, un produit qui combine les avantages d'un grand écran holographique et d'une assistance personnalisée de l'IA dans un facteur de forme confortable, élégant et portable tout au long de la journée.

Et aujourd'hui, nous avons rapproché ce rêve de la réalité en dévoilant OrionNous pensons qu'il s'agit de la paire de lunettes de réalité augmentée la plus avancée jamais fabriquée. En fait, il pourrait s'agir de l'appareil électronique grand public le plus ambitieux jamais produit depuis le smartphone. Orion est le résultat d'inventions révolutionnaires dans pratiquement tous les domaines de l'informatique moderne. le travail que nous effectuons à Reality Labs depuis une dizaine d'années. Il est doté de technologies entièrement nouvelles, notamment l'écran AR le plus avancé jamais assemblé et le système d'affichage AR le plus perfectionné. silicium sur mesure qui permet de réaliser de puissantes expériences de réalité augmentée sur une paire de lunettes en utilisant une fraction de la puissance et du poids d'un casque de réalité augmentée.

Le système d'entrée d'Orion combine de manière transparente la voix, le regard et le suivi de la main avec un système d'affichage à l'écran. Bracelet EMG qui vous permet de glisser, cliquer et faire défiler tout en gardant votre bras confortablement posé à côté de vous, ce qui vous permet de rester présent dans le monde et avec les personnes qui vous entourent lorsque vous interagissez avec un contenu numérique riche.

À partir d'aujourd'hui à Connect et tout au long de l'année, nous ouvrons l'accès à notre prototype de produit Orion aux employés de Meta et à des publics externes sélectionnés afin que notre équipe de développement puisse apprendre, itérer et construire notre ligne de produits de lunettes AR grand public, que nous prévoyons de commencer à expédier dans un avenir proche.

Pourquoi des lunettes AR ?

Il y a trois raisons principales pour lesquelles les lunettes AR sont essentielles pour débloquer le prochain grand saut dans l'informatique orientée vers l'homme.

  1. Ils permettent des expériences numériques qui ne sont pas limitées par l'écran d'un smartphone. Avec les grands écrans holographiques, vous pouvez utiliser le monde physique comme toile, en plaçant des contenus et des expériences en 2D et en 3D où vous le souhaitez.
  2. Ils intègrent de manière transparente une IA contextuelle capable de percevoir et de comprendre le monde qui vous entoure afin d'anticiper vos besoins et d'y répondre de manière proactive.
  3. Ils sont légers et conviennent aussi bien à l'intérieur qu'à l'extérieur. Ils permettent aux gens de voir le vrai visage, les vrais yeux et les vraies expressions de l'autre.

C'est l'étoile polaire vers laquelle notre industrie s'est orientée : un produit combinant la commodité et l'immédiateté des dispositifs portables avec un grand écran, une entrée à large bande passante et une IA contextualisée dans un facteur de forme que les gens se sentent à l'aise de porter dans leur vie quotidienne.

Facteur de forme compact, défis complexes

Pendant des années, nous avons été confrontés à un faux choix : soit des casques de réalité virtuelle et mixte qui permettent des expériences immersives profondes dans un format encombrant, soit des lunettes qui sont idéales pour une utilisation tout au long de la journée mais qui n'offrent pas d'applications et d'expériences visuelles riches en raison de l'absence d'un grand écran et de la puissance de calcul correspondante.

Mais nous voulons tout cela, sans compromis. Depuis des années, nous travaillons d'arrache-pied pour intégrer les incroyables expériences spatiales offertes par les casques de RV et de RM et miniaturiser la technologie nécessaire pour offrir ces expériences dans une paire de lunettes légères et élégantes. Réussir le facteur de forme, fournir des affichages holographiques, développer des expériences AR convaincantes et créer de nouveaux paradigmes d'interaction homme-machine (HCI) - et tout cela dans un seul produit cohésif - est l'un des défis les plus difficiles que notre industrie ait jamais eu à relever. Le défi était tel que nous pensions avoir moins de 10 % de chances d'y parvenir.

Jusqu'à présent.

Un écran révolutionnaire dans un format inégalé

Avec un angle de vue d'environ 70 degrés, Orion offre le plus grand champ de vision dans le plus petit format de lunettes AR à ce jour. Ce champ de vision permet de débloquer des cas d'utilisation véritablement immersifs pour Orion, depuis les fenêtres multitâches et les divertissements sur grand écran jusqu'aux hologrammes de personnes grandeur nature - tous les contenus numériques pouvant se fondre de manière transparente dans votre vision du monde physique.

Pour Orion, le champ de vision était notre graal. Nous nous heurtions aux lois de la physique et devions courber les faisceaux de lumière d'une manière qui n'est pas naturelle, et nous devions le faire dans une enveloppe de puissance mesurée en milliwatts.

Au lieu du verre, nous avons fabriqué les lentilles en carbure de silicium-une nouvelle application pour les lunettes AR. Carbure de silicium est incroyablement léger, il n'entraîne pas d'artefacts optiques ni de lumière parasite, et son indice de réfraction est élevé - toutes les propriétés optiques qui sont essentielles pour obtenir un grand champ de vision. Les guides d'ondes eux-mêmes sont dotés de structures 3D nanométriques vraiment complexes pour diffracter ou diffuser la lumière de la manière nécessaire à l'obtention de ce champ de vision. Enfin, les projecteurs sont des uLED, un nouveau type de technologie d'affichage super petit et extrêmement économe en énergie.

Orion est indéniablement une paire de lunettes, tant au niveau de l'aspect que du toucher, avec des verres transparents. Contrairement aux casques MR ou aux autres lunettes AR actuelles, vous pouvez toujours voir les yeux et les expressions réelles des autres, afin d'être présent et de partager l'expérience avec les personnes qui vous entourent. Des dizaines d'innovations ont été nécessaires pour parvenir à un design industriel qui permette de porter des lunettes contemporaines tous les jours. Orion est une prouesse de miniaturisation : les composants sont réduits à une fraction de millimètre. Nous avons réussi à intégrer sept minuscules caméras et capteurs dans les bords de la monture.

Nous avons dû maintenir la précision optique à un dixième de l'épaisseur d'un cheveu humain. Le système peut détecter d'infimes mouvements, comme la dilatation ou la contraction des cadres en fonction de la température ambiante, puis corriger numériquement l'alignement optique nécessaire, le tout en l'espace de quelques millisecondes. Nous avons fabriqué les montures en magnésium - le même matériau que celui utilisé dans les voitures de course de F1 et les engins spatiaux - parce qu'il est à la fois léger et rigide, qu'il maintient les éléments optiques dans l'alignement et qu'il évacue efficacement la chaleur.

Chauffage et refroidissement

Une fois que nous avons percé l'écran (sans jeu de mots) et surmonté les problèmes de physique, nous avons dû relever le défi d'un calcul très puissant associé à une consommation d'énergie très faible et à la nécessité d'une dissipation de la chaleur. Contrairement aux casques MR actuels, il n'est pas possible d'insérer un ventilateur dans une paire de lunettes. Nous avons donc dû faire preuve de créativité. Une grande partie des matériaux utilisés pour refroidir Orion sont similaires à ceux utilisés par la NASA pour refroidir les satellites dans l'espace.

Nous avons construit silicium sur mesure hautement spécialisé qui est extrêmement économe en énergie et optimisé pour nos algorithmes d'IA, de perception de la machine et de graphisme. Nous avons construit plusieurs puces personnalisées et des dizaines de blocs de propriété intellectuelle en silicium hautement personnalisés à l'intérieur de ces puces. Cela nous permet de réduire à quelques dizaines de milliwatts les algorithmes nécessaires au suivi des mains et des yeux, ainsi que la technologie de localisation et de cartographie simultanées (SLAM) qui consomme normalement des centaines de milliwatts d'énergie et génère donc une quantité correspondante de chaleur.

Et oui, le silicium personnalisé continue de jouer un rôle essentiel dans le développement des produits chez Reality Labs, malgré ce que vous avez pu lire ailleurs. 😎

EMG sans effort

Chaque nouvelle plate-forme informatique apporte avec elle un changement de paradigme dans la manière dont nous interagissons avec nos appareils. L'invention de la souris a ouvert la voie aux interfaces utilisateur graphiques (IUG) qui dominent notre monde aujourd'hui, et les smartphones n'ont commencé à s'imposer qu'avec l'avènement de l'écran tactile. La même règle s'applique aux produits portables.

Nous avons parlé de notre travail avec l'électromyographie, ou EMGDepuis des années, nous sommes convaincus que la saisie pour les lunettes de réalité augmentée doit être rapide, pratique, fiable, subtile et socialement acceptable. Aujourd'hui, ce travail est prêt pour le prime time.

Le système d'entrée et d'interaction d'Orion combine de manière transparente la voix, le regard et le suivi de la main avec un bracelet EMG qui vous permet de glisser, de cliquer et de faire défiler facilement.

Cela fonctionne et donne l'impression d'être magique. Imaginez que vous preniez une photo pendant votre jogging matinal d'un simple effleurement du bout des doigts ou que vous naviguiez dans les menus avec des mouvements à peine perceptibles de vos mains. Notre bracelet associe un textile haute performance à des capteurs EMG intégrés pour détecter les signaux électriques générés par les moindres mouvements musculaires. Un processeur ML intégré à l'appareil interprète ensuite ces signaux EMG pour produire des événements d'entrée qui sont transmis sans fil aux lunettes. Le système s'adapte à vous, de sorte qu'il devient de plus en plus capable de reconnaître les gestes les plus subtils au fil du temps. Aujourd'hui, nous vous en disons plus sur le soutien que nous apportons à la recherche externe dans les domaines suivants développer le potentiel d'équité et d'accessibilité des bracelets EMG.

Présentation de l'unité de calcul sans fil (Wireless Compute Puck)

Les véritables lunettes de réalité augmentée doivent être sans fil et de petite taille.Nous avons donc construit un Palette de calcul sans fil pour Orion. Il décharge les lunettes d'une partie de la charge, ce qui permet d'augmenter l'autonomie de la batterie et d'obtenir un meilleur facteur de forme avec une faible latence.

Les lunettes exécutent tous les algorithmes de suivi des mains, de suivi des yeux, de SLAM et de verrouillage du monde AR spécialisé, tandis que la logique de l'application s'exécute sur le puck pour que les lunettes soient aussi légères et compactes que possible.

La rondelle est dotée de deux processeurs, dont un conçu sur mesure par Meta, et fournit la puissance de calcul nécessaire au rendu graphique à faible latence, à l'intelligence artificielle et à certaines autres perceptions de la machine.

Et comme il est petit et élégant, vous pouvez le glisser confortablement dans un sac ou dans votre poche et vaquer à vos occupations, sans aucune contrainte.

Expériences de RA

Bien entendu, comme pour tout matériel, sa qualité dépend de ce que vous pouvez en faire. faire avec elle. Et bien qu'il soit encore tôt, les expériences offertes par Orion sont un aperçu excitant de ce qui est à venir.

https://youtube.com/watch?v=HkdSv3QPhNw%3F%26controls%3D0%3Fautoplay%3D0%26color%3Dwhite%26cc_lang_pref%3Den%26cc_load_policy%3D0%26enablejsapi%3D1%26frameborder%3D0%26hl%3Den%26rel%3D0%26origin%3Dhttps%253A%252F%252Fwww.meta.com

Nous avons notre assistant intelligent, Meta AIqui fonctionne sur Orion. Il comprend ce que vous regardez dans le monde physique et peut vous aider avec des visualisations utiles. Orion utilise le même modèle Llama qui alimente les expériences d'intelligence artificielle fonctionnant aujourd'hui sur les lunettes intelligentes Ray-Ban Meta, ainsi que des modèles de recherche personnalisés pour démontrer les cas d'utilisation potentiels pour le développement futur des wearables.

Vous pouvez passer un appel vidéo mains libres en déplacement pour prendre des nouvelles de vos amis et de votre famille en temps réel, et vous pouvez rester connecté sur WhatsApp et Messenger pour consulter et envoyer des messages. Plus besoin de sortir votre téléphone, de le déverrouiller, de trouver la bonne application et de faire savoir à votre ami que vous êtes en retard pour le dîner - vous pouvez le faire avec vos lunettes.

https://youtube.com/watch?v=el7lUVvu8Bo%3F%26controls%3D0%3Fautoplay%3D0%26color%3Dwhite%26cc_lang_pref%3Den%26cc_load_policy%3D0%26enablejsapi%3D1%26frameborder%3D0%26hl%3Den%26rel%3D0%26origin%3Dhttps%253A%252F%252Fwww.meta.com

Vous pouvez jouer à des jeux AR partagés avec votre famille à l'autre bout du pays ou avec votre ami de l'autre côté du canapé. Le grand écran d'Orion vous permet de faire du multitâche avec plusieurs fenêtres et d'accomplir des tâches sans avoir à transporter votre ordinateur portable.

Les expériences disponibles sur Orion aujourd'hui aideront à tracer la feuille de route de notre gamme de lunettes AR grand public à l'avenir. Nos équipes continueront d'itérer et de construire de nouvelles expériences sociales immersives, aux côtés de nos partenaires développeurs, et nous sommes impatients de partager la suite.

Un prototype de produit utile

Orion ne se retrouvera pas entre les mains des consommateurs, mais il ne faut pas s'y tromper : Il s'agit d'un pas un prototype de recherche. C'est le prototype de produit le plus abouti que nous ayons jamais développé, et il est vraiment représentatif de ce que l'on attend de nous. pourrait aux consommateurs. Plutôt que de nous précipiter sur les étagères, nous avons décidé de nous concentrer d'abord sur le développement interne, ce qui nous permet de continuer à construire rapidement et de repousser les limites de la technologie et de l'expérience.

Cela signifie que nous parviendrons plus rapidement à un produit de consommation encore meilleur.

Ce qui vient ensuite

Deux obstacles majeurs se sont longtemps dressés sur la route des lunettes de réalité augmentée grand public : les percées technologiques nécessaires pour offrir un grand écran dans un format de lunettes compact et la nécessité de proposer des expériences de réalité augmentée utiles et convaincantes sur ces lunettes. Orion est une étape importante, car il offre pour la première fois de véritables expériences de réalité augmentée fonctionnant sur un matériel raisonnablement élégant.

Maintenant que nous avons partagé Orion avec le monde, nous nous concentrons sur quelques points :

  • Réglage de la qualité de l'affichage AR pour rendre les images encore plus nettes
  • Nous optimisons chaque fois que nous le pouvons le facteur de forme pour qu'il soit encore plus petit.
  • Construire à l'échelle pour les rendre plus abordables

Au cours des prochaines années, vous pouvez vous attendre à voir apparaître de nouveaux appareils qui s'appuient sur nos efforts de recherche et de développement. Un certain nombre d'innovations d'Orion ont été étendues à nos produits de consommation actuels ainsi qu'à notre future feuille de route. Nous avons optimisé certains de nos algorithmes de perception spatiale, qui fonctionnent à la fois sur le Meta Quest 3S et Orion. Bien que le système de saisie gestuelle subtile et du regard ait été conçu à l'origine pour Orion, nous prévoyons de l'utiliser dans de futurs produits. Nous étudions également la possibilité d'utiliser des bracelets EMG dans de futurs produits de consommation.

Orion n'est pas seulement une fenêtre sur l'avenir, c'est un regard sur les possibilités très réelles qui sont à notre portée aujourd'hui. Nous l'avons construit en poursuivant ce que nous faisons le mieux : aider les gens à se connecter. Des lunettes Ray-Ban Meta à Orion, nous avons constaté les avantages qu'il y a à permettre aux gens de rester plus présents et plus autonomes dans le monde physique, tout en profitant de toute la richesse que le monde numérique a à offrir.

Nous pensons que vous ne devriez pas avoir à choisir entre les deux. Et avec la prochaine plateforme informatique, vous n'aurez pas à le faire.

Pour plus d'informations sur Orion, consultez ces articles de blog :

Laisser un commentaire

Votre adresse e-mail ne sera pas publiée. Les champs obligatoires sont indiqués avec *