Catégorie : Orion

En 2017, le scientifique en chef de Reality Labs Michael Abrashsoutenu par Mark Zuckerberg, fondateur et PDG de Meta, a créé une nouvelle équipe secrète au sein de ce qui était alors Oculus Research, afin de jeter les bases de la prochaine plateforme informatique. Leur tâche est herculéenne : Créer une solution de silicium personnalisée capable de répondre aux exigences uniques des futures plates-formes informatiques. lunettes de réalité augmentée-une prouesse technique qui a nécessité de réimaginer chaque composant pour un produit à porter toute la journée Lunettes AR qui n'existait tout simplement pas encore.

Angle avant du prototype de lunettes AR Orion.

Facteur de forme compact, espace problématique considérable

Passant de quelques chercheurs à des centaines de personnes du côté des produits, l'équipe chargée du silicium personnalisé est partie du principe que les lunettes de réalité augmentée ne pouvaient pas s'appuyer sur le silicium disponible dans les smartphones d'aujourd'hui. Ce postulat est confirmé par les différentes puces personnalisées qui se trouvent à l'intérieur des lunettes de réalité augmentée. Orionnotre premier prototype de lunettes AR.

"Construire le navire au fur et à mesure qu'il sort du port, c'est exactement ce que nous faisions", explique Jeremy Snodgrass, directeur de la stratégie des technologies avancées. "Nous devions augmenter l'effectif d'une équipe modeste tout en construisant ces puces simultanément. Il était fascinant de voir les dirigeants recruter de nouveaux employés tout en développant une culture qui valorise l'agilité. Rien n'était le problème de quelqu'un d'autre. Vous preniez un aviron et commenciez à ramer, même si ce n'était pas exactement ce pour quoi vous aviez été embauché. C'était une période très, très excitante".

"Presque tout ce qui concerne Orion était nouveau à bien des égards", reconnaît Mike Yee, directeur technique de Display Architecture. "Certaines idées existaient déjà, mais personne ne s'était lancé dans un projet de recherche visant à construire une paire de lunettes AR portable toute la journée.

L'équipe devait offrir une expérience de réalité augmentée convaincante avec une consommation d'énergie aussi faible que possible. Le facteur de forme des lunettes ne peut dissiper qu'une quantité limitée de chaleur et ne peut accueillir qu'une capacité de batterie limitée. Par conséquent, les expériences qu'il est possible d'offrir sur les lunettes dépendent entièrement du silicium. En d'autres termes, si l'on maintient constantes les capacités thermiques et de la batterie, la seule façon d'offrir une expérience donnée est d'optimiser le silicium.

"La conception d'une nouvelle architecture pour Orion a obligé l'équipe non seulement à pousser les technologies existantes comme le sans fil et les écrans de manière agressive, mais aussi à prendre des risques avec de nouvelles technologies", explique Neeraj Choubey, directeur de la gestion des produits. "Par exemple, l'équipe a développé un accélérateur d'apprentissage machine (ML) sans cas d'utilisation clair à l'époque, animée par la forte conviction que le ML deviendrait de plus en plus important dans les produits de Meta. Sur Orion, chaque accélérateur ML est utilisé, et dans certains cas, ils sont sursouscrits, servant des fonctions telles que le suivi des yeux et le suivi des mains. De même, l'équipe a développé des protocoles de compression personnalisés afin de réduire la bande passante et la consommation d'énergie lorsque les données sont transférées de l'ordinateur à l'ordinateur. calculer le palet à l'écran. Le développement d'un silicium personnalisé pour atteindre les objectifs d'Orion en matière de facteur de forme a exigé à la fois une tolérance à l'ambiguïté élevée et une attention méticuleuse aux détails pour fournir une architecture de système incroyablement complexe".

"Le plus grand défi que nous ayons eu à relever a été de fournir des graphiques en 3D verrouillés par le monde, ainsi qu'un son spatialisé dont le rendu donne l'impression qu'il émane d'un objet virtuel", note M. Snodgrass. "Nous avons dû intégrer toute cette électronique dans la capacité thermique et l'espace physique, puis la faire fonctionner sur la batterie pour qu'elle ne chauffe pas trop. Et nous avons dû faire tout cela dans un facteur de forme de lunettes réelles - pas une grosse visière comme on en voit généralement dans la catégorie.

"Nous savions comment fournir la puissance de calcul nécessaire pour donner vie à notre vision d'Orion, mais nous étions confrontés à une tâche redoutable : réduire la consommation d'énergie d'un facteur 100", explique Robert Shearer, directeur des solutions SoC. "Cela nous a obligés à repousser les limites de la conception de silicium, en adoptant des méthodologies issues de divers secteurs de l'industrie - de l'IdO au calcul haute performance - et en inventant de nouvelles approches pour combler les lacunes. Nos partenaires industriels nous ont pris pour des fous, et ils n'avaient peut-être pas tout à fait tort. Mais c'est exactement ce qu'il fallait : une volonté de remettre en question les idées reçues et de tout repenser. Construire un ordinateur qui fusionne de manière transparente les mondes virtuel et physique exige une compréhension profonde du contexte, dépassant de loin ce que les plateformes de calcul existantes peuvent offrir. En fait, nous avons réinventé la façon dont les ordinateurs interagissent avec les humains, ce qui signifie que nous avons dû réimaginer la façon dont nous construisons le silicium à partir de la base".

Composants extérieurs d'Orion.

La magie des MicroLEDs

À certains moments, lorsque les choses ont pris du retard ou qu'un défi technique apparemment insurmontable s'est présenté, il a été difficile de maintenir l'élan et le moral de l'équipe. Mais l'équipe a fait preuve de résilience, trouvant des moyens de contourner les obstacles - ou simplement de les abattre.

Prenons l'exemple de l'écran d'Orion. L'équipe chargée du silicium était responsable du silicium dans le projecteur d'affichage qui se trouve dans les coins des lunettes.

"Pour ces projecteurs, la question de savoir si nous pouvions obtenir des microLED dans un réseau avec une efficacité et une luminosité suffisantes pour déployer un écran à large champ de vision restait ouverte", explique M. Snodgrass. "Il y avait d'énormes doutes sur la possibilité de le faire, dans les délais que nous envisagions, car il s'agissait d'une technologie très naissante.

"Nous avons réalisé très tôt que nous devions repenser une grande partie des paradigmes du développement de produits", ajoute M. Yee. "La quantité de lumière nécessaire pour obtenir un affichage utilisable est beaucoup plus importante pour les lunettes AR car, en tant qu'affichage portable, vous êtes en concurrence avec le soleil. Nous avons donc besoin de niveaux d'énergie qui rivalisent avec le soleil - ou du moins c'est l'objectif. Nous n'y sommes pas encore tout à fait, mais c'est un élément important. Cela signifie qu'il faut des sources lumineuses pour un écran qui soient capables de le faire et des circuits qui puissent le contrôler. Et en même temps, il faut que ce soit minuscule".

Silicium personnalisé pilotant les µLEDs d'Orion.

Alors que les microLEDs semblaient être la source lumineuse la plus appropriée pour les projecteurs, le silicium a permis de libérer leur potentiel.

"Pour les écrans, nous parlons de pas de pixel, c'est-à-dire de la distance entre les points centraux des pixels adjacents", explique M. Yee. "Pour les téléviseurs, ces distances sont de l'ordre de centaines de microns. Dans votre téléphone, il y a beaucoup, beaucoup de dizaines de microns. Nous devions réduire ces distances à un seul chiffre. Le seul semi-conducteur connu capable d'atteindre cet objectif est le silicium".

Pour compliquer le travail, la surface arrière de l'écran devait être un morceau de silicium, et personne au monde n'avait conçu de silicium pour les microLED.

"À l'époque, les équipes de recherche avaient toutes réutilisé des écrans à cristaux liquides sur silicium pour y placer des microLED", explique M. Yee. "Personne n'avait encore conçu de fond de panier pour les microLED. Nous avons été confrontés à un défi assez unique, car il s'agit d'un composant optique. Il doit être plat. On ne peut pas le rayer. Il doit présenter toutes ces caractéristiques, car lorsque vous regardez à travers les guides d'ondes, à travers les projecteurs, vous regardez littéralement la surface supérieure du morceau de silicium."

L'équipe chargée du silicium a mis au point une série complexe de plates-formes de test pour ces écrans microLED, ce qui a nécessité une coordination étroite avec nos fournisseurs internationaux. Les microLED ont une empreinte mondiale : elles proviennent d'un endroit, puis sont transférées vers un autre site où elles sont placées sur une plaquette de silicium. Les plaquettes étaient ensuite expédiées pour être découpées dans une forme particulière, puis envoyées aux États-Unis pour être collées avec une autre plaquette, avant d'être réexpédiées à travers le monde pour que le module proprement dit soit construit et testé. Il s'agissait d'un processus extrêmement compliqué, et l'équipe chargée du silicium a mis au point des véhicules d'essai pour tester chaque étape.

L'équipe devait également trouver un moyen d'alimenter les écrans microLED dans le minuscule volume des coins des lunettes. Notre équipe analogique a développé une puce de gestion de l'alimentation personnalisée qui s'insère dans ce volume.

"La fourniture d'énergie est cruciale pour ces dispositifs portables de petite taille, où la taille de la batterie est limitée et l'espace restreint", note le directeur des systèmes analogiques et à signaux mixtes, Jihong Ren. "Notre solution personnalisée de circuit intégré de gestion de l'alimentation exploite des technologies de pointe pour optimiser l'efficacité énergétique de notre charge de travail spécifique au niveau du système, tout en respectant les contraintes d'espace disponibles. La réalisation de cette solution optimale a nécessité une étroite collaboration interdisciplinaire avec nos équipes mécaniques, électriques, SoC, μLED et thermiques, assurant une intégration transparente de tous les composants et maximisant les performances globales."

"Il s'agissait d'une prouesse non seulement sur le plan technique, mais aussi sur le plan de la gestion organisationnelle : réunir une équipe, travailler sur plusieurs fuseaux horaires et avec tous ces différents fournisseurs", ajoute M. Snodgrass. "D'une certaine manière, la gestion de tout cela sur le plan organisationnel a été un défi tout aussi important que le respect des spécifications techniques.

"Non seulement la conception est personnalisée, mais l'ensemble du processus de fabrication l'est également", ajoute M. Yee. "Nous avons la chance d'avoir de merveilleux partenaires dans l'industrie qui nous ont aidés à réaliser ce projet. Ils voient le potentiel à long terme des écrans AR dans leur ensemble et certainement la vision de Meta à ce sujet. Ils ont donc accepté de s'associer à nous pour réaliser ces personnalisations et optimisations afin de permettre cet affichage."

Lunettes Orion AR.

L'itération rencontre l'accélération

Il existait une boucle de rétroaction étroite entre l'équipe chargée du silicium et les brillants esprits de Reality Labs Research et de XR Tech qui développaient des algorithmes. Ces derniers fournissaient les algorithmes, que les premiers traduisaient en matériel, éliminant ainsi les frais généraux liés à l'exécution d'un logiciel par un processeur polyvalent. Cela signifiait que les algorithmes fonctionneraient à moindre puissance, mais aussi que l'équipe chargée du silicium était bloquée. Une fois les algorithmes renforcés, elle ne pouvait plus les modifier.

"Disons que XR Tech développait une certaine discipline de manière algorithmique", explique Ohad Meitav, directeur de l'architecture et des algorithmes chez Silicon Accelerators. "Ils sont propriétaires de la pile algorithmique et de ses performances. Mon équipe, en collaboration avec eux, déciderait alors de la manière d'accélérer l'algorithme, de renforcer certaines parties de l'algorithme et de l'intégrer dans le matériel de manière à ce qu'il fonctionne super efficacement. Ensuite, XR Tech adapte sa pile logicielle pour tenir compte du matériel. Il s'agit d'un processus très itératif".

Une autre réussite est la collaboration de l'équipe silicium avec Reality Labs Research pour mettre au point un nouvel algorithme de reprojection.

"Nous avions besoin que l'algorithme de reprojection prenne en charge un grand nombre de distorsions et de corrections différentes", explique Steve Clohset, architecte en silicium. "L'algorithme développé par RL-R que nous avons fini par utiliser n'est pas utilisé en informatique générale. Et à ce jour, il s'avère être un outil très puissant".

Une fois les algorithmes renforcés et le matériel optimisé, l'équipe chargée de la mise au point du silicium a mis les puces personnalisées à l'épreuve.

"Le jeu de puces en silicium personnalisé d'Orion est très complexe", explique Liping Guo, directeur principal du système et de l'infrastructure de bout en bout. "La mise en place et la validation de puces autonomes et de leurs interopérabilités dans un court laps de temps représentent un défi incroyable. Heureusement, nous opérons dans un environnement verticalement intégré où Reality Labs possède l'ensemble de la pile - du silicium et du micrologiciel de bas niveau au système d'exploitation, au logiciel et aux expériences de la couche supérieure. Nous avons tiré pleinement parti de cette situation, en travaillant en étroite collaboration avec nos partenaires interfonctionnels, et nous avons décalé l'intégration de la pile au stade de la validation du silicium. Orion a été notre expérience pilote pour cette méthodologie - nous avons développé nos muscles de shift-left et créé une base solide pour que Reality Labs puisse récolter tous les avantages d'un silicium personnalisé à l'avenir."

Après la mise en place, il était temps d'optimiser le logiciel.

"Il s'agit d'un processus itératif qui commence par une pile logicielle non optimisée, juste pour que tout démarre et fonctionne", explique M. Snodgrass. "Puis, un par un, vous passez en revue les sous-systèmes et commencez à optimiser le logiciel pour ce matériel spécifique, notamment en réduisant la quantité de mémoire utilisée par le logiciel. Le matériel peut être magnifiquement conçu, mais vous n'obtiendrez pas l'efficacité énergétique théorique si vous n'investissez pas autant de temps, voire plus, pour que le logiciel tire pleinement parti du matériel. Voilà donc l'histoire d'Orion : un matériel et un logiciel optimisés à l'extrême. Ne laissez aucun picojoule ou milliwatt derrière vous".

Et même si Orion n'est qu'un prototype, le travail qui y a été réalisé a un potentiel considérable pour influencer la feuille de route de Meta.

"Nous considérons les circuits intégrés en silicium que nous construisons comme des plates-formes, en ce sens qu'il s'agit de circuits précieux que nous améliorerons d'une génération ou d'un produit à l'autre", ajoute M. Meitav. "Tous les algorithmes graphiques et de vision par ordinateur ne sont pas seulement conçus pour Orion. Ils serviront à alimenter les produits futurs."

Notre travail dans le domaine du silicium consiste à créer de nouvelles solutions tout en travaillant en étroite collaboration avec nos partenaires. En fait, l'influence de l'équipe silicium s'étend au-delà d'Orion, à la fois pour Lunettes Ray-Ban Meta et Casques Meta Quest aujourd'hui, même s'ils utilisent tous deux des puces tierces. L'équipe chargée du silicium partage régulièrement ses travaux avec l'équipe chargée de la réalité mixte, en montrant ce qui est possible en termes d'efficacité énergétique. L'équipe de réalité mixte partage ensuite ces résultats avec des partenaires tels que Qualcomm afin de contribuer à la conception des futures puces. Et comme l'équipe chargée du silicium utilise les mêmes processeurs de signaux numériques (DSP) que les lunettes Ray-Ban Meta, elle a pu partager les enseignements tirés et les meilleures pratiques lors de la mise en œuvre et de l'écriture du code pour ces DSP afin d'améliorer les expériences audio disponibles sur nos lunettes d'intelligence artificielle.

Et ce partage de connaissances se fait dans les deux sens : L'équipe de RM a donné à l'équipe de silicium des informations sur des sujets tels que La distorsion temporelle asynchrone et Application SpaceWarp en production.

"Ce qu'une personne fait en production est bien plus intéressant que ce que nous pourrions faire avec un prototype", explique Clohset. "Nous avons essayé d'intégrer autant que possible ce qu'ils faisaient avec les ourdissoirs.

Ambiguïté < Ambition

Orion étant véritablement un système à zéro contre un, les équipes impliquées ont dû faire face à une quantité démesurée d'ambiguïté par nécessité.

"Dans le cas d'Orion, je ne saurais trop insister sur la complexité de l'ambiguïté", explique M. Clohset. "Lorsque vous fabriquez un ordinateur, par exemple, vous avez généralement une bonne idée de ce que sera l'écran. Mais nous ne savions pas ce que serait le guide d'ondes, nous avons donc dû échantillonner différents guides d'ondes et trouver un mécanisme capable de gérer le pire des scénarios, car nous ne savions pas où les choses allaient atterrir. Une optimisation ici se mêlait à tous les autres choix, et nous nous retrouvions avec une matrice de toutes ces choses différentes que nous devions soutenir et essayer de valider parce que nous ne savions pas où le produit atterrirait dans six mois".

Il est important de noter qu'Orion n'est pas une simple paire de lunettes de réalité augmentée, mais une constellation de matériel en trois parties. Une grande partie du traitement s'effectue sur le calculer le paletce qui nécessite un lien fort entre lui et les lunettes. Ajouter le bracelet EMG de surface dans la boucle, et l'architecture du système devient encore plus compliquée.

"C'était un énorme défi pour les équipes, et tout cela fonctionne", déclare M. Snodgrass. "Il s'agit d'une collaboration extraordinaire entre l'équipe silicium, l'équipe sans fil et les équipes logicielles de l'ensemble de l'organisation.

La rondelle de calcul d'Orion.

"Avec Orion, nous avons mis sur pied une équipe entière composée d'une grande diversité d'ingénieurs, qui ont pu concevoir un tout nouveau pipeline", ajoute M. Clohset. "Il s'agit d'un pipeline qui gère les mouvements d'objets à six degrés de liberté dans l'espace 3D. Il utilise son propre pilote d'affichage personnalisé. Nous avons dû effectuer des corrections de qualité d'image vraiment uniques. Et je pense que le défi pour nous était que, comme il s'agissait d'un projet zéro à un, il n'y avait pas de spécifications existantes à ajuster et à améliorer. Tout ici est entièrement nouveau, nous avons donc eu la latitude de tout faire".

À l'instar de la palet a quelques fonctions dormantes cachées sous la surface, le silicium personnalisé est également très performant. Bien qu'Orion ne permette pas à l'utilisateur de prendre des photos avec ses caméras RVB, le silicium est capable de les prendre en charge, ainsi que les fonctions suivantes avatars du codec. Et tout comme le puck a permis de débloquer un véritable facteur de forme de lunettes en déchargeant une grande partie du calcul, le silicium personnalisé d'Orion s'est avéré être une pièce nécessaire du puzzle de la réalité augmentée.

"Pour donner vie à une expérience zéro à un comme les lunettes AR, il faut du silicium sur mesure - un arrêt complet", explique M. Snodgrass. "Au fil du temps, s'il existe un marché, les fournisseurs de silicium développeront des produits pour répondre à la demande. Mais pour le zéro à un, on ne peut pas simplement prendre quelque chose qui existe sur l'étagère et qui est destiné à un produit différent et l'adapter à un nouveau moule. Il faut investir dans quelque chose de personnalisé. Et pour donner vie à ces expériences "zéro à un", il faut une large collaboration entre les partenaires logiciels, les concepteurs industriels, les ingénieurs en mécanique, etc.

"En nous affranchissant des modèles mentaux traditionnels, nous avons créé quelque chose de vraiment remarquable", ajoute M. Shearer. "Nous sommes convaincus que cette plate-forme informatique représente l'avenir de la technologie, et qu'elle révolutionnera la façon dont nous vivons, travaillons et interagissons les uns avec les autres. Nous sommes ravis d'être à l'avant-garde de cette innovation, de repousser les limites du possible et de contribuer à façonner le cours de l'histoire."

---

Pour plus d'informations sur Orion, consultez ces articles de blog :

• Clair comme de l'eau de roche : nos guides d'ondes en carbure de silicium et la voie vers le grand champ de vision d'Orion
• Le palet de calcul d'Orion : L'histoire de l'appareil qui a rendu possible l'utilisation de nos lunettes AR

Lorsque nous avons commencé à faire des démonstrations de Orion Au début de cette année, je me suis souvenu d'une phrase que l'on entend souvent chez Meta - en fait, elle figurait même dans notre première lettre aux actionnaires potentiels en 2012 : Le code gagne des arguments. Nous avons probablement appris autant sur cet espace de produits en quelques mois de démonstrations en situation réelle que pendant les années de travail qu'il a fallu pour les réaliser. Rien ne remplace le fait de construire quelque chose, de le mettre entre les mains des gens et d'apprendre de leurs réactions.

Orion n'a pas été le seul exemple cette année. Notre matériel de réalité mixte et Lunettes d'IA ont tous deux atteint un nouveau niveau de qualité et d'accessibilité. La stabilité de ces plateformes permet à nos développeurs de logiciels d'aller beaucoup plus vite dans tous les domaines, des systèmes d'exploitation aux nouvelles fonctions d'intelligence artificielle. C'est ainsi que je vois le métavers commencer à se préciser et c'est pourquoi je suis convaincu que l'année à venir sera la plus importante de l'histoire de Reality Labs.

https://youtube.com/watch?v=xwMNZb6UE1o%3F%26controls%3D0%3Fautoplay%3D0%26color%3Dwhite%26cc_lang_pref%3Den%26cc_load_policy%3D0%26enablejsapi%3D1%26frameborder%3D0%26hl%3Den%26rel%3D0%26origin%3Dhttps%253A%252F%252Fwww.meta.com

2024 est l'année où les lunettes d'IA ont atteint leur vitesse de croisière. Lorsque nous avons commencé à fabriquer des lunettes intelligentes en 2021, nous pensions qu'elles pourraient constituer une première étape intéressante vers les lunettes de réalité augmentée que nous voulions construire par la suite. Alors que les casques de réalité mixte sont en passe de devenir une plateforme informatique générale, à l'instar des PC actuels, nous considérions les lunettes comme l'évolution naturelle des plateformes informatiques mobiles d'aujourd'hui. Nous voulions donc commencer à apprendre du monde réel le plus tôt possible.

Ce que nous avons appris de plus important, c'est que les lunettes sont de loin le meilleur facteur de forme pour un appareil véritablement axé sur l'IA. En fait, il pourrait s'agir de la première catégorie de matériel à être entièrement définie par l'IA dès le départ. Pour de nombreuses personnes, les lunettes sont l'endroit où un assistant d'intelligence artificielle a le plus de sens, en particulier lorsqu'il s'agit d'un assistant d'intelligence artificielle. système multimodal qui peut vraiment comprendre le monde qui vous entoure.

Nous sommes au début de la courbe en S pour toute cette catégorie de produits, et il y a d'innombrables opportunités à venir. L'une des choses qui m'enthousiasment le plus pour 2025 est l'évolution des assistants IA vers des outils qui ne se contentent pas de répondre à un message lorsque vous demandez de l'aide, mais qui peuvent devenir une aide proactive pendant que vous vaquez à vos occupations. Lors du salon Connect, nous avons montré comment l'IA en direct sur les lunettes peut devenir un participant en temps réel lorsque vous faites des choses. Comme cette fonction commence à se déployer en accès anticipé ce mois-ci nous verrons la première étape vers un nouveau type d'assistant d'IA personnalisé.

Ce ne sera pas le dernier. Nous sommes actuellement au milieu d'une poussée de l'ensemble de l'industrie pour créer du matériel natif de l'IA. Les fabricants de téléphones et d'ordinateurs se démènent pour reconstruire leurs produits afin d'y intégrer des assistants d'intelligence artificielle. Mais je pense que l'opportunité la plus importante est de fabriquer des appareils qui sont compatibles avec l'IA dès le départ, et je suis persuadé que les lunettes seront les premières à y parvenir. Michael Abrash, chercheur en chef chez Meta, a évoqué le potentiel d'un assistant personnalisé et contextuel sur des lunettes. depuis de nombreuses annéeset la mise au point des technologies qui la rendent possible ont été au cœur des préoccupations de nos équipes de recherche.

Réalité mixte est un autre domaine où le fait d'avoir le bon produit entre les mains d'un grand nombre de personnes a été un accélérateur majeur de progrès. Nous avons vu Meta Quest 3 s'améliorent mois après mois, alors que nous continuons à itérer sur le passage du système central, le multitâche, les interfaces utilisateur spatiales, et plus encore. Tous ces progrès ont été étendus à Quest 3S dès son lancement. Cela signifie que le Quest 3S $299 était à bien des égards un meilleur casque dès le premier jour que le Quest 3 $499 lors de son lancement en 2023. Et toute la famille Quest 3 continue de s'améliorer avec chaque mise à jour.

En 2025, nous verrons la prochaine itération de ce système avec le Quest 3S, qui permettra à un plus grand nombre de personnes d'accéder pour la première fois à la réalité mixte. Alors que le Quest 3 a été un succès auprès des personnes désireuses de posséder le meilleur appareil sur le marché, le Quest 3S devrait être le meilleur appareil de réalité mixte. très doué en 2024. Les ventes ont été importantes pendant le week-end du Black Friday, et nous nous attendons à ce que de nombreuses personnes activent leur nouveau casque pendant les vacances.

Cette initiative s'inscrit dans la continuité d'une tendance qui s'est dessinée l'année dernière : l'augmentation du nombre de nouveaux utilisateurs qui recherchent un éventail plus large de choses à faire avec leur casque. Nous voulons que ces nouveaux utilisateurs découvrent la magie du MR et restent sur le long terme, c'est pourquoi nous finançons les développeurs pour qu'ils créent les nouveaux types d'applications et de jeux qu'ils recherchent.

Il y a eu un afflux important de jeunes, en particulier, et ils ont été attirés par les jeux multijoueurs sociaux et compétitifs, ainsi que par le contenu freemium. Des titres comme BEHEMOTH de Skydance, Batman : Arkham Shadow (qui vient de remporter le prix du meilleur jeu AR/VR aux Game Awards !), et Metro Awakening a montré une fois de plus que certains des meilleurs jeux produits par notre industrie ne sont désormais possibles qu'avec les casques d'aujourd'hui.

Alors que le nombre de personnes en RM augmente, la qualité de l'expérience sociale qu'elle peut offrir s'accroît en même temps. C'est au cœur de ce que Meta essaie de réaliser avec Reality Labs et c'est là que le plus grand potentiel du métavers sera libéré : "La chance de créer la plateforme la plus sociale qui soit", c'est ainsi que nous l'avons décrite lorsque nous avons annoncé la création de Reality Labs. a commencé à y travailler. Nous avons fait deux pas en avant sur ce front en 2024 : tout d'abord avec un large ensemble d'améliorations apportées à Horizon Worlds, y compris son extension au mobile, et ensuite avec le système Meta Avatars de nouvelle génération qui permet aux gens de se représenter eux-mêmes à travers nos applications et nos casques. La qualité visuelle et l'expérience globale de ces systèmes s'améliorant, de plus en plus de personnes ont un premier aperçu d'un métavers social. Nous observons des tendances similaires : les nouveaux utilisateurs de Quest 3S passent plus de temps dans Horizon Worlds, ce qui en fait une application immersive du Top 3 pour Quest 3S, et les gens continuent de créer de nouveaux Meta Avatars sur mobile et MR.

L'introduction de la réalité mixte dans le grand public a permis d'éclairer ce qui se passera ensuite. L'une des premières tendances que nous avons découvertes après le lancement de Quest 3 l'année dernière était que les gens utilisaient la réalité mixte pour regarder des vidéos tout en étant multitâches dans leur maison - en faisant la vaisselle ou en passant l'aspirateur dans leur salon. C'était un premier signe que les gens aiment avoir un grand écran virtuel qu'ils peuvent emporter partout et placer dans le monde physique qui les entoure. Nous avons vu cette tendance prendre de l'ampleur et toutes sortes d'expériences de divertissement se développer rapidement sur l'ensemble de la famille Quest 3. Nouvelles fonctionnalités comme YouTube Co-Watch montrent le potentiel d'un tout nouveau type d'expérience de divertissement social dans le métavers.

C'est pourquoi James Cameron, l'un des conteurs les plus innovants de notre époque sur le plan technologique, s'efforce aujourd'hui d'aider davantage de cinéastes et de créateurs. produire du contenu 3D de qualité pour Meta Quest. Bien que des films en 3D soient produits depuis des décennies, il n'y a jamais eu de moyen de les visionner qui soit aussi bon qu'un casque MR, et l'année prochaine, le nombre de personnes possédant un casque sera plus élevé que jamais. "Nous sommes à un véritable point d'inflexion historique,"Jim a déclaré lorsque nous lancement de notre nouveau partenariat ce mois-ci.

Cette évolution s'accompagne d'un changement plus important Mark Rabkin partagés lors de la conférence Connect de cette année: Notre vision pour Horizon OS est de construire un nouveau type de plateforme informatique généraliste capable d'exécuter tous les types de logiciels, de prendre en charge tous les types d'utilisateurs et de s'ouvrir à tous les types de créateurs et de développeurs. Nos récentes versions pour le multitâche 2D/3D, le positionnement des panneaux, un meilleur suivi des mains, l'intégration de Windows Remote Desktop et l'Open Store ont commencé à donner un élan à cette nouvelle voie. Horizon OS est en passe de devenir la première plateforme à prendre en charge l'ensemble des expériences, de la RV immersive aux écrans 2D, en passant par les applications mobiles et les bureaux virtuels, et la communauté des développeurs est au cœur de ce succès.

Le prochain grand pas vers le métavers combinera des lunettes d'intelligence artificielle avec le type d'expérience de réalité augmentée que nous avons révélée cette année avec Orion. Il n'est pas fréquent d'avoir un aperçu de l'avenir et de voir une technologie totalement nouvelle qui nous montre où vont les choses. Les personnes qui ont vu Orion ont immédiatement compris ce que cela signifiait pour l'avenir, tout comme les personnes qui ont vu les premiers ordinateurs personnels prendre forme à Xerox PARC dans les années 1970 ("en dix minutes, il était évident pour moi que tous les ordinateurs fonctionneraient un jour comme cela", a déclaré plus tard Steve Jobs à propos de sa démonstration du Xerox Alto en 1979).

Pouvoir mettre les gens dans une machine à remonter le temps et leur montrer à quoi ressemblera la prochaine plateforme informatique a été un moment fort de 2024 et de ma carrière jusqu'à présent. Mais le véritable impact d'Orion se fera sentir dans les prochains produits que nous livrerons et dans la façon dont il nous aidera à mieux comprendre ce que les gens aiment dans les lunettes AR et ce qui doit être amélioré. Nous avons passé des années à travailler sur des études d'utilisateurs, des exercices de planification de produits et des études expérimentales pour essayer de comprendre comment les lunettes AR devraient fonctionner, et c'est ce travail qui nous a permis de construire Orion. Mais le rythme des progrès sera beaucoup plus rapide à partir de maintenant, maintenant que nous disposons d'un véritable produit sur lequel fonder notre intuition.

C'est la leçon que nous avons tirée à maintes reprises au cours de la dernière décennie à Reality Labs. La chose la plus importante que vous puissiez faire lorsque vous essayez d'inventer l'avenir est d'expédier des produits et d'apprendre comment les gens les utilisent. Ce ne seront pas toujours des succès immédiats, mais ils vous apprendront toujours quelque chose. Et lorsque vous tombez sur des choses qui font mouche, comme la réalité mixte sur Quest 3 ou l'IA sur des lunettes, c'est là que vous mettez le pied sur l'accélérateur. C'est ce qui fera de 2025 une année si particulière : Avec les bons appareils sur le marché, les gens qui les expérimentent pour la première fois et les développeurs qui découvrent toutes les possibilités qui s'offrent à eux, il est temps d'accélérer.

Bienvenue pour un nouvel épisode de Boz To The Futureun podcast de Reality Labs. Dans le cadre de l'épisode d'aujourd'huiNotre hôte, Andrew "Boz" Bosworth, directeur technique de Meta et responsable de Reality Labs, est rejoint par Alex Himel, vice-président de Meta chargé des produits portables.

L'équipe de Himel travaille sur certains des problèmes techniques les plus difficiles de l'industrie, dans le but d'aider à construire la prochaine plateforme informatique. À l'instar de M. Bosworth, M. Himel est un dirigeant de longue date chez Meta, ayant occupé de nombreux postes de direction au sein de l'entreprise depuis plus de 15 ans.

Bosworth et Himel couvrent un large éventail de sujets, notamment les produits portables, la réalité augmentée et la manière dont l'IA accélère et améliore les types d'expériences intégrées dans les systèmes de gestion de l'information. Lunettes Ray-Ban Meta et les produits futurs.

Ils vont en profondeur sur Orion et l'accueil positif qu'elle a reçu depuis que Mark Zuckerberg l'a annoncée à l'occasion de la conférence de l'Union européenne. Connecter. Tout comme Steve Jobs a reconnu l'Alto comme un tournant dans l'informatique, Bosworth a affirmé que, même si nous ne sommes pas d'accord sur les détails, il est difficile d'affirmer que c'est l'avenir. Himel et Bosworth poursuivent en parlant de l'énorme valeur du prototypage et de la construction, en disant qu'ils ont beaucoup plus appris sur Orion et ses paradigmes d'entrée en trois semaines d'utilisation qu'au cours des années passées à le construire.

Ils ont également évoqué le rôle crucial de l'IA dans les wearables et la façon dont elle devient de plus en plus utile dans la vie de tous les jours, en particulier maintenant que vous pouvez interroger Meta AI sur les choses que vous voyez et l'utiliser pour programmer des rappels visuels.

Himel parle également de sa grande expérience dans un autre type de pile : les sandwichs. Avec sept ans d'expérience dans le célèbre Lange's Little Store de Chappaqua, NY, où il a grandi, Himel et Bosworth se penchent sur ce qui fait un bon sandwich, sur la place des tomates et sur la supériorité du pain.

Vous pouvez écouter Boz vers l'avenir sur Apple Podcasts, Spotifyet partout où vous écoutez des podcasts.

Vous pouvez suivre Himel sur Fils. Vous pouvez suivre Bosworth sur Instagram, Twitter/Xet Fils @boztank.

0:00 / 0:00

De retour en 2019, la Orion a préparé une démonstration importante pour le fondateur et PDG de Meta, Mark Zuckerberg, en présentant des guides d'ondes potentiels pour les produits de l lunettes de réalité augmentée-un moment charnière où les calculs théoriques sur papier ont pris vie. Cette démonstration a tout changé.

"En portant les lunettes dotées de guides d'ondes en verre et de plaques multiples, on avait l'impression d'être dans une discothèque", se souvient Pasqual Rivera, chercheur en optique. "Il y avait des arcs-en-ciel partout, et c'était tellement distrayant que vous ne regardiez même pas le contenu AR. Ensuite, vous avez mis les lunettes avec carbure de silicium et c'était comme si vous étiez à la symphonie en train d'écouter un morceau classique et calme. Vous pouviez réellement prêter attention à l'expérience complète de ce que nous étions en train de construire. Cela a totalement changé la donne.

Pourtant, même si le choix du carbure de silicium comme substrat semble aujourd'hui évident (jeu de mots), lorsque nous avons commencé à suivre la voie de l'innovation, nous n'avons pas pu nous empêcher d'utiliser le carbure de silicium comme substrat. La route vers les lunettes AR il y a dix ansmais ce n'était pas du tout le cas.

"Le carbure de silicium est normalement fortement dopé à l'azote", explique M. Rivera. "Il est vert et, s'il devient suffisamment épais, il devient noir. Il est impossible d'en faire une lentille optique. C'est un matériau électronique. Il y a une raison pour laquelle il a cette couleur, et c'est à cause des propriétés électroniques."

"Le carbure de silicium est un matériau qui existe depuis longtemps", reconnaît Giuseppe Calafiore, responsable technique d'AR Waveguides. "Sa principale application est l'électronique de haute puissance. Prenons l'exemple des véhicules électriques : Tous les véhicules électriques ont besoin d'une puce, mais cette puce doit également être capable de fournir une puissance très élevée, de faire bouger les roues et de faire fonctionner l'engin. Il s'avère que l'on ne peut pas le faire avec un substrat de silicium ordinaire, qui sert à fabriquer les puces que nous utilisons dans nos ordinateurs et nos appareils électroniques. Il faut une plate-forme qui permette de passer par des courants et des puissances élevés, et ce matériau, c'est le carbure de silicium.

Jusqu'à ce que les discussions sur les sources d'énergie renouvelables commencent à s'intensifier, le marché de ces puces à haute puissance était loin d'atteindre la taille du marché des puces pour l'électronique grand public. Le carbure de silicium a toujours été cher, et il n'y avait pas beaucoup d'incitation à réduire les coûts parce que, pour la taille de puce que l'on fabrique pour une voiture, le prix du substrat était tolérable.

"Mais il s'avère que le carbure de silicium possède également certaines des propriétés dont nous avons besoin pour les guides d'ondes et l'optique", explique M. Calafiore. "L'indice de réfraction est la propriété clé qui nous intéresse. Le carbure de silicium a un indice de réfraction élevé, ce qui signifie qu'il est capable de canaliser et d'émettre une grande quantité de données optiques. On peut considérer qu'il s'agit d'une bande passante optique - tout comme vous avez une bande passante pour l'internet, et vous voulez qu'elle soit suffisamment grande pour que vous puissiez envoyer d'énormes quantités de données à travers ce canal. Il en va de même pour les dispositifs optiques.

Plus l'indice de réfraction d'un matériau est élevé, plus son indice de réfraction est élevé. étendueafin de pouvoir envoyer davantage de données optiques par ce canal.

"Dans notre cas, le canal est notre guide d'ondes, et une étendue plus grande se traduit par un champ de vision plus large", explique M. Calafiore. "Plus l'indice de réfraction d'un matériau est élevé, plus le champ de vision de l'écran est grand.

Le chemin vers le bon indice de réfraction

Lorsque Calafiore a rejoint ce qui était alors Oculus Research en 2016, le verre à l'indice de réfraction le plus élevé dont disposait l'équipe était de 1,8 - ce qui nécessitait d'empiler plusieurs plaques pour obtenir le champ de vision souhaité. Outre les artefacts optiques indésirables, la chaîne de montage devenait de plus en plus compliquée, car les deux premiers guides d'ondes devaient être parfaitement alignés, puis cette pile devait être parfaitement alignée avec un troisième guide d'ondes.

"Non seulement c'était cher, mais il a tout de suite été évident qu'on ne pouvait pas avoir trois morceaux de verre par lentille dans une paire de lunettes", se souvient M. Calafiore. "Elles étaient trop lourdes, et l'épaisseur était prohibitive et laide - personne ne les achèterait. Nous sommes donc revenus à la case départ : essayer d'augmenter l'indice de réfraction du substrat pour réduire le nombre de plaques nécessaires".

La première matière que l'équipe a examinée était niobate de lithiumqui a un indice de réfraction d'environ 2,3, un peu plus élevé que celui du verre (1,8).

"Nous avons réalisé qu'il suffisait d'empiler deux plaques et que nous pouvions peut-être même nous contenter d'une seule plaque pour couvrir le champ de vision", explique M. Calafiore. "C'est ainsi que nous avons découvert, avec nos fournisseurs en 2019, que le carbure de silicium, dans sa forme la plus pure, est en fait très transparent. Il se trouve également qu'il possède l'indice de réfraction le plus élevé connu pour une application optique, à savoir 2,7."

Cela représente une augmentation de 17,4% par rapport au niobate de lithium et de 50% par rapport au verre, pour ceux qui comptent les points à la maison.

"En apportant quelques modifications à l'équipement déjà utilisé dans l'industrie, il était possible d'obtenir du carbure de silicium transparent", explique M. Calafiore. "Il suffisait de modifier le processus, d'être beaucoup plus prudent et, au lieu d'optimiser les propriétés électroniques, d'optimiser les propriétés optiques : transparence, uniformité de l'indice de réfraction, etc.

Le coût potentiel du compromis

À l'époque, l'équipe de Reality Labs était la première à tenter de passer de plaquettes de carbure de silicium opaques à des plaquettes transparentes. Et comme le carbure de silicium est l'un des matériaux connus les plus durs, il faut essentiellement un outillage en diamant pour le couper ou le polir. Par conséquent, les coûts d'ingénierie non récurrents étaient très élevés, et le substrat obtenu était donc très coûteux.

Bien qu'il existe des solutions plus rentables, comme pour toute technologie, elles présentent toutes des inconvénients. Et au fur et à mesure que le champ de vision augmente pour atteindre le champ de vision d'Orion d'environ 70 degrés, de nouveaux problèmes apparaissent, comme les images fantômes et les arcs-en-ciel.

"Trouver la solution optimale pour un écran AR à large champ de vision est une tâche ardue qui nécessite des compromis entre les performances et les coûts", explique Barry Silverstein, directeur de la recherche scientifique. "Il est souvent possible de réduire les coûts, mais si les performances ne sont pas au rendez-vous, les coûts n'auront finalement pas d'importance.

Les images fantômes sont comme des échos visuels de l'image principale projetée sur l'écran. Les arcs-en-ciel sont des traînées de lumière colorées créées lorsque la lumière ambiante se reflète sur le guide d'ondes. "Supposons que vous conduisiez la nuit avec des phares de voiture en mouvement autour de vous", explique Silverstein. "Vous aurez également des arcs-en-ciel en mouvement. Ou si vous jouez au volley-ball sur la plage et que le soleil brille, vous aurez un arc-en-ciel qui se déplacera avec vous et vous manquerez votre coup. L'une des propriétés miraculeuses du carbure de silicium est qu'il élimine ces arcs-en-ciel".

"L'autre avantage du carbure de silicium, qu'aucun des autres matériaux ne possède, est la conductivité thermique", ajoute M. Calafiore. "Le plastique est un très mauvais isolant. Le verre, le niobate de lithium, c'est la même chose. Le carbure de silicium est transparent, il ressemble au verre, et devinez quoi : il conduit la chaleur.

En juillet 2020, l'équipe a donc déterminé que le carbure de silicium était le meilleur choix pour trois raisons principales : Il a permis d'améliorer le facteur de forme en ne nécessitant qu'une seule plaque et des structures de montage plus petites, il présente de meilleures propriétés optiques et il est plus léger que le verre à double plaque.

Le secret de la gravure oblique

Une fois le matériau en tête, il fallait passer à la fabrication des guides d'ondes, et plus précisément à une technique de réseau non conventionnelle appelée "slant etch" (gravure en biais).

"Le réseau est la nanostructure qui couple et découple la lumière de la lentille", explique M. Calafiore. "Pour que le carbure de silicium fonctionne, le réseau doit être gravé en biais. Au lieu d'être verticales, les lignes du réseau doivent être inclinées en diagonale".

"Nous avons été les premiers à effectuer une gravure en biais directement sur les appareils", explique Nihar Mohanty, directeur de recherche. "Toute l'industrie s'appuyait sur la nano-impression, qui ne fonctionne pas pour les substrats ayant un indice de réfraction aussi élevé. C'est pourquoi personne d'autre au monde n'avait pensé à faire du carbure de silicium".

Mais comme la gravure en creux est une technologie immature, la plupart des fournisseurs de puces semi-conductrices et des usines ne disposent pas des outils nécessaires.

"En 2019, mon directeur de l'époque, Matt Colburn, et moi-même avons créé notre propre installation, car il n'y avait rien au monde qui puisse produire des guides d'ondes en carbure de silicium gravés et où nous pourrions tester la technologie au-delà de l'échelle du laboratoire", explique M. Mohanty. "L'investissement a été énorme et nous avons mis en place toute la chaîne de production sur place. L'outillage a été fabriqué sur mesure par nos partenaires, et le processus a été développé en interne à Meta, bien que nos systèmes soient de qualité recherche parce qu'il n'existait pas de systèmes de qualité industrielle. Nous avons travaillé avec un partenaire industriel pour développer un outillage et des processus de gravure oblique de qualité industrielle. Maintenant que nous avons montré ce qu'il est possible de faire avec le carbure de silicium, nous voulons que d'autres acteurs de l'industrie commencent à fabriquer leurs propres outils.

Plus les entreprises investiront dans le carbure de silicium de qualité optique et développeront des équipements, plus la catégorie des lunettes AR grand public se renforcera.

Ne plus courir après les arcs-en-ciel

Tandis que l'inéluctabilité technologique est un mytheLes étoiles semblent certainement s'aligner en faveur du carbure de silicium. Bien que l'équipe continue d'étudier d'autres solutions, on a le sentiment que les bonnes personnes se sont réunies au bon moment et dans les bonnes conditions de marché pour fabriquer des lunettes de réalité augmentée à partir de ce matériau.

"Orion a prouvé que le carbure de silicium est une option viable pour les lunettes AR", déclare M. Silverstein, "et nous constatons aujourd'hui un intérêt de la part de la chaîne d'approvisionnement sur trois continents différents, qui s'intéressent de près à cette opportunité. Le carbure de silicium finira par s'imposer. Selon moi, ce n'est qu'une question de temps.

Et beaucoup de choses peuvent se produire dans ce laps de temps, à l'image de la façon dont les choses ont évolué depuis que nous avons produit nos premiers cristaux clairs de carbure de silicium.

"Tous ces fabricants de carbure de silicium avaient augmenté massivement l'offre en réponse au boom attendu des véhicules électriques", note M. Calafiore. "Aujourd'hui, il y a une surcapacité qui n'existait pas lorsque nous construisions Orion. Aujourd'hui, l'offre étant élevée et la demande faible, le coût du substrat a commencé à baisser".

"Les fournisseurs sont très enthousiastes à l'idée de fabriquer du carbure de silicium de qualité optique - après tout, chaque lentille de guide d'ondes représente une grande quantité de matériau par rapport à une puce électronique, et toutes leurs capacités existantes s'appliquent à ce nouvel espace", ajoute M. Silverstein. "Il est essentiel de remplir l'usine, et le rêve est de la faire évoluer. La taille de la plaquette a également son importance : Plus la plaquette est grande, plus le coût est bas, mais la complexité du processus augmente également. Cela dit, nous avons vu des fournisseurs passer de plaquettes de 4 à 8 pouces, et certains travaillent sur des précurseurs de plaquettes de 12 pouces, qui permettraient d'obtenir un nombre exponentiel de paires de lunettes AR."

Ces progrès devraient permettre de continuer à réduire les coûts. Il est encore tôt, mais l'avenir se dessine.

"Au début de toute nouvelle révolution technologique, on essaie un tas de choses", explique M. Calafiore. "Prenons l'exemple de la télévision : Nous avons commencé avec les tubes cathodiques, puis nous sommes passés aux téléviseurs plasma à LED et maintenant aux microLED. Nous sommes passés par plusieurs technologies et architectures différentes. Lorsque l'on cherche un chemin, il y en a beaucoup qui n'aboutissent à rien, mais il y en a certains auxquels on revient sans cesse parce qu'ils sont les plus prometteurs. Nous ne sommes pas au bout du chemin, et nous ne pouvons pas y arriver seuls, mais le carbure de silicium est un matériau merveilleux qui vaut bien l'investissement".

"Le monde est maintenant éveillé", ajoute M. Silverstein. "Nous avons réussi à démontrer que le carbure de silicium peut s'adapter à l'électronique et à la photonique. C'est un matériau qui pourrait avoir des applications futures dans l'informatique quantique. Et nous voyons des signes indiquant qu'il est possible de réduire le coût de manière significative. Il reste encore beaucoup de travail à faire, mais le potentiel de croissance est énorme.

---

En savoir plus sur le carbure de silicium Photonics Spectra.

Pour plus d'informations sur Orion, consultez ces articles de blog :

• De zéro à un : comment notre silicium et nos puces personnalisés révolutionnent la réalité augmentée
• Le palet de calcul d'Orion : L'histoire de l'appareil qui a rendu possible l'utilisation de nos lunettes AR

TL;DR :

• Aujourd'hui à ConnecterMark Zuckerberg a dévoilé Orion, notre première paire de véritables lunettes de réalité augmentée, dont le nom de code était auparavant Projet Nazare.
• Avec un champ de vision inégalé dans l'industrie, lentilles en carbure de siliciumOrion est notre prototype de produit le plus avancé et le plus abouti à ce jour, avec ses guides d'ondes complexes, ses projecteurs uLED et bien d'autres choses encore.
• Aujourd'hui, nous poursuivons l'optimisation des produits et la réduction des coûts en vue de créer un appareil grand public évolutif qui révolutionnera la façon dont les gens interagissent avec le monde.

---

"Nous construisons des lunettes AR.

Cinq mots simples, parlé il y a cinq ans. Avec eux, nous avons planté un drapeau sur notre vision d'un avenir où nous n'aurons plus à faire le faux choix entre un monde d'informations au bout de nos doigts et le monde physique qui nous entoure.

Et aujourd'hui, cinq ans plus tard, cinq autres mots qui devraient à nouveau changer la donne :

Nous avons construit des lunettes AR.

https://youtube.com/watch?v=2CJsnyS8u3c%3Fsi%3DTr77gOKEq3PnA7-k%26controls%3D0%3Fautoplay%3D0%26color%3Dwhite%26cc_lang_pref%3Den%26cc_load_policy%3D0%26enablejsapi%3D1%26frameborder%3D0%26hl%3Den%26rel%3D0%26origin%3Dhttps%253A%252F%252Fwww.meta.com

Chez Meta, notre mission est simple : donner aux gens le pouvoir de construire une communauté et de rapprocher le monde. Et à Reality Labs, nous créons des outils qui aident les gens à se sentir connectés à tout moment et en tout lieu. C'est pourquoi nous travaillons à la construction de la prochaine plateforme informatique qui place les personnes au centre afin qu'elles puissent être plus présentes, connectées et autonomes dans le monde.

Lunettes Ray-Ban Meta ont démontré qu'il était possible de donner aux gens un accès mains libres aux éléments clés de leur vie numérique à partir de leur vie physique. Nous pouvons parler à un assistant intelligent, nous connecter avec nos amis et immortaliser les moments importants, le tout sans avoir à sortir notre téléphone. Ces lunettes élégantes s'intègrent parfaitement dans notre vie quotidienne, et les gens les adorent.

Pourtant, si Ray-Ban Meta a ouvert une toute nouvelle catégorie de lunettes sans écran suralimentées par l'IA, l'industrie du XR rêve depuis longtemps de véritables lunettes AR, un produit qui combine les avantages d'un grand écran holographique et d'une assistance personnalisée de l'IA dans un facteur de forme confortable, élégant et portable tout au long de la journée.

Et aujourd'hui, nous avons rapproché ce rêve de la réalité en dévoilant OrionNous pensons qu'il s'agit de la paire de lunettes de réalité augmentée la plus avancée jamais fabriquée. En fait, il pourrait s'agir de l'appareil électronique grand public le plus ambitieux jamais produit depuis le smartphone. Orion est le résultat d'inventions révolutionnaires dans pratiquement tous les domaines de l'informatique moderne. le travail que nous effectuons à Reality Labs depuis une dizaine d'années. Il est doté de technologies entièrement nouvelles, notamment l'écran AR le plus avancé jamais assemblé et le système d'affichage AR le plus perfectionné. silicium sur mesure qui permet de réaliser de puissantes expériences de réalité augmentée sur une paire de lunettes en utilisant une fraction de la puissance et du poids d'un casque de réalité augmentée.

Le système d'entrée d'Orion combine de manière transparente la voix, le regard et le suivi de la main avec un système d'affichage à l'écran. Bracelet EMG qui vous permet de glisser, cliquer et faire défiler tout en gardant votre bras confortablement posé à côté de vous, ce qui vous permet de rester présent dans le monde et avec les personnes qui vous entourent lorsque vous interagissez avec un contenu numérique riche.

À partir d'aujourd'hui à Connect et tout au long de l'année, nous ouvrons l'accès à notre prototype de produit Orion aux employés de Meta et à des publics externes sélectionnés afin que notre équipe de développement puisse apprendre, itérer et construire notre ligne de produits de lunettes AR grand public, que nous prévoyons de commencer à expédier dans un avenir proche.

Pourquoi des lunettes AR ?

Il y a trois raisons principales pour lesquelles les lunettes AR sont essentielles pour débloquer le prochain grand saut dans l'informatique orientée vers l'homme.

1. Ils permettent des expériences numériques qui ne sont pas limitées par l'écran d'un smartphone. Avec les grands écrans holographiques, vous pouvez utiliser le monde physique comme toile, en plaçant des contenus et des expériences en 2D et en 3D où vous le souhaitez.
2. Ils intègrent de manière transparente une IA contextuelle capable de percevoir et de comprendre le monde qui vous entoure afin d'anticiper vos besoins et d'y répondre de manière proactive.
3. Ils sont légers et conviennent aussi bien à l'intérieur qu'à l'extérieur. Ils permettent aux gens de voir le vrai visage, les vrais yeux et les vraies expressions de l'autre.

C'est l'étoile polaire vers laquelle notre industrie s'est orientée : un produit combinant la commodité et l'immédiateté des dispositifs portables avec un grand écran, une entrée à large bande passante et une IA contextualisée dans un facteur de forme que les gens se sentent à l'aise de porter dans leur vie quotidienne.

Facteur de forme compact, défis complexes

Pendant des années, nous avons été confrontés à un faux choix : soit des casques de réalité virtuelle et mixte qui permettent des expériences immersives profondes dans un format encombrant, soit des lunettes qui sont idéales pour une utilisation tout au long de la journée mais qui n'offrent pas d'applications et d'expériences visuelles riches en raison de l'absence d'un grand écran et de la puissance de calcul correspondante.

Mais nous voulons tout cela, sans compromis. Depuis des années, nous travaillons d'arrache-pied pour intégrer les incroyables expériences spatiales offertes par les casques de RV et de RM et miniaturiser la technologie nécessaire pour offrir ces expériences dans une paire de lunettes légères et élégantes. Réussir le facteur de forme, fournir des affichages holographiques, développer des expériences AR convaincantes et créer de nouveaux paradigmes d'interaction homme-machine (HCI) - et tout cela dans un seul produit cohésif - est l'un des défis les plus difficiles que notre industrie ait jamais eu à relever. Le défi était tel que nous pensions avoir moins de 10 % de chances d'y parvenir.

Jusqu'à présent.

Un écran révolutionnaire dans un format inégalé

Avec un angle de vue d'environ 70 degrés, Orion offre le plus grand champ de vision dans le plus petit format de lunettes AR à ce jour. Ce champ de vision permet de débloquer des cas d'utilisation véritablement immersifs pour Orion, depuis les fenêtres multitâches et les divertissements sur grand écran jusqu'aux hologrammes de personnes grandeur nature - tous les contenus numériques pouvant se fondre de manière transparente dans votre vision du monde physique.

Pour Orion, le champ de vision était notre graal. Nous nous heurtions aux lois de la physique et devions courber les faisceaux de lumière d'une manière qui n'est pas naturelle, et nous devions le faire dans une enveloppe de puissance mesurée en milliwatts.

Au lieu du verre, nous avons fabriqué les lentilles en carbure de silicium-une nouvelle application pour les lunettes AR. Carbure de silicium est incroyablement léger, il n'entraîne pas d'artefacts optiques ni de lumière parasite, et son indice de réfraction est élevé - toutes les propriétés optiques qui sont essentielles pour obtenir un grand champ de vision. Les guides d'ondes eux-mêmes sont dotés de structures 3D nanométriques vraiment complexes pour diffracter ou diffuser la lumière de la manière nécessaire à l'obtention de ce champ de vision. Enfin, les projecteurs sont des uLED, un nouveau type de technologie d'affichage super petit et extrêmement économe en énergie.

Orion est indéniablement une paire de lunettes, tant au niveau de l'aspect que du toucher, avec des verres transparents. Contrairement aux casques MR ou aux autres lunettes AR actuelles, vous pouvez toujours voir les yeux et les expressions réelles des autres, afin d'être présent et de partager l'expérience avec les personnes qui vous entourent. Des dizaines d'innovations ont été nécessaires pour parvenir à un design industriel qui permette de porter des lunettes contemporaines tous les jours. Orion est une prouesse de miniaturisation : les composants sont réduits à une fraction de millimètre. Nous avons réussi à intégrer sept minuscules caméras et capteurs dans les bords de la monture.

Nous avons dû maintenir la précision optique à un dixième de l'épaisseur d'un cheveu humain. Le système peut détecter d'infimes mouvements, comme la dilatation ou la contraction des cadres en fonction de la température ambiante, puis corriger numériquement l'alignement optique nécessaire, le tout en l'espace de quelques millisecondes. Nous avons fabriqué les montures en magnésium - le même matériau que celui utilisé dans les voitures de course de F1 et les engins spatiaux - parce qu'il est à la fois léger et rigide, qu'il maintient les éléments optiques dans l'alignement et qu'il évacue efficacement la chaleur.

Chauffage et refroidissement

Une fois que nous avons percé l'écran (sans jeu de mots) et surmonté les problèmes de physique, nous avons dû relever le défi d'un calcul très puissant associé à une consommation d'énergie très faible et à la nécessité d'une dissipation de la chaleur. Contrairement aux casques MR actuels, il n'est pas possible d'insérer un ventilateur dans une paire de lunettes. Nous avons donc dû faire preuve de créativité. Une grande partie des matériaux utilisés pour refroidir Orion sont similaires à ceux utilisés par la NASA pour refroidir les satellites dans l'espace.

Nous avons construit silicium sur mesure hautement spécialisé qui est extrêmement économe en énergie et optimisé pour nos algorithmes d'IA, de perception de la machine et de graphisme. Nous avons construit plusieurs puces personnalisées et des dizaines de blocs de propriété intellectuelle en silicium hautement personnalisés à l'intérieur de ces puces. Cela nous permet de réduire à quelques dizaines de milliwatts les algorithmes nécessaires au suivi des mains et des yeux, ainsi que la technologie de localisation et de cartographie simultanées (SLAM) qui consomme normalement des centaines de milliwatts d'énergie et génère donc une quantité correspondante de chaleur.

Et oui, le silicium personnalisé continue de jouer un rôle essentiel dans le développement des produits chez Reality Labs, malgré ce que vous avez pu lire ailleurs. 😎

EMG sans effort

Chaque nouvelle plate-forme informatique apporte avec elle un changement de paradigme dans la manière dont nous interagissons avec nos appareils. L'invention de la souris a ouvert la voie aux interfaces utilisateur graphiques (IUG) qui dominent notre monde aujourd'hui, et les smartphones n'ont commencé à s'imposer qu'avec l'avènement de l'écran tactile. La même règle s'applique aux produits portables.

Nous avons parlé de notre travail avec l'électromyographie, ou EMGDepuis des années, nous sommes convaincus que la saisie pour les lunettes de réalité augmentée doit être rapide, pratique, fiable, subtile et socialement acceptable. Aujourd'hui, ce travail est prêt pour le prime time.

Le système d'entrée et d'interaction d'Orion combine de manière transparente la voix, le regard et le suivi de la main avec un bracelet EMG qui vous permet de glisser, de cliquer et de faire défiler facilement.

Cela fonctionne et donne l'impression d'être magique. Imaginez que vous preniez une photo pendant votre jogging matinal d'un simple effleurement du bout des doigts ou que vous naviguiez dans les menus avec des mouvements à peine perceptibles de vos mains. Notre bracelet associe un textile haute performance à des capteurs EMG intégrés pour détecter les signaux électriques générés par les moindres mouvements musculaires. Un processeur ML intégré à l'appareil interprète ensuite ces signaux EMG pour produire des événements d'entrée qui sont transmis sans fil aux lunettes. Le système s'adapte à vous, de sorte qu'il devient de plus en plus capable de reconnaître les gestes les plus subtils au fil du temps. Aujourd'hui, nous vous en disons plus sur le soutien que nous apportons à la recherche externe dans les domaines suivants développer le potentiel d'équité et d'accessibilité des bracelets EMG.

Présentation de l'unité de calcul sans fil (Wireless Compute Puck)

Les véritables lunettes de réalité augmentée doivent être sans fil et de petite taille.Nous avons donc construit un Palette de calcul sans fil pour Orion. Il décharge les lunettes d'une partie de la charge, ce qui permet d'augmenter l'autonomie de la batterie et d'obtenir un meilleur facteur de forme avec une faible latence.

Les lunettes exécutent tous les algorithmes de suivi des mains, de suivi des yeux, de SLAM et de verrouillage du monde AR spécialisé, tandis que la logique de l'application s'exécute sur le puck pour que les lunettes soient aussi légères et compactes que possible.

La rondelle est dotée de deux processeurs, dont un conçu sur mesure par Meta, et fournit la puissance de calcul nécessaire au rendu graphique à faible latence, à l'intelligence artificielle et à certaines autres perceptions de la machine.

Et comme il est petit et élégant, vous pouvez le glisser confortablement dans un sac ou dans votre poche et vaquer à vos occupations, sans aucune contrainte.

Expériences de RA

Bien entendu, comme pour tout matériel, sa qualité dépend de ce que vous pouvez en faire. faire avec elle. Et bien qu'il soit encore tôt, les expériences offertes par Orion sont un aperçu excitant de ce qui est à venir.

https://youtube.com/watch?v=HkdSv3QPhNw%3F%26controls%3D0%3Fautoplay%3D0%26color%3Dwhite%26cc_lang_pref%3Den%26cc_load_policy%3D0%26enablejsapi%3D1%26frameborder%3D0%26hl%3Den%26rel%3D0%26origin%3Dhttps%253A%252F%252Fwww.meta.com

Nous avons notre assistant intelligent, Meta AIqui fonctionne sur Orion. Il comprend ce que vous regardez dans le monde physique et peut vous aider avec des visualisations utiles. Orion utilise le même modèle Llama qui alimente les expériences d'intelligence artificielle fonctionnant aujourd'hui sur les lunettes intelligentes Ray-Ban Meta, ainsi que des modèles de recherche personnalisés pour démontrer les cas d'utilisation potentiels pour le développement futur des wearables.

Vous pouvez passer un appel vidéo mains libres en déplacement pour prendre des nouvelles de vos amis et de votre famille en temps réel, et vous pouvez rester connecté sur WhatsApp et Messenger pour consulter et envoyer des messages. Plus besoin de sortir votre téléphone, de le déverrouiller, de trouver la bonne application et de faire savoir à votre ami que vous êtes en retard pour le dîner - vous pouvez le faire avec vos lunettes.

https://youtube.com/watch?v=el7lUVvu8Bo%3F%26controls%3D0%3Fautoplay%3D0%26color%3Dwhite%26cc_lang_pref%3Den%26cc_load_policy%3D0%26enablejsapi%3D1%26frameborder%3D0%26hl%3Den%26rel%3D0%26origin%3Dhttps%253A%252F%252Fwww.meta.com

Vous pouvez jouer à des jeux AR partagés avec votre famille à l'autre bout du pays ou avec votre ami de l'autre côté du canapé. Le grand écran d'Orion vous permet de faire du multitâche avec plusieurs fenêtres et d'accomplir des tâches sans avoir à transporter votre ordinateur portable.

Les expériences disponibles sur Orion aujourd'hui aideront à tracer la feuille de route de notre gamme de lunettes AR grand public à l'avenir. Nos équipes continueront d'itérer et de construire de nouvelles expériences sociales immersives, aux côtés de nos partenaires développeurs, et nous sommes impatients de partager la suite.

Un prototype de produit utile

Orion ne se retrouvera pas entre les mains des consommateurs, mais il ne faut pas s'y tromper : Il s'agit d'un pas un prototype de recherche. C'est le prototype de produit le plus abouti que nous ayons jamais développé, et il est vraiment représentatif de ce que l'on attend de nous. pourrait aux consommateurs. Plutôt que de nous précipiter sur les étagères, nous avons décidé de nous concentrer d'abord sur le développement interne, ce qui nous permet de continuer à construire rapidement et de repousser les limites de la technologie et de l'expérience.

Cela signifie que nous parviendrons plus rapidement à un produit de consommation encore meilleur.

Ce qui vient ensuite

Deux obstacles majeurs se sont longtemps dressés sur la route des lunettes de réalité augmentée grand public : les percées technologiques nécessaires pour offrir un grand écran dans un format de lunettes compact et la nécessité de proposer des expériences de réalité augmentée utiles et convaincantes sur ces lunettes. Orion est une étape importante, car il offre pour la première fois de véritables expériences de réalité augmentée fonctionnant sur un matériel raisonnablement élégant.

Maintenant que nous avons partagé Orion avec le monde, nous nous concentrons sur quelques points :

• Réglage de la qualité de l'affichage AR pour rendre les images encore plus nettes
• Nous optimisons chaque fois que nous le pouvons le facteur de forme pour qu'il soit encore plus petit.
• Construire à l'échelle pour les rendre plus abordables

Au cours des prochaines années, vous pouvez vous attendre à voir apparaître de nouveaux appareils qui s'appuient sur nos efforts de recherche et de développement. Un certain nombre d'innovations d'Orion ont été étendues à nos produits de consommation actuels ainsi qu'à notre future feuille de route. Nous avons optimisé certains de nos algorithmes de perception spatiale, qui fonctionnent à la fois sur le Meta Quest 3S et Orion. Bien que le système de saisie gestuelle subtile et du regard ait été conçu à l'origine pour Orion, nous prévoyons de l'utiliser dans de futurs produits. Nous étudions également la possibilité d'utiliser des bracelets EMG dans de futurs produits de consommation.

Orion n'est pas seulement une fenêtre sur l'avenir, c'est un regard sur les possibilités très réelles qui sont à notre portée aujourd'hui. Nous l'avons construit en poursuivant ce que nous faisons le mieux : aider les gens à se connecter. Des lunettes Ray-Ban Meta à Orion, nous avons constaté les avantages qu'il y a à permettre aux gens de rester plus présents et plus autonomes dans le monde physique, tout en profitant de toute la richesse que le monde numérique a à offrir.

Nous pensons que vous ne devriez pas avoir à choisir entre les deux. Et avec la prochaine plateforme informatique, vous n'aurez pas à le faire.

---

Pour plus d'informations sur Orion, consultez ces articles de blog :

• Le palet de calcul d'Orion : L'histoire de l'appareil qui a rendu possible l'utilisation de nos lunettes AR
• De zéro à un : comment notre silicium et nos puces personnalisés révolutionnent la réalité augmentée
• Clair comme de l'eau de roche : nos guides d'ondes en carbure de silicium et la voie vers le grand champ de vision d'Orion

L'année dernière, lors du salon Connect, nous avons dévoilé Orion-notre première véritable paire de lunettes AR. L'aboutissement de notre travail à Reality Labs au cours de la dernière décennieOrion combine les avantages d'un grand écran holographique et d'une assistance personnalisée par l'IA dans un format confortable et portable toute la journée. Il a attiré l'attention sur son champ de vision de pointe, ses guides d'ondes en carbure de silicium, ses projecteurs uLED, etc. Mais aujourd'hui, nous nous intéressons à un héros méconnu d'Orion : le compute puck.

Conçue pour se glisser facilement dans votre poche ou votre sac afin que vous puissiez l'emmener à peu près n'importe où dans votre journée, la rondelle décharge la puissance de traitement d'Orion pour exécuter la logique de l'application et permettre un facteur de forme plus convaincant et plus petit pour les lunettes. Il se connecte sans fil aux lunettes et au bracelet EMG pour une expérience transparente.

Il suffit de le régler et de l'oublier, n'est-ce pas ?

Mais l'histoire du palet, même à l'état de prototype, est passionnante, avec un arc dramatique que l'on ne soupçonnerait pas en le voyant.

"Lorsque vous construisez quelque chose comme cela, vous commencez à vous heurter aux limites de la physique", explique Rahul Prasad, directeur de la gestion des produits. "Au cours des 50 dernières années, la loi de Moore a tout rendu plus petit, plus rapide et moins gourmand en énergie. Le problème, c'est que l'on commence à se heurter aux limites de la chaleur que l'on peut dissiper, de la quantité de batterie que l'on peut comprimer et des performances de l'antenne que l'on peut faire tenir dans un objet d'une taille donnée.

Même si le recul est de 20/20, le potentiel du palet n'était pas immédiatement évident. Lorsque vous êtes le premier à construire quelque chose, vous devez explorer toutes les possibilités et ne négliger aucune piste. Comment construire quelque chose que certains pourraient considérer comme un accessoire indésirable plutôt que comme un élément essentiel de l'ensemble ?

"Nous savions que le palet était un appareil supplémentaire que nous demandions aux gens de transporter", explique Jared Van Cleave, responsable de l'ingénierie de la conception des produits, "nous avons donc cherché à transformer ce problème en une fonctionnalité".

En fin de compte, cette philosophie s'est avérée payante, car le puck concentre beaucoup de puissance de calcul (et encore plus de silicium personnalisé conçu par Meta pour l'IA et la perception de la machine) dans une petite taille. C'est ce qui a permis à Orion de passer du domaine de la science-fiction à celui de la réalité.

"Si vous n'aviez pas la rondelle, vous ne pourriez pas vivre les expériences qu'offre Orion dans son format, un point c'est tout", explique M. Prasad. "Une bonne expérience de réalité augmentée exige des performances très élevées : des taux de rafraîchissement élevés, une latence extrêmement faible, une gestion fine du sans fil et de l'alimentation, etc. La rondelle et les lunettes doivent être conçues conjointement pour fonctionner en étroite collaboration, non seulement au niveau de l'application, mais aussi au niveau du système d'exploitation, du micrologiciel et du matériel. Et même si l'on concevait un smartphone pour qu'il fonctionne avec des lunettes de réalité augmentée, les exigences élevées en matière de performances épuiseraient la batterie du téléphone et réduiraient la capacité de calcul des cas d'utilisation du téléphone. En revanche, le puck dispose de sa propre batterie haute capacité, d'un SoC haute performance et d'un coprocesseur d'IA personnalisé conçu par Meta et optimisé pour Orion".

Bien entendu, le palet n'a pas été conçu du jour au lendemain. Il a nécessité des années de travail itératif.

"Nous ne savions pas comment les gens voudraient interagir avec Orion du point de vue de l'entrée, il n'y avait rien dont nous pouvions nous inspirer sur le marché", explique Matt Resman, chef de produit. "Si vous regardez nos premiers prototypes de lunettes, il s'agissait de casques massifs qui pesaient trois ou quatre livres. Et lorsque vous essayez de construire un produit, il est vraiment difficile de comprendre l'expérience de l'utilisateur si vous n'avez pas le bon facteur de forme. Avec le puck, nous avons pu réaliser des prototypes très rapidement pour commencer à comprendre comment les gens allaient l'utiliser".

Sous le nom de code Omega, la rondelle a d'abord été envisagée par ce qui était alors Oculus Research comme une bande en forme d'Ω qui s'enroulerait autour du cou de l'utilisateur et serait reliée aux lunettes....

... jusqu'à ce que de nouvelles innovations de l'équipe sans fil de Reality Labs, entre autres, leur permettent de couper le cordon. Cela a permis d'obtenir un facteur de forme plus portable ou de poche / dans un sac, ce qui a ouvert de nombreuses possibilités.

"À l'époque, les appels en réalité augmentée étaient encore un cas d'utilisation primaire", explique M. Van Cleave. "Le palet était l'endroit où les vidéos holographiques étaient ancrées. Vous le posiez sur la table avec le banc de capteurs face à vous, vous filmant et projetant ensuite votre interlocuteur sur la surface du palet pour l'appel".

"Orion a pour but de relier les gens et de nous rassembler", explique M. Resman. "L'un des concepts initiaux du palet était d'aider à créer ce sentiment de présence avec d'autres personnes et de permettre cette forme de communication plus riche.

"L'appareil ne ressemble à rien de ce que vous avez déjà vu. Il a le potentiel de créer des interactions vraiment amusantes et uniques", ajoute le designer industriel Emron Henry. "L'expérience de l'utilisateur ressemble un peu à celle d'un génie sorti d'une bouteille, où les hologrammes émergent de l'appareil et s'y dissolvent de manière transparente."

Comme vous pouvez le constater, le puck a plus de potentiel que ce qui a finalement été mis en place comme fonctionnalité. Outre les capteurs et les caméras qui auraient été utilisés pour les appels AR, le puck est doté de capteurs haptiques et 6DOF qui pourraient lui permettre d'être utilisé comme un contrôleur suivi pour sélectionner et manipuler des objets virtuels et jouer à des jeux AR. L'équipe a également étudié les entrées tactiles capacitives et de force afin que le puck puisse servir de manette de jeu lorsqu'il est tenu en mode portrait ou paysage.

"Nous parlions de la nécessité de transporter cet objet supplémentaire", explique M. Van Cleave. "Comment le rendre plus utile ? Il y avait tout un courant de travail autour de cette question. À un moment donné, l'hypothèse était que les jeux en réalité augmentée allaient être le cas d'utilisation idéal.

Très tôt, nous avons su que nous devions explorer les possibilités du puck pour faire des choses que les téléphones ne peuvent pas faire. Nous avons fini par utiliser le regard, l'EMG et le suivi de la main pour les jeux de réalité augmentée, comme Stargazer et Pong, mais nous avons prototypé plusieurs démos et jeux qui utilisaient le palet comme contrôleur dans les premiers jours d'Orion.

0:00 / 0:00

0:00 / 0:00

0:00 / 0:00

Explorations rendues du palet en tant que contrôleur 6DOF pour des jeux AR comme Pong.

"Le fait qu'il ne s'agisse pas d'un téléphone nous a donné une grande liberté de conception", ajoute M. Prasad. "Il peut être plus épais, je peux le rendre plus arrondi pour qu'il tienne confortablement dans la main comme une manette. C'est assez incroyable que le puck soit plus petit qu'un téléphone moyen, mais il est plus puissant qu'un téléphone parce qu'il est doté d'un coprocesseur Meta conçu pour l'IA et la perception de la machine.

L'équipe s'est penchée sur la question de savoir en quoi un jeu de réalité augmentée de qualité pouvait différer d'un jeu sur console ou d'un jeu sur téléphone portable. Pour ce faire, elle a exploré les différentes possibilités offertes par un contrôleur de jeu de réalité augmentée, notamment les manettes, la disposition des boutons physiques, les boutons de déclenchement, etc.

"Nous n'avons pas fini par construire tout cela", précise M. Van Cleave. "Nous avons créé des prototypes, mais nous n'avons jamais cherché à les construire entièrement. Nous voulions rester simples. Nous voulions créer des interfaces souples, mais pas de boutons physiques et mécaniques.

Bien que les capteurs et l'haptique n'aient pas été activés dans le prototype du produit fini, ils ont joué un rôle essentiel pendant le développement, permettant aux équipes de signaler des bogues en tapant simplement sur la partie supérieure de l'appareil à plusieurs reprises pour déclencher un rapport de bogue.

Lorsque l'IA a commencé à occuper le devant de la scène en tant que cas d'utilisation clé, le calcul est devenu de plus en plus important. En fin de compte, le puck abrite la connectivité sans fil, la puissance de calcul et la capacité de la batterie d'Orion - une énorme prouesse technique en soi - qui permet de réduire le poids et le facteur de forme des lunettes tout en dissipant beaucoup plus de chaleur grâce à sa surface.

Tout au long de son évolution, une chose est restée inchangée : le palet est bien plus qu'un simple regard. L'adoption d'idées non conventionnelles a permis à nos équipes d'explorer, de repousser les limites et de construire l'avenir.

"Nous définissons une catégorie qui n'existe pas encore tout à fait", note M. Henry. "Comme on peut s'y attendre en matière de R&D, il y a eu des débuts et des arrêts en cours de route. Comment les utilisateurs s'attendent-ils à interagir avec les hologrammes ? Préféreraient-ils utiliser une télécommande AR ou le suivi de la main, le regard et l'EMG suffisent-ils pour la saisie ? Qu'est-ce qui est intuitif, sans frottement, familier et utile ?

"Plutôt que de considérer la rondelle comme une simple pierre, nous nous sommes demandé ce que nous pouvions apporter de plus pour la différencier des téléphones et justifier les raisons pour lesquelles vous voudriez la porter", reconnaît M. Resman. "Sa puissance de calcul brute et son design pratique (qui a permis de créer un format de lunettes que l'on peut porter toute la journée) offrent-ils une valeur suffisante ? C'est notre travail d'aider à répondre à ces questions".

"Très tôt, nous avons changé de cap pour nous concentrer sur ce que nous pouvions faire et qu'un téléphone ne pouvait pas faire", ajoute M. Van Cleave. "Les téléphones doivent avoir un écran, ils doivent avoir une certaine disposition physique des boutons que les utilisateurs attendent. Nous n'avons pas ces contraintes. Notre puck de calcul peut être ce que nous voulons".

---

Pour plus d'informations sur Orion, consultez ces articles de blog :

• Clair comme de l'eau de roche : nos guides d'ondes en carbure de silicium et la voie vers le grand champ de vision d'Orion
• De zéro à un : comment notre silicium et nos puces personnalisés révolutionnent la réalité augmentée

TL;DR :

• Aujourd'hui à ConnecterMark Zuckerberg a dévoilé Orion, notre première paire de véritables lunettes de réalité augmentée, dont le nom de code était auparavant Projet Nazare.
• Avec un champ de vision inégalé dans l'industrie, lentilles en carbure de siliciumOrion est notre prototype de produit le plus avancé et le plus abouti à ce jour, avec ses guides d'ondes complexes, ses projecteurs uLED et bien d'autres choses encore.
• Aujourd'hui, nous poursuivons l'optimisation des produits et la réduction des coûts en vue de créer un appareil grand public évolutif qui révolutionnera la façon dont les gens interagissent avec le monde.

---

"Nous construisons des lunettes AR.

Cinq mots simples, parlé il y a cinq ans. Avec eux, nous avons planté un drapeau sur notre vision d'un avenir où nous n'aurons plus à faire le faux choix entre un monde d'informations au bout de nos doigts et le monde physique qui nous entoure.

Et aujourd'hui, cinq ans plus tard, cinq autres mots qui devraient à nouveau changer la donne :

Nous avons construit des lunettes AR.

https://youtube.com/watch?v=2CJsnyS8u3c%3Fsi%3DTr77gOKEq3PnA7-k%26controls%3D0%3Fautoplay%3D0%26color%3Dwhite%26cc_lang_pref%3Den%26cc_load_policy%3D0%26enablejsapi%3D1%26frameborder%3D0%26hl%3Den%26rel%3D0%26origin%3Dhttps%253A%252F%252Fwww.meta.com

Chez Meta, notre mission est simple : donner aux gens le pouvoir de construire une communauté et de rapprocher le monde. Et à Reality Labs, nous créons des outils qui aident les gens à se sentir connectés à tout moment et en tout lieu. C'est pourquoi nous travaillons à la construction de la prochaine plateforme informatique qui place les personnes au centre afin qu'elles puissent être plus présentes, connectées et autonomes dans le monde.

Lunettes Ray-Ban Meta ont démontré qu'il était possible de donner aux gens un accès mains libres aux éléments clés de leur vie numérique à partir de leur vie physique. Nous pouvons parler à un assistant intelligent, nous connecter avec nos amis et immortaliser les moments importants, le tout sans avoir à sortir notre téléphone. Ces lunettes élégantes s'intègrent parfaitement dans notre vie quotidienne, et les gens les adorent.

Pourtant, si Ray-Ban Meta a ouvert une toute nouvelle catégorie de lunettes sans écran suralimentées par l'IA, l'industrie du XR rêve depuis longtemps de véritables lunettes AR, un produit qui combine les avantages d'un grand écran holographique et d'une assistance personnalisée de l'IA dans un facteur de forme confortable, élégant et portable tout au long de la journée.

Et aujourd'hui, nous avons rapproché ce rêve de la réalité en dévoilant OrionNous pensons qu'il s'agit de la paire de lunettes de réalité augmentée la plus avancée jamais fabriquée. En fait, il pourrait s'agir de l'appareil électronique grand public le plus ambitieux jamais produit depuis le smartphone. Orion est le résultat d'inventions révolutionnaires dans pratiquement tous les domaines de l'informatique moderne. le travail que nous effectuons à Reality Labs depuis une dizaine d'années. Il est doté de technologies entièrement nouvelles, notamment l'écran AR le plus avancé jamais assemblé et le système d'affichage AR le plus perfectionné. silicium sur mesure qui permet de réaliser de puissantes expériences de réalité augmentée sur une paire de lunettes en utilisant une fraction de la puissance et du poids d'un casque de réalité augmentée.

Le système d'entrée d'Orion combine de manière transparente la voix, le regard et le suivi de la main avec un système d'affichage à l'écran. Bracelet EMG qui vous permet de glisser, cliquer et faire défiler tout en gardant votre bras confortablement posé à côté de vous, ce qui vous permet de rester présent dans le monde et avec les personnes qui vous entourent lorsque vous interagissez avec un contenu numérique riche.

À partir d'aujourd'hui à Connect et tout au long de l'année, nous ouvrons l'accès à notre prototype de produit Orion aux employés de Meta et à des publics externes sélectionnés afin que notre équipe de développement puisse apprendre, itérer et construire notre ligne de produits de lunettes AR grand public, que nous prévoyons de commencer à expédier dans un avenir proche.

Pourquoi des lunettes AR ?

Il y a trois raisons principales pour lesquelles les lunettes AR sont essentielles pour débloquer le prochain grand saut dans l'informatique orientée vers l'homme.

1. Ils permettent des expériences numériques qui ne sont pas limitées par l'écran d'un smartphone. Avec les grands écrans holographiques, vous pouvez utiliser le monde physique comme toile, en plaçant des contenus et des expériences en 2D et en 3D où vous le souhaitez.
2. Ils intègrent de manière transparente une IA contextuelle capable de percevoir et de comprendre le monde qui vous entoure afin d'anticiper vos besoins et d'y répondre de manière proactive.
3. Ils sont légers et conviennent aussi bien à l'intérieur qu'à l'extérieur. Ils permettent aux gens de voir le vrai visage, les vrais yeux et les vraies expressions de l'autre.

C'est l'étoile polaire vers laquelle notre industrie s'est orientée : un produit combinant la commodité et l'immédiateté des dispositifs portables avec un grand écran, une entrée à large bande passante et une IA contextualisée dans un facteur de forme que les gens se sentent à l'aise de porter dans leur vie quotidienne.

Facteur de forme compact, défis complexes

Pendant des années, nous avons été confrontés à un faux choix : soit des casques de réalité virtuelle et mixte qui permettent des expériences immersives profondes dans un format encombrant, soit des lunettes qui sont idéales pour une utilisation tout au long de la journée mais qui n'offrent pas d'applications et d'expériences visuelles riches en raison de l'absence d'un grand écran et de la puissance de calcul correspondante.

Mais nous voulons tout cela, sans compromis. Depuis des années, nous travaillons d'arrache-pied pour intégrer les incroyables expériences spatiales offertes par les casques de RV et de RM et miniaturiser la technologie nécessaire pour offrir ces expériences dans une paire de lunettes légères et élégantes. Réussir le facteur de forme, fournir des affichages holographiques, développer des expériences AR convaincantes et créer de nouveaux paradigmes d'interaction homme-machine (HCI) - et tout cela dans un seul produit cohésif - est l'un des défis les plus difficiles que notre industrie ait jamais eu à relever. Le défi était tel que nous pensions avoir moins de 10 % de chances d'y parvenir.

Jusqu'à présent.

Un écran révolutionnaire dans un format inégalé

Avec un angle de vue d'environ 70 degrés, Orion offre le plus grand champ de vision dans le plus petit format de lunettes AR à ce jour. Ce champ de vision permet de débloquer des cas d'utilisation véritablement immersifs pour Orion, depuis les fenêtres multitâches et les divertissements sur grand écran jusqu'aux hologrammes de personnes grandeur nature - tous les contenus numériques pouvant se fondre de manière transparente dans votre vision du monde physique.

Pour Orion, le champ de vision était notre graal. Nous nous heurtions aux lois de la physique et devions courber les faisceaux de lumière d'une manière qui n'est pas naturelle, et nous devions le faire dans une enveloppe de puissance mesurée en milliwatts.

Au lieu du verre, nous avons fabriqué les lentilles en carbure de silicium-une nouvelle application pour les lunettes AR. Carbure de silicium est incroyablement léger, il n'entraîne pas d'artefacts optiques ni de lumière parasite, et son indice de réfraction est élevé - toutes les propriétés optiques qui sont essentielles pour obtenir un grand champ de vision. Les guides d'ondes eux-mêmes sont dotés de structures 3D nanométriques vraiment complexes pour diffracter ou diffuser la lumière de la manière nécessaire à l'obtention de ce champ de vision. Enfin, les projecteurs sont des uLED, un nouveau type de technologie d'affichage super petit et extrêmement économe en énergie.

Orion est indéniablement une paire de lunettes, tant au niveau de l'aspect que du toucher, avec des verres transparents. Contrairement aux casques MR ou aux autres lunettes AR actuelles, vous pouvez toujours voir les yeux et les expressions réelles des autres, afin d'être présent et de partager l'expérience avec les personnes qui vous entourent. Des dizaines d'innovations ont été nécessaires pour parvenir à un design industriel qui permette de porter des lunettes contemporaines tous les jours. Orion est une prouesse de miniaturisation : les composants sont réduits à une fraction de millimètre. Nous avons réussi à intégrer sept minuscules caméras et capteurs dans les bords de la monture.

Nous avons dû maintenir la précision optique à un dixième de l'épaisseur d'un cheveu humain. Le système peut détecter d'infimes mouvements, comme la dilatation ou la contraction des cadres en fonction de la température ambiante, puis corriger numériquement l'alignement optique nécessaire, le tout en l'espace de quelques millisecondes. Nous avons fabriqué les montures en magnésium - le même matériau que celui utilisé dans les voitures de course de F1 et les engins spatiaux - parce qu'il est à la fois léger et rigide, qu'il maintient les éléments optiques dans l'alignement et qu'il évacue efficacement la chaleur.

Chauffage et refroidissement

Une fois que nous avons percé l'écran (sans jeu de mots) et surmonté les problèmes de physique, nous avons dû relever le défi d'un calcul très puissant associé à une consommation d'énergie très faible et à la nécessité d'une dissipation de la chaleur. Contrairement aux casques MR actuels, il n'est pas possible d'insérer un ventilateur dans une paire de lunettes. Nous avons donc dû faire preuve de créativité. Une grande partie des matériaux utilisés pour refroidir Orion sont similaires à ceux utilisés par la NASA pour refroidir les satellites dans l'espace.

Nous avons construit silicium sur mesure hautement spécialisé qui est extrêmement économe en énergie et optimisé pour nos algorithmes d'IA, de perception de la machine et de graphisme. Nous avons construit plusieurs puces personnalisées et des dizaines de blocs de propriété intellectuelle en silicium hautement personnalisés à l'intérieur de ces puces. Cela nous permet de réduire à quelques dizaines de milliwatts les algorithmes nécessaires au suivi des mains et des yeux, ainsi que la technologie de localisation et de cartographie simultanées (SLAM) qui consomme normalement des centaines de milliwatts d'énergie et génère donc une quantité correspondante de chaleur.

Et oui, le silicium personnalisé continue de jouer un rôle essentiel dans le développement des produits chez Reality Labs, malgré ce que vous avez pu lire ailleurs. 😎

EMG sans effort

Chaque nouvelle plate-forme informatique apporte avec elle un changement de paradigme dans la manière dont nous interagissons avec nos appareils. L'invention de la souris a ouvert la voie aux interfaces utilisateur graphiques (IUG) qui dominent notre monde aujourd'hui, et les smartphones n'ont commencé à s'imposer qu'avec l'avènement de l'écran tactile. La même règle s'applique aux produits portables.

Nous avons parlé de notre travail avec l'électromyographie, ou EMGDepuis des années, nous sommes convaincus que la saisie pour les lunettes de réalité augmentée doit être rapide, pratique, fiable, subtile et socialement acceptable. Aujourd'hui, ce travail est prêt pour le prime time.

Le système d'entrée et d'interaction d'Orion combine de manière transparente la voix, le regard et le suivi de la main avec un bracelet EMG qui vous permet de glisser, de cliquer et de faire défiler facilement.

Cela fonctionne et donne l'impression d'être magique. Imaginez que vous preniez une photo pendant votre jogging matinal d'un simple effleurement du bout des doigts ou que vous naviguiez dans les menus avec des mouvements à peine perceptibles de vos mains. Notre bracelet associe un textile haute performance à des capteurs EMG intégrés pour détecter les signaux électriques générés par les moindres mouvements musculaires. Un processeur ML intégré à l'appareil interprète ensuite ces signaux EMG pour produire des événements d'entrée qui sont transmis sans fil aux lunettes. Le système s'adapte à vous, de sorte qu'il devient de plus en plus capable de reconnaître les gestes les plus subtils au fil du temps. Aujourd'hui, nous vous en disons plus sur le soutien que nous apportons à la recherche externe dans les domaines suivants développer le potentiel d'équité et d'accessibilité des bracelets EMG.

Présentation de l'unité de calcul sans fil (Wireless Compute Puck)

Les véritables lunettes de réalité augmentée doivent être sans fil et de petite taille.Nous avons donc construit un Palette de calcul sans fil pour Orion. Il décharge les lunettes d'une partie de la charge, ce qui permet d'augmenter l'autonomie de la batterie et d'obtenir un meilleur facteur de forme avec une faible latence.

Les lunettes exécutent tous les algorithmes de suivi des mains, de suivi des yeux, de SLAM et de verrouillage du monde AR spécialisé, tandis que la logique de l'application s'exécute sur le puck pour que les lunettes soient aussi légères et compactes que possible.

La rondelle est dotée de deux processeurs, dont un conçu sur mesure par Meta, et fournit la puissance de calcul nécessaire au rendu graphique à faible latence, à l'intelligence artificielle et à certaines autres perceptions de la machine.

Et comme il est petit et élégant, vous pouvez le glisser confortablement dans un sac ou dans votre poche et vaquer à vos occupations, sans aucune contrainte.

Expériences de RA

Bien entendu, comme pour tout matériel, sa qualité dépend de ce que vous pouvez en faire. faire avec elle. Et bien qu'il soit encore tôt, les expériences offertes par Orion sont un aperçu excitant de ce qui est à venir.

https://youtube.com/watch?v=HkdSv3QPhNw%3F%26controls%3D0%3Fautoplay%3D0%26color%3Dwhite%26cc_lang_pref%3Den%26cc_load_policy%3D0%26enablejsapi%3D1%26frameborder%3D0%26hl%3Den%26rel%3D0%26origin%3Dhttps%253A%252F%252Fwww.meta.com

Nous avons notre assistant intelligent, Meta AIqui fonctionne sur Orion. Il comprend ce que vous regardez dans le monde physique et peut vous aider avec des visualisations utiles. Orion utilise le même modèle Llama qui alimente les expériences d'intelligence artificielle fonctionnant aujourd'hui sur les lunettes intelligentes Ray-Ban Meta, ainsi que des modèles de recherche personnalisés pour démontrer les cas d'utilisation potentiels pour le développement futur des wearables.

Vous pouvez passer un appel vidéo mains libres en déplacement pour prendre des nouvelles de vos amis et de votre famille en temps réel, et vous pouvez rester connecté sur WhatsApp et Messenger pour consulter et envoyer des messages. Plus besoin de sortir votre téléphone, de le déverrouiller, de trouver la bonne application et de faire savoir à votre ami que vous êtes en retard pour le dîner - vous pouvez le faire avec vos lunettes.

https://youtube.com/watch?v=el7lUVvu8Bo%3F%26controls%3D0%3Fautoplay%3D0%26color%3Dwhite%26cc_lang_pref%3Den%26cc_load_policy%3D0%26enablejsapi%3D1%26frameborder%3D0%26hl%3Den%26rel%3D0%26origin%3Dhttps%253A%252F%252Fwww.meta.com

Vous pouvez jouer à des jeux AR partagés avec votre famille à l'autre bout du pays ou avec votre ami de l'autre côté du canapé. Le grand écran d'Orion vous permet de faire du multitâche avec plusieurs fenêtres et d'accomplir des tâches sans avoir à transporter votre ordinateur portable.

Les expériences disponibles sur Orion aujourd'hui aideront à tracer la feuille de route de notre gamme de lunettes AR grand public à l'avenir. Nos équipes continueront d'itérer et de construire de nouvelles expériences sociales immersives, aux côtés de nos partenaires développeurs, et nous sommes impatients de partager la suite.

Un prototype de produit utile

Orion ne se retrouvera pas entre les mains des consommateurs, mais il ne faut pas s'y tromper : Il s'agit d'un pas un prototype de recherche. C'est le prototype de produit le plus abouti que nous ayons jamais développé, et il est vraiment représentatif de ce que l'on attend de nous. pourrait aux consommateurs. Plutôt que de nous précipiter sur les étagères, nous avons décidé de nous concentrer d'abord sur le développement interne, ce qui nous permet de continuer à construire rapidement et de repousser les limites de la technologie et de l'expérience.

Cela signifie que nous parviendrons plus rapidement à un produit de consommation encore meilleur.

Ce qui vient ensuite

Deux obstacles majeurs se sont longtemps dressés sur la route des lunettes de réalité augmentée grand public : les percées technologiques nécessaires pour offrir un grand écran dans un format de lunettes compact et la nécessité de proposer des expériences de réalité augmentée utiles et convaincantes sur ces lunettes. Orion est une étape importante, car il offre pour la première fois de véritables expériences de réalité augmentée fonctionnant sur un matériel raisonnablement élégant.

Maintenant que nous avons partagé Orion avec le monde, nous nous concentrons sur quelques points :

• Réglage de la qualité de l'affichage AR pour rendre les images encore plus nettes
• Nous optimisons chaque fois que nous le pouvons le facteur de forme pour qu'il soit encore plus petit.
• Construire à l'échelle pour les rendre plus abordables

Au cours des prochaines années, vous pouvez vous attendre à voir apparaître de nouveaux appareils qui s'appuient sur nos efforts de recherche et de développement. Un certain nombre d'innovations d'Orion ont été étendues à nos produits de consommation actuels ainsi qu'à notre future feuille de route. Nous avons optimisé certains de nos algorithmes de perception spatiale, qui fonctionnent à la fois sur le Meta Quest 3S et Orion. Bien que le système de saisie gestuelle subtile et du regard ait été conçu à l'origine pour Orion, nous prévoyons de l'utiliser dans de futurs produits. Nous étudions également la possibilité d'utiliser des bracelets EMG dans de futurs produits de consommation.

Orion n'est pas seulement une fenêtre sur l'avenir, c'est un regard sur les possibilités très réelles qui sont à notre portée aujourd'hui. Nous l'avons construit en poursuivant ce que nous faisons le mieux : aider les gens à se connecter. Des lunettes Ray-Ban Meta à Orion, nous avons constaté les avantages qu'il y a à permettre aux gens de rester plus présents et plus autonomes dans le monde physique, tout en profitant de toute la richesse que le monde numérique a à offrir.

Nous pensons que vous ne devriez pas avoir à choisir entre les deux. Et avec la prochaine plateforme informatique, vous n'aurez pas à le faire.

---

Pour plus d'informations sur Orion, consultez ces articles de blog :

• Le palet de calcul d'Orion : L'histoire de l'appareil qui a rendu possible l'utilisation de nos lunettes AR
• De zéro à un : comment notre silicium et nos puces personnalisés révolutionnent la réalité augmentée
• Clair comme de l'eau de roche : nos guides d'ondes en carbure de silicium et la voie vers le grand champ de vision d'Orion