TL;DR:
- Vandaag bij Maak verbinding metonthulde Mark Zuckerberg Orion - onze eerste echte AR-bril, met de codenaam Project Nazare.
- Met een toonaangevend gezichtsveld, siliciumcarbide lenzenOrion is ons meest geavanceerde en meest gepolijste productprototype tot nu toe.
- Nu gaan we verder met productoptimalisaties en het verlagen van de kosten, terwijl we toewerken naar een schaalbaar consumentenapparaat dat een revolutie teweeg zal brengen in de manier waarop mensen met de wereld omgaan.
"We bouwen AR-brillen."
Vijf eenvoudige woorden, vijf jaar geleden gesproken. Met hen hebben we onze visie op een toekomst waarin we niet langer de valse keuze hoeven te maken tussen een wereld van informatie binnen handbereik en de fysieke wereld om ons heen, in de schijnwerpers gezet.
En nu, vijf jaar later, nog eens vijf woorden die het spel opnieuw zullen veranderen:
We hebben AR-brillen gebouwd.
https://youtube.com/watch?v=2CJsnyS8u3c%3Fsi%3DTr77gOKEq3PnA7-k%26controls%3D0%3Fautoplay%3D0%26color%3Dwhite%26cc_lang_pref%3Den%26cc_load_policy%3D0%26enablejsapi%3D1%26frameborder%3D0%26hl%3Den%26rel%3D0%26origin%3Dhttps%253A%252F%252Fwww.meta.com
Bij Meta is onze missie eenvoudig: mensen de kracht geven om een gemeenschap op te bouwen en de wereld dichter bij elkaar te brengen. En bij Reality Labs bouwen we tools waarmee mensen zich altijd en overal verbonden voelen. Daarom werken we aan het volgende computerplatform dat mensen centraal stelt, zodat ze meer aanwezig, verbonden en bevoegd zijn in de wereld.
Ray-Ban Meta bril hebben aangetoond hoe krachtig het is om mensen handsfree toegang te geven tot belangrijke delen van hun digitale leven vanuit hun fysieke leven. We kunnen praten met een slimme AI-assistent, contact leggen met vrienden en de momenten vastleggen die er toe doen - en dat alles zonder ooit een telefoon tevoorschijn te hoeven halen. Deze stijlvolle bril past naadloos in ons dagelijks leven en mensen zijn er helemaal weg van.
Maar terwijl Ray-Ban Meta een geheel nieuwe categorie van beeldschermloze brillen met AI opende, droomt de XR-industrie al lang van een echte AR-bril-een product dat de voordelen van een groot holografisch beeldscherm en gepersonaliseerde AI-hulp combineert in een comfortabele, stijlvolle, de hele dag draagbare vormfactor.
En vandaag hebben we die droom dichter bij de werkelijkheid gebracht met de onthulling van Orionwaarvan wij denken dat het de meest geavanceerde AR-bril is die ooit is gemaakt. Het is misschien wel het meest uitdagende apparaat voor consumentenelektronica sinds de smartphone. Orion is het resultaat van baanbrekende uitvindingen op vrijwel elk gebied van de moderne informatica - voortbouwend op de het werk dat we de afgelopen tien jaar bij Reality Labs hebben gedaan. Het zit boordevol geheel nieuwe technologieën, waaronder het meest geavanceerde AR-scherm ooit en siliconen op maat waarmee krachtige AR-ervaringen kunnen worden uitgevoerd op een bril met een fractie van de kracht en het gewicht van een MR-headset.
Het Orion-invoersysteem combineert stem-, oog- en handtracering naadloos met een EMG-polsband waarmee je kunt vegen, klikken en scrollen terwijl je arm comfortabel naast je zij blijft rusten, zodat je aanwezig kunt blijven in de wereld en bij de mensen om je heen terwijl je interactie hebt met rijke digitale content.
Vanaf vandaag tijdens Connect en het hele jaar door, geven we toegang tot ons Orion productprototype aan Meta-werknemers en een select, extern publiek, zodat ons ontwikkelingsteam kan leren, itereren en bouwen aan onze AR-brillen voor consumenten, die we in de nabije toekomst willen gaan leveren.
Waarom een AR-bril?
Er zijn drie belangrijke redenen waarom AR-brillen de sleutel zijn tot het ontsluiten van de volgende grote sprong in mensgericht computergebruik.
- Ze maken digitale ervaringen mogelijk die niet gebonden zijn aan de beperkingen van een smartphonescherm. Met grote holografische displays kun je de fysieke wereld als canvas gebruiken en 2D- en 3D-inhoud en -ervaringen plaatsen waar je maar wilt.
- Ze integreren naadloos contextuele AI die de wereld om je heen kan voelen en begrijpen om te anticiperen en proactief in te spelen op je behoeften.
- Ze zijn licht van gewicht en geweldig voor zowel binnen als buiten - en ze laten mensen elkaars echte gezicht, echte ogen en echte uitdrukkingen zien.
Dat is de noordelijke ster waar onze industrie naartoe heeft gewerkt: een product dat het gemak en de directheid van wearables combineert met een groot scherm, invoer met hoge bandbreedte en gecontextualiseerde AI in een vormfactor die mensen prettig vinden om in hun dagelijks leven te dragen.
Compacte vorm, complexe uitdagingen
Jarenlang hebben we voor een valse keuze gestaan: ofwel virtual en mixed reality headsets die diepe, meeslepende ervaringen mogelijk maken in een omvangrijke vormfactor, ofwel brillen die ideaal zijn om de hele dag te gebruiken maar geen rijke visuele apps en ervaringen bieden omdat een groot beeldscherm en bijbehorende rekenkracht ontbreken.
Maar we willen het allemaal, zonder compromissen. Jarenlang hebben we hard gewerkt om de ongelooflijke ruimtelijke ervaringen van VR- en MR-headsets te combineren met het miniaturiseren van de technologie die nodig is om deze ervaringen te leveren in een lichtgewicht, stijlvolle bril. Het vinden van de juiste vormfactor, het leveren van holografische displays, het ontwikkelen van meeslepende AR-ervaringen en het creëren van nieuwe paradigma's voor mens-computerinteractie (HCI) - en dat allemaal in één samenhangend product - is een van de moeilijkste uitdagingen waar onze branche ooit voor heeft gestaan. Het was zo'n uitdaging dat we dachten dat we minder dan 10 procent kans hadden om het tot een goed einde te brengen.
Tot nu.
Een baanbrekend beeldscherm in een ongeëvenaarde vormfactor
Met ongeveer 70 graden heeft Orion het grootste gezichtsveld in de kleinste AR-bril tot nu toe. Dat gezichtsveld ontsluit echt meeslepende gebruiksmogelijkheden voor Orion, van multitasking-vensters en entertainment op groot scherm tot levensgrote hologrammen van mensen - allemaal digitale content die naadloos overgaat in je kijk op de fysieke wereld.
Voor Orion was het gezichtsveld onze heilige graal. We botsten tegen de wetten van de fysica op en moesten lichtstralen buigen op manieren die ze van nature niet buigen - en we moesten dat doen met een vermogen gemeten in milliwatt.
In plaats van glas, we hebben de lenzen gemaakt van siliciumcarbideeen nieuwe toepassing voor AR-brillen. Siliciumcarbide is ongelooflijk licht, het resulteert niet in optische artefacten of strooilicht en het heeft een hoge brekingsindex - allemaal optische eigenschappen die essentieel zijn voor een groot gezichtsveld. De golfgeleiders zelf hebben echt ingewikkelde en complexe 3D-structuren op nanoschaal om licht te verspreiden op de manieren die nodig zijn om dit gezichtsveld te bereiken. En de projectoren zijn uLED's - een nieuw soort weergavetechnologie die superklein en extreem energiezuinig is.
Orion is onmiskenbaar een bril, zowel qua uiterlijk als qua gevoel, compleet met transparante glazen. In tegenstelling tot MR-headsets of andere AR-brillen kun je nog steeds elkaars echte ogen en uitdrukkingen zien, zodat je aanwezig kunt zijn en de ervaring kunt delen met de mensen om je heen. Er waren tientallen innovaties nodig om het industriële ontwerp terug te brengen tot een eigentijdse bril die je elke dag met gemak kunt dragen. Orion is een huzarenstukje op het gebied van miniaturisatie: de componenten zitten op een fractie van een millimeter. En we zijn erin geslaagd om zeven piepkleine camera's en sensoren in de montuurranden in te bouwen.
We moesten de optische precisie handhaven op een tiende van de dikte van een menselijke haar. En het systeem kan minuscule bewegingen detecteren, zoals het uitzetten of krimpen van de frames bij verschillende kamertemperaturen, en vervolgens digitaal corrigeren voor de noodzakelijke optische uitlijning, en dat alles binnen milliseconden. We hebben de frames gemaakt van magnesium - hetzelfde materiaal dat wordt gebruikt in F1 raceauto's en ruimtevaartuigen - omdat het licht en toch stijf is, zodat het de optische elementen uitgelijnd houdt en warmte efficiënt afvoert.
Verwarming en koeling
Toen we eenmaal het beeldscherm hadden gekraakt (geen woordspeling bedoeld) en de fysicaproblemen hadden overwonnen, moesten we de uitdaging aangaan van echt krachtige rekenkracht naast een echt laag energieverbruik en de noodzaak van warmteafvoer. In tegenstelling tot de MR-headsets van tegenwoordig kun je geen ventilator in een bril stoppen. Dus moesten we creatief zijn. Veel van de materialen die worden gebruikt om Orion te koelen lijken op de materialen die NASA gebruikt om satellieten in de ruimte te koelen.
We bouwden Zeer gespecialiseerde siliconen op maat die extreem energiezuinig is en geoptimaliseerd voor onze AI, machinewaarneming en grafische algoritmen. We hebben meerdere aangepaste chips gebouwd en tientallen zeer aangepaste silicium IP-blokken in die chips. Hierdoor kunnen we de algoritmen die nodig zijn voor het volgen van handen en ogen en voor gelijktijdige lokalisatie en mapping (SLAM) technologie die normaal honderden milliwatts aan stroom verbruikt - en dus een overeenkomstige hoeveelheid warmte genereert - terugbrengen tot slechts enkele tientallen milliwatts.
En ja, silicium op maat blijft een cruciale rol spelen in de productontwikkeling bij Reality Labs, ondanks wat u misschien elders hebt gelezen. 😎
Moeiteloze EMG
Elk nieuw computerplatform brengt het volgende met zich mee een paradigmaverschuiving in de manier waarop we met onze apparaten omgaan. De uitvinding van de muis maakte de weg vrij voor de grafische gebruikersinterfaces (GUI's) die onze wereld vandaag domineren, en smartphones begonnen pas echt aan te slaan met de komst van het aanraakscherm. En dezelfde regel geldt voor wearables.
We hebben gesproken over ons werk met elektromyografie of EMGal jaren, gedreven door onze overtuiging dat invoer voor AR-brillen snel, handig, betrouwbaar, subtiel en sociaal acceptabel moet zijn. En nu is dat werk klaar voor prime time.
Het invoer- en interactiesysteem van Orion combineert stem-, oog- en handtracking naadloos met een EMG-polsband waarmee je moeiteloos kunt vegen, klikken en scrollen.
Het werkt en voelt als magie. Stel je voor dat je 's ochtends tijdens het joggen een foto maakt met een simpele tik van je vingertoppen of dat je door menu's navigeert met nauwelijks waarneembare bewegingen van je handen. Onze polsband combineert een hoogwaardig textiel met ingebouwde EMG-sensoren om de elektrische signalen te detecteren die worden gegenereerd door zelfs de kleinste spierbewegingen. Een on-device ML-processor interpreteert deze EMG-signalen om invoergebeurtenissen te produceren die draadloos naar de bril worden verzonden. Het systeem past zich aan jou aan, dus het wordt na verloop van tijd steeds beter in het herkennen van de meest subtiele gebaren. En vandaag delen we meer over onze steun aan extern onderzoek gericht op uitbreiding van de mogelijkheden voor gelijkheid en toegankelijkheid van EMG-polsbandjes.
Maak kennis met de Wireless Compute Puck
Echte AR-brillen moeten draadloos zijn en ze moeten ook klein zijn.Dus bouwden we een draadloze rekenmodule voor Orion. Het ontlast de bril enigszins, waardoor de batterij langer meegaat en de vormfactor beter is, compleet met lage latentie.
Op de bril worden alle algoritmes voor het volgen van handen, ogen, SLAM en gespecialiseerde AR-wereldafbeeldingen uitgevoerd, terwijl de app-logica op de puck draait om de bril zo licht en compact mogelijk te houden.
De puck heeft twee processors, waaronder een die speciaal hier bij Meta is ontworpen, en hij levert de rekenkracht die nodig is voor grafische rendering met lage latentie, AI en wat extra machinewaarneming.
En omdat hij klein en gestroomlijnd is, kun je de puck gemakkelijk in je tas of zak stoppen en gewoon doorgaan met je werk - zonder verplichtingen.
AR Ervaringen
Natuurlijk, zoals met elk stukje hardware, is het alleen zo goed als de dingen die je kunt doen ermee. En hoewel het nog vroeg is, zijn de ervaringen die Orion biedt een opwindende glimp van wat komen gaat.
https://youtube.com/watch?v=HkdSv3QPhNw%3F%26controls%3D0%3Fautoplay%3D0%26color%3Dwhite%26cc_lang_pref%3Den%26cc_load_policy%3D0%26enablejsapi%3D1%26frameborder%3D0%26hl%3Den%26rel%3D0%26origin%3Dhttps%253A%252F%252Fwww.meta.com
We hebben onze slimme assistent, Meta AIdraait op Orion. Het begrijpt waar je naar kijkt in de fysieke wereld en kan je helpen met nuttige visualisaties. Orion maakt gebruik van hetzelfde Llama-model dat de huidige AI-ervaringen op de Ray-Ban Meta smart glasses aandrijft, plus aangepaste onderzoeksmodellen om potentiële gebruikscases voor toekomstige wearables te demonstreren.
Je kunt onderweg een handsfree videogesprek voeren om in realtime bij te praten met vrienden en familie, en je kunt verbonden blijven met WhatsApp en Messenger om berichten te bekijken en te versturen. Je hoeft je telefoon niet tevoorschijn te halen, hem te ontgrendelen, de juiste app te vinden en je vriend te laten weten dat je te laat bent voor het eten - je kunt het allemaal via je bril doen.
https://youtube.com/watch?v=el7lUVvu8Bo%3F%26controls%3D0%3Fautoplay%3D0%26color%3Dwhite%26cc_lang_pref%3Den%26cc_load_policy%3D0%26enablejsapi%3D1%26frameborder%3D0%26hl%3Den%26rel%3D0%26origin%3Dhttps%253A%252F%252Fwww.meta.com
Je kunt gedeelde AR-games spelen met familie aan de andere kant van het land of met je vriend aan de andere kant van de bank. En met het grote scherm van Orion kun je multitasken met meerdere vensters om dingen gedaan te krijgen zonder je laptop mee te hoeven slepen.
De ervaringen die vandaag beschikbaar zijn op Orion zullen helpen bij het uitstippelen van de roadmap voor onze AR-brillenlijn voor consumenten in de toekomst. Onze teams blijven itereren en nieuwe meeslepende sociale ervaringen bouwen, samen met onze ontwikkelaarspartners, en we kunnen niet wachten om te delen wat er daarna komt.
Een doelgericht productprototype
Hoewel Orion niet bij de consument terecht zal komen, vergis je je niet: Dit is niet een onderzoeksprototype. Het is het meest gepolijste productprototype dat we ooit hebben ontwikkeld en het is echt representatief voor iets dat zou naar de consument te brengen. In plaats van ons te haasten om het in de schappen te leggen, hebben we besloten om ons eerst te richten op interne ontwikkeling, waardoor we snel kunnen blijven bouwen en de grenzen van de technologie en ervaringen kunnen blijven verleggen.
En dat betekent dat we sneller tot een nog beter consumentenproduct zullen komen.
Wat komt hierna
Twee grote obstakels hebben lang in de weg gestaan van mainstream AR-brillen voor consumenten: de technologische doorbraken die nodig zijn om een groot scherm te leveren in een compacte brilvormfactor en de noodzaak van nuttige en boeiende AR-ervaringen die op die bril kunnen draaien. Orion is een enorme mijlpaal en levert voor het eerst echte AR-ervaringen op redelijk stijlvolle hardware.
Nu we Orion met de wereld hebben gedeeld, concentreren we ons op een paar dingen:
- De AR-weergavekwaliteit afstemmen om de beelden nog scherper te maken
- Optimaliseren waar we kunnen om de vormfactor nog kleiner te maken
- Op schaal bouwen om ze betaalbaarder te maken
In de komende jaren kunt u van ons nieuwe apparaten verwachten die voortbouwen op onze R&D-inspanningen. En een aantal innovaties van Orion zijn uitgebreid naar onze huidige consumentenproducten en onze toekomstige product roadmap. We hebben een aantal van onze ruimtelijke waarnemingsalgoritmen geoptimaliseerd, die draaien op zowel Meta Quest 3S en Orion. Hoewel het systeem voor oogbesturing en subtiele gebareninvoer oorspronkelijk is ontworpen voor Orion, zijn we van plan om het in toekomstige producten te gebruiken. En we onderzoeken ook het gebruik van EMG-polsbandjes in toekomstige consumentenproducten.
Orion is niet alleen een venster op de toekomst, het is een blik op de reële mogelijkheden die vandaag binnen handbereik liggen. We hebben het gebouwd in ons streven naar wat we het beste kunnen: mensen helpen om met elkaar in contact te komen. Van Ray-Ban Meta brillen tot Orion, we hebben gezien hoe goed het kan zijn om mensen meer aanwezig en bevoegd te laten zijn in de fysieke wereld, zelfs terwijl ze gebruik maken van alle extra rijkdom die de digitale wereld te bieden heeft.
Wij vinden dat je niet zou moeten hoeven kiezen tussen die twee. En met het volgende computerplatform hoeft dat ook niet.
Bekijk voor meer informatie over Orion deze blogposts:
NL 
EN 
BG 
CS 
ET 
EL 
HR 
HU 
LT 
LV 
FR 
PL 
PT 
RO 
SL 
SK