Welkom terug bij een nieuwe aflevering van Boz naar de toekomst, een podcast van Reality Labs. In aflevering van vandaagOnze gastheer, Meta CTO en hoofd van Reality Labs Andrew "Boz" Bosworth, wordt bijgestaan door Meta's VP van Wearables Alex Himel.
Himel's team werkt aan enkele van de moeilijkste technische problemen in de industrie, allemaal in dienst van het helpen bouwen van het volgende computerplatform. Net als Bosworth is hij een ervaren leider bij Meta, die in zijn meer dan 15 jaar bij het bedrijf verschillende leidinggevende functies heeft bekleed.
Bosworth en Himel behandelen een scala aan onderwerpen, waaronder wearables, augmented reality en hoe AI het soort ervaringen versnelt en verbetert dat is ingebed in Ray-Ban Meta bril en toekomstige producten.
Ze gaan diep op Orion en de positieve ontvangst sinds Mark Zuckerberg het aankondigde op Maak verbinding met. Net zoals Steve Jobs de Alto herkende als een keerpunt in de computerwereld, beweerde Bosworth dat, hoewel we het misschien niet eens zijn over de details, het moeilijk is om tegen te spreken dat dit de toekomst is. Himel en Bosworth praten verder over de enorme waarde van prototypen en bouwen, en zeggen hoeveel meer ze hebben geleerd over Orion en zijn invoerparadigma's in de drie weken dat ze het gebruiken vergeleken met de jaren die ze hebben besteed aan het bouwen ervan.
Ze spraken ook over de cruciale rol van AI in wearables en hoe het steeds nuttiger wordt in het dagelijks leven - vooral nu je Meta AI vragen kunt stellen over dingen die je ziet en het kunt gebruiken om visuele herinneringen in te stellen.
Himel vertelt ook over zijn diepgaande ervaring in een ander soort stapel: sandwiches. Met zeven jaar ervaring in het werken in de beroemde Lange's Little Store in Chappaqua, NY, waar hij opgroeide, gaan Himel en Bosworth in op wat een geweldige sandwich maakt, waar tomaten echt thuishoren en welk brood superieur is.
Je kunt afstemmen op Boz naar de toekomst op Apple podcasts, Spotifyen waar je ook naar podcasts luistert.
Terug in 2019, de Orion team een belangrijke demonstratie voor Meta Oprichter & CEO Mark Zuckerberg, waarin potentiële golfgeleiders voor augmented reality-bril-Een cruciaal moment waarop theoretische berekeningen op papier tot leven werden gebracht. En het was een demo die alles veranderde.
"Als je de bril met glazen golfgeleiders en meerdere platen droeg, voelde het alsof je in een disco was", herinnert optisch wetenschapper Pasqual Rivera zich. "Er waren overal regenbogen en het was zo afleidend dat je niet eens naar de AR-inhoud keek. Toen zette je de bril op met siliciumcarbide golfgeleiders, en het was alsof je bij de symfonie was en naar een rustig, klassiek stuk luisterde. Je kon echt aandacht besteden aan de volledige ervaring van wat we aan het bouwen waren. Het was een totale game changer.
Maar hoe duidelijk (bedoeld als woordspeling) de keuze voor siliciumcarbide als substraat vandaag ook lijkt, toen we voor het eerst de weg naar AR-brillen een decennium geledenHet was allesbehalve.
"Siliciumcarbide is normaal gesproken zwaar stikstofgedoteerd," zegt Rivera. "Het is groen en als het dik genoeg wordt, ziet het er zwart uit. Je kunt er op geen enkele manier een optische lens van maken. Het is een elektronisch materiaal. Er is een reden waarom het die kleur heeft en dat komt door de elektronische eigenschappen."
"Siliciumcarbide bestaat al heel lang als materiaal", beaamt Giuseppe Calafiore, Tech Lead bij AR Waveguides. "De belangrijkste toepassing is elektronica met een hoog vermogen. Neem elektrische voertuigen: Alle EV's hebben een chip nodig, maar die chip moet ook in staat zijn om zeer hoog vermogen te leveren, de wielen te bewegen en het ding aan te drijven. Het blijkt dat je dat niet kunt doen met het gewone siliciumsubstraat, dat de chips maakt die we in onze computers en elektronica gebruiken. Je hebt een platform nodig waarmee je hoge stromen en een hoog vermogen kunt verwerken, en dat materiaal is siliciumcarbide."
Totdat vrij recentelijk de discussies rond hernieuwbare energiebronnen oplaaiden, was de markt voor deze chipsets met hoog vermogen lang niet zo groot als de markt voor chips voor consumentenelektronica. Siliciumcarbide is altijd duur geweest en er was niet veel stimulans om de kosten omlaag te brengen omdat, voor de grootte van de chip die je voor een auto maakt, de prijs van het substraat acceptabel was.
"Maar het blijkt dat siliciumcarbide ook een aantal eigenschappen heeft die we nodig hebben voor golfgeleiders en optica," zegt Calafiore. "De brekingsindex is de belangrijkste eigenschap waar we om geven. En siliciumcarbide heeft een hoge brekingsindex, wat betekent dat het een grote hoeveelheid optische gegevens kan kan kanaliseren en uitvoeren. Je kunt het zien als optische bandbreedte - net zoals je bandbreedte hebt voor het internet, en je wilt dat die groot genoeg is zodat je enorme hoeveelheden gegevens door dat kanaal kunt sturen. Hetzelfde geldt voor optische apparaten."
Hoe hoger de brekingsindex van een materiaal, hoe hoger de étenduezodat je meer optische gegevens via dat kanaal kunt verzenden.
"Het kanaal is in ons geval onze golfgeleider en een grotere étendue betekent een groter gezichtsveld," legt Calafiore uit. "Hoe groter de brekingsindex van een materiaal, hoe groter het gezichtsveld dat het scherm kan ondersteunen."
De weg naar de juiste brekingsindex
Toen Calafiore in 2016 bij het toenmalige Oculus Research kwam, had het team de beschikking over glas met de hoogste brekingsindex van 1,8, waardoor meerdere platen op elkaar gestapeld moesten worden om het gewenste gezichtsveld te krijgen. Afgezien van ongewenste optische artefacten werd de assemblagelijn steeds gecompliceerder omdat de eerste twee golfgeleiders perfect uitgelijnd moesten worden en die stapel vervolgens perfect uitgelijnd moest worden met een derde golfgeleider.
"Het was niet alleen duur, het was ook meteen duidelijk dat je geen drie stukken glas per lens in een bril kon hebben," herinnert Calafiore zich. "Ze waren te zwaar en de dikte was onbetaalbaar groot en lelijk - niemand zou het kopen. Dus gingen we terug naar af: proberen de brekingsindex van het substraat te verhogen om het aantal benodigde platen te verminderen."
Het eerste materiaal dat het team onderzocht was lithiumniobaatmet een brekingsindex van ruwweg 2,3, wat een stuk hoger is dan de brekingsindex van glas (1,8).
"We realiseerden ons dat we maar twee platen hoefden te stapelen en misschien zelfs met één plaat konden volstaan om toch het gezichtsveld te bedekken," zegt Calafiore. "Zo kwamen we er samen met onze leveranciers in 2019 achter dat siliciumcarbide in zijn puurste vorm eigenlijk heel transparant is. Toevallig heeft het ook de hoogste brekingsindex die bekend is voor een optische toepassing, namelijk 2,7."
Dat is een toename van 17,4% ten opzichte van lithiumniobaat en een toename van 50% ten opzichte van glas, voor wie thuis de score bijhoudt.
"Met een paar aanpassingen aan dezelfde apparatuur die al in de industrie werd gebruikt, was het mogelijk om transparant siliciumcarbide te maken," zegt Calafiore. "Je kon gewoon het proces veranderen, veel voorzichtiger zijn en in plaats van te optimaliseren voor elektronische eigenschappen, optimaliseer je voor optische eigenschappen: transparantie, uniformiteit van de brekingsindex, enzovoort."
De potentiële kosten van een compromis
Het team van Reality Labs was destijds de eerste die zelfs maar probeerde om van ondoorzichtige siliciumcarbide wafers transparante wafers te maken. En omdat siliciumcarbide een van de hardste materialen is die bekend zijn, is er diamantgereedschap nodig om het te snijden of te polijsten. Hierdoor waren de eenmalige engineeringkosten erg hoog en was het resulterende substraat behoorlijk duur.
Hoewel er kosteneffectievere alternatieven bestaan, heeft elke technologie zijn nadelen. En als het gezichtsveld toeneemt in de richting van Orions toonaangevende gezichtsveld van ongeveer 70 graden, ontstaan er nieuwe problemen zoals spookbeelden en regenbogen.
"Het vinden van de optimale oplossing voor een AR-scherm met breed gezichtsveld is beladen met afwegingen tussen prestaties en kosten," legt Barry Silverstein, directeur van Research Science, uit. "De kosten kunnen vaak omlaag worden gebracht, maar als de prestaties het niet halen, zullen de kosten er uiteindelijk niet toe doen."
Spookbeelden zijn visuele echo's van het primaire beeld dat op het scherm wordt geprojecteerd. Regenbogen zijn kleurrijke lichtstrepen die ontstaan wanneer omgevingslicht weerkaatst op de golfgeleider. "Stel dat je 's nachts rijdt met bewegende autolichten om je heen," zegt Silverstein. "Dan krijg je regenbogen die ook bewegen. Of als je op het strand aan het volleyballen bent en de zon schijnt, krijg je een regenboogstreep die met je meebeweegt en dan mis je je schot. En een van de wonderbaarlijke eigenschappen van siliciumcarbide is dat het die regenbogen wegwerkt."
"Het andere voordeel van siliciumcarbide dat geen van de andere materialen heeft, is de thermische geleidbaarheid," voegt Calafiore toe. "Plastic is een vreselijke isolator. Glas, lithiumniobaat, hetzelfde. Siliciumcarbide is transparant, ziet eruit als glas en raad eens: het geleidt warmte."
In juli 2020 stelde het team vast dat siliciumcarbide om drie belangrijke redenen de optimale keuze was: Het leidde tot een verbeterde vormfactor omdat er maar één plaat en kleinere montagestructuren nodig waren, het had betere optische eigenschappen en het was lichter dan glas met twee platen.
Het geheim van schuine etsen
Met het materiaal in gedachten was de volgende noot die gekraakt moest worden de fabricage van de golfgeleiders - en specifiek een onconventionele roostertechniek genaamd slant etch.
"Het rooster is de nanostructuur die het licht van de lens in- en uitkoppelt," legt Calafiore uit. "En om siliciumcarbide te laten werken, moet het rooster schuin geëtst zijn. In plaats van verticaal wil je dat de lijnen van het rooster diagonaal schuin lopen."
"Wij waren de eersten die schuine etsen direct op de apparaten uitvoerden," zegt onderzoeksmanager Nihar Mohanty. "De hele industrie vertrouwde op nano-imprint, wat niet werkt voor substraten met zo'n hoge brekingsindex. Daarom had niemand anders ter wereld eraan gedacht om siliciumcarbide te doen."
Maar omdat schuine etsen een onvolwassen technologie is, ontbreekt het de meeste leveranciers en fabrieken van halfgeleiderchips aan de benodigde gereedschappen.
"In 2019 richtten mijn toenmalige manager, Matt Colburn, en ik onze eigen faciliteit op omdat er niets ter wereld was dat geëtste siliciumcarbide golfgeleiders kon produceren en waar we de technologie verder konden testen dan op laboratoriumschaal", legt Mohanty uit. "Het was een enorme investering en we hebben de hele pijplijn daar opgezet. Het gereedschap werd op maat gemaakt door onze partners en het proces werd intern ontwikkeld in Meta, hoewel onze systemen van onderzoekskwaliteit zijn omdat er geen systemen van productiekwaliteit beschikbaar waren. We werkten samen met een productiepartner om productiegereedschap en -processen voor schuine etsen te ontwikkelen. En nu we hebben laten zien wat er mogelijk is met siliciumcarbide, willen we dat anderen in de industrie hun eigen gereedschappen gaan maken."
Hoe meer bedrijven investeren in siliciumcarbide van optische kwaliteit en apparatuur ontwikkelen, hoe sterker de categorie AR-brillen voor consumenten zal worden.
Niet langer regenbogen najagen
Terwijl technologische onvermijdelijkheid is een mytheDe sterren lijken in het voordeel van siliciumcarbide te staan. En hoewel het team doorgaat met het onderzoeken van alternatieven, is er een sterk gevoel dat de juiste mensen op het juiste moment onder de juiste marktomstandigheden bij elkaar zijn gekomen om AR-brillen te bouwen met dit materiaal.
"Orion heeft bewezen dat siliciumcarbide een haalbare optie is voor AR-brillen," zegt Silverstein, "en we zien nu interesse in de hele toeleveringsketen op drie verschillende continenten waar dit een grote kans is. Siliciumcarbide zal als winnaar uit de bus komen. Volgens mij is het gewoon een kwestie van tijd."
En in die tijd kan er veel gebeuren - net zoals de manier waarop de rollen zijn omgedraaid sinds we onze eerste heldere siliciumcarbidekristallen lieten groeien.
"Al deze siliciumcarbidefabrikanten hebben het aanbod enorm opgedreven als reactie op de verwachte explosie van elektrische voertuigen," merkt Calafiore op. "Op dit moment is er een overcapaciteit die er niet was toen we Orion bouwden. Dus nu, omdat het aanbod hoog is en de vraag laag, beginnen de kosten van het substraat te dalen."
"Leveranciers zijn erg enthousiast over de nieuwe mogelijkheid om siliciumcarbide van optische kwaliteit te produceren - elke golfgeleiderlens vertegenwoordigt immers een grote hoeveelheid materiaal in verhouding tot een elektronische chip, en al hun bestaande capaciteiten zijn van toepassing op deze nieuwe ruimte," voegt Silverstein toe. "Je fabriek vullen is essentieel, en je fabriek opschalen is de droom. De grootte van de wafer is ook belangrijk: Hoe groter de wafer, hoe lager de kosten, maar de complexiteit van het proces neemt ook toe. Dat gezegd hebbende, hebben we leveranciers zien overstappen van wafers van vier inch naar wafers van acht inch, en sommige werken aan voorlopers voor wafers van 12 inch, die exponentieel meer AR-brillen zouden opleveren."
Deze vooruitgang moet helpen om de kosten te blijven drukken. Het is nog vroeg, maar de toekomst komt in zicht.
"Aan het begin van elke nieuwe technologische revolutie probeer je een heleboel dingen," zegt Calafiore. "Kijk naar televisie: We begonnen met kathodestraalbuizen, en toen gingen we naar de LED-plasmatelevisies en nu microLED's. We hebben verschillende technologieën en architecturen doorlopen. Als je een pad zoekt, komen veel paden nergens uit, maar er zijn er een paar waar je naar terug blijft keren als de meest veelbelovende. We zijn nog niet aan het einde van de weg en we kunnen het niet alleen, maar siliciumcarbide is een wondermateriaal dat de investering meer dan waard is."
"De wereld is nu wakker," voegt Silverstein toe. "We hebben met succes aangetoond dat siliciumcarbide kan buigen in elektronica en fotonica. Het is een materiaal dat toekomstige toepassingen kan hebben in quantumcomputing. En we zien tekenen dat het mogelijk is om de kosten aanzienlijk te verlagen. Er is nog veel werk te doen, maar het potentieel is enorm."
Met een toonaangevend gezichtsveld, siliciumcarbide lenzenOrion is ons meest geavanceerde en meest gepolijste productprototype tot nu toe.
Nu gaan we verder met productoptimalisaties en het verlagen van de kosten, terwijl we toewerken naar een schaalbaar consumentenapparaat dat een revolutie teweeg zal brengen in de manier waarop mensen met de wereld omgaan.
"We bouwen AR-brillen."
Vijf eenvoudige woorden, vijf jaar geleden gesproken. Met hen hebben we onze visie op een toekomst waarin we niet langer de valse keuze hoeven te maken tussen een wereld van informatie binnen handbereik en de fysieke wereld om ons heen, in de schijnwerpers gezet.
En nu, vijf jaar later, nog eens vijf woorden die het spel opnieuw zullen veranderen:
Bij Meta is onze missie eenvoudig: mensen de kracht geven om een gemeenschap op te bouwen en de wereld dichter bij elkaar te brengen. En bij Reality Labs bouwen we tools waarmee mensen zich altijd en overal verbonden voelen. Daarom werken we aan het volgende computerplatform dat mensen centraal stelt, zodat ze meer aanwezig, verbonden en bevoegd zijn in de wereld.
Ray-Ban Meta bril hebben aangetoond hoe krachtig het is om mensen handsfree toegang te geven tot belangrijke delen van hun digitale leven vanuit hun fysieke leven. We kunnen praten met een slimme AI-assistent, contact leggen met vrienden en de momenten vastleggen die er toe doen - en dat alles zonder ooit een telefoon tevoorschijn te hoeven halen. Deze stijlvolle bril past naadloos in ons dagelijks leven en mensen zijn er helemaal weg van.
Maar terwijl Ray-Ban Meta een geheel nieuwe categorie van beeldschermloze brillen met AI opende, droomt de XR-industrie al lang van een echte AR-bril-een product dat de voordelen van een groot holografisch beeldscherm en gepersonaliseerde AI-hulp combineert in een comfortabele, stijlvolle, de hele dag draagbare vormfactor.
En vandaag hebben we die droom dichter bij de werkelijkheid gebracht met de onthulling van Orionwaarvan wij denken dat het de meest geavanceerde AR-bril is die ooit is gemaakt. Het is misschien wel het meest uitdagende apparaat voor consumentenelektronica sinds de smartphone. Orion is het resultaat van baanbrekende uitvindingen op vrijwel elk gebied van de moderne informatica - voortbouwend op de het werk dat we de afgelopen tien jaar bij Reality Labs hebben gedaan. Het zit boordevol geheel nieuwe technologieën, waaronder het meest geavanceerde AR-scherm ooit en siliconen op maat waarmee krachtige AR-ervaringen kunnen worden uitgevoerd op een bril met een fractie van de kracht en het gewicht van een MR-headset.
Het Orion-invoersysteem combineert stem-, oog- en handtracering naadloos met een EMG-polsband waarmee je kunt vegen, klikken en scrollen terwijl je arm comfortabel naast je zij blijft rusten, zodat je aanwezig kunt blijven in de wereld en bij de mensen om je heen terwijl je interactie hebt met rijke digitale content.
Vanaf vandaag tijdens Connect en het hele jaar door, geven we toegang tot ons Orion productprototype aan Meta-werknemers en een select, extern publiek, zodat ons ontwikkelingsteam kan leren, itereren en bouwen aan onze AR-brillen voor consumenten, die we in de nabije toekomst willen gaan leveren.
Waarom een AR-bril?
Er zijn drie belangrijke redenen waarom AR-brillen de sleutel zijn tot het ontsluiten van de volgende grote sprong in mensgericht computergebruik.
Ze maken digitale ervaringen mogelijk die niet gebonden zijn aan de beperkingen van een smartphonescherm. Met grote holografische displays kun je de fysieke wereld als canvas gebruiken en 2D- en 3D-inhoud en -ervaringen plaatsen waar je maar wilt.
Ze integreren naadloos contextuele AI die de wereld om je heen kan voelen en begrijpen om te anticiperen en proactief in te spelen op je behoeften.
Ze zijn licht van gewicht en geweldig voor zowel binnen als buiten - en ze laten mensen elkaars echte gezicht, echte ogen en echte uitdrukkingen zien.
Dat is de noordelijke ster waar onze industrie naartoe heeft gewerkt: een product dat het gemak en de directheid van wearables combineert met een groot scherm, invoer met hoge bandbreedte en gecontextualiseerde AI in een vormfactor die mensen prettig vinden om in hun dagelijks leven te dragen.
Compacte vorm, complexe uitdagingen
Jarenlang hebben we voor een valse keuze gestaan: ofwel virtual en mixed reality headsets die diepe, meeslepende ervaringen mogelijk maken in een omvangrijke vormfactor, ofwel brillen die ideaal zijn om de hele dag te gebruiken maar geen rijke visuele apps en ervaringen bieden omdat een groot beeldscherm en bijbehorende rekenkracht ontbreken.
Maar we willen het allemaal, zonder compromissen. Jarenlang hebben we hard gewerkt om de ongelooflijke ruimtelijke ervaringen van VR- en MR-headsets te combineren met het miniaturiseren van de technologie die nodig is om deze ervaringen te leveren in een lichtgewicht, stijlvolle bril. Het vinden van de juiste vormfactor, het leveren van holografische displays, het ontwikkelen van meeslepende AR-ervaringen en het creëren van nieuwe paradigma's voor mens-computerinteractie (HCI) - en dat allemaal in één samenhangend product - is een van de moeilijkste uitdagingen waar onze branche ooit voor heeft gestaan. Het was zo'n uitdaging dat we dachten dat we minder dan 10 procent kans hadden om het tot een goed einde te brengen.
Tot nu.
Een baanbrekend beeldscherm in een ongeëvenaarde vormfactor
Met ongeveer 70 graden heeft Orion het grootste gezichtsveld in de kleinste AR-bril tot nu toe. Dat gezichtsveld ontsluit echt meeslepende gebruiksmogelijkheden voor Orion, van multitasking-vensters en entertainment op groot scherm tot levensgrote hologrammen van mensen - allemaal digitale content die naadloos overgaat in je kijk op de fysieke wereld.
Voor Orion was het gezichtsveld onze heilige graal. We botsten tegen de wetten van de fysica op en moesten lichtstralen buigen op manieren die ze van nature niet buigen - en we moesten dat doen met een vermogen gemeten in milliwatt.
In plaats van glas, we hebben de lenzen gemaakt van siliciumcarbideeen nieuwe toepassing voor AR-brillen. Siliciumcarbide is ongelooflijk licht, het resulteert niet in optische artefacten of strooilicht en het heeft een hoge brekingsindex - allemaal optische eigenschappen die essentieel zijn voor een groot gezichtsveld. De golfgeleiders zelf hebben echt ingewikkelde en complexe 3D-structuren op nanoschaal om licht te verspreiden op de manieren die nodig zijn om dit gezichtsveld te bereiken. En de projectoren zijn uLED's - een nieuw soort weergavetechnologie die superklein en extreem energiezuinig is.
Orion is onmiskenbaar een bril, zowel qua uiterlijk als qua gevoel, compleet met transparante glazen. In tegenstelling tot MR-headsets of andere AR-brillen kun je nog steeds elkaars echte ogen en uitdrukkingen zien, zodat je aanwezig kunt zijn en de ervaring kunt delen met de mensen om je heen. Er waren tientallen innovaties nodig om het industriële ontwerp terug te brengen tot een eigentijdse bril die je elke dag met gemak kunt dragen. Orion is een huzarenstukje op het gebied van miniaturisatie: de componenten zitten op een fractie van een millimeter. En we zijn erin geslaagd om zeven piepkleine camera's en sensoren in de montuurranden in te bouwen.
We moesten de optische precisie handhaven op een tiende van de dikte van een menselijke haar. En het systeem kan minuscule bewegingen detecteren, zoals het uitzetten of krimpen van de frames bij verschillende kamertemperaturen, en vervolgens digitaal corrigeren voor de noodzakelijke optische uitlijning, en dat alles binnen milliseconden. We hebben de frames gemaakt van magnesium - hetzelfde materiaal dat wordt gebruikt in F1 raceauto's en ruimtevaartuigen - omdat het licht en toch stijf is, zodat het de optische elementen uitgelijnd houdt en warmte efficiënt afvoert.
Verwarming en koeling
Toen we eenmaal het beeldscherm hadden gekraakt (geen woordspeling bedoeld) en de fysicaproblemen hadden overwonnen, moesten we de uitdaging aangaan van echt krachtige rekenkracht naast een echt laag energieverbruik en de noodzaak van warmteafvoer. In tegenstelling tot de MR-headsets van tegenwoordig kun je geen ventilator in een bril stoppen. Dus moesten we creatief zijn. Veel van de materialen die worden gebruikt om Orion te koelen lijken op de materialen die NASA gebruikt om satellieten in de ruimte te koelen.
We bouwden Zeer gespecialiseerde siliconen op maat die extreem energiezuinig is en geoptimaliseerd voor onze AI, machinewaarneming en grafische algoritmen. We hebben meerdere aangepaste chips gebouwd en tientallen zeer aangepaste silicium IP-blokken in die chips. Hierdoor kunnen we de algoritmen die nodig zijn voor het volgen van handen en ogen en voor gelijktijdige lokalisatie en mapping (SLAM) technologie die normaal honderden milliwatts aan stroom verbruikt - en dus een overeenkomstige hoeveelheid warmte genereert - terugbrengen tot slechts enkele tientallen milliwatts.
En ja, silicium op maat blijft een cruciale rol spelen in de productontwikkeling bij Reality Labs, ondanks wat u misschien elders hebt gelezen. 😎
Moeiteloze EMG
Elk nieuw computerplatform brengt het volgende met zich mee een paradigmaverschuiving in de manier waarop we met onze apparaten omgaan. De uitvinding van de muis maakte de weg vrij voor de grafische gebruikersinterfaces (GUI's) die onze wereld vandaag domineren, en smartphones begonnen pas echt aan te slaan met de komst van het aanraakscherm. En dezelfde regel geldt voor wearables.
We hebben gesproken over ons werk met elektromyografie of EMGal jaren, gedreven door onze overtuiging dat invoer voor AR-brillen snel, handig, betrouwbaar, subtiel en sociaal acceptabel moet zijn. En nu is dat werk klaar voor prime time.
Het invoer- en interactiesysteem van Orion combineert stem-, oog- en handtracking naadloos met een EMG-polsband waarmee je moeiteloos kunt vegen, klikken en scrollen.
Het werkt en voelt als magie. Stel je voor dat je 's ochtends tijdens het joggen een foto maakt met een simpele tik van je vingertoppen of dat je door menu's navigeert met nauwelijks waarneembare bewegingen van je handen. Onze polsband combineert een hoogwaardig textiel met ingebouwde EMG-sensoren om de elektrische signalen te detecteren die worden gegenereerd door zelfs de kleinste spierbewegingen. Een on-device ML-processor interpreteert deze EMG-signalen om invoergebeurtenissen te produceren die draadloos naar de bril worden verzonden. Het systeem past zich aan jou aan, dus het wordt na verloop van tijd steeds beter in het herkennen van de meest subtiele gebaren. En vandaag delen we meer over onze steun aan extern onderzoek gericht op uitbreiding van de mogelijkheden voor gelijkheid en toegankelijkheid van EMG-polsbandjes.
Maak kennis met de Wireless Compute Puck
Echte AR-brillen moeten draadloos zijn en ze moeten ook klein zijn.Dus bouwden we een draadloze rekenmodule voor Orion. Het ontlast de bril enigszins, waardoor de batterij langer meegaat en de vormfactor beter is, compleet met lage latentie.
Op de bril worden alle algoritmes voor het volgen van handen, ogen, SLAM en gespecialiseerde AR-wereldafbeeldingen uitgevoerd, terwijl de app-logica op de puck draait om de bril zo licht en compact mogelijk te houden.
De puck heeft twee processors, waaronder een die speciaal hier bij Meta is ontworpen, en hij levert de rekenkracht die nodig is voor grafische rendering met lage latentie, AI en wat extra machinewaarneming.
En omdat hij klein en gestroomlijnd is, kun je de puck gemakkelijk in je tas of zak stoppen en gewoon doorgaan met je werk - zonder verplichtingen.
AR Ervaringen
Natuurlijk, zoals met elk stukje hardware, is het alleen zo goed als de dingen die je kunt doen ermee. En hoewel het nog vroeg is, zijn de ervaringen die Orion biedt een opwindende glimp van wat komen gaat.
We hebben onze slimme assistent, Meta AIdraait op Orion. Het begrijpt waar je naar kijkt in de fysieke wereld en kan je helpen met nuttige visualisaties. Orion maakt gebruik van hetzelfde Llama-model dat de huidige AI-ervaringen op de Ray-Ban Meta smart glasses aandrijft, plus aangepaste onderzoeksmodellen om potentiële gebruikscases voor toekomstige wearables te demonstreren.
Je kunt onderweg een handsfree videogesprek voeren om in realtime bij te praten met vrienden en familie, en je kunt verbonden blijven met WhatsApp en Messenger om berichten te bekijken en te versturen. Je hoeft je telefoon niet tevoorschijn te halen, hem te ontgrendelen, de juiste app te vinden en je vriend te laten weten dat je te laat bent voor het eten - je kunt het allemaal via je bril doen.
Je kunt gedeelde AR-games spelen met familie aan de andere kant van het land of met je vriend aan de andere kant van de bank. En met het grote scherm van Orion kun je multitasken met meerdere vensters om dingen gedaan te krijgen zonder je laptop mee te hoeven slepen.
De ervaringen die vandaag beschikbaar zijn op Orion zullen helpen bij het uitstippelen van de roadmap voor onze AR-brillenlijn voor consumenten in de toekomst. Onze teams blijven itereren en nieuwe meeslepende sociale ervaringen bouwen, samen met onze ontwikkelaarspartners, en we kunnen niet wachten om te delen wat er daarna komt.
Een doelgericht productprototype
Hoewel Orion niet bij de consument terecht zal komen, vergis je je niet: Dit is niet een onderzoeksprototype. Het is het meest gepolijste productprototype dat we ooit hebben ontwikkeld en het is echt representatief voor iets dat zou naar de consument te brengen. In plaats van ons te haasten om het in de schappen te leggen, hebben we besloten om ons eerst te richten op interne ontwikkeling, waardoor we snel kunnen blijven bouwen en de grenzen van de technologie en ervaringen kunnen blijven verleggen.
En dat betekent dat we sneller tot een nog beter consumentenproduct zullen komen.
Wat komt hierna
Twee grote obstakels hebben lang in de weg gestaan van mainstream AR-brillen voor consumenten: de technologische doorbraken die nodig zijn om een groot scherm te leveren in een compacte brilvormfactor en de noodzaak van nuttige en boeiende AR-ervaringen die op die bril kunnen draaien. Orion is een enorme mijlpaal en levert voor het eerst echte AR-ervaringen op redelijk stijlvolle hardware.
Nu we Orion met de wereld hebben gedeeld, concentreren we ons op een paar dingen:
De AR-weergavekwaliteit afstemmen om de beelden nog scherper te maken
Optimaliseren waar we kunnen om de vormfactor nog kleiner te maken
Op schaal bouwen om ze betaalbaarder te maken
In de komende jaren kunt u van ons nieuwe apparaten verwachten die voortbouwen op onze R&D-inspanningen. En een aantal innovaties van Orion zijn uitgebreid naar onze huidige consumentenproducten en onze toekomstige product roadmap. We hebben een aantal van onze ruimtelijke waarnemingsalgoritmen geoptimaliseerd, die draaien op zowel Meta Quest 3S en Orion. Hoewel het systeem voor oogbesturing en subtiele gebareninvoer oorspronkelijk is ontworpen voor Orion, zijn we van plan om het in toekomstige producten te gebruiken. En we onderzoeken ook het gebruik van EMG-polsbandjes in toekomstige consumentenproducten.
Orion is niet alleen een venster op de toekomst, het is een blik op de reële mogelijkheden die vandaag binnen handbereik liggen. We hebben het gebouwd in ons streven naar wat we het beste kunnen: mensen helpen om met elkaar in contact te komen. Van Ray-Ban Meta brillen tot Orion, we hebben gezien hoe goed het kan zijn om mensen meer aanwezig en bevoegd te laten zijn in de fysieke wereld, zelfs terwijl ze gebruik maken van alle extra rijkdom die de digitale wereld te bieden heeft.
Wij vinden dat je niet zou moeten hoeven kiezen tussen die twee. En met het volgende computerplatform hoeft dat ook niet.
Bekijk voor meer informatie over Orion deze blogposts:
Vorig jaar onthulden we tijdens Connect Oriononze eerste echte AR-bril. Het hoogtepunt van ons werk bij Reality Labs in de afgelopen tien jaarOrion combineert de voordelen van een groot holografisch beeldscherm en gepersonaliseerde AI-hulp in een comfortabele, de hele dag door draagbare vorm. Het kreeg wat aandacht voor zijn toonaangevende gezichtsveld, siliciumcarbide golfgeleiders, uLED projectoren en meer. Maar vandaag richten we onze aandacht op een onbezongen held van Orion: de compute puck.
De puck is ontworpen om gemakkelijk in je zak of tas te passen, zodat je hem overal mee naar toe kunt nemen. Hij ontlast de verwerkingskracht van Orion om applicatielogica uit te voeren en maakt een aantrekkelijkere, kleinere vormfactor voor de bril mogelijk. De puck maakt draadloos verbinding met de bril en de EMG-polsband voor een naadloze ervaring.
Instellen en vergeten, toch?
Maar de achtergrond van de puck - zelfs als prototype - is betrokken, met een dramatisch verloop dat je niet zou vermoeden op basis van zijn uiterlijk.
"Als je zoiets bouwt, kom je op de grenzen van de fysica", legt directeur productmanagement Rahul Prasad uit. "De afgelopen 50 jaar heeft de Wet van Moore alles kleiner, sneller en energiezuiniger gemaakt. Het probleem is dat je nu tegen grenzen aanloopt van hoeveel warmte je kunt afvoeren, hoeveel batterij je kunt comprimeren en hoeveel antenneprestaties je in een object van een bepaald formaat kunt stoppen."
Achteraf gezien is het misschien 20/20, maar het potentieel van de puck was niet meteen duidelijk. Als je de eerste bent die iets bouwt, moet je alle mogelijkheden onderzoeken en geen middel onbeproefd laten. Hoe bouw je iets dat sommigen eerder als een ongewenst accessoire beschouwen dan als een essentieel onderdeel van het pakket?
"We wisten dat de puck een extra apparaat was waarvan we vroegen dat mensen hem bij zich zouden dragen," merkt product design engineering manager Jared Van Cleave op, "dus onderzochten we hoe we van de bug een functie konden maken."
Uiteindelijk heeft dat ethos zijn vruchten afgeworpen, want de puck perst veel rekenkracht (en nog meer door Meta ontworpen silicium op maat voor AI en machinewaarneming) in een klein formaat. Dit hielp Orion om van sciencefiction naar realiteit te gaan.
"Als je de puck niet zou hebben, zou je niet de ervaringen kunnen hebben die Orion in zijn vormfactor biedt - punt," zegt Prasad. "Een goede AR-ervaring vereist echt hoge prestaties: hoge framerates, extreem lage latentie, fijnmazig draadloos en energiebeheer, enz. De puck en de bril moeten samen worden ontworpen om heel nauw samen te werken, niet alleen op de app-laag, maar ook op de besturingssysteem-, firmware- en hardwarelaag. En zelfs als je een smartphone zou ontwerpen om samen te werken met een AR-bril, zouden de veeleisende prestatie-eisen de batterij van de telefoon uitputten en rekencapaciteit wegzuigen uit de gebruikssituaties van de telefoon. Aan de andere kant heeft de puck zijn eigen batterij met hoge capaciteit, een SoC met hoge prestaties en een speciaal door Meta ontworpen AI co-processor die geoptimaliseerd is voor Orion."
Natuurlijk is de puck niet van de ene op de andere dag ontworpen. Er waren jaren van iteratief werk voor nodig.
"We wisten niet hoe mensen met Orion zouden willen omgaan vanuit een invoerperspectief, er was niets dat we in de markt konden gebruiken", zegt productmanager Matt Resman. "Als je kijkt naar onze eerste brilprototypes, dat waren van die enorme headsets die drie of vier kilo wogen. En als je een product probeert te maken, is het heel moeilijk om de gebruikerservaring te begrijpen als je niet de juiste vormfactor hebt. Met de puck konden we heel snel prototypes maken om te begrijpen hoe mensen het zouden gebruiken."
De puck, die in de begindagen de codenaam Omega kreeg, werd in eerste instantie door het toenmalige Oculus Research bedacht als een Ω-vormige band die om de nek van de gebruiker zou gaan en zou worden vastgemaakt aan de bril...
... totdat ze door enkele nieuwe innovaties van onder andere het draadloze team van Reality Labs het snoer konden doorknippen. Dat maakte een meer handzame of zakbare / in-tas vormfactor mogelijk, wat veel mogelijkheden opende.
"Op dat moment was augmented reality bellen nog steeds een primaire use case", legt Van Cleave uit. "De puck was de plek waar de holografische video's werden verankerd. Je legde de puck op tafel met de sensorbank naar je toe, maakte een beeld van je en projecteerde vervolgens met wie je sprak op het oppervlak van de puck voor het gesprek."
"Orion gaat over mensen verbinden en ons samenbrengen," zegt Resman. "Een van de eerste concepten voor de puck was om te helpen dit gevoel van aanwezigheid bij andere mensen te creëren en deze rijkere vorm van communicatie mogelijk te maken."
"Het is anders dan alles wat je ooit hebt gezien - het apparaat heeft het potentieel om echt leuke en unieke interacties te creëren," voegt industrieel ontwerper Emron Henry toe. "De gebruikerservaring voelt een beetje als het ontketenen van een geest uit een fles, waarbij hologrammen naadloos tevoorschijn komen en weer oplossen in het apparaat."
Zoals je nu waarschijnlijk wel kunt zien, zit er meer potentieel in de puck dan wat er uiteindelijk als functie is toegevoegd. Naast de sensoren en camera's die zouden zijn gebruikt voor AR-oproepen, heeft de puck haptische en 6DOF-sensoren waarmee hij zou kunnen worden gebruikt als een tracked controller om virtuele objecten te selecteren en manipuleren en AR-games te spelen. Het team heeft ook capacitieve en geforceerde aanraakinvoer onderzocht, zodat de puck als gamepad kan dienen wanneer hij zowel in staande als liggende modus wordt vastgehouden.
"We spraken over de noodzaak om dit extra ding mee te nemen," zegt Van Cleave. "Hoe maken we het nuttiger? Er was een hele workstream omheen. En op een gegeven moment was de hypothese dat AR gaming deze killer use case zou worden."
Al vroeg wisten we dat we de mogelijkheden moesten onderzoeken om de puck dingen te laten doen die telefoons niet kunnen. Uiteindelijk zijn we uitgekomen bij het gebruik van oogbesturing, EMG en handbesturing voor AR-games, zoals Stargazer en Pong, maar in de begindagen van Orion hebben we verschillende demo's en games gemaakt die de puck als controller gebruikten.
0:00 / 0:00
0:00 / 0:00
0:00 / 0:00
Weergegeven verkenningen van de puck als 6DOF-controller voor AR-spellen zoals Pong.
"Omdat het geen telefoon is, hebben we veel ontwerpvrijheid", voegt Prasad toe. "Hij kan dikker zijn, ik kan hem ronder maken zodat hij goed in je hand ligt als controller. Het is ongelooflijk dat de puck eigenlijk kleiner is dan de gemiddelde telefoon, maar hij is krachtiger dan een telefoon omdat hij een door Meta ontworpen co-processor heeft voor AI en machinewaarneming."
Het team onderzocht hoe een AR-game van hoge kwaliteit zou kunnen verschillen van een MR- of consolegame. Dat betekende dat er verschillende mogelijkheden voor een AR-gamecontroller werden onderzocht, waaronder joysticks, fysieke knopindelingen, triggerknoppen en meer.
"We hebben uiteindelijk niets van dat spul gebouwd," merkt Van Cleave op. "We hebben er een prototype van gemaakt, maar we hebben het nooit volledig gebouwd. We wilden het simpel houden. We wilden deze zachte interfaces maken, maar geen fysieke, mechanische knoppen."
En hoewel de sensoren en haptics niet werden ingeschakeld in het prototype van het eindproduct, dienden ze een integrale functie tijdens de ontwikkeling, waarbij teams bugs konden rapporteren door simpelweg een paar keer op de bovenkant van het apparaat te tikken om een bugrapport te genereren.
Toen AI steeds meer in het middelpunt van de belangstelling kwam te staan als een van de belangrijkste gebruiksmogelijkheden, kwam computergebruik steeds meer in beeld. Uiteindelijk herbergt de puck de draadloze connectiviteit, rekenkracht en batterijcapaciteit van Orion - een enorme technische prestatie op zich - wat allemaal helpt om het gewicht en de vormfactor van de bril te verminderen en tegelijkertijd veel meer warmte af te voeren dankzij het oppervlak.
Tijdens de evolutie is één ding hetzelfde gebleven: er zit meer achter de puck dan je op het eerste gezicht zou denken. Door onconventionele ideeën te omarmen, konden onze teams onderzoeken, grenzen verleggen en bouwen aan de toekomst.
"We definiëren een categorie die nog niet helemaal bestaat," merkt Henry op. "Zoals je kunt verwachten bij R&D, waren er onderweg stops en starts. Hoe willen gebruikers omgaan met hologrammen? Willen ze liever een AR-afstandsbediening gebruiken of is hand-tracking, oogopslag en EMG voldoende voor input? Wat voelt intuïtief, wrijvingsarm, vertrouwd en nuttig?"
"In plaats van de puck te zien als gewoon een steen, vroegen we ons af wat we nog meer konden bieden om hem verder te onderscheiden van telefoons en te rechtvaardigen waarom je hem bij je zou willen dragen," erkent Resman. "Bieden de ruwe rekenkracht en het praktische ontwerp - dat hielp om een bril te vinden die je de hele dag kunt dragen - uiteindelijk genoeg waarde? Het is onze taak om deze vragen te helpen beantwoorden."
"In het begin hebben we ons gericht op wat wij kunnen doen dat een telefoon niet kan doen," voegt Van Cleave toe. "Telefoons moeten een scherm hebben, ze moeten een bepaalde fysieke knoppenindeling hebben die gebruikers verwachten. Wij hebben die beperkingen niet. Onze compute puck kan zijn wat we maar willen."
Bekijk voor meer informatie over Orion deze blogposts:
Met een toonaangevend gezichtsveld, siliciumcarbide lenzenOrion is ons meest geavanceerde en meest gepolijste productprototype tot nu toe.
Nu gaan we verder met productoptimalisaties en het verlagen van de kosten, terwijl we toewerken naar een schaalbaar consumentenapparaat dat een revolutie teweeg zal brengen in de manier waarop mensen met de wereld omgaan.
"We bouwen AR-brillen."
Vijf eenvoudige woorden, vijf jaar geleden gesproken. Met hen hebben we onze visie op een toekomst waarin we niet langer de valse keuze hoeven te maken tussen een wereld van informatie binnen handbereik en de fysieke wereld om ons heen, in de schijnwerpers gezet.
En nu, vijf jaar later, nog eens vijf woorden die het spel opnieuw zullen veranderen:
Bij Meta is onze missie eenvoudig: mensen de kracht geven om een gemeenschap op te bouwen en de wereld dichter bij elkaar te brengen. En bij Reality Labs bouwen we tools waarmee mensen zich altijd en overal verbonden voelen. Daarom werken we aan het volgende computerplatform dat mensen centraal stelt, zodat ze meer aanwezig, verbonden en bevoegd zijn in de wereld.
Ray-Ban Meta bril hebben aangetoond hoe krachtig het is om mensen handsfree toegang te geven tot belangrijke delen van hun digitale leven vanuit hun fysieke leven. We kunnen praten met een slimme AI-assistent, contact leggen met vrienden en de momenten vastleggen die er toe doen - en dat alles zonder ooit een telefoon tevoorschijn te hoeven halen. Deze stijlvolle bril past naadloos in ons dagelijks leven en mensen zijn er helemaal weg van.
Maar terwijl Ray-Ban Meta een geheel nieuwe categorie van beeldschermloze brillen met AI opende, droomt de XR-industrie al lang van een echte AR-bril-een product dat de voordelen van een groot holografisch beeldscherm en gepersonaliseerde AI-hulp combineert in een comfortabele, stijlvolle, de hele dag draagbare vormfactor.
En vandaag hebben we die droom dichter bij de werkelijkheid gebracht met de onthulling van Orionwaarvan wij denken dat het de meest geavanceerde AR-bril is die ooit is gemaakt. Het is misschien wel het meest uitdagende apparaat voor consumentenelektronica sinds de smartphone. Orion is het resultaat van baanbrekende uitvindingen op vrijwel elk gebied van de moderne informatica - voortbouwend op de het werk dat we de afgelopen tien jaar bij Reality Labs hebben gedaan. Het zit boordevol geheel nieuwe technologieën, waaronder het meest geavanceerde AR-scherm ooit en siliconen op maat waarmee krachtige AR-ervaringen kunnen worden uitgevoerd op een bril met een fractie van de kracht en het gewicht van een MR-headset.
Het Orion-invoersysteem combineert stem-, oog- en handtracering naadloos met een EMG-polsband waarmee je kunt vegen, klikken en scrollen terwijl je arm comfortabel naast je zij blijft rusten, zodat je aanwezig kunt blijven in de wereld en bij de mensen om je heen terwijl je interactie hebt met rijke digitale content.
Vanaf vandaag tijdens Connect en het hele jaar door, geven we toegang tot ons Orion productprototype aan Meta-werknemers en een select, extern publiek, zodat ons ontwikkelingsteam kan leren, itereren en bouwen aan onze AR-brillen voor consumenten, die we in de nabije toekomst willen gaan leveren.
Waarom een AR-bril?
Er zijn drie belangrijke redenen waarom AR-brillen de sleutel zijn tot het ontsluiten van de volgende grote sprong in mensgericht computergebruik.
Ze maken digitale ervaringen mogelijk die niet gebonden zijn aan de beperkingen van een smartphonescherm. Met grote holografische displays kun je de fysieke wereld als canvas gebruiken en 2D- en 3D-inhoud en -ervaringen plaatsen waar je maar wilt.
Ze integreren naadloos contextuele AI die de wereld om je heen kan voelen en begrijpen om te anticiperen en proactief in te spelen op je behoeften.
Ze zijn licht van gewicht en geweldig voor zowel binnen als buiten - en ze laten mensen elkaars echte gezicht, echte ogen en echte uitdrukkingen zien.
Dat is de noordelijke ster waar onze industrie naartoe heeft gewerkt: een product dat het gemak en de directheid van wearables combineert met een groot scherm, invoer met hoge bandbreedte en gecontextualiseerde AI in een vormfactor die mensen prettig vinden om in hun dagelijks leven te dragen.
Compacte vorm, complexe uitdagingen
Jarenlang hebben we voor een valse keuze gestaan: ofwel virtual en mixed reality headsets die diepe, meeslepende ervaringen mogelijk maken in een omvangrijke vormfactor, ofwel brillen die ideaal zijn om de hele dag te gebruiken maar geen rijke visuele apps en ervaringen bieden omdat een groot beeldscherm en bijbehorende rekenkracht ontbreken.
Maar we willen het allemaal, zonder compromissen. Jarenlang hebben we hard gewerkt om de ongelooflijke ruimtelijke ervaringen van VR- en MR-headsets te combineren met het miniaturiseren van de technologie die nodig is om deze ervaringen te leveren in een lichtgewicht, stijlvolle bril. Het vinden van de juiste vormfactor, het leveren van holografische displays, het ontwikkelen van meeslepende AR-ervaringen en het creëren van nieuwe paradigma's voor mens-computerinteractie (HCI) - en dat allemaal in één samenhangend product - is een van de moeilijkste uitdagingen waar onze branche ooit voor heeft gestaan. Het was zo'n uitdaging dat we dachten dat we minder dan 10 procent kans hadden om het tot een goed einde te brengen.
Tot nu.
Een baanbrekend beeldscherm in een ongeëvenaarde vormfactor
Met ongeveer 70 graden heeft Orion het grootste gezichtsveld in de kleinste AR-bril tot nu toe. Dat gezichtsveld ontsluit echt meeslepende gebruiksmogelijkheden voor Orion, van multitasking-vensters en entertainment op groot scherm tot levensgrote hologrammen van mensen - allemaal digitale content die naadloos overgaat in je kijk op de fysieke wereld.
Voor Orion was het gezichtsveld onze heilige graal. We botsten tegen de wetten van de fysica op en moesten lichtstralen buigen op manieren die ze van nature niet buigen - en we moesten dat doen met een vermogen gemeten in milliwatt.
In plaats van glas, we hebben de lenzen gemaakt van siliciumcarbideeen nieuwe toepassing voor AR-brillen. Siliciumcarbide is ongelooflijk licht, het resulteert niet in optische artefacten of strooilicht en het heeft een hoge brekingsindex - allemaal optische eigenschappen die essentieel zijn voor een groot gezichtsveld. De golfgeleiders zelf hebben echt ingewikkelde en complexe 3D-structuren op nanoschaal om licht te verspreiden op de manieren die nodig zijn om dit gezichtsveld te bereiken. En de projectoren zijn uLED's - een nieuw soort weergavetechnologie die superklein en extreem energiezuinig is.
Orion is onmiskenbaar een bril, zowel qua uiterlijk als qua gevoel, compleet met transparante glazen. In tegenstelling tot MR-headsets of andere AR-brillen kun je nog steeds elkaars echte ogen en uitdrukkingen zien, zodat je aanwezig kunt zijn en de ervaring kunt delen met de mensen om je heen. Er waren tientallen innovaties nodig om het industriële ontwerp terug te brengen tot een eigentijdse bril die je elke dag met gemak kunt dragen. Orion is een huzarenstukje op het gebied van miniaturisatie: de componenten zitten op een fractie van een millimeter. En we zijn erin geslaagd om zeven piepkleine camera's en sensoren in de montuurranden in te bouwen.
We moesten de optische precisie handhaven op een tiende van de dikte van een menselijke haar. En het systeem kan minuscule bewegingen detecteren, zoals het uitzetten of krimpen van de frames bij verschillende kamertemperaturen, en vervolgens digitaal corrigeren voor de noodzakelijke optische uitlijning, en dat alles binnen milliseconden. We hebben de frames gemaakt van magnesium - hetzelfde materiaal dat wordt gebruikt in F1 raceauto's en ruimtevaartuigen - omdat het licht en toch stijf is, zodat het de optische elementen uitgelijnd houdt en warmte efficiënt afvoert.
Verwarming en koeling
Toen we eenmaal het beeldscherm hadden gekraakt (geen woordspeling bedoeld) en de fysicaproblemen hadden overwonnen, moesten we de uitdaging aangaan van echt krachtige rekenkracht naast een echt laag energieverbruik en de noodzaak van warmteafvoer. In tegenstelling tot de MR-headsets van tegenwoordig kun je geen ventilator in een bril stoppen. Dus moesten we creatief zijn. Veel van de materialen die worden gebruikt om Orion te koelen lijken op de materialen die NASA gebruikt om satellieten in de ruimte te koelen.
We bouwden Zeer gespecialiseerde siliconen op maat die extreem energiezuinig is en geoptimaliseerd voor onze AI, machinewaarneming en grafische algoritmen. We hebben meerdere aangepaste chips gebouwd en tientallen zeer aangepaste silicium IP-blokken in die chips. Hierdoor kunnen we de algoritmen die nodig zijn voor het volgen van handen en ogen en voor gelijktijdige lokalisatie en mapping (SLAM) technologie die normaal honderden milliwatts aan stroom verbruikt - en dus een overeenkomstige hoeveelheid warmte genereert - terugbrengen tot slechts enkele tientallen milliwatts.
En ja, silicium op maat blijft een cruciale rol spelen in de productontwikkeling bij Reality Labs, ondanks wat u misschien elders hebt gelezen. 😎
Moeiteloze EMG
Elk nieuw computerplatform brengt het volgende met zich mee een paradigmaverschuiving in de manier waarop we met onze apparaten omgaan. De uitvinding van de muis maakte de weg vrij voor de grafische gebruikersinterfaces (GUI's) die onze wereld vandaag domineren, en smartphones begonnen pas echt aan te slaan met de komst van het aanraakscherm. En dezelfde regel geldt voor wearables.
We hebben gesproken over ons werk met elektromyografie of EMGal jaren, gedreven door onze overtuiging dat invoer voor AR-brillen snel, handig, betrouwbaar, subtiel en sociaal acceptabel moet zijn. En nu is dat werk klaar voor prime time.
Het invoer- en interactiesysteem van Orion combineert stem-, oog- en handtracking naadloos met een EMG-polsband waarmee je moeiteloos kunt vegen, klikken en scrollen.
Het werkt en voelt als magie. Stel je voor dat je 's ochtends tijdens het joggen een foto maakt met een simpele tik van je vingertoppen of dat je door menu's navigeert met nauwelijks waarneembare bewegingen van je handen. Onze polsband combineert een hoogwaardig textiel met ingebouwde EMG-sensoren om de elektrische signalen te detecteren die worden gegenereerd door zelfs de kleinste spierbewegingen. Een on-device ML-processor interpreteert deze EMG-signalen om invoergebeurtenissen te produceren die draadloos naar de bril worden verzonden. Het systeem past zich aan jou aan, dus het wordt na verloop van tijd steeds beter in het herkennen van de meest subtiele gebaren. En vandaag delen we meer over onze steun aan extern onderzoek gericht op uitbreiding van de mogelijkheden voor gelijkheid en toegankelijkheid van EMG-polsbandjes.
Maak kennis met de Wireless Compute Puck
Echte AR-brillen moeten draadloos zijn en ze moeten ook klein zijn.Dus bouwden we een draadloze rekenmodule voor Orion. Het ontlast de bril enigszins, waardoor de batterij langer meegaat en de vormfactor beter is, compleet met lage latentie.
Op de bril worden alle algoritmes voor het volgen van handen, ogen, SLAM en gespecialiseerde AR-wereldafbeeldingen uitgevoerd, terwijl de app-logica op de puck draait om de bril zo licht en compact mogelijk te houden.
De puck heeft twee processors, waaronder een die speciaal hier bij Meta is ontworpen, en hij levert de rekenkracht die nodig is voor grafische rendering met lage latentie, AI en wat extra machinewaarneming.
En omdat hij klein en gestroomlijnd is, kun je de puck gemakkelijk in je tas of zak stoppen en gewoon doorgaan met je werk - zonder verplichtingen.
AR Ervaringen
Natuurlijk, zoals met elk stukje hardware, is het alleen zo goed als de dingen die je kunt doen ermee. En hoewel het nog vroeg is, zijn de ervaringen die Orion biedt een opwindende glimp van wat komen gaat.
We hebben onze slimme assistent, Meta AIdraait op Orion. Het begrijpt waar je naar kijkt in de fysieke wereld en kan je helpen met nuttige visualisaties. Orion maakt gebruik van hetzelfde Llama-model dat de huidige AI-ervaringen op de Ray-Ban Meta smart glasses aandrijft, plus aangepaste onderzoeksmodellen om potentiële gebruikscases voor toekomstige wearables te demonstreren.
Je kunt onderweg een handsfree videogesprek voeren om in realtime bij te praten met vrienden en familie, en je kunt verbonden blijven met WhatsApp en Messenger om berichten te bekijken en te versturen. Je hoeft je telefoon niet tevoorschijn te halen, hem te ontgrendelen, de juiste app te vinden en je vriend te laten weten dat je te laat bent voor het eten - je kunt het allemaal via je bril doen.
Je kunt gedeelde AR-games spelen met familie aan de andere kant van het land of met je vriend aan de andere kant van de bank. En met het grote scherm van Orion kun je multitasken met meerdere vensters om dingen gedaan te krijgen zonder je laptop mee te hoeven slepen.
De ervaringen die vandaag beschikbaar zijn op Orion zullen helpen bij het uitstippelen van de roadmap voor onze AR-brillenlijn voor consumenten in de toekomst. Onze teams blijven itereren en nieuwe meeslepende sociale ervaringen bouwen, samen met onze ontwikkelaarspartners, en we kunnen niet wachten om te delen wat er daarna komt.
Een doelgericht productprototype
Hoewel Orion niet bij de consument terecht zal komen, vergis je je niet: Dit is niet een onderzoeksprototype. Het is het meest gepolijste productprototype dat we ooit hebben ontwikkeld en het is echt representatief voor iets dat zou naar de consument te brengen. In plaats van ons te haasten om het in de schappen te leggen, hebben we besloten om ons eerst te richten op interne ontwikkeling, waardoor we snel kunnen blijven bouwen en de grenzen van de technologie en ervaringen kunnen blijven verleggen.
En dat betekent dat we sneller tot een nog beter consumentenproduct zullen komen.
Wat komt hierna
Twee grote obstakels hebben lang in de weg gestaan van mainstream AR-brillen voor consumenten: de technologische doorbraken die nodig zijn om een groot scherm te leveren in een compacte brilvormfactor en de noodzaak van nuttige en boeiende AR-ervaringen die op die bril kunnen draaien. Orion is een enorme mijlpaal en levert voor het eerst echte AR-ervaringen op redelijk stijlvolle hardware.
Nu we Orion met de wereld hebben gedeeld, concentreren we ons op een paar dingen:
De AR-weergavekwaliteit afstemmen om de beelden nog scherper te maken
Optimaliseren waar we kunnen om de vormfactor nog kleiner te maken
Op schaal bouwen om ze betaalbaarder te maken
In de komende jaren kunt u van ons nieuwe apparaten verwachten die voortbouwen op onze R&D-inspanningen. En een aantal innovaties van Orion zijn uitgebreid naar onze huidige consumentenproducten en onze toekomstige product roadmap. We hebben een aantal van onze ruimtelijke waarnemingsalgoritmen geoptimaliseerd, die draaien op zowel Meta Quest 3S en Orion. Hoewel het systeem voor oogbesturing en subtiele gebareninvoer oorspronkelijk is ontworpen voor Orion, zijn we van plan om het in toekomstige producten te gebruiken. En we onderzoeken ook het gebruik van EMG-polsbandjes in toekomstige consumentenproducten.
Orion is niet alleen een venster op de toekomst, het is een blik op de reële mogelijkheden die vandaag binnen handbereik liggen. We hebben het gebouwd in ons streven naar wat we het beste kunnen: mensen helpen om met elkaar in contact te komen. Van Ray-Ban Meta brillen tot Orion, we hebben gezien hoe goed het kan zijn om mensen meer aanwezig en bevoegd te laten zijn in de fysieke wereld, zelfs terwijl ze gebruik maken van alle extra rijkdom die de digitale wereld te bieden heeft.
Wij vinden dat je niet zou moeten hoeven kiezen tussen die twee. En met het volgende computerplatform hoeft dat ook niet.
Bekijk voor meer informatie over Orion deze blogposts:
Vandaag belichten we nieuw onderzoek van Georgia Tech dat robots helpt om alledaagse basistaken uit te voeren met behulp van egocentrische opnames van dragers van Meta's Project Aria onderzoeksbril. Bekijk de video hieronder, lees het volledige verhaal of uw eigen Project Aria-onderzoekspakket aanvragen.
Stel je voor dat je hulp zou hebben bij alledaagse taken in huis, zoals de was doen, afwassen en reparaties uitvoeren. We gebruiken al hulpmiddelen om te helpen bij deze taken, zoals wasmachines, vaatwassers en elektrische boormachines. Maar wat als je een nog krachtiger en flexibeler hulpmiddel zou hebben in de vorm van een humanoïde robot die van jou zou kunnen leren en een aantal fysieke projecten op je takenlijst zou kunnen versnellen?
Zelfs als je het beschikbare hardwaresysteem zou hebben, kan het aanleren van alledaagse taken aan een robot alleen worden bereikt via een langzame en onhandige gegevensverzamelingsmethode die robot teleoperatie wordt genoemd. Tot nu. Door gebruik te maken van de Project Aria-onderzoekspakketProfessor Danfei Xu en de Laboratorium voor robotisch leren en redeneren op Georgia Tech gebruiken de egocentrische sensoren op de Aria-bril om wat zij noemen "menselijke gegevens" te creëren voor taken die ze een humanoïde robot willen laten nabootsen. Ze gebruiken menselijke gegevens om de hoeveelheid gegevens over robot-teleoperatie die nodig zijn om het beleid van een robot te trainen drastisch te verminderen - een doorbraak die er ooit voor zou kunnen zorgen dat humanoïde robots in staat zijn om elk aantal taken te leren die een mens zou kunnen uitvoeren.
Kareer bedient de robot op afstand om co-traininggegevens vast te leggen voor EgoMimic. Telebesturing kan moeilijk op te schalen zijn en vereist aanzienlijke menselijke inspanning.
"Traditioneel betekent het verzamelen van gegevens voor robotica het creëren van demonstratiegegevens", zegt Simar Kareer, een promovendus in Georgia Tech's School voor interactieve informatica. "Je bedient de gewrichten van de robot met een controller om hem te bewegen en de taak uit te voeren die je wilt, en je doet dit honderden keren terwijl je sensorgegevens registreert, waarna je je modellen traint. Dit is langzaam en moeilijk. De enige manier om die cyclus te doorbreken is om het verzamelen van gegevens los te koppelen van de robot zelf."
Vandaag de dag worden robotbeleidsmodellen getraind met grote hoeveelheden gerichte demonstratiegegevens die specifiek zijn voor elke smalle taak, tegen hoge kosten. Kareer veronderstelt dat passief verzamelde gegevens van veel onderzoekers, zoals de gegevens die worden vastgelegd door de Aria-bril, in plaats daarvan kunnen worden gebruikt om gegevens te creëren voor een veel bredere reeks taken om in de toekomst meer algemeen bruikbare robots te maken.
Geïnspireerd door Project Aria en Ego-Exo4D die een enorme egocentrische dataset van meer dan 3K uur aan video-opnamen van dagelijkse activiteiten bevat, ontwikkelde Kareer EgoMimicEen nieuw algoritmisch raamwerk dat gebruik maakt van menselijke gegevens en robotgegevens voor de ontwikkeling van humanoïde robots.
"Toen ik naar Ego4D keek, zag ik een dataset die hetzelfde is als alle grote robotdatasets die we proberen te verzamelen, maar dan met mensen", legt Kareer uit. "Je draagt gewoon een bril en je gaat dingen doen. Het hoeft niet van de robot te komen. Het moet komen van iets dat meer schaalbaar en passief gegenereerd is, en dat zijn wij." In Kareer's onderzoek werd de Aria-bril gebruikt om menselijke gegevens te creëren voor co-training van het EgoMimic framework.
Kareer creëert co-training menselijke gegevens door op te nemen met de Aria-bril terwijl ze een t-shirt vouwt.
De Aria-bril wordt niet alleen gebruikt voor het verzamelen van menselijke gegevens in het onderzoek van Georgia Tech. Ze worden ook gebruikt als integraal onderdeel van de realtime besturingsopstelling van de robot. De Aria-bril wordt op het humanoïde robotplatform gemonteerd als een paar ogen en dient als een geïntegreerd sensorpakket waarmee de robot zijn omgeving in realtime kan waarnemen. De Aria Client SDK wordt gebruikt om de sensorgegevens van Aria rechtstreeks te streamen naar het beleid van de robot, dat draait op een aangesloten pc, die op zijn beurt de robotbesturing regelt. Het gebruik van een Aria-bril voor zowel de gegevensverzameling als de realtime waarnemingspijplijn minimaliseert de domeinkloof tussen de menselijke demonstrant en de robot, waardoor de weg wordt vrijgemaakt voor het genereren van menselijke gegevens op schaal voor toekomstige robotica-taaktraining.
Een Aria-bril bovenop de robot voorziet het systeem van sensorgegevens waarmee de robot de ruimte kan waarnemen en ermee kan interageren.
Dankzij EgoMimic bereikte Kareer een toename van 400% in de prestaties van zijn robot bij verschillende taken in vergelijking met eerdere methoden met slechts 90 minuten aan Aria-opnames. De robot was ook in staat om deze taken met succes uit te voeren in voorheen ongeziene omgevingen.
In de toekomst zouden humanoïde robots op schaal kunnen worden getraind met egocentrische gegevens om verschillende taken op dezelfde manier uit te voeren als mensen.
"We zien Aria als een investering in de onderzoeksgemeenschap," zegt James Fort, een Reality Labs Research Product Manager bij Meta. "Hoe meer de egocentrische onderzoeksgemeenschap standaardiseert, hoe meer onderzoekers kunnen samenwerken. Het is echt door op deze manier met de gemeenschap samen te werken dat we kunnen beginnen met het oplossen van grotere problemen rond hoe dingen in de toekomst zullen werken."
Sinds de lancering in 2020, Project Aria heeft onderzoekers over de hele wereld in staat gesteld om de laatste stand van de techniek op het gebied van machinewaarneming en AI te verbeteren door toegang tot geavanceerde onderzoekshardware en open-source datasetsmodellen en gereedschappen. Vandaag kondigen we met trots de volgende stap in deze reis aan: de introductie van de Aria Gen 2-bril. Deze volgende generatie hardware zal nieuwe mogelijkheden ontsluiten voor een breed scala aan onderzoeksgebieden, waaronder machinewaarneming, egocentrische en contextuele AI en robotica.
0:00 / 0:00
Voor onderzoekers die willen onderzoeken hoe AI-systemen beter kunnen de wereld begrijpen vanuit een menselijk perspectiefDe Aria Gen 2-bril voegt een nieuwe reeks mogelijkheden toe aan het Aria-platform. De bril bevat een aantal verbeteringen die op geen enkel ander apparaat te vinden zijn en toegang tot deze baanbrekende technologieën stelt onderzoekers in staat om de grenzen van het mogelijke te verleggen.
Vergeleken met Aria Gen 1 biedt Aria Gen 2 onder andere de volgende unieke voordelen:
Geavanceerde sensorsuite: De verbeterde sensorsuite bevat een RGB-camera, 6DOF SLAM-camera's, eyetracking-camera's, ruimtelijke microfoons, IMU's, barometer, magnetometer en GNSS. Vergeleken met zijn voorganger, Aria Gen 1, introduceert de nieuwe generatie twee innovatieve sensoren in de neuskussentjes: een PPG-sensor voor het meten van de hartslag en een contactmicrofoon om de stem van de drager te onderscheiden van die van omstanders.
Ultra laag stroomverbruik en on-device machine perceptie: SLAM, eye tracking, hand tracking en spraakherkenning worden allemaal on-device verwerkt met behulp van Meta's aangepaste silicium.
De hele dag bruikbaar: De Aria Gen 2 bril kan zes tot acht uur ononderbroken gebruikt worden, weegt ongeveer 75 gram en heeft opvouwbare armen voor eenvoudige draagbaarheid.
Interactie via audio: Gebruikers krijgen audiofeedback via de beste open-ear force-canceling speakers, waardoor user-in-the-loop systeemprototypes mogelijk zijn.
Onze decennialange reis om het volgende computerplatform te creëren, heeft geleid tot de ontwikkeling van deze cruciale technologieën. Bij Meta zullen de teams van Reality Labs Research en het FAIR AI-lab ze gebruiken om onze langetermijnvisie op onderzoek vooruit te helpen.. Door ze via Project Aria beschikbaar te stellen aan academische en commerciële onderzoekslaboratoria, bevorderen we open onderzoek en algemeen begrip van een belangrijke set technologieën waarvan we denken dat ze de toekomst van computer- en AI-technologie zullen helpen vormgeven.
Het open onderzoek dat sinds 2020 mogelijk is gemaakt door Project Aria heeft al geleid tot belangrijk werk, waaronder de creatie van open-source tools die op grote schaal worden gebruikt in de academische wereld en het bedrijfsleven. De Ego-Exo4D datasetverzameld met de eerste generatie Aria-brillen, is een fundamenteel hulpmiddel geworden voor moderne computervisie en het groeiende gebied van de robotica. Onderzoekers van Georgia Tech hebben onlangs laten zien hoe de Aria Research Kit humanoïde robots leren mensen thuis te helpenterwijl teams bij BMW gebruikt om te onderzoeken hoe augmented en virtual reality systemen kunnen worden geïntegreerd in slimme voertuigen.
En Aria maakt ook de ontwikkeling van nieuwe technologieën voor toegankelijkheid mogelijk. De eerste generatie Aria-brillen werd gebruikt door Carnegie Mellon Universiteit in hun NavCog-projectdie tot doel had technologieën te ontwikkelen om blinden en slechtzienden te helpen bij navigatie binnenshuis. Voortbouwend op deze basis wordt de Aria Gen 2-bril nu gebruikt door Envision, een bedrijf dat zich toelegt op het creëren van oplossingen voor blinden en slechtzienden. Envision onderzoekt de integratie van zijn Bondgenoot AI-assistent en ruimtelijke audio met behulp van de nieuwste Aria Gen 2-bril om indoornavigatie en toegankelijkheidservaringen te verbeteren.
0:00 / 0:00
Envision gebruikte de on-device SLAM-mogelijkheden van Aria Gen 2, samen met ruimtelijke audiofuncties via ingebouwde luidsprekers, om blinden en slechtzienden te helpen naadloos door binnenomgevingen te navigeren. Dit innovatieve gebruik van de technologieën, dat zich nog in de verkennings- en onderzoeksfase bevindt, laat zien hoe onderzoekers Aria Gen 2-brillen kunnen gebruiken voor prototypes van AI-ervaringen op basis van egocentrische waarnemingen. De geavanceerde sensoren en on-device machineperceptiemogelijkheden, waaronder SLAM, eye tracking, hand tracking en audio-interacties, maken de bril ook ideaal voor gegevensverzameling voor onderzoeks- en robottoepassingen.
In de komende maanden zullen we meer details geven over het tijdstip waarop het apparaat beschikbaar komt voor partners. Onderzoekers die toegang willen krijgen tot Aria Gen 2 kunnen aanmelden om updates te ontvangen. We zijn benieuwd hoe onderzoekers Aria Gen 2 zullen gebruiken om de weg te bereiden voor toekomstige innovaties die het volgende computerplatform vorm zullen geven.
Ray-Ban is al tientallen jaren een iconische naam in de brillenmode. Maar in samenwerking met Meta (voorheen Facebook) hebben ze een product gelanceerd dat grenzen verlegt - de Ray-Ban Meta slimme bril. Deze fusie van klassiek design met moderne technologie biedt een unieke ervaring voor zowel modeliefhebbers als technologieliefhebbers.
Op het eerste gezicht: Klassiek met een twist
Op het eerste gezicht lijken het klassieke Ray-Bans - elegante zwarte monturen, eersteklas vakmanschap en een stijlvolle eco-leren hoes. Maar als je beter kijkt, zie je dat ze meer verbergen dan alleen stijl - ze zijn Bril met ingebouwde camera, microfoon, luidsprekers en smartphone-connectiviteit.
Wat kan Ray-Ban Meta doen?
Video en foto vastleggen: Met een discrete camera op het frame kun je de wereld vastleggen vanuit jouw gezichtspunt - handsfree.
Muziek en gesprekken: Met de ingebouwde richtingsgevoelige luidsprekers en microfoons kun je gesprekken aannemen of naar muziek luisteren zonder oordopjes.
Synchroniseren met de Meta View-app: Alles wat je opneemt wordt automatisch gesynchroniseerd naar de app, klaar om gedeeld te worden op je sociale netwerken.
Spraakbesturing: Dankzij de ondersteuning voor spraakassistent kun je je bril bedienen met eenvoudige stemcommando's - ideaal voor autorijden, sporten of onderweg.
Voor wie zijn ze?
Ray-Ban Meta brillen zijn perfect voor contentmakers, beïnvloeders, reizigersof iedereen die momenten wil vastleggen zonder zijn telefoon erbij te pakken. Ze zijn ook geweldig voor zakelijk gebruik - ideaal voor snelle documentatie, live streams of mobiele videogesprekken.
Eindoordeel: Slimme elegantie zonder compromissen
Als je op zoek bent naar een bril die klassieke mode combineert met toptechnologie, dan is Ray-Ban Meta de beste keuze. Ze zijn niet alleen een stijlvol accessoire - ze zijn slimme bril die opnieuw definiëren hoe we de wereld om ons heen zien en vastleggen.
Een belangrijke update voor Ray-Ban Meta bril eigenaars vandaag: De Meta View-app is nu de Meta AI-app op iOS en Android. Je AI-bril companion app krijgt niet alleen een nieuwe naam, maar ook een upgrade met nieuwe functies die je ervaring leuker, nuttiger en persoonlijker maken dan ooit tevoren. We zijn hier om je door de veranderingen te leiden. Maar wees gerust, de kernfuncties die je kent blijven hetzelfde.
Brillen zijn uitgegroeid tot de meest opwindende nieuwe hardwarecategorie van het AI-tijdperk met Ray-Ban Meta-brillen die de weg wijzen in het definiëren van wat mogelijk is. We zijn verheugd om dezelfde spraakervaringen die onze bril zo populair hebben gemaakt naar meer oppervlakken te brengen, zoals de Meta AI app.
Vriendelijk & Vertrouwd
Hoewel de Meta AI app een nieuwe naam en uiterlijk heeft, is het nog steeds de app voor de Ray-Ban Meta bril die je kent en waar je van houdt. De bestaande foto's en video's die je hebt gemaakt met je bril, apparaatinstellingen en functies die je kent van Meta View zijn nog steeds beschikbaar in de nieuwe app. We migreren ook automatisch je bestaande media- en apparaatinstellingen van Meta View naar de Meta AI-app, zodat je niets mist. En net als in onze laatste update kun je de Meta AI-app gebruiken om tot zeven brillen te koppelen en beheren.
Een alles-in-één metgezel-app
Nieuwe Ray-Ban Meta bril? De Meta AI app is je alles-in-één metgezel om je apparaat in te stellen en te beheren. Je kunt de foto's en video's die je met je AI-bril hebt gemaakt direct vanuit de app importeren, bekijken en delen. Je gebruikt de Meta AI-app ook om je instellingen te configureren, je software bij te werken en privacy-opties te beheren. Je kunt spraakopdrachten instellen vanuit de app, zodat je je bril handsfree kunt gebruiken, en zelfs je camera-instellingen aanpassen.
Door Meta AI en alles wat het te bieden heeft te integreren in de bijbehorende app, tillen we je Ray-Ban Meta-brilervaring naar een hoger niveau. Je kunt creatief aan de slag met de foto's van je bril direct in de Meta AI app-na het importeren van je foto's kun je Meta AI in de app vragen om delen van de afbeelding toe te voegen, te verwijderen of te veranderen.
Een nieuwe stad bekijken? Vraag Meta AI om je meer te vertellen over een lokale bezienswaardigheid. Je kunt opgeslagen herinneringen openen en beheren om je persoonlijke reacties van Meta AI op de app en je bril na verloop van tijd te verbeteren. Je kunt ook een gesprek starten met Meta AI op je Ray-Ban Meta-bril, en het vervolgens openen in je geschiedenis-tabblad van de app om verder te gaan waar je gebleven was.
Nieuwe en opvallende functies in de app
De Meta AI app is ontworpen om je te helpen inspiratie op te doen en het beste uit je bril te halen.
De nieuwe Diervoeders ontdekken kun je zien hoe andere mensen AI gebruiken om dingen gedaan te krijgen. Het is een geweldige manier om nieuwe ideeën te vinden. Hergebruik een slimme prompt of maak er je eigen remix van. En zoals altijd heb jij de controle: Je gesprekken met Meta AI zijn niet openbaar, tenzij je ervoor kiest om ze te delen met de feed.
Hoewel spreken met AI via je stem niet nieuw is, gebruiken we nu Lama 4 in de Meta AI-app om je antwoorden te geven die persoonlijker, relevanter en spraakzamer aanvoelen. De ervaring wordt geïntegreerd met andere functies zoals het genereren en bewerken van afbeeldingen, die nu allemaal kunnen worden gedaan via een spraak- of tekstgesprek met je AI-assistent in de app.
We hebben ook een demo toegevoegd van een spraakervaring die we aan het bouwen zijn met full-duplex spraaktechnologie, die je aan en uit kunt zetten om te testen in de Meta AI app. Deze functie heeft geen toegang tot realtime informatie, dus je kunt technische problemen of inconsistenties tegenkomen. We blijven feedback verzamelen om deze functie na verloop van tijd te verbeteren.
En om het gemakkelijker te maken om te multitasken, kun je de spraakfuncties van Meta AI ook blijven gebruiken terwijl je andere dingen op je telefoon doet, met een zichtbaar pictogram om je te laten weten wanneer de microfoon in gebruik is.
Gesproken gesprekken in de Meta AI-app, inclusief de demo met volledige duplex, zijn vanaf nu beschikbaar in de VS, Canada, Australië en Nieuw-Zeeland.* Voor meer informatie over hoe je je ervaring op de Meta AI-app kunt beheren en tussen modi kunt schakelen, bezoek je onze hulpcentrum.
Intelligentie voor jou
De Meta AI-app gebruikt Llama 4 om je te helpen problemen op te lossen, je dag makkelijker door te komen en de wereld om je heen beter te begrijpen. En met de mogelijkheid om op het hele web te zoeken, kan het je helpen aanbevelingen te krijgen, diep in een onderwerp te duiken en in contact te blijven met je vrienden en familie.
We gebruiken onze decennialange ervaring ervaringen van mensen personaliseren op onze platforms om Meta AI persoonlijker te maken. Je kunt Meta AI vertellen om specifieke details over jou te onthouden (zoals dat je graag reist en nieuwe talen leert), en het kan belangrijke details oppikken uit contextsignalen. Meta AI geeft ook relevantere antwoorden op je vragen door gebruik te maken van informatie die je al hebt gekozen om te delen op Facebook en Instagram (als ze zijn toegevoegd aan hetzelfde Accountscentrum), zoals profielgegevens en inhoud die je leuk vindt of waar je je mee bezighoudt. Gepersonaliseerde reacties zijn vanaf vandaag beschikbaar in de VS en Canada.
We zijn nog maar net begonnen
Dit is de eerste versie van de Meta AI app, en we zijn van plan om deze in de loop van de tijd te verbeteren. Meta AI is gemaakt om je te leren kennen, zodat de antwoorden behulpzamer zijn. Het is makkelijk om mee te praten, dus de interactie is naadlozer en natuurlijker. En het is meer verbonden, zodat het dingen kan delen van de mensen en plaatsen waar je om geeft.
De AI-bril-Glimmend zwart Skyler montuur met gepolariseerde groene zonnelenzen-waren het perfecte accessoire om de hele dag door foto's en video's vast te leggen terwijl ze haar ook hielpen om zich klaar te maken. Van handsfree telefoontjes aannemen en naar muziek of een podcast luisteren tot antwoorden krijgen van Meta AI in een oogwenk, de Ray-Ban Meta-bril maakt van elke routine voorafgaand aan een evenement iets heel anders.
Dit is niet de eerste keer dat onze AI-bril in de mode is. Eerder dit jaar debuteerde Gray onze uitverkochte Ray-Ban Meta x Coperni Limited Edition frames op de baan bij Modeweek Parijs. Ray-Ban Meta brillen zijn het meest nuttige tech-accessoire in de modewereld en worden steeds populairder onder redacteuren, stylisten en modellen, van de pagina's van tijdschriften tot op de catwalk - en nu ook op de rode loper van de grootste modeavond van het jaar.
"Ik straal nog steeds van de avond!" zei Amelia Gray. "En om te weten dat ik zoveel van die speciale momenten vanuit mijn eigen perspectief kan herbeleven is echt onwerkelijk. Het is een compleet nieuwe manier om deze once-in-a-lifetime momenten te beleven en te delen, en ik kan niet enthousiaster zijn om deel uit te maken van Ray-Ban Meta's Met Gala debuut. "
Tijdens het evenement werd Gray vergezeld door Charli XCX, Jeff Goldblum, Jenna Ortega, Kim Kardashian, Nicki Minaj, Rosé, Shaboozey en Taraji P. Henson als gasten aan de tafel van Instagram, samen met Adam Mosseri en Eva Chen.
Fotograaf: Quil Lemons
En van het tapijt, Instagram en Draden ontving een aantal iconen die het culturele gesprek vooruit stuwen op Uilenspiegel Hotel voor onze 5e jaarlijkse Watch Party. Meer dan 50 ontwerpers, popcultuur- en modecommentatoren kwamen bijeen om de aankomst op de rode loper te bekijken en realtime looks te delen op Instagram en Threads.
KREDIET: Huy Luong
Stijlen komen en gaan, maar mode is voor altijd. En de toekomst van AI-brillen ziet er rooskleurig uit.
Vind de juiste pasvorm
Ray-Ban Meta Wayfarer (Standaard)
Scharnier tot scharnier: 131 mmHoogte lens: 41 mmBreedte lens: 50 mmBreedte brug: 22 mmLengte tempel: 150 mm
Ray-Ban Meta Wayfarer (Groot)
Scharnier tot scharnier: 137 mmHoogte lens: 44 mmBreedte lens: 53 mmBreedte brug: 22 mmLengte bril: 155 mm
Ray-Ban Meta Headliner (LBF)
Scharnier tot scharnier: 134 mmHoogte lens: 44 mmBreedte lens: 51 mmBreedte brug: 23 mmLengte tempel: 150 mm
Ray-Ban Meta Skyler (Standaard)
Scharnier tot scharnier: 133 mmHoogte lens: 42 mmBreedte lens: 52 mmBreedte brug: 20 mmLengte tempel: 150 mm
Wat is framemaat?
De framegrootte verwijst naar de horizontale breedte van het frame. Gemeten tussen het midden van het linker- en rechterscharnier. Onze frames zijn er in een of meerdere maten.
Rode lijnen geven de breedte van scharnier tot scharnier aan
Hoe weet ik wat de juiste maat voor mij is?
Om de juiste framemaat te vinden, meet je met een liniaal de scharnier-op-scharnier afstand van een bril die je al hebt en die je goed past. Overweeg de tolerantie bereik van +/- 4mm.
Verpakkingsconditiegids
Nieuw
Originele verpakking met veiligheidszegel intact
Nieuw - uitgepakt
Onverpakte verpakking zonder veiligheidszegel
Nieuwe verpakking (met veiligheidszegel): Deze verpakking is volledig ongeopend, met het originele veiligheidszegel dat garandeert dat er nooit met het product is geknoeid. Het is de ideale keuze voor klanten die willen dat het product in originele staat blijft en de zekerheid willen dat het product niet geopend of geretourneerd is. De prijs voor deze verpakking is hoger omdat hij helemaal nieuw en onaangeroerd is.
Nieuw - onverpakt (zonder veiligheidszegel): Deze verpakking is uitgepakt, maar het product is niet gebruikt. Het veiligheidszegel is verwijderd, wat betekent dat de verpakking is geopend (bijv. vanwege een retourzending binnen 14 dagen), maar het product zelf is nog nieuw en onbeschadigd. De uitgepakte verpakking is goedkoperMaar voor klanten die niet geïnteresseerd zijn in een onverpakt pakket, is het nog steeds een uitstekende keuze tegen een lagere prijs.
NL 
EN 
BG 
CS 
ET 
EL 
HR 
HU 
LT 
LV 
FR 
PL 
PT 
RO 
SL 
SK