Συντάκτης: Kristián Ivančo

In 2017, Reality Labs Chief Scientist Michael Abrash, backed by Meta Founder & CEO Mark Zuckerberg, established a new, secret team within what was then Oculus Research to build the foundation of the next computing platform. Their herculean task: Create a custom silicon solution that could support the unique demands of future augmented reality glasses—a technical feat that required reimagining every component for an all-day wearable AR glasses form factor that simply didn’t exist yet.

Μπροστινή γωνία του πρωτοτύπου γυαλιών AR Orion.

Συμπαγής παράγοντας μορφής, σημαντικός χώρος προβλημάτων

Growing from just a few researchers to hundreds of people on the product side, the custom silicon team was built on the premise that AR glasses couldn’t rely on the silicon available in today’s smartphones. And it’s a premise borne out by the several custom chips inside Orion, our first true AR glasses product prototype.

"Κατασκευάζοντας το πλοίο καθώς βγαίνει από το λιμάνι - αυτό ακριβώς κάναμε", λέει ο διευθυντής στρατηγικής προηγμένων τεχνολογιών Jeremy Snodgrass. "Έπρεπε να αυξήσουμε την κλίμακα μιας μικρής ομάδας, ενώ ταυτόχρονα κατασκευάζαμε αυτά τα τσιπ. Ήταν συναρπαστικό να βλέπεις την ηγεσία να φέρνει νέες προσλήψεις, ενώ παράλληλα ανέπτυσσε μια κουλτούρα που εκτιμά την ευελιξία. Τίποτα δεν ήταν πρόβλημα κάποιου άλλου. Έπαιρνες ένα κουπί και άρχιζες να κωπηλατείς, ακόμη και αν δεν ήταν ακριβώς αυτό για το οποίο είχες προσληφθεί. Ήταν μια πολύ, πολύ συναρπαστική εποχή".

"Σχεδόν τα πάντα σχετικά με το Orion ήταν νέα για τον κόσμο με πολλούς τρόπους", συμφωνεί ο τεχνικός διευθυντής αρχιτεκτονικής οθόνης Mike Yee. "Ορισμένες από τις ιδέες υπήρχαν, αλλά κανείς δεν είχε αναλάβει το ερευνητικό έργο να κατασκευάσει πραγματικά ένα φορητό ζευγάρι γυαλιών AR για όλη την ημέρα".

Η ομάδα έπρεπε να προσφέρει μια συναρπαστική εμπειρία AR με όσο το δυνατόν μικρότερη κατανάλωση ενέργειας. Ο παράγοντας της μορφής των γυαλιών μπορεί να αποβάλει μόνο τόση θερμότητα και μπορεί να φιλοξενήσει μόνο τόση χωρητικότητα μπαταρίας. Ως αποτέλεσμα, οι εμπειρίες που είναι δυνατόν να παρασχεθούν στα γυαλιά εξαρτώνται πλήρως από το πυρίτιο. Με άλλα λόγια, αν διατηρήσετε σταθερές τις θερμικές και τις χωρητικότητες της μπαταρίας, ο μόνος τρόπος για να παραδώσετε μια δεδομένη εμπειρία είναι να βελτιστοποιήσετε το πυρίτιο.

“Designing a new architecture for Orion required the team to not only push existing technologies like wireless and displays aggressively but also to take risks on new technologies,” says Director of Product Management Neeraj Choubey. “For instance, the team developed a machine learning (ML) accelerator without a clear use case at the time, driven by the strong conviction that ML would become increasingly important in Meta’s products. On Orion, every ML accelerator is utilized, and in some cases, they’re oversubscribed, serving functions such as eye tracking and hand tracking. Similarly, the team developed custom compression protocols to reduce bandwidth and power consumption as data moved from the compute puck to the display. Developing custom silicon to achieve Orion’s form factor goals required both a tolerance for high ambiguity and meticulous attention to detail to deliver an incredibly complex system architecture.”

"Η μεγαλύτερη πρόκληση που αντιμετωπίσαμε ήταν η απόδοση των τρισδιάστατων γραφικών με κλειδωμένο κόσμο, μαζί με τον χωροθετημένο ήχο που αναπαράγεται έτσι ώστε να φαίνεται ότι προέρχεται από ένα εικονικό αντικείμενο", σημειώνει ο Snodgrass. "Έπρεπε να χωρέσουμε όλα αυτά τα ηλεκτρονικά μέσα στη θερμική χωρητικότητα και τον φυσικό χώρο και στη συνέχεια να το τρέξουμε με την μπαταρία, ώστε να μην ζεσταίνεται πολύ. Και έπρεπε να τα κάνουμε όλα αυτά σε έναν πραγματικό παράγοντα μορφής γυαλιών - όχι σε μια μεγάλη προσωπίδα, όπως βλέπετε συνήθως στην κατηγορία".

"Γνωρίζαμε πώς να παρέχουμε την απαραίτητη υπολογιστική ισχύ για να υλοποιήσουμε το όραμά μας για τον Orion, αλλά αντιμετωπίσαμε ένα δύσκολο έργο: τη μείωση της κατανάλωσης ενέργειας κατά 100 φορές", λέει ο διευθυντής του τμήματος SoC Solutions Robert Shearer. "Αυτό απαιτούσε να διευρύνουμε τα όρια της σχεδίασης πυριτίου, αγκαλιάζοντας μεθοδολογίες από διαφορετικές γωνιές του κλάδου -από το IoT έως τους υπολογιστές υψηλής απόδοσης- και εφευρίσκοντας νέες προσεγγίσεις για να γεφυρώσουμε τα κενά. Οι συνεργάτες μας στον κλάδο μας νόμιζαν ότι ήμασταν τρελοί, και ίσως να μην είχαν εντελώς άδικο. Αλλά αυτό ακριβώς χρειαζόταν: η προθυμία να αμφισβητήσουμε τη συμβατική σοφία και να επανεξετάσουμε τα πάντα. Η κατασκευή ενός υπολογιστή που συγχωνεύει απρόσκοπτα τον εικονικό και τον φυσικό κόσμο απαιτεί μια βαθιά κατανόηση του πλαισίου, που ξεπερνά κατά πολύ αυτό που μπορούν να προσφέρουν οι υπάρχουσες υπολογιστικές πλατφόρμες. Στην ουσία, ανακαλύψαμε εκ νέου τον τρόπο με τον οποίο οι υπολογιστές αλληλεπιδρούν με τον άνθρωπο, πράγμα που σήμαινε να επαναπροσδιορίσουμε τον τρόπο με τον οποίο κατασκευάζουμε το πυρίτιο από την αρχή".

Εξωτερικά εξαρτήματα Orion.

Η μαγεία των MicroLEDs

Υπήρχαν στιγμές που τα πράγματα έπεφταν πίσω στο χρονοδιάγραμμα ή εμφανιζόταν μια φαινομενικά ανυπέρβλητη τεχνική πρόκληση, όταν ήταν δύσκολο να διατηρηθεί η δυναμική και το ηθικό. Αλλά η ομάδα ήταν ανθεκτική, βρίσκοντας δρόμους γύρω από τα εμπόδια - ή απλά καταρρίπτοντάς τα.

Πάρτε, για παράδειγμα, την οθόνη του Orion. Η ομάδα πυριτίου ήταν υπεύθυνη για το πυρίτιο στον προβολέα οθόνης που βρίσκεται στις γωνίες των γυαλιών.

"Για αυτούς τους προβολείς, υπήρχε ένα ανοιχτό ερώτημα σχετικά με το αν θα μπορούσαμε να βάλουμε τις microLEDs σε μια συστοιχία με αρκετά υψηλή απόδοση και φωτεινότητα για να αναπτύξουμε μια οθόνη ευρέος οπτικού πεδίου", λέει ο Snodgrass. "Υπήρχαν τεράστιες αμφιβολίες ότι θα μπορούσαμε - ότι ήταν εφικτό στο χρονικό πλαίσιο που εξετάζαμε - επειδή η τεχνολογία αυτή ήταν πολύ ανερχόμενη".

"Συνειδητοποιήσαμε πολύ νωρίς ότι έπρεπε να επανεξετάσουμε πολλά από τα πρότυπα ανάπτυξης προϊόντων", προσθέτει ο Yee. "Η ποσότητα φωτός που χρειάζεστε για να κάνετε μια χρήσιμη οθόνη είναι αρκετά πιο φωτεινή για τα γυαλιά AR, επειδή, ως φορητή οθόνη, ανταγωνίζεστε τον ήλιο. Επομένως, χρειαζόμαστε επίπεδα ενέργειας που να τον ανταγωνίζονται - ή τουλάχιστον αυτός είναι ο στόχος. Δεν έχουμε φτάσει ακόμα εκεί, αλλά αυτό είναι ένα μεγάλο κομμάτι. Και αυτό σημαίνει ότι χρειάζεστε πηγές φωτός για μια οθόνη που να είναι ικανές για κάτι τέτοιο και χρειάζεστε κυκλώματα που να μπορούν να το ελέγχουν. Και ταυτόχρονα, πρέπει να το κάνεις μικροσκοπικό".

Προσαρμοσμένο πυρίτιο για την οδήγηση των µLED της Orion.

Ενώ οι microLED φαίνονταν η καταλληλότερη πηγή φωτός για τους προβολείς, το πυρίτιο βοήθησε να ξεκλειδώσουν τις δυνατότητές τους.

"Με τις οθόνες, μιλάμε για το βήμα των εικονοστοιχείων, που είναι οι αποστάσεις μεταξύ των κεντρικών σημείων των γειτονικών εικονοστοιχείων", εξηγεί ο Yee. "Για τις τηλεοράσεις, οι αποστάσεις αυτές είναι εκατοντάδες μικρόμετρα. Στο τηλέφωνό σας, οι αποστάσεις είναι πολλές δεκάδες μικρόμετρα. Και έπρεπε να τις κατεβάσουμε σε μονοψήφια νούμερα. Η μόνη γνωστή κατασκευή ημιαγωγών που μπορούσε να φτάσει εκεί ήταν το πυρίτιο".

Το έργο δυσχέραινε το γεγονός ότι η πίσω επιφάνεια της οθόνης έπρεπε να είναι ένα κομμάτι πυριτίου και κανείς στον κόσμο δεν είχε σχεδιάσει πυρίτιο για microLED.

"Εκείνη την εποχή, οι ερευνητικές ομάδες που υπήρχαν εκεί έξω είχαν όλες επαναχρησιμοποιήσει οθόνες υγρών κρυστάλλων σε πυρίτιο για να τοποθετήσουν microLED", λέει ο Yee. "Κανείς δεν είχε σχεδιάσει ποτέ πριν ένα backplane για microLEDs. Και αντιμετωπίσαμε μια αρκετά μοναδική πρόκληση επειδή πρόκειται για ένα οπτικό εξάρτημα. Πρέπει να είναι επίπεδο. Δεν μπορείτε να το γρατζουνίσετε. Πρέπει να έχει όλα αυτά τα χαρακτηριστικά επειδή όταν κοιτάζετε μέσα από τους κυματοδηγούς, μέσα από τους προβολείς, κυριολεκτικά κοιτάζετε την επάνω επιφάνεια του κομματιού πυριτίου".

Η ομάδα πυριτίου ανέπτυξε μια σύνθετη σειρά από πλατφόρμες δοκιμών για αυτές τις οθόνες microLED, η οποία απαιτούσε στενό συντονισμό με τους παγκόσμιους προμηθευτές μας. Οι microLED έχουν παγκόσμιο αποτύπωμα, ξεκινώντας από ένα σημείο και στη συνέχεια μεταφέρθηκαν σε άλλη τοποθεσία όπου τοποθετήθηκαν σε ένα wafer. Οι γκοφρέτες στη συνέχεια αποστέλλονταν για να κοπούν σε ένα συγκεκριμένο σχήμα, ακολουθούσε ένα ταξίδι στις ΗΠΑ για να συγκολληθούν με μια άλλη γκοφρέτα, και στη συνέχεια αποστέλλονταν πίσω σε όλο τον κόσμο για την κατασκευή και δοκιμή της πραγματικής μονάδας. Ήταν μια εξαιρετικά περίπλοκη διαδικασία και η ομάδα πυριτίου ανέπτυξε οχήματα δοκιμών για να αποδείξει κάθε βήμα.

Η ομάδα έπρεπε επίσης να βρει έναν τρόπο να παρέχει ενέργεια στις οθόνες microLED στον μικροσκοπικό όγκο των γωνιών των γυαλιών. Η αναλογική μας ομάδα ανέπτυξε ένα προσαρμοσμένο τσιπ διαχείρισης ισχύος που χωρούσε μέσα σε αυτόν τον όγκο.

"Η παροχή ενέργειας είναι ζωτικής σημασίας για τέτοιες φορητές συσκευές μικρού μεγέθους, όπου το μέγεθος της μπαταρίας είναι περιορισμένο και ο χώρος είναι περιορισμένος", σημειώνει ο διευθυντής του τμήματος Αναλογικών και Μικτών Συστημάτων Σήματος Jihong Ren. "Η εξατομικευμένη λύση μας για το ολοκληρωμένο κύκλωμα διαχείρισης ισχύος αξιοποιεί τεχνολογίες αιχμής για τη βελτιστοποίηση της απόδοσης ισχύος για το συγκεκριμένο φορτίο εργασίας σε επίπεδο συστήματος, ενώ παράλληλα χωράει μέσα στους περιορισμούς του διαθέσιμου χώρου. Η επίτευξη αυτής της βέλτιστης λύσης απαιτούσε στενή διεπιστημονική συνεργασία με τις ομάδες μας μηχανικών, ηλεκτρικών, SoC, μLED και θερμικών, εξασφαλίζοντας την απρόσκοπτη ενσωμάτωση όλων των εξαρτημάτων και μεγιστοποιώντας τη συνολική απόδοση."

"Αυτό ήταν ένα εκπληκτικό κατόρθωμα όχι μόνο της μηχανικής αλλά και της οργανωτικής διαχείρισης: να συγκεντρώσουμε μια ομάδα, να εργαστούμε σε διαφορετικές χρονικές ζώνες και με όλους αυτούς τους διαφορετικούς προμηθευτές", προσθέτει ο Snodgrass. "Κατά κάποιο τρόπο, η οργανωτική διαχείριση όλων αυτών ήταν εξίσου μεγάλη πρόκληση με την τήρηση των τεχνικών προδιαγραφών".

"Όχι μόνο ο σχεδιασμός είναι προσαρμοσμένος, αλλά και ολόκληρη η διαδικασία κατασκευής είναι προσαρμοσμένη", προσθέτει ο Yee. "Είμαστε τυχεροί που έχουμε μερικούς θαυμάσιους συνεργάτες στη βιομηχανία που βοήθησαν να συμβεί αυτό. Βλέπουν μακροπρόθεσμες δυνατότητες στις οθόνες AR στο σύνολό τους και σίγουρα το όραμα της Meta γι' αυτό. Έτσι, ήταν πρόθυμοι να συνεργαστούν μαζί μας για να γίνουν αυτές οι προσαρμογές και βελτιστοποιήσεις για να καταστεί δυνατή αυτή η οθόνη".

Γυαλιά Orion AR.

Η επανάληψη συναντά την επιτάχυνση

Υπήρχε ένας στενός κύκλος ανατροφοδότησης μεταξύ της ομάδας silicon και των λαμπρών μυαλών των Reality Labs Research και XR Tech που ανέπτυσσαν αλγόριθμους. Οι τελευταίες ομάδες παρείχαν αυτούς τους αλγορίθμους, τους οποίους η πρώτη μετέφραζε σε υλικό, αφαιρώντας την επιβάρυνση από το λογισμικό γενικής χρήσης που εκτελούσε η CPU. Αυτό σήμαινε ότι οι αλγόριθμοι θα εκτελούνταν με χαμηλότερη ισχύ, αλλά σήμαινε επίσης ότι η ομάδα πυριτίου ήταν κλειδωμένη. Μόλις οι αλγόριθμοι είχαν σκληρυνθεί, δεν μπορούσαν πλέον να κάνουν αλλαγές.

"Ας πούμε ότι η XR Tech ανέπτυσσε μια συγκεκριμένη πειθαρχία αλγοριθμικά", εξηγεί ο Διευθυντής Αρχιτεκτονικής και Αλγορίθμων των Silicon Accelerators, Ohad Meitav. "Τους ανήκει η αλγοριθμική στοίβα και η απόδοσή της. Η ομάδα μου, σε συνεργασία μαζί τους, θα αποφάσιζε στη συνέχεια πώς να επιταχύνει τον αλγόριθμο, πώς να σκληρύνει τμήματα του αλγορίθμου και πώς να τον τοποθετήσει πραγματικά στο υλικό με τρόπο που να τρέχει εξαιρετικά αποδοτικά. Στη συνέχεια, η XR Tech θα προσάρμοζε τη στοίβα λογισμικού της ώστε να λαμβάνει υπόψη της το υλικό. Πρόκειται για μια πολύ επαναληπτική διαδικασία".

Μια άλλη ιστορία επιτυχίας είναι η συνεργασία της ομάδας silicon με την Reality Labs Research για την ανάπτυξη ενός νέου αλγορίθμου επαναπροβολής.

"Χρειαζόμασταν τον αλγόριθμο προβολής να υποστηρίζει μια ποικιλία διαφορετικών παραμορφώσεων και διορθώσεων", σημειώνει ο αρχιτέκτονας της Silicon, Steve Clohset. "Ο αλγόριθμος που ανέπτυξε η RL-R και καταλήξαμε να χρησιμοποιήσουμε δεν χρησιμοποιείται στη γενική πληροφορική. Και μέχρι σήμερα, αποδεικνύεται ότι είναι ένα αρκετά ισχυρό εργαλείο".

Αφού οι αλγόριθμοι σκληρύνθηκαν και το υλικό βελτιστοποιήθηκε, η ομάδα παραγωγής πυριτίου έθεσε τα προσαρμοσμένα τσιπ σε δοκιμασία.

"Το προσαρμοσμένο chipset πυριτίου της Orion είναι γεμάτο πολυπλοκότητα", λέει ο ανώτερος διευθυντής του τμήματος End-to-End System and Infrastructure Liping Guo. "Η δημιουργία και επικύρωση αυτόνομων τσιπ και των διαλειτουργικοτήτων μεταξύ τους μέσα σε σύντομο χρονικό διάστημα είναι απίστευτα δύσκολη. Ευτυχώς, λειτουργούμε σε ένα καθετοποιημένο περιβάλλον, όπου η Reality Labs κατέχει ολόκληρη τη στοίβα - από το πυρίτιο και το υλικολογισμικό χαμηλού επιπέδου έως το λειτουργικό σύστημα, το λογισμικό και τις εμπειρίες ανώτερου επιπέδου. Εκμεταλλευτήκαμε πλήρως αυτό το πλεονέκτημα, συνεργαζόμενοι στενά με τους διαλειτουργικούς συνεργάτες μας, και αφήσαμε την ενσωμάτωση του cross-stack στο στάδιο της επικύρωσης του πυριτίου. Το Orion ήταν η πιλοτική μας δοκιμή για αυτή τη μεθοδολογία - αναπτύξαμε τους μυς μας για το shift-left και δημιουργήσαμε ένα ισχυρό θεμέλιο για την Reality Labs ώστε να αποκομίσει τα πλήρη οφέλη του προσαρμοσμένου πυριτίου στο μέλλον".

Και μετά τη δημιουργία, ήρθε η ώρα να βελτιστοποιήσουμε το λογισμικό.

"Υπάρχει μια επαναληπτική διαδικασία κατά την οποία ξεκινάτε με μια εντελώς μη βελτιστοποιημένη στοίβα λογισμικού, μόνο και μόνο για να ξεκινήσουν και να λειτουργήσουν όλα", λέει ο Snodgrass. "Και στη συνέχεια, ένα προς ένα, περνάτε μέσα από τα υποσυστήματα και αρχίζετε να βελτιστοποιείτε το λογισμικό για το συγκεκριμένο υλικό -συμπεριλαμβανομένης της μείωσης της μνήμης που χρησιμοποιεί το λογισμικό. Το υλικό θα μπορούσε να είναι όμορφα σχεδιασμένο, αλλά δεν θα επιτύχετε τη θεωρητική αποδοτικότητα ισχύος αν δεν επενδύσετε τόσο ή περισσότερο χρόνο ώστε το λογισμικό να εκμεταλλευτεί πλήρως το υλικό. Αυτή είναι λοιπόν η ιστορία του Orion: υλικό και λογισμικό βελτιστοποιημένα μέχρι τέλους. Δεν αφήνουμε κανένα πικοτζάουελ ή χιλιοστόβατ πίσω".

Και παρόλο που το Orion μπορεί να είναι ένα πρωτότυπο, η δουλειά που έγινε σε αυτό έχει σημαντικές δυνατότητες να επηρεάσει τον οδικό χάρτη της Meta.

"Βλέπουμε τα IPs πυριτίου που κατασκευάζουμε ως πλατφόρμες με την έννοια ότι πρόκειται για πολύτιμα IPs που θα βελτιώσουμε από τη μία γενιά ή από το ένα προϊόν στο άλλο", προσθέτει ο Meitav. "Όλοι οι αλγόριθμοι υπολογιστικής όρασης και γραφικών δεν κατασκευάζονται μόνο για το Orion. Θα συνεχίσουν να ενημερώνουν τα μελλοντικά προϊόντα".

Η εργασία μας σε πυρίτιο περιλαμβάνει τη δημιουργία νέων λύσεων, ενώ παράλληλα συνεργαζόμαστε στενά με τους εταίρους μας. Στην πραγματικότητα, η επιρροή της ομάδας πυριτίου επεκτείνεται πέρα από τον Orion και στις δύο πλευρές Γυαλιά Ray-Ban Meta and Meta Quest headsets today—even though they both use third-party chips. The silicon team regularly shares their work with the mixed reality team, showing what’s possible in terms of power efficiency. The MR team then shares those findings with partners like Qualcomm to help inform future chip designs. And because the silicon team uses the same off-the-shelf digital signal processors (DSPs) as Ray-Ban Meta glasses, they’ve been able to share lessons learned and best practices when implementing and writing code for those DSPs to help improve the audio experiences available on our AI glasses.

And that knowledge sharing goes both ways: The MR team has given the silicon team insights on things like Asynchronous TimeWarp and Application SpaceWarp in production.

"Αυτό που κάνει ένας άνθρωπος στην παραγωγή είναι πολύ πιο ενδιαφέρον από κάτι που θα μπορούσαμε να κάνουμε με ένα πρωτότυπο", λέει ο Clohset. "Προσπαθήσαμε να ενσωματώσουμε όσο το δυνατόν περισσότερο αυτό που έκαναν με τις στρεβλώσεις".

Ασάφεια < Φιλοδοξία

Επειδή ο Ωρίωνας ήταν πραγματικά μηδέν προς ένα, οι εμπλεκόμενες ομάδες έπρεπε αναγκαστικά να αντιμετωπίσουν ένα υπερβολικό ποσό ασάφειας.

"Με τον Ωρίωνα, δεν μπορώ να υπερτονίσω πόσο πολύπλοκα έκανε τα πράγματα η ασάφεια", λέει ο Clohset. "Όταν φτιάχνεις έναν υπολογιστή, για παράδειγμα, έχεις γενικά μια καλή ιδέα για το ποια θα είναι η οθόνη. Αλλά δεν ξέραμε ποιος θα ήταν τελικά ο κυματοδηγός, οπότε έπρεπε να πάμε σε δειγματοληψία διαφορετικών κυματοδηγών και να βρούμε έναν μηχανισμό που θα μπορούσε να χειριστεί το χειρότερο σενάριο, επειδή δεν ξέραμε πού θα προσγειώνονταν τα πράγματα. Μια βελτιστοποίηση εδώ θα συνέκλινε με όλες αυτές τις άλλες επιλογές, και θα κατέληγες σε αυτόν τον πίνακα με όλα αυτά τα διαφορετικά πράγματα που είχες ως υποστήριξη και προσπαθούσες να επικυρώσεις επειδή δεν ήξερες πού θα κατέληγε το προϊόν σε έξι μήνες".

It’s important to note that Orion isn’t just a pair of AR glasses—it’s a three-part constellation of hardware. A lot of the processing happens on the compute puck, which necessitates a strong connection between it and the glasses. Add the surface EMG wristband into the loop, and the system architecture becomes even more complicated.

"Αυτό αποτέλεσε τεράστια πρόκληση για τις ομάδες να το λύσουν, και όλα αυτά απλά λειτουργούν" λέει ο Snodgrass. "Ήταν μια καταπληκτική συνεργασία μεταξύ της ομάδας πυριτίου, της ομάδας ασύρματης επικοινωνίας και των ομάδων λογισμικού σε όλο τον οργανισμό".

Ο υπολογιστικός δίσκος του Orion.

"Με την Orion, δημιουργήσαμε μια ολόκληρη ομάδα με μεγάλη ποικιλία μηχανικών και ήταν σε θέση να σχεδιάσουν έναν ολοκαίνουργιο αγωγό", προσθέτει ο Clohset. "Πρόκειται για έναν αγωγό που χειρίζεται την κίνηση αντικειμένων έξι βαθμών ελευθερίας στον τρισδιάστατο χώρο. Χρησιμοποιεί το δικό του προσαρμοσμένο πρόγραμμα οδήγησης οθόνης. Έπρεπε να κάνουμε πραγματικά μοναδικές διορθώσεις στην ποιότητα της εικόνας. Και νομίζω ότι η πρόκληση για εμάς ήταν ότι, επειδή επρόκειτο για ένα έργο μηδέν προς ένα, δεν υπήρχαν υπάρχουσες προδιαγραφές για να τις τροποποιήσουμε και να τις βελτιώσουμε. Τα πάντα εδώ είναι εντελώς νέα, οπότε είχαμε περιθώριο να κάνουμε τα πάντα".

Much like the puck has some dormant features hidden beneath the surface, the custom silicon punches above its weight, too. While Orion doesn’t allow the user to take photos with its RGB cameras, the silicon is capable of supporting it, as well as codec avatars. And just as the puck helped unlock a true glasses form factor by offloading much of the compute, Orion’s custom silicon proved a necessary piece of the AR puzzle.

"Για να φέρεις στη ζωή μια εμπειρία μηδέν προς ένα, όπως τα γυαλιά AR, χρειάζεσαι προσαρμοσμένη σιλικόνη-πλήρη στάση", εξηγεί ο Snodgrass. "Με την πάροδο του χρόνου, αν υπάρχει αγορά, τότε οι προμηθευτές πυριτίου θα αναπτύξουν προϊόντα για να καλύψουν τη ζήτηση. Αλλά για το μηδέν προς ένα, δεν μπορείτε απλά να πάρετε κάτι που υπάρχει από το ράφι και προορίζεται για ένα διαφορετικό προϊόν και να το προσαρμόσετε σε ένα νέο καλούπι. Πρέπει να επενδύσετε σε κάτι προσαρμοσμένο. Και για να υλοποιήσετε αυτές τις εμπειρίες zero-to-one, χρειάζεστε ευρεία συνεργασία μεταξύ συνεργατών λογισμικού, βιομηχανικών σχεδιαστών, μηχανολόγων μηχανικών και άλλων".

"Ξεφεύγοντας από τα παραδοσιακά νοητικά μοντέλα, δημιουργήσαμε κάτι πραγματικά αξιοσημείωτο", προσθέτει ο Shearer. "Πιστεύουμε ότι αυτή η υπολογιστική πλατφόρμα αντιπροσωπεύει το μέλλον της τεχνολογίας -μια πλατφόρμα που θα φέρει επανάσταση στον τρόπο με τον οποίο ζούμε, εργαζόμαστε και αλληλεπιδρούμε μεταξύ μας. Είμαστε ενθουσιασμένοι που βρισκόμαστε στην πρώτη γραμμή αυτής της καινοτομίας, διευρύνοντας τα όρια του εφικτού και συμβάλλοντας στη διαμόρφωση της πορείας της ιστορίας".

When we first began giving demos of Orion early this year I was reminded of a line that you hear a lot at Meta—in fact it was even in our first letter to prospective shareholders back in 2012: Code wins arguments. We probably learned as much about this product space from a few months of real-life demos than we did from the years of work it took to make them. There is just no substitute for actually building something, putting it in people’s hands, and learning from how they react to it.

Orion wasn’t our only example of that this year. Our mixed reality hardware and AI glasses have both reached a new level of quality and accessibility. The stability of those platforms allows our software developers to move much faster on everything from operating systems to new AI features. This is how I see the metaverse starting to come into greater focus and why I’m so confident that the coming year will be the most important one in the history of Reality Labs.

Το 2024 ήταν η χρονιά που τα γυαλιά τεχνητής νοημοσύνης έφτασαν στο φόρτε τους. Όταν αρχίσαμε να κατασκευάζουμε έξυπνα γυαλιά το 2021, σκεφτήκαμε ότι θα μπορούσαν να αποτελέσουν ένα καλό πρώτο βήμα προς τα γυαλιά AR που τελικά θέλαμε να κατασκευάσουμε. Ενώ τα ακουστικά μικτής πραγματικότητας είναι σε καλό δρόμο για να γίνουν μια υπολογιστική πλατφόρμα γενικού σκοπού, όπως οι σημερινοί υπολογιστές, είδαμε τα γυαλιά ως τη φυσική εξέλιξη των σημερινών κινητών υπολογιστικών πλατφορμών. Έτσι, θέλαμε να αρχίσουμε να μαθαίνουμε από τον πραγματικό κόσμο το συντομότερο δυνατό.

The biggest thing we’ve learned is that glasses are by far the best form factor for a truly AI-native device. In fact they might be the first hardware category to be completely defined by AI from the beginning. For many people, glasses are the place where an AI assistant makes the most sense, especially when it’s a multimodal system that can truly understand the world around you.

We’re right at the beginning of the S-curve for this entire product category, and there are endless opportunities ahead. One of the things I’m most excited about for 2025 is the evolution of AI assistants into tools that don’t just respond to a prompt when you ask for help but can become a proactive helper as you go about your day. At Connect we showed how Live AI on glasses can become more of a real-time participant when you’re getting things done. As this feature begins rolling out in early access this month we’ll see the first step toward a new kind of personalized AI assistant.

It won’t be the last. We’re currently in the middle of an industry-wide push to make AI-native hardware. You’re seeing phone and PC makers scramble to rebuild their products to put AI assistants at their core. But I think a much bigger opportunity is to make devices that are AI-native from the start, and I’m confident that glasses are going to be the first to get there. Meta’s Chief Research Scientist Michael Abrash has been talking about the potential of a personalized, context-aware AI assistant on glasses for many years, and building the technologies that make it possible has been a huge focus of our research teams.

Μικτή πραγματικότητα has been another place where having the right product in the hands of a lot of people has been a major accelerant for progress. We’ve seen Meta Quest 3 get better month after month as we continue to iterate on the core system passthrough, multitasking, spatial user interfaces, and more. All these gains extended to Quest 3S the moment it launched. This meant the $299 Quest 3S was in many respects a better headset on day 1 than the $499 Quest 3 was when it first launched in 2023. And the entire Quest 3 family keeps getting better with every update.

In 2025 we’ll see the next iteration of this as Quest 3S brings a lot more people into mixed reality for the first time. While Quest 3 has been a hit among people excited to own the very best device on the market, Quest 3S is expected to be heavily gifted in 2024. Sales were strong over the Black Friday weekend, and we’re expecting a surge of people activating their new headsets over the holiday break.

Αυτό θα συνεχίσει μια τάση που διαμορφώθηκε το τελευταίο έτος: αύξηση των νέων χρηστών που αναζητούν ένα ευρύτερο φάσμα δραστηριοτήτων με τα ακουστικά τους. Θέλουμε αυτοί οι νέοι χρήστες να δουν τη μαγεία του MR και να παραμείνουν για μεγάλο χρονικό διάστημα, γι' αυτό και χρηματοδοτούμε προγραμματιστές για να δημιουργήσουν τους νέους τύπους εφαρμογών και παιχνιδιών που αναζητούν.

Υπήρξε μια σημαντική εισροή νεότερων ανθρώπων, ιδίως, και αυτοί προτιμούν τα κοινωνικά και ανταγωνιστικά παιχνίδια πολλαπλών παικτών, καθώς και το περιεχόμενο freemium. Και τίτλοι όπως BEHEMOTH της Skydance, Batman: Arkham Shadow (το οποίο μόλις κέρδισε το βραβείο Best AR/VR game στα The Game Awards!), και Metro Awakening έδειξε για άλλη μια φορά ότι μερικά από τα καλύτερα νέα παιχνίδια που παράγει η βιομηχανία μας είναι πλέον εφικτά μόνο με τα σημερινά ακουστικά.

As the number of people in MR grows, the quality of the social experience it can deliver is growing in tandem. This is at the heart of what Meta is trying to achieve with Reality Labs and where the greatest potential of the metaverse will be unlocked: “the chance to create the most social platform ever” is how we described it when we first began working on it. We took two steps forward on this front in 2024: first with a broad set of improvements to Horizon Worlds including its expansion to mobile, and second with the next-generation Meta Avatars system that lets people represent themselves across our apps and headsets. And as the visual quality and overall experience with these systems improve, more people are getting their first glimpse of a social metaverse. We’re seeing similar trends with new Quest 3S users spending more time in Horizon Worlds, making it a Top 3 immersive app for Quest 3S, and people continue creating new Meta Avatars across mobile and MR.

Η καθιέρωση της μικτής πραγματικότητας στην επικρατούσα τάση βοήθησε να διαφανεί τι θα ακολουθήσει. Μια από τις πρώτες τάσεις που ανακαλύψαμε μετά την κυκλοφορία του Quest 3 πέρυσι ήταν ότι οι άνθρωποι χρησιμοποιούσαν τη μικτή πραγματικότητα για να παρακολουθούν βίντεο ενώ έκαναν πολλαπλές εργασίες στο σπίτι τους - έπλεναν τα πιάτα ή σκούπιζαν το σαλόνι τους. Αυτό ήταν ένα πρώιμο σημάδι ότι οι άνθρωποι λατρεύουν να έχουν μια μεγάλη εικονική οθόνη την οποία μπορούν να πάρουν οπουδήποτε και να την τοποθετήσουν στον φυσικό κόσμο γύρω τους. Είδαμε αυτή την τάση να απογειώνεται με όλα τα είδη εμπειριών ψυχαγωγίας να αυξάνονται γρήγορα σε ολόκληρη την οικογένεια Quest 3. Νέα χαρακτηριστικά όπως το YouTube Co-Watch δείχνουν πόσες δυνατότητες υπάρχουν για ένα εντελώς νέο είδος κοινωνικής ψυχαγωγικής εμπειρίας στο metaverse.

That’s why James Cameron, one of the most technologically innovative storytellers of our lifetimes, is now working to help more filmmakers and creators produce great 3D content for Meta Quest. While 3D films have been produced for decades, there’s never been a way to view them that’s quite as good as an MR headset, and next year more people will own a headset than ever before. “We’re at a true, historic inflection point,"Jim said when we launched our new partnership this month.

This is happening alongside a larger shift Mark Rabkin shared at Connect this year: Our vision for Horizon OS is to build a new kind of general purpose computing platform capable of running every kind of software, supporting every kind of user, and open to every kind of creator and developer. Our recent releases for 2D/3D multi-tasking, panel positioning, better hand tracking, Windows Remote Desktop integration, and Open Store have started to build momentum along this new path. Horizon OS is on track to be the first platform that supports the full spectrum of experiences from immersive VR to 2D screens, mobile apps, and virtual desktops—and the developer community is central to that success.

Το επόμενο μεγάλο βήμα προς το metaverse θα συνδυάζει γυαλιά τεχνητής νοημοσύνης με το είδος της αληθινής εμπειρίας επαυξημένης πραγματικότητας που αποκαλύψαμε φέτος με το Orion. Δεν είναι συχνό φαινόμενο να ρίχνεις μια ματιά στο μέλλον και να βλέπεις μια εντελώς νέα τεχνολογία που σου δείχνει πού οδεύουν τα πράγματα. Οι άνθρωποι που είδαν το Orion κατάλαβαν αμέσως τι σήμαινε για το μέλλον, όπως οι άνθρωποι που είδαν τους πρώτους προσωπικούς υπολογιστές να παίρνουν μορφή στο Xerox PARC τη δεκαετία του 1970 ("μέσα σε δέκα λεπτά ήταν προφανές για μένα ότι όλοι οι υπολογιστές θα λειτουργούσαν έτσι κάποια μέρα", είπε αργότερα ο Steve Jobs για την επίδειξη του Xerox Alto το 1979).

Το να μπορώ να βάλω τους ανθρώπους σε μια μηχανή του χρόνου και να τους δείξω πώς θα είναι η επόμενη υπολογιστική πλατφόρμα ήταν ένα από τα κορυφαία γεγονότα του 2024 και της μέχρι τώρα καριέρας μου. Αλλά ο πραγματικός αντίκτυπος του Orion θα είναι στα προϊόντα που θα στείλουμε στη συνέχεια και στους τρόπους με τους οποίους θα μας βοηθήσει να κατανοήσουμε καλύτερα τι αγαπούν οι άνθρωποι στα γυαλιά AR και τι πρέπει να βελτιωθεί. Ξοδέψαμε χρόνια σε έρευνες χρηστών, ασκήσεις σχεδιασμού προϊόντων και πειραματικές μελέτες προσπαθώντας να κατανοήσουμε πώς πρέπει να λειτουργούν τα γυαλιά AR, και αυτή η δουλειά μας έδωσε τη δυνατότητα να δημιουργήσουμε το Orion. Όμως, ο ρυθμός προόδου θα είναι πολύ πιο γρήγορος από εδώ και πέρα, τώρα που έχουμε ένα πραγματικό προϊόν για να βασίσουμε τη διαίσθησή μας γύρω από αυτό.

This has been the lesson time and again over the last decade at Reality Labs. The most important thing you can do when you’re trying to invent the future is to ship things and learn from how real people use them. They won’t always be immediate smash hits, but they’ll always teach you something. And when you land on things that really hit the mark, like mixed reality on Quest 3 or AI on glasses, that’s when you put your foot on the gas. This is what will make 2025 such a special year: With the right devices on the market, people experiencing them for the first time, and developers discovering all the opportunities ahead, it’s time to accelerate.

Welcome back for another episode of Boz To The Future, a podcast from Reality Labs. In today’s episode, our host, Meta CTO and Head of Reality Labs Andrew “Boz” Bosworth, is joined by Meta’s VP of Wearables Alex Himel.

Η ομάδα του Himel εργάζεται πάνω σε μερικά από τα πιο δύσκολα τεχνικά προβλήματα του κλάδου, όλα στην υπηρεσία της δημιουργίας της επόμενης υπολογιστικής πλατφόρμας. Όπως και ο Bosworth, είναι ένα μόνιμο ηγετικό στέλεχος της Meta, έχοντας καταλάβει πολλές ηγετικές θέσεις σε όλη την επιχείρηση στα 15+ χρόνια που εργάζεται στην εταιρεία.

Οι Bosworth και Himel καλύπτουν μια σειρά θεμάτων, όπως τα wearables, η επαυξημένη πραγματικότητα και ο τρόπος με τον οποίο η τεχνητή νοημοσύνη επιταχύνει και βελτιώνει τα είδη εμπειριών που ενσωματώνονται σε Γυαλιά Ray-Ban Meta και μελλοντικά προϊόντα.

They go deep on Orion and the positive reception it’s received since Mark Zuckerberg announced it at Connect. Just as Steve Jobs recognized the Alto as a turning point in computing, Bosworth asserted that, while we may disagree about the details, it’s hard to argue against this as the future. Himel and Bosworth go on to talk about the tremendous value of prototyping and building, saying how much more they’ve learned about Orion and its input paradigms in the three weeks of using it compared to the years spent building it.

Μίλησαν επίσης για τον κρίσιμο ρόλο της τεχνητής νοημοσύνης στα wearables και για το πώς αυτή γίνεται όλο και πιο χρήσιμη στην καθημερινή ζωή - ειδικά τώρα που μπορείτε να ρωτήσετε την Meta AI για τα πράγματα που βλέπετε και να τη χρησιμοποιήσετε για να ορίσετε οπτικές υπενθυμίσεις.

Ο Himel μιλάει επίσης για τη βαθιά εμπειρία του σε ένα διαφορετικό είδος στοίβας: τα σάντουιτς. Με επτά χρόνια εργασίας στο διάσημο κατάστημα Lange's Little Store στο Chappaqua της Νέας Υόρκης, όπου μεγάλωσε, ο Himel και ο Bosworth αναλύουν τι κάνει ένα καλό σάντουιτς, πού πραγματικά ταιριάζουν οι ντομάτες και ποιο ψωμί είναι ανώτερο.

Μπορείτε να συντονιστείτε στο Ο Boz στο μέλλον on Apple Podcasts, Spotify, and wherever you listen to podcasts.

You can follow Himel on Threads. You can follow Bosworth on Instagram, Twitter/X, and Threads @boztank.

Back in 2019, the Orion team prepared an important demo for Meta Founder & CEO Mark Zuckerberg, showcasing potential waveguides for augmented reality glasses—a pivotal moment when theoretical calculations on paper were brought to life. And it was a demo that changed everything.

“Wearing the glasses with glass-based waveguides and multiple plates, it felt like you were in a disco,” recalls Optical Scientist Pasqual Rivera. “There were rainbows everywhere, and it was so distracting—you weren’t even looking at the AR content. Then, you put on the glasses with silicon carbide waveguides, and it was like you were at the symphony listening to a quiet, classical piece. You could actually pay attention to the full experience of what we were building. It was a total game changer.”

Yet as clear (pun intended) as the choice of silicon carbide as a substrate seems today, when we first started down the road to AR glasses a decade ago, it was anything but.

"Το καρβίδιο του πυριτίου είναι κανονικά βαριά ντοπαρισμένο με άζωτο", λέει ο Rivera. "Είναι πράσινο, και αν γίνει αρκετά πυκνό, φαίνεται μαύρο. Δεν υπάρχει περίπτωση να φτιάξεις έναν οπτικό φακό από αυτό. Είναι ένα ηλεκτρονικό υλικό. Υπάρχει λόγος που έχει αυτό το χρώμα και οφείλεται στις ηλεκτρονικές του ιδιότητες".

"Το καρβίδιο του πυριτίου υπάρχει ως υλικό εδώ και πολύ καιρό", συμφωνεί ο Giuseppe Calafiore, επικεφαλής τεχνολογίας της AR Waveguides. "Η κύρια εφαρμογή του είναι τα ηλεκτρονικά υψηλής ισχύος. Πάρτε τα ηλεκτρικά οχήματα: Όλα τα ηλεκτρικά οχήματα απαιτούν ένα τσιπ - αλλά αυτό το τσιπ πρέπει επίσης να είναι ικανό για πολύ υψηλή ισχύ, να κινεί τους τροχούς και να οδηγεί αυτό το πράγμα. Αποδεικνύεται ότι δεν μπορείτε να το κάνετε αυτό με το κανονικό υπόστρωμα πυριτίου, με το οποίο κατασκευάζονται τα τσιπ που χρησιμοποιούμε στους υπολογιστές και τα ηλεκτρονικά μας. Χρειάζεσαι μια πλατφόρμα που σου επιτρέπει να περνάς υψηλά ρεύματα, υψηλή ισχύ, και αυτό το υλικό είναι το καρβίδιο του πυριτίου".

Μέχρι να αρχίσουν να αναθερμαίνονται οι συζητήσεις σχετικά με τις ανανεώσιμες πηγές ενέργειας, η αγορά αυτών των τσιπς υψηλής ισχύος δεν πλησίαζε σε τίποτα το μέγεθος της αγοράς τσιπς για καταναλωτικά ηλεκτρονικά προϊόντα. Το καρβίδιο του πυριτίου ήταν ανέκαθεν ακριβό και δεν υπήρχε μεγάλο κίνητρο για να μειωθεί το κόστος, διότι, για το μέγεθος του τσιπ που κατασκευάζεται για ένα αυτοκίνητο, η τιμή του υποστρώματος ήταν ανεκτή.

"Αλλά αποδεικνύεται ότι το καρβίδιο του πυριτίου έχει επίσης κάποιες από τις ιδιότητες που χρειαζόμαστε για κυματοδηγούς και οπτικά", λέει ο Calafiore. "Ο δείκτης διάθλασης είναι η βασική ιδιότητα που μας ενδιαφέρει. Και το καρβίδιο του πυριτίου έχει υψηλό δείκτη διάθλασης, πράγμα που σημαίνει ότι είναι ικανό να διοχετεύει και να εξάγει μεγάλη ποσότητα οπτικών δεδομένων. Μπορείτε να το φανταστείτε ως οπτικό εύρος ζώνης - όπως ακριβώς έχετε εύρος ζώνης για το διαδίκτυο και θέλετε να είναι αρκετά μεγάλο ώστε να μπορείτε να στέλνετε τεράστιες ποσότητες δεδομένων μέσω αυτού του καναλιού. Το ίδιο ισχύει και για τις οπτικές συσκευές".

The higher a material’s refractive index, the higher its étendue, so you can send more optical data through that channel.

"Το κανάλι στην περίπτωσή μας είναι ο κυματοδηγός μας και ένα μεγαλύτερο étendue μεταφράζεται σε μεγαλύτερο οπτικό πεδίο", εξηγεί ο Calafiore. "Όσο μεγαλύτερος είναι ο δείκτης διάθλασης ενός υλικού, τόσο μεγαλύτερο οπτικό πεδίο μπορεί να υποστηρίξει η οθόνη".

Ο δρόμος προς το σωστό δείκτη διάθλασης

Όταν ο Calafiore εντάχθηκε για πρώτη φορά στην τότε Oculus Research το 2016, το γυαλί με τον υψηλότερο δείκτη διάθλασης που είχε στη διάθεσή της η ομάδα ήταν 1,8, γεγονός που απαιτούσε τη στοίβαξη πολλαπλών πλακών για να επιτευχθεί το επιθυμητό οπτικό πεδίο. Πέρα από τα ανεπιθύμητα οπτικά τεχνουργήματα, η γραμμή συναρμολόγησης γινόταν όλο και πιο περίπλοκη, καθώς οι δύο πρώτοι κυματοδηγοί έπρεπε να ευθυγραμμιστούν τέλεια, και στη συνέχεια αυτή η στοίβα έπρεπε να ευθυγραμμιστεί τέλεια με έναν τρίτο κυματοδηγό.

"Όχι μόνο ήταν ακριβό, αλλά ήταν αμέσως προφανές ότι δεν μπορούσες να έχεις τρία κομμάτια γυαλιού ανά φακό σε ένα ζευγάρι γυαλιά", θυμάται ο Calafiore. "Ήταν πολύ βαριά και το πάχος ήταν απαγορευτικά μεγάλο και άσχημο - κανείς δεν θα το αγόραζε. Έτσι επιστρέψαμε στο σημείο μηδέν: προσπαθώντας να αυξήσουμε τον δείκτη διάθλασης του υποστρώματος για να μειώσουμε τον αριθμό των απαιτούμενων πλακών".

The first material the team looked into was lithium niobate, which has a refractive index of roughly 2.3—quite a bit higher than the glass at 1.8.

"Συνειδητοποιήσαμε ότι χρειαζόταν να στοιβάξουμε μόνο δύο πλάκες και ότι θα μπορούσαμε ίσως να τα καταφέρουμε και με μία πλάκα για να καλύψουμε το οπτικό πεδίο", λέει ο Calafiore. "Σχεδόν παράλληλα, αρχίσαμε να εξετάζουμε και άλλα υλικά - έτσι ανακαλύψαμε μαζί με τους προμηθευτές μας το 2019 ότι το καρβίδιο του πυριτίου, στην πιο καθαρή του μορφή, είναι στην πραγματικότητα πολύ διαφανές. Τυχαίνει επίσης να έχει τον υψηλότερο δείκτη διάθλασης που είναι γνωστός για οπτική εφαρμογή, ο οποίος είναι 2,7".

Αυτή είναι μια αύξηση 17,4% σε σχέση με το νιοβικό λίθιο και μια αύξηση 50% σε σχέση με το γυαλί, για όσους κρατούν το σκορ στο σπίτι.

"Με μερικές τροποποιήσεις στον ίδιο εξοπλισμό που ήδη χρησιμοποιούνταν στη βιομηχανία, ήταν δυνατό να παραχθεί διαφανές καρβίδιο του πυριτίου", λέει ο Calafiore. "Μπορούσες απλώς να αλλάξεις τη διαδικασία, να είσαι πολύ πιο προσεκτικός, και αντί να βελτιστοποιείς τις ηλεκτρονικές ιδιότητες, βελτιστοποιείς τις οπτικές ιδιότητες: διαφάνεια, ομοιομορφία του δείκτη διάθλασης κ.λπ.".

Το δυνητικό κόστος του συμβιβασμού

Εκείνη την εποχή, η ομάδα των Reality Labs ήταν η πρώτη που επιχείρησε να μετακινηθεί από αδιαφανείς γκοφρέτες καρβιδίου του πυριτίου σε διαφανείς. Και επειδή το καρβίδιο του πυριτίου είναι ένα από τα σκληρότερα γνωστά υλικά, ουσιαστικά απαιτεί διαμαντένια εργαλεία για την κοπή ή τη στίλβωση του. Ως αποτέλεσμα, το μη επαναλαμβανόμενο μηχανολογικό κόστος ήταν πολύ υψηλό, οπότε το υπόστρωμα που προέκυψε ήταν αρκετά ακριβό.

Παρόλο που υπάρχουν πιο αποδοτικές εναλλακτικές λύσεις, όπως συμβαίνει με κάθε τεχνολογία, η καθεμία έχει συμβιβασμούς. Και καθώς το οπτικό πεδίο αυξάνεται προς το κορυφαίο οπτικό πεδίο της Orion των περίπου 70 μοιρών, προκύπτουν νέα ζητήματα όπως εικόνες-φαντάσματα και ουράνια τόξα.

"Η εύρεση της βέλτιστης λύσης για μια οθόνη AR με ευρύ οπτικό πεδίο είναι γεμάτη με συμβιβασμούς μεταξύ απόδοσης και κόστους", εξηγεί ο διευθυντής Επιστημονικών Ερευνών Barry Silverstein. "Το κόστος μπορεί συχνά να μειωθεί, αλλά αν οι επιδόσεις δεν είναι ικανοποιητικές, το κόστος δεν θα έχει τελικά σημασία".

Οι εικόνες-φαντάσματα είναι σαν οπτική ηχώ της κύριας εικόνας που προβάλλεται στην οθόνη. Τα ουράνια τόξα είναι πολύχρωμες λωρίδες φωτός που δημιουργούνται όταν το φως του περιβάλλοντος αντανακλάται στον κυματοδηγό. "Ας πούμε ότι οδηγείτε τη νύχτα με κινούμενα φώτα αυτοκινήτων γύρω σας", λέει ο Silverstein. "Θα έχετε και εσείς ουράνια τόξα που κινούνται. Ή αν είστε στην παραλία παίζοντας βόλεϊ και ο ήλιος λάμπει, θα έχετε μια ουράνιο τόξο που κινείται μαζί σας και θα χάσετε τη βολή σας. Και μια από τις θαυματουργές ιδιότητες του καρβιδίου του πυριτίου είναι ότι ξεφορτώνεται αυτά τα ουράνια τόξα".

"Το άλλο πλεονέκτημα του καρβιδίου του πυριτίου που κανένα από τα άλλα υλικά δεν έχει είναι η θερμική αγωγιμότητα", προσθέτει ο Calafiore. "Το πλαστικό είναι ένας τρομερός μονωτής. Το γυαλί, το νιοβικό λίθιο, το ίδιο πράγμα. Πηγαίνετε στο καρβίδιο του πυριτίου και είναι διαφανές, μοιάζει με γυαλί, και μαντέψτε τι: Οδηγεί τη θερμότητα".

Έτσι, τον Ιούλιο του 2020, η ομάδα αποφάσισε ότι το καρβίδιο του πυριτίου ήταν η βέλτιστη επιλογή για τρεις βασικούς λόγους: Είχε καλύτερες οπτικές ιδιότητες και ήταν ελαφρύτερο από το γυαλί διπλής πλάκας.

Το μυστικό της λοξής χάραξης

Με το υλικό στο μυαλό, το επόμενο καρύδι που έπρεπε να σπάσει ήταν η κατασκευή των κυματοδηγών - και συγκεκριμένα, μια αντισυμβατική τεχνική πλέγματος που ονομάζεται λοξή χάραξη.

"Το πλέγμα είναι η νανοδομή που συνδέει και αποσυνδέει το φως από το φακό", εξηγεί ο Calafiore. "Και για να λειτουργήσει το καρβίδιο του πυριτίου, η σχάρα πρέπει να είναι λοξά χαραγμένη. Αντί να είναι κάθετη, θέλετε οι γραμμές του πλέγματος να έχουν διαγώνια κλίση".

"Ήμασταν οι πρώτοι που κάναμε λοξή χάραξη απευθείας στις συσκευές", λέει ο διευθυντής έρευνας Nihar Mohanty. "Όλος ο κλάδος βασιζόταν στο νανοαποτύπωμα, το οποίο δεν λειτουργεί για υποστρώματα με τόσο υψηλό δείκτη διάθλασης. Αυτός είναι ο λόγος για τον οποίο κανείς άλλος στον κόσμο δεν είχε σκεφτεί να κάνει καρβίδιο του πυριτίου".

Αλλά επειδή η λοξή χάραξη είναι μια ανώριμη τεχνολογία, οι περισσότεροι προμηθευτές και εργοστάσια τσιπ ημιαγωγών δεν διαθέτουν τα απαραίτητα εργαλεία.

"Το 2019, ο τότε διευθυντής μου, Matt Colburn, και εγώ δημιουργήσαμε τη δική μας εγκατάσταση, καθώς δεν υπήρχε τίποτα στον κόσμο που να μπορεί να παράγει κυματοδηγούς καρβιδίου πυριτίου με χάραξη και όπου θα μπορούσαμε να αποδείξουμε την τεχνολογία πέρα από την εργαστηριακή κλίμακα", εξηγεί ο Mohanty. "Ήταν μια τεράστια επένδυση και δημιουργήσαμε εκεί ολόκληρη τη γραμμή παραγωγής. Τα εργαλεία κατασκευάστηκαν κατά παραγγελία για εμάς από τους συνεργάτες μας και η διαδικασία αναπτύχθηκε εσωτερικά στη Meta, αν και τα συστήματά μας είναι ερευνητικού επιπέδου, επειδή δεν υπήρχαν συστήματα κατασκευαστικού επιπέδου εκεί έξω. Συνεργαστήκαμε με έναν κατασκευαστικό εταίρο για την ανάπτυξη εργαλείων και διαδικασιών λοξής χάραξης κατασκευαστικού επιπέδου. Και τώρα που δείξαμε τι είναι εφικτό με το καρβίδιο του πυριτίου, θέλουμε και άλλοι στον κλάδο να αρχίσουν να κατασκευάζουν τα δικά τους εργαλεία".

Όσο περισσότερες εταιρείες επενδύουν σε καρβίδιο πυριτίου οπτικής ποιότητας και αναπτύσσουν εξοπλισμό, τόσο ισχυρότερη θα γίνει η κατηγορία των καταναλωτικών γυαλιών AR.

Δεν κυνηγάμε πλέον ουράνια τόξα

While technological inevitability is a myth, the stars certainly seem to be aligning in silicon carbide’s favor. And although the team continues to investigate alternatives, there’s a strong sense that the right people have come together at the right time under the right market conditions to build AR glasses using this material.

"Η Orion απέδειξε ότι το καρβίδιο του πυριτίου είναι μια βιώσιμη επιλογή για γυαλιά AR", λέει ο Silverstein, "και τώρα βλέπουμε ενδιαφέρον σε όλη την αλυσίδα εφοδιασμού σε τρεις διαφορετικές ηπείρους, όπου επιδιώκουν έντονα αυτή την ευκαιρία. Το καρβίδιο του πυριτίου θα βγει κερδισμένο. Είναι απλώς θέμα χρόνου κατά τη γνώμη μου".

Και πολλά μπορούν να συμβούν σε αυτό το χρονικό διάστημα - όπως ο τρόπος με τον οποίο έχουν αλλάξει τα πράγματα από τότε που αναπτύξαμε τους πρώτους διαυγείς κρυστάλλους καρβιδίου του πυριτίου.

"Όλοι αυτοί οι κατασκευαστές καρβιδίου του πυριτίου είχαν αυξήσει μαζικά την προμήθεια ως απάντηση στην αναμενόμενη έκρηξη των ηλεκτρικών οχημάτων", σημειώνει ο Calafiore. "Αυτή τη στιγμή, υπάρχει μια πλεονάζουσα παραγωγική ικανότητα που δεν υπήρχε όταν κατασκευάζαμε το Orion. Έτσι, τώρα, επειδή η προσφορά είναι υψηλή και η ζήτηση χαμηλή, το κόστος του υποστρώματος έχει αρχίσει να μειώνεται".

"Οι προμηθευτές είναι πολύ ενθουσιασμένοι από τη νέα ευκαιρία κατασκευής καρβιδίου πυριτίου οπτικής ποιότητας - άλλωστε, κάθε φακός κυματοδηγού αντιπροσωπεύει μεγάλη ποσότητα υλικού σε σχέση με ένα ηλεκτρονικό τσιπ, και όλες οι υπάρχουσες δυνατότητές τους εφαρμόζονται σε αυτό το νέο χώρο", προσθέτει ο Silverstein. "Η πλήρωση του εργοστασίου σας είναι απαραίτητη και η κλιμάκωση του εργοστασίου σας είναι το όνειρο. Το μέγεθος του πλακιδίου έχει επίσης σημασία: Όσο μεγαλύτερη είναι η γκοφρέτα, τόσο χαμηλότερο είναι το κόστος - αλλά αυξάνεται και η πολυπλοκότητα της διαδικασίας. Τούτου λεχθέντος, έχουμε δει προμηθευτές να προχωρούν από τις γκοφρέτες των τεσσάρων ιντσών στις γκοφρέτες των οκτώ ιντσών και ορισμένοι εργάζονται σε πρόδρομες γκοφρέτες των 12 ιντσών, οι οποίες θα αποδώσουν εκθετικά περισσότερα ζευγάρια γυαλιών AR".

Αυτές οι εξελίξεις θα συμβάλουν στη συνέχιση της μείωσης του κόστους. Είναι ακόμη νωρίς, αλλά το μέλλον έρχεται στο προσκήνιο.

"Στην αρχή κάθε νέας τεχνολογικής επανάστασης, δοκιμάζεις ένα σωρό πράγματα", λέει ο Calafiore. "Κοιτάξτε την τηλεόραση: Ξεκινήσαμε με τους καθοδικούς σωλήνες, και στη συνέχεια περάσαμε στις τηλεοράσεις πλάσματος LED και τώρα στις microLED. Περάσαμε από πολλές διαφορετικές τεχνολογίες και αρχιτεκτονικές. Καθώς αναζητάτε μονοπάτια, πολλά μονοπάτια καταλήγουν στο πουθενά, αλλά υπάρχουν κάποια στα οποία επιστρέφετε συνεχώς ως τα πιο ελπιδοφόρα. Δεν είμαστε στο τέλος του δρόμου και δεν μπορούμε να τα καταφέρουμε μόνοι μας, αλλά το καρβίδιο του πυριτίου είναι ένα θαυματουργό υλικό που αξίζει την επένδυση".

"Ο κόσμος έχει ξυπνήσει τώρα", προσθέτει ο Silverstein. "Έχουμε δείξει με επιτυχία ότι το καρβίδιο του πυριτίου μπορεί να λυγίσει σε όλα τα ηλεκτρονικά και τα φωτονικά. Είναι ένα υλικό που θα μπορούσε να έχει μελλοντικές εφαρμογές στην κβαντική πληροφορική. Και βλέπουμε σημάδια ότι είναι δυνατόν να μειωθεί σημαντικά το κόστος. Μένει πολλή δουλειά να γίνει, αλλά η δυνητική υπεραξία εδώ είναι τεράστια".

TL;DR:

• Today at Connect, Mark Zuckerberg unveiled Orion—our first pair of true AR glasses, previously codenamed Project Nazare.
• With an industry-leading field of view, silicon carbide lenses, intricate waveguides, uLED projectors, and more, Orion is our most advanced and most polished product prototype to date.
• Τώρα, συνεχίζουμε τη βελτιστοποίηση του προϊόντος και τη μείωση του κόστους, καθώς οδηγούμαστε σε μια επεκτάσιμη καταναλωτική συσκευή που θα φέρει επανάσταση στον τρόπο με τον οποίο οι άνθρωποι αλληλεπιδρούν με τον κόσμο.

---

"Κατασκευάζουμε γυαλιά AR."

Five simple words, spoken five years ago. With them, we planted a flag on our vision of a future where we no longer have to make the false choice between a world of information at our fingertips and the physical world all around us.

Και τώρα, πέντε χρόνια αργότερα, άλλες πέντε λέξεις που πρόκειται να αλλάξουν και πάλι το παιχνίδι:

Έχουμε κατασκευάσει γυαλιά AR.

Στη Meta, η αποστολή μας είναι απλή: να δώσουμε στους ανθρώπους τη δύναμη να χτίσουν κοινότητες και να φέρουν τον κόσμο πιο κοντά. Και στα Reality Labs, δημιουργούμε εργαλεία που βοηθούν τους ανθρώπους να αισθάνονται συνδεδεμένοι οποτεδήποτε και οπουδήποτε. Γι' αυτό εργαζόμαστε για να δημιουργήσουμε την επόμενη υπολογιστική πλατφόρμα που θα θέτει τους ανθρώπους στο επίκεντρο, ώστε να είναι πιο παρόντες, συνδεδεμένοι και ενδυναμωμένοι στον κόσμο.

Γυαλιά Ray-Ban Meta έχουν αποδείξει τη δύναμη της παροχής στους ανθρώπους hands-free πρόσβασης σε βασικά τμήματα της ψηφιακής τους ζωής από τη φυσική τους ζωή. Μπορούμε να μιλάμε σε έναν έξυπνο βοηθό τεχνητής νοημοσύνης, να συνδεόμαστε με φίλους και να απαθανατίζουμε τις στιγμές που έχουν σημασία - και όλα αυτά χωρίς να χρειάζεται ποτέ να βγάλουμε το τηλέφωνο. Αυτά τα κομψά γυαλιά ταιριάζουν άψογα στην καθημερινότητά μας και οι άνθρωποι τα λατρεύουν απόλυτα.

Ωστόσο, ενώ η Ray-Ban Meta άνοιξε μια εντελώς νέα κατηγορία γυαλιών χωρίς οθόνη, υπερφορτισμένων με τεχνητή νοημοσύνη, η βιομηχανία XR ονειρεύεται εδώ και καιρό αληθινά γυαλιά AR - ένα προϊόν που συνδυάζει τα οφέλη μιας μεγάλης ολογραφικής οθόνης και εξατομικευμένης βοήθειας τεχνητής νοημοσύνης σε έναν άνετο, κομψό, φορέσιμο όλη την ημέρα παράγοντα μορφής.

And today, we’ve pushed that dream closer to reality with the unveiling of Orion, which we believe is the most advanced pair of AR glasses ever made. In fact, it might be the most challenging consumer electronics device produced since the smartphone. Orion is the result of breakthrough inventions in virtually every field of modern computing—building on the work we’ve been doing at Reality Labs for the last decade. It’s packed with entirely new technologies, including the most advanced AR display ever assembled and custom silicon that enables powerful AR experiences to run on a pair of glasses using a fraction of the power and weight of an MR headset.

Orion’s input system seamlessly combines voice, eye gaze, and hand tracking with an EMG wristband that lets you swipe, click, and scroll while keeping your arm resting comfortably by your side, letting you stay present in the world and with the people around you as you interact with rich digital content.

Ξεκινώντας από σήμερα στο Connect και συνεχίζοντας καθ' όλη τη διάρκεια του έτους, ανοίγουμε την πρόσβαση στο πρωτότυπο του προϊόντος Orion για τους υπαλλήλους της Meta και επιλεγμένα, εξωτερικά ακροατήρια, ώστε η ομάδα ανάπτυξης να μπορεί να μάθει, να επαναλάβει και να χτίσει προς την κατεύθυνση της σειράς προϊόντων AR γυαλιών για καταναλωτές, την οποία σχεδιάζουμε να ξεκινήσουμε να αποστέλλουμε στο εγγύς μέλλον.

Γιατί γυαλιά AR;

Υπάρχουν τρεις βασικοί λόγοι για τους οποίους τα γυαλιά AR είναι το κλειδί για την επίτευξη του επόμενου μεγάλου άλματος στην υπολογιστική με γνώμονα τον άνθρωπο.

1. Επιτρέπουν ψηφιακές εμπειρίες που δεν περιορίζονται από τα όρια της οθόνης ενός smartphone. Με τις μεγάλες ολογραφικές οθόνες, μπορείτε να χρησιμοποιήσετε τον φυσικό κόσμο ως καμβά, τοποθετώντας 2D και 3D περιεχόμενο και εμπειρίες οπουδήποτε θέλετε.
2. Ενσωματώνουν απρόσκοπτα την τεχνητή νοημοσύνη που μπορεί να αντιληφθεί και να κατανοήσει τον κόσμο γύρω σας, προκειμένου να προβλέψει και να αντιμετωπίσει προληπτικά τις ανάγκες σας.
3. Είναι ελαφριές και ιδανικές για χρήση τόσο σε εσωτερικούς όσο και σε εξωτερικούς χώρους - και επιτρέπουν στους ανθρώπους να βλέπουν ο ένας το πραγματικό πρόσωπο, τα πραγματικά μάτια και τις πραγματικές εκφράσεις του άλλου.

Αυτό είναι το αστέρι του βορρά προς το οποίο ο κλάδος μας χτίζει: ένα προϊόν που συνδυάζει την ευκολία και την αμεσότητα των φορητών συσκευών με μεγάλη οθόνη, είσοδο υψηλού εύρους ζώνης και ΤΝ με βάση το περιεχόμενο, σε έναν παράγοντα μορφής που οι άνθρωποι αισθάνονται άνετα να φορούν στην καθημερινή τους ζωή.

Συμπαγής παράγοντας μορφής, σύνθετες προκλήσεις

Εδώ και χρόνια, βρισκόμαστε αντιμέτωποι με μια λανθασμένη επιλογή - είτε ακουστικά εικονικής και μικτής πραγματικότητας που επιτρέπουν βαθιές, καθηλωτικές εμπειρίες σε ογκώδη μορφή είτε γυαλιά που είναι ιδανικά για ολοήμερη χρήση, αλλά δεν προσφέρουν πλούσιες οπτικές εφαρμογές και εμπειρίες λόγω της έλλειψης μεγάλης οθόνης και αντίστοιχης υπολογιστικής ισχύος.

Αλλά τα θέλουμε όλα, χωρίς συμβιβασμούς. Εδώ και χρόνια, δουλεύουμε σκληρά για να πάρουμε τις απίστευτες χωρικές εμπειρίες που προσφέρουν τα ακουστικά VR και MR και να σμικρύνουμε την τεχνολογία που είναι απαραίτητη για την παροχή αυτών των εμπειριών σε ένα ζευγάρι ελαφρών, κομψών γυαλιών. Η επίτευξη του παράγοντα μορφής, η παροχή ολογραφικών οθονών, η ανάπτυξη συναρπαστικών εμπειριών AR και η δημιουργία νέων παραδειγμάτων αλληλεπίδρασης ανθρώπου-υπολογιστή (HCI) - και όλα αυτά σε ένα συνεκτικό προϊόν - είναι μία από τις πιο δύσκολες προκλήσεις που έχει αντιμετωπίσει ποτέ ο κλάδος μας. Ήταν τόσο μεγάλη πρόκληση που πιστεύαμε ότι είχαμε λιγότερες από 10 τοις εκατό πιθανότητες να τα καταφέρουμε με επιτυχία.

Μέχρι τώρα.

Μια πρωτοποριακή οθόνη σε έναν απαράμιλλο παράγοντα μορφής

Στις 70 μοίρες περίπου, το Orion διαθέτει το μεγαλύτερο οπτικό πεδίο στο μικρότερο μέγεθος γυαλιών AR που έχει κατασκευαστεί μέχρι σήμερα. Αυτό το οπτικό πεδίο ξεκλειδώνει πραγματικά καθηλωτικές περιπτώσεις χρήσης για το Orion, από παράθυρα πολλαπλών εργασιών και ψυχαγωγία μεγάλης οθόνης μέχρι ολογράμματα ανθρώπων σε φυσικό μέγεθος - όλο το ψηφιακό περιεχόμενο που μπορεί να συνδυάζεται απρόσκοπτα με την άποψή σας για τον φυσικό κόσμο.

Για τον Orion, το οπτικό πεδίο ήταν το ιερό μας δισκοπότηρο. Προσκρούαμε στους νόμους της φυσικής και έπρεπε να λυγίσουμε τις ακτίνες φωτός με τρόπους που δεν λυγίζουν φυσιολογικά - και έπρεπε να το κάνουμε σε ένα φάκελο ισχύος που μετριέται σε χιλιοστοβάτ.

Instead of glass, we made the lenses from silicon carbide—a novel application for AR glasses. Silicon carbide is incredibly lightweight, it doesn’t result in optical artifacts or stray light, and it has a high refractive index—all optical properties that are key to a large field of view. The waveguides themselves have really intricate and complex nano-scale 3D structures to diffract or spread light in the ways necessary to achieve this field of view. And the projectors are uLEDs—a new type of display technology that’s super small and extremely power efficient.

Το Orion είναι αναμφισβήτητα ένα ζευγάρι γυαλιά τόσο στην εμφάνιση όσο και στην αίσθηση - με διαφανείς φακούς. Σε αντίθεση με τα ακουστικά MR ή άλλα γυαλιά AR σήμερα, μπορείτε ακόμα να βλέπετε τα πραγματικά μάτια και τις εκφράσεις των άλλων, ώστε να είστε παρόντες και να μοιράζεστε την εμπειρία με τους ανθρώπους γύρω σας. Χρειάστηκαν δεκάδες καινοτομίες για να φτάσει ο βιομηχανικός σχεδιασμός σε μια σύγχρονη μορφή γυαλιών που θα νιώθετε άνετα να φοράτε καθημερινά. Το Orion είναι ένα κατόρθωμα σμίκρυνσης - τα εξαρτήματα είναι πακεταρισμένα σε ένα κλάσμα του χιλιοστού. Και καταφέραμε να ενσωματώσουμε επτά μικροσκοπικές κάμερες και αισθητήρες στα χείλη του σκελετού.

Έπρεπε να διατηρήσουμε την οπτική ακρίβεια στο ένα δέκατο του πάχους μιας ανθρώπινης τρίχας. Και το σύστημα μπορεί να ανιχνεύει μικροσκοπικές ποσότητες κίνησης -όπως τα πλαίσια που διαστέλλονται ή συστέλλονται σε διάφορες θερμοκρασίες δωματίου- και στη συνέχεια να διορθώνει ψηφιακά την απαραίτητη οπτική ευθυγράμμιση, και όλα αυτά μέσα σε χιλιοστά του δευτερολέπτου. Κατασκευάσαμε τα πλαίσια από μαγνήσιο - το ίδιο υλικό που χρησιμοποιείται στα αγωνιστικά αυτοκίνητα F1 και στα διαστημόπλοια - επειδή είναι ελαφρύ αλλά άκαμπτο, ώστε να διατηρεί τα οπτικά στοιχεία σε ευθυγράμμιση και να απομακρύνει αποτελεσματικά τη θερμότητα.

Θέρμανση και ψύξη

Αφού σπάσαμε την οθόνη (χωρίς λογοπαίγνιο) και ξεπεράσαμε τα προβλήματα φυσικής, έπρεπε να αντιμετωπίσουμε την πρόκληση των πραγματικά ισχυρών υπολογιστών σε συνδυασμό με την πραγματικά χαμηλή κατανάλωση ενέργειας και την ανάγκη απαγωγής θερμότητας. Σε αντίθεση με τα σημερινά ακουστικά MR, δεν μπορείτε να τοποθετήσετε έναν ανεμιστήρα σε ένα ζευγάρι γυαλιά. Έτσι, έπρεπε να γίνουμε δημιουργικοί. Πολλά από τα υλικά που χρησιμοποιούνται για την ψύξη του Orion είναι παρόμοια με αυτά που χρησιμοποιεί η NASA για την ψύξη δορυφόρων στο διάστημα.

We built highly specialized custom silicon that’s extremely power efficient and optimized for our AI, machine perception, and graphics algorithms. We built multiple custom chips and dozens of highly custom silicon IP blocks inside those chips. That lets us take the algorithms necessary for hand and eye tracking as well as simultaneous localization and mapping (SLAM) technology that normally takes hundreds of milliwatts of power—and thus generates a corresponding amount of heat—and shrink it down to just a few dozen milliwatts.

Και ναι, το προσαρμοσμένο πυρίτιο εξακολουθεί να παίζει κρίσιμο ρόλο στην ανάπτυξη προϊόντων στα Reality Labs, παρά τα όσα μπορεί να έχετε διαβάσει αλλού. 😎

Αβίαστο EMG

Every new computing platform brings with it a paradigm shift in the way we interact with our devices. The invention of the mouse helped pave the way for the graphical user interfaces (GUIs) that dominate our world today, and smartphones didn’t start to really gain traction until the advent of the touch screen. And the same rule holds true for wearables.

We’ve spoken about our work with electromyography, or EMG, for years, driven by our belief that input for AR glasses needs to be fast, convenient, reliable, subtle, and socially acceptable. And now, that work is ready for prime time.

Το σύστημα εισόδου και αλληλεπίδρασης της Orion συνδυάζει άψογα τη φωνή, το βλέμμα και την παρακολούθηση του χεριού με ένα EMG βραχιολάκι που σας επιτρέπει να σαρώνετε, να κάνετε κλικ και να κάνετε κύλιση με ευκολία.

It works—and feels—like magic. Imagine taking a photo on your morning jog with a simple tap of your fingertips or navigating menus with barely perceptible movements of your hands. Our wristband combines a high-performance textile with embedded EMG sensors to detect the electrical signals generated by even the tiniest muscle movements. An on-device ML processor then interprets those EMG signals to produce input events that are transmitted wirelessly to the glasses. The system adapts to you, so it gets better and more capable at recognizing the most subtle gestures over time. And today, we’re sharing more about our support for external research focused on expanding the equity and accessibility potential of EMG wristbands.

Γνωρίστε το Wireless Compute Puck

True AR glasses must be wireless, and they must also be small.So we built a wireless compute puck for Orion. It takes some of the load off of the glasses, enabling longer battery life and a better form factor complete with low latency.

Τα γυαλιά εκτελούν όλους τους αλγορίθμους παρακολούθησης χεριών, παρακολούθησης ματιών, SLAM και εξειδικευμένους αλγορίθμους γραφικών κλειδώματος του κόσμου AR, ενώ η λογική της εφαρμογής εκτελείται στο puck για να διατηρηθούν τα γυαλιά όσο το δυνατόν πιο ελαφριά και συμπαγή.

Το puck διαθέτει διπλούς επεξεργαστές, συμπεριλαμβανομένου ενός προσαρμοσμένου που έχει σχεδιαστεί εδώ στη Meta, και παρέχει την απαραίτητη υπολογιστική ισχύ για την απόδοση γραφικών χαμηλής καθυστέρησης, την τεχνητή νοημοσύνη και κάποια πρόσθετη αντίληψη της μηχανής.

Και επειδή είναι μικρό και κομψό, μπορείτε να το πετάξετε άνετα σε μια τσάντα ή στην τσέπη σας και να συνεχίσετε τις δουλειές σας - χωρίς δεσμεύσεις.

Εμπειρίες AR

Φυσικά, όπως συμβαίνει με κάθε κομμάτι υλικού, είναι τόσο καλό όσο τα πράγματα που μπορείτε να do με αυτό. Και ενώ είναι ακόμα νωρίς, οι εμπειρίες που προσφέρει ο Orion είναι μια συναρπαστική ματιά στο τι πρόκειται να συμβεί.

We’ve got our smart assistant, Meta AI, running on Orion. It understands what you’re looking at in the physical world and can help you with useful visualizations. Orion uses the same Llama model that powers AI experiences running on Ray-Ban Meta smart glasses today, plus custom research models to demonstrate potential use cases for future wearables development.

Μπορείτε να πραγματοποιείτε βιντεοκλήσεις hands-free εν κινήσει για να ενημερώνεστε με φίλους και συγγενείς σε πραγματικό χρόνο και μπορείτε να παραμείνετε συνδεδεμένοι στο WhatsApp και το Messenger για να βλέπετε και να στέλνετε μηνύματα. Δεν χρειάζεται να βγάλετε το τηλέφωνό σας, να το ξεκλειδώσετε, να βρείτε τη σωστή εφαρμογή και να ενημερώσετε τον φίλο σας ότι έχετε αργήσει για το δείπνο - μπορείτε να τα κάνετε όλα αυτά μέσω των γυαλιών σας.

Μπορείτε να παίξετε κοινά παιχνίδια AR με την οικογένειά σας στην άλλη άκρη της χώρας ή με τον φίλο σας στην άλλη άκρη του καναπέ. Και η μεγάλη οθόνη του Orion σας επιτρέπει να κάνετε multitasking με πολλαπλά παράθυρα για να κάνετε πράγματα χωρίς να χρειάζεται να κουβαλάτε μαζί σας τον φορητό σας υπολογιστή.

Οι εμπειρίες που είναι διαθέσιμες στο Orion σήμερα θα βοηθήσουν να διαμορφωθεί ο οδικός χάρτης για τη σειρά γυαλιών AR για καταναλωτές στο μέλλον. Οι ομάδες μας θα συνεχίσουν να επαναλαμβάνουν και να δημιουργούν νέες καθηλωτικές κοινωνικές εμπειρίες, μαζί με τους συνεργάτες μας προγραμματιστές, και ανυπομονούμε να μοιραστούμε αυτό που θα ακολουθήσει.

Ένα σκόπιμο πρωτότυπο προϊόντος

Παρόλο που το Orion δεν θα φτάσει στα χέρια των καταναλωτών, μην κάνετε κανένα λάθος: Αυτό είναι όχι ένα ερευνητικό πρωτότυπο. Είναι το πιο γυαλισμένο πρωτότυπο προϊόντος που έχουμε αναπτύξει ποτέ - και είναι πραγματικά αντιπροσωπευτικό για κάτι που θα μπορούσε να στέλνουν στους καταναλωτές. Αντί να βιαστούμε να το βγάλουμε στα ράφια, αποφασίσαμε να επικεντρωθούμε πρώτα στην εσωτερική ανάπτυξη, πράγμα που σημαίνει ότι μπορούμε να συνεχίσουμε να χτίζουμε γρήγορα και να συνεχίσουμε να διευρύνουμε τα όρια της τεχνολογίας και των εμπειριών.

Και αυτό σημαίνει ότι θα φτάσουμε σε ένα ακόμη καλύτερο καταναλωτικό προϊόν πιο γρήγορα.

Τι θα ακολουθήσει

Δύο σημαντικά εμπόδια στέκονται εδώ και καιρό στο δρόμο για τα κύρια καταναλωτικά γυαλιά AR: οι τεχνολογικές ανακαλύψεις που είναι απαραίτητες για την παροχή μιας μεγάλης οθόνης σε έναν συμπαγή τύπο γυαλιών και η ανάγκη για χρήσιμες και συναρπαστικές εμπειρίες AR που μπορούν να τρέξουν σε αυτά τα γυαλιά. Το Orion αποτελεί ένα τεράστιο ορόσημο, παρέχοντας για πρώτη φορά πραγματικές εμπειρίες AR που τρέχουν σε λογικά κομψό υλικό.

Τώρα που μοιραστήκαμε τον Orion με τον κόσμο, επικεντρωνόμαστε σε μερικά πράγματα:

• Ρύθμιση της ποιότητας της οθόνης AR για να γίνει η εικόνα ακόμα πιο ευκρινής
• Βελτιστοποίηση όπου μπορούμε για να κάνουμε τον παράγοντα μορφής ακόμα μικρότερο
• Οικοδόμηση σε κλίμακα για να γίνουν πιο προσιτές

In the next few years, you can expect to see new devices from us that build on our R&D efforts. And a number of Orion’s innovations have been extended to our current consumer products today as well as our future product roadmap. We’ve optimized some of our spatial perception algorithms, which are running on both Meta Quest 3S and Orion. While the eye gaze and subtle gestural input system was originally designed for Orion, we plan to use it in future products. And we’re exploring the use of EMG wristbands across future consumer products as well.

Ο Orion δεν είναι απλώς ένα παράθυρο στο μέλλον - είναι μια ματιά στις πολύ πραγματικές δυνατότητες που είναι εφικτές σήμερα. Το δημιουργήσαμε επιδιώκοντας αυτό που κάνουμε καλύτερα: να βοηθάμε τους ανθρώπους να συνδέονται. Από τα γυαλιά Ray-Ban Meta μέχρι το Orion, έχουμε δει το καλό που μπορεί να προκύψει από το να αφήνουμε τους ανθρώπους να παραμένουν πιο παρόντες και ενδυναμωμένοι στον φυσικό κόσμο, ακόμη και όταν αξιοποιούν όλο τον πρόσθετο πλούτο που έχει να προσφέρει ο ψηφιακός κόσμος.

Πιστεύουμε ότι δεν θα πρέπει να χρειάζεται να επιλέξετε ανάμεσα στα δύο. Και με την επόμενη υπολογιστική πλατφόρμα, δεν θα χρειαστεί να το κάνετε.

Last year at Connect, we unveiled Orion—our first true pair of AR glasses. The culmination of our work at Reality Labs over the last decade, Orion combines the benefits of a large holographic display and personalized AI assistance in a comfortable, all-day wearable form factor. It got some attention for its industry-leading field of view, silicon carbide waveguides, uLED projectors, and more. But today, we’re turning our attention to an unsung hero of Orion: the compute puck.

Σχεδιασμένο για να χωράει εύκολα στην τσέπη ή την τσάντα σας, ώστε να μπορείτε να το έχετε μαζί σας σχεδόν παντού καθώς περνάτε την ημέρα σας, το puck αποφορτίζει την επεξεργαστική ισχύ του Orion για να τρέξει τη λογική των εφαρμογών και να επιτρέψει έναν πιο ελκυστικό, μικρότερο παράγοντα μορφής για τα γυαλιά. Συνδέεται ασύρματα με τα γυαλιά και το βραχιολάκι EMG για μια απρόσκοπτη εμπειρία.

Ρυθμίστε το και ξεχάστε το, σωστά;

Αλλά η ιστορία του πακ -ακόμη και ως πρωτότυπο- εμπλέκεται, με ένα δραματικό τόξο που δεν θα μπορούσατε ποτέ να μαντέψετε από την εμφάνισή του.

"Όταν κατασκευάζεις κάτι τέτοιο, αρχίζεις να μπαίνεις στα όρια της φυσικής", εξηγεί ο διευθυντής διαχείρισης προϊόντων Rahul Prasad. "Τα τελευταία 50 χρόνια, ο νόμος του Moore έχει κάνει τα πάντα μικρότερα, ταχύτερα και με χαμηλότερη ισχύ. Το πρόβλημα είναι ότι τώρα αρχίζεις να συναντάς όρια στο πόση θερμότητα μπορείς να αποβάλλεις, πόση μπαταρία μπορείς να συμπιέσεις και πόση απόδοση κεραίας μπορείς να χωρέσεις σε ένα αντικείμενο συγκεκριμένου μεγέθους".

Αν και η εκ των υστέρων γνώση μπορεί να είναι 20/20, οι δυνατότητες του πακ δεν ήταν αμέσως εμφανείς. Όταν είσαι ο πρώτος που κατασκευάζει κάτι, πρέπει να εξερευνήσεις κάθε πιθανότητα - χωρίς να αφήσεις καμία πέτρα αναποδογυρισμένη. Πώς φτιάχνεις κάτι που κάποιοι μπορεί να το θεωρήσουν ανεπιθύμητο αξεσουάρ και όχι κρίσιμο μέρος του πακέτου;

"Ξέραμε ότι το puck ήταν μια επιπλέον συσκευή που ζητούσαμε από τους ανθρώπους να κουβαλούν", σημειώνει ο Διευθυντής Μηχανικής Σχεδίασης Προϊόντων Jared Van Cleave, "οπότε διερευνήσαμε πώς να μετατρέψουμε το σφάλμα σε χαρακτηριστικό".

Τελικά, αυτό το ήθος απέδωσε τα μέγιστα, καθώς ο δίσκος συμπιέζει πολύ υπολογισμό (και ακόμη περισσότερο προσαρμοσμένο πυρίτιο σχεδιασμένο από τη Meta για την τεχνητή νοημοσύνη και τη μηχανική αντίληψη) σε ένα μικρό μέγεθος. Αυτό συνέβαλε καθοριστικά στο να περάσει το Orion από τη σφαίρα της επιστημονικής φαντασίας στην πραγματικότητα.

"Αν δεν είχατε το puck, δεν θα μπορούσατε να ζήσετε τις εμπειρίες που προσφέρει το Orion στον παράγοντα μορφής του -περίοδος", λέει ο Prasad. "Μια καλή εμπειρία AR απαιτεί πραγματικά υψηλές επιδόσεις: υψηλούς ρυθμούς καρέ, εξαιρετικά χαμηλή καθυστέρηση, λεπτομερή διαχείριση ασύρματων δικτύων και ενέργειας κ.λπ. Το puck και τα γυαλιά πρέπει να συν-σχεδιαστούν ώστε να συνεργάζονται πραγματικά στενά, όχι μόνο στο επίπεδο της εφαρμογής, αλλά και στο επίπεδο του λειτουργικού συστήματος, του υλικολογισμικού και του υλικού. Και ακόμη και αν κάποιος συν-σχεδιάσει ένα smartphone για να συνεργαστεί με γυαλιά AR, οι απαιτητικές απαιτήσεις επιδόσεων θα εξαντλούσαν την μπαταρία του τηλεφώνου και θα αφαιρούσαν υπολογιστική χωρητικότητα από τις περιπτώσεις χρήσης του τηλεφώνου. Από την άλλη πλευρά, το puck έχει τη δική του μπαταρία υψηλής χωρητικότητας, SoC υψηλής απόδοσης και έναν προσαρμοσμένο συν-επεξεργαστή AI σχεδιασμένο από την Meta, βελτιστοποιημένο για το Orion".

Φυσικά, το πακ δεν σχεδιάστηκε εν μία νυκτί. Απαιτήθηκαν χρόνια επαναληπτικής εργασίας.

"Δεν ξέραμε πώς οι άνθρωποι θα ήθελαν να αλληλεπιδράσουν με το Orion από την άποψη της εισόδου - δεν υπήρχε τίποτα που θα μπορούσαμε να χρησιμοποιήσουμε στην αγορά", λέει ο Product Manager Matt Resman. "Αν κοιτάξετε τα πρώτα πρωτότυπα γυαλιά μας, ήταν αυτά τα τεράστια ακουστικά που ζύγιζαν τρία ή τέσσερα κιλά. Και όταν προσπαθείς να δημιουργήσεις ένα προϊόν, είναι πολύ δύσκολο να κατανοήσεις την εμπειρία του χρήστη, αν δεν έχεις τον κατάλληλο παράγοντα μορφής. Με το puck, μπορέσαμε να δημιουργήσουμε πρωτότυπα πολύ γρήγορα και να αρχίσουμε να καταλαβαίνουμε πώς θα το χρησιμοποιούσαν οι άνθρωποι".

Με την κωδική ονομασία Omega τις πρώτες μέρες, το puck οραματίστηκε αρχικά από την τότε Oculus Research ως μια ζώνη σχήματος Ω που θα περνούσε γύρω από το λαιμό του χρήστη και θα ήταν συνδεδεμένη με τα γυαλιά...

... μέχρι που κάποιες νέες καινοτομίες από την ομάδα ασύρματης επικοινωνίας της Reality Labs, μεταξύ άλλων, τους επέτρεψαν να κόψουν το καλώδιο. Αυτό επέτρεψε μια πιο φορητή ή φορητή στην τσέπη/στην τσάντα μορφή, η οποία άνοιξε πολλές δυνατότητες.

"Σε εκείνο το σημείο, οι κλήσεις επαυξημένης πραγματικότητας αποτελούσαν ακόμα μια πρωταρχική περίπτωση χρήσης", εξηγεί ο Van Cleave. "Το πακ ήταν το σημείο στο οποίο θα αγκυροβολούνταν τα ολογραφικά βίντεο. Το τοποθετούσατε στο τραπέζι με τον πάγκο των αισθητήρων να σας κοιτάζει, να σας απεικονίζει και στη συνέχεια να προβάλλει από την επιφάνεια του puck αυτόν με τον οποίο μιλούσατε για την κλήση".

"Ο Orion συνδέει τους ανθρώπους και μας φέρνει κοντά", λέει ο Resman. "Μια από τις αρχικές ιδέες για το πακ ήταν να βοηθήσει να δημιουργηθεί αυτή η αίσθηση παρουσίας με άλλους ανθρώπους και να καταστεί δυνατή αυτή η πιο πλούσια μορφή επικοινωνίας".

"Δεν μοιάζει με οτιδήποτε έχετε δει ποτέ - η συσκευή έχει τη δυνατότητα να δημιουργήσει πραγματικά διασκεδαστικές και μοναδικές αλληλεπιδράσεις", προσθέτει ο βιομηχανικός σχεδιαστής Emron Henry. "Η εμπειρία του χρήστη μοιάζει λίγο σαν να απελευθερώνει ένα τζίνι από ένα μπουκάλι, όπου τα ολογράμματα αναδύονται απρόσκοπτα από τη συσκευή και διαλύονται πίσω σε αυτήν".

Όπως μπορείτε πιθανώς να καταλάβετε από τώρα, υπάρχουν περισσότερες δυνατότητες μέσα στο πακ από αυτό που τελικά ενεργοποιήθηκε ως χαρακτηριστικό. Εκτός από τους αισθητήρες και τις κάμερες που θα χρησιμοποιούνταν για κλήσεις AR, το puck διαθέτει απτικά και αισθητήρες 6DOF που θα μπορούσαν να του επιτρέψουν να χρησιμοποιηθεί ως χειριστήριο με παρακολούθηση για την επιλογή και το χειρισμό εικονικών αντικειμένων και την αναπαραγωγή παιχνιδιών AR. Η ομάδα διερεύνησε επίσης την εισαγωγή χωρητικής και δυναμικής αφής, ώστε το puck να μπορεί να χρησιμεύσει ως gamepad όταν κρατιέται τόσο σε κατακόρυφη όσο και σε οριζόντια θέση.

"Συζητούσαμε για την ανάγκη να κουβαλάμε αυτό το επιπλέον πράγμα", λέει ο Van Cleave. "Πώς μπορούμε να το κάνουμε πιο χρήσιμο; Υπήρχε ένα ολόκληρο ρεύμα εργασίας γύρω από αυτό. Και σε κάποιο σημείο, η υπόθεση ήταν ότι το AR gaming θα ήταν αυτή η φονική περίπτωση χρήσης".

Από πολύ νωρίς, ξέραμε ότι έπρεπε να εξερευνήσουμε τις δυνατότητες του πακ να κάνει πράγματα που δεν μπορούν να κάνουν τα τηλέφωνα. Τελικά, καταλήξαμε στη χρήση του οφθαλμικού βλέμματος, του EMG και της παρακολούθησης χεριών για παιχνίδια AR, όπως το Stargazer και το Pong, αλλά δημιουργήσαμε πρωτότυπα διάφορα demo και παιχνίδια που χρησιμοποιούσαν το puck ως χειριστήριο στις πρώτες μέρες του Orion.

Αναπαραστάσεις εξερεύνησης της μπάλας ως χειριστήριο 6DOF για παιχνίδια AR όπως το Pong.

"Επειδή δεν πρόκειται για τηλέφωνο, αυτό μας έδωσε μεγάλη σχεδιαστική ελευθερία", προσθέτει ο Prasad. "Μπορεί να είναι παχύτερο, μπορώ να το κάνω πιο στρογγυλεμένο, ώστε να χωράει άνετα στο χέρι σας ως χειριστήριο. Είναι αρκετά απίστευτο το γεγονός ότι το puck είναι στην πραγματικότητα μικρότερο από το μέσο τηλέφωνο, αλλά είναι πιο ισχυρό από ένα τηλέφωνο, επειδή διαθέτει έναν συν-επεξεργαστή που έχει σχεδιαστεί από τη Meta για την τεχνητή νοημοσύνη και τη μηχανική αντίληψη".

Η ομάδα ασχολήθηκε με το ερώτημα πώς ένα ποιοτικό παιχνίδι AR μπορεί να διαφέρει από ένα παιχνίδι MR ή ένα παιχνίδι κονσόλας. Αυτό σήμαινε τη διερεύνηση διαφορετικών δυνατοτήτων για ένα χειριστήριο παιχνιδιού AR, συμπεριλαμβανομένων των joysticks, της διάταξης φυσικών κουμπιών, των κουμπιών ενεργοποίησης και άλλων.

"Δεν καταλήξαμε να κατασκευάσουμε τίποτα από αυτά τα πράγματα", σημειώνει ο Van Cleave. "Τα κατασκευάσαμε πρωτότυπα, αλλά δεν προχωρήσαμε ποτέ σε πλήρη κατασκευή. Θέλαμε να το κρατήσουμε απλό. Θέλαμε να κάνουμε αυτές τις μαλακές διεπαφές, αλλά όχι να φτιάξουμε φυσικά, μηχανικά κουμπιά".

Και ενώ οι αισθητήρες και τα απτικά δεν ενεργοποιήθηκαν στο τελικό πρωτότυπο του προϊόντος, λειτούργησαν αναπόσπαστα κατά τη διάρκεια της ανάπτυξης, επιτρέποντας στις ομάδες να καταγράφουν σφάλματα, απλά πατώντας μερικές φορές το πάνω μέρος της συσκευής για να ενεργοποιήσουν μια αναφορά σφάλματος.

Καθώς η Τεχνητή Νοημοσύνη άρχισε να αποκτά κεντρική θέση ως βασική περίπτωση χρήσης, ο υπολογισμός τέθηκε σε όλο και πιο έντονη εστίαση. Τελικά, το puck φιλοξενεί την ασύρματη συνδεσιμότητα του Orion, την υπολογιστική ισχύ και τη χωρητικότητα της μπαταρίας - ένα τεράστιο τεχνικό κατόρθωμα από μόνο του - το οποίο συμβάλλει στη μείωση του βάρους και του συντελεστή μορφής των γυαλιών, ενώ παράλληλα διαχέει πολύ περισσότερα θερμικά αέρια λόγω της επιφάνειάς του.

Καθ' όλη τη διάρκεια της εξέλιξής του, ένα πράγμα παρέμεινε το ίδιο: το πακ έχει περισσότερα στοιχεία από όσα βλέπει το ανεκπαίδευτο μάτι. Η υιοθέτηση αντισυμβατικών ιδεών επέτρεψε στις ομάδες μας να εξερευνήσουν, να διευρύνουν τα όρια και να οικοδομήσουν το μέλλον.

"Ορίζουμε μια κατηγορία που δεν υπάρχει ακόμα", σημειώνει ο Henry. "Όπως θα περίμενε κανείς με την Ε&Α, υπήρξαν εκκινήσεις και στάσεις στην πορεία. Πώς θα περιμένουν οι χρήστες να αλληλεπιδράσουν με τα ολογράμματα; Θα προτιμούσαν να χρησιμοποιήσουν ένα τηλεχειριστήριο AR ή αρκεί η παρακολούθηση του χεριού, το βλέμμα των ματιών και το EMG για την είσοδο; Τι αισθάνονται διαισθητικό, χαμηλής τριβής, οικείο και χρήσιμο;"

"Αντί να βλέπουμε το puck ως μια απλή πέτρα, αναρωτηθήκαμε τι άλλο θα μπορούσαμε να προσφέρουμε για να το διαφοροποιήσουμε περαιτέρω από τα τηλέφωνα και να δικαιολογήσουμε γιατί θα θέλατε να το έχετε μαζί σας", παραδέχεται ο Resman. "Μήπως η ακατέργαστη υπολογιστική του ισχύς και ο πρακτικός σχεδιασμός του -που βοήθησε στο να ξεκλειδώσουμε έναν παράγοντα μορφής γυαλιών που μπορείτε ρεαλιστικά να φοράτε όλη μέρα- προσφέρουν τελικά αρκετή αξία; Είναι δουλειά μας να βοηθήσουμε να απαντηθούν αυτά τα ερωτήματα".

"Από πολύ νωρίς, αλλάξαμε ταχύτητα και επικεντρωθήκαμε στο τι μπορούμε να κάνουμε που δεν μπορεί να κάνει ένα τηλέφωνο", προσθέτει ο Van Cleave. "Τα τηλέφωνα πρέπει να έχουν την οθόνη, πρέπει να έχουν τη συγκεκριμένη διάταξη φυσικών κουμπιών που περιμένουν οι χρήστες. Εμείς δεν έχουμε αυτούς τους περιορισμούς. Ο υπολογιστικός μας δίσκος μπορεί να είναι ό,τι θέλουμε να είναι".