Δημοσιεύθηκε την - Σχολιάστε

Από το μηδέν στο ένα: Πώς το προσαρμοσμένο πυρίτιο και τα τσιπ μας φέρνουν επανάσταση στην AR

Το 2017, ο επικεφαλής επιστήμονας της Reality Labs Michael Abrash, υποστηριζόμενη από τον ιδρυτή και διευθύνοντα σύμβουλο της Meta Μαρκ Ζούκερμπεργκ, δημιούργησε μια νέα, μυστική ομάδα στο πλαίσιο της τότε Oculus Research για να δημιουργήσει τα θεμέλια της επόμενης υπολογιστικής πλατφόρμας. Το ηράκλειο έργο τους: Να δημιουργήσουν μια προσαρμοσμένη λύση πυριτίου που θα μπορούσε να υποστηρίξει τις μοναδικές απαιτήσεις των μελλοντικών γυαλιά επαυξημένης πραγματικότητας-ένα τεχνικό κατόρθωμα που απαιτούσε την επανασχεδίαση κάθε εξαρτήματος για ένα wearable για όλη την ημέρα Γυαλιά AR παράγοντα μορφής που απλά δεν υπήρχε ακόμα.

Μπροστινή γωνία του πρωτοτύπου γυαλιών AR Orion.

Συμπαγής παράγοντας μορφής, σημαντικός χώρος προβλημάτων

Μεγαλώνοντας από λίγους ερευνητές σε εκατοντάδες άτομα στην πλευρά του προϊόντος, η ομάδα προσαρμοσμένου πυριτίου δημιουργήθηκε με βάση την παραδοχή ότι τα γυαλιά AR δεν θα μπορούσαν να βασίζονται στο πυρίτιο που είναι διαθέσιμο στα σημερινά smartphones. Και είναι μια παραδοχή που επιβεβαιώνεται από τα διάφορα προσαρμοσμένα τσιπ στο εσωτερικό των Orion, το πρώτο πραγματικό πρωτότυπο προϊόν μας με γυαλιά AR.

"Κατασκευάζοντας το πλοίο καθώς βγαίνει από το λιμάνι - αυτό ακριβώς κάναμε", λέει ο διευθυντής στρατηγικής προηγμένων τεχνολογιών Jeremy Snodgrass. "Έπρεπε να αυξήσουμε την κλίμακα μιας μικρής ομάδας, ενώ ταυτόχρονα κατασκευάζαμε αυτά τα τσιπ. Ήταν συναρπαστικό να βλέπεις την ηγεσία να φέρνει νέες προσλήψεις, ενώ παράλληλα ανέπτυσσε μια κουλτούρα που εκτιμά την ευελιξία. Τίποτα δεν ήταν πρόβλημα κάποιου άλλου. Έπαιρνες ένα κουπί και άρχιζες να κωπηλατείς, ακόμη και αν δεν ήταν ακριβώς αυτό για το οποίο είχες προσληφθεί. Ήταν μια πολύ, πολύ συναρπαστική εποχή".

"Σχεδόν τα πάντα σχετικά με το Orion ήταν νέα για τον κόσμο με πολλούς τρόπους", συμφωνεί ο τεχνικός διευθυντής αρχιτεκτονικής οθόνης Mike Yee. "Ορισμένες από τις ιδέες υπήρχαν, αλλά κανείς δεν είχε αναλάβει το ερευνητικό έργο να κατασκευάσει πραγματικά ένα φορητό ζευγάρι γυαλιών AR για όλη την ημέρα".

Η ομάδα έπρεπε να προσφέρει μια συναρπαστική εμπειρία AR με όσο το δυνατόν μικρότερη κατανάλωση ενέργειας. Ο παράγοντας της μορφής των γυαλιών μπορεί να αποβάλει μόνο τόση θερμότητα και μπορεί να φιλοξενήσει μόνο τόση χωρητικότητα μπαταρίας. Ως αποτέλεσμα, οι εμπειρίες που είναι δυνατόν να παρασχεθούν στα γυαλιά εξαρτώνται πλήρως από το πυρίτιο. Με άλλα λόγια, αν διατηρήσετε σταθερές τις θερμικές και τις χωρητικότητες της μπαταρίας, ο μόνος τρόπος για να παραδώσετε μια δεδομένη εμπειρία είναι να βελτιστοποιήσετε το πυρίτιο.

"Ο σχεδιασμός μιας νέας αρχιτεκτονικής για το Orion απαιτούσε από την ομάδα όχι μόνο να προωθήσει επιθετικά τις υπάρχουσες τεχνολογίες, όπως η ασύρματη σύνδεση και οι οθόνες, αλλά και να πάρει ρίσκα σε νέες τεχνολογίες", λέει ο Διευθυντής Διαχείρισης Προϊόντων Neeraj Choubey. "Για παράδειγμα, η ομάδα ανέπτυξε έναν επιταχυντή μηχανικής μάθησης (ML) χωρίς να υπάρχει τότε μια σαφής περίπτωση χρήσης, με γνώμονα την ισχυρή πεποίθηση ότι η ML θα αποκτούσε ολοένα και μεγαλύτερη σημασία στα προϊόντα της Meta. Στο Orion, κάθε επιταχυντής ML χρησιμοποιείται, και σε ορισμένες περιπτώσεις, είναι υπεράριθμοι, εξυπηρετώντας λειτουργίες όπως η παρακολούθηση ματιών και χεριών. Ομοίως, η ομάδα ανέπτυξε προσαρμοσμένα πρωτόκολλα συμπίεσης για τη μείωση του εύρους ζώνης και της κατανάλωσης ενέργειας καθώς τα δεδομένα μετακινούνται από το υπολογίστε το puck στην οθόνη. Η ανάπτυξη προσαρμοσμένου πυριτίου για την επίτευξη των στόχων της Orion όσον αφορά τον παράγοντα μορφής απαιτούσε τόσο ανοχή σε υψηλές ασάφειες όσο και σχολαστική προσοχή στη λεπτομέρεια για την επίτευξη μιας απίστευτα πολύπλοκης αρχιτεκτονικής συστήματος".

"Η μεγαλύτερη πρόκληση που αντιμετωπίσαμε ήταν η απόδοση των τρισδιάστατων γραφικών με κλειδωμένο κόσμο, μαζί με τον χωροθετημένο ήχο που αναπαράγεται έτσι ώστε να φαίνεται ότι προέρχεται από ένα εικονικό αντικείμενο", σημειώνει ο Snodgrass. "Έπρεπε να χωρέσουμε όλα αυτά τα ηλεκτρονικά μέσα στη θερμική χωρητικότητα και τον φυσικό χώρο και στη συνέχεια να το τρέξουμε με την μπαταρία, ώστε να μην ζεσταίνεται πολύ. Και έπρεπε να τα κάνουμε όλα αυτά σε έναν πραγματικό παράγοντα μορφής γυαλιών - όχι σε μια μεγάλη προσωπίδα, όπως βλέπετε συνήθως στην κατηγορία".

"Γνωρίζαμε πώς να παρέχουμε την απαραίτητη υπολογιστική ισχύ για να υλοποιήσουμε το όραμά μας για τον Orion, αλλά αντιμετωπίσαμε ένα δύσκολο έργο: τη μείωση της κατανάλωσης ενέργειας κατά 100 φορές", λέει ο διευθυντής του τμήματος SoC Solutions Robert Shearer. "Αυτό απαιτούσε να διευρύνουμε τα όρια της σχεδίασης πυριτίου, αγκαλιάζοντας μεθοδολογίες από διαφορετικές γωνιές του κλάδου -από το IoT έως τους υπολογιστές υψηλής απόδοσης- και εφευρίσκοντας νέες προσεγγίσεις για να γεφυρώσουμε τα κενά. Οι συνεργάτες μας στον κλάδο μας νόμιζαν ότι ήμασταν τρελοί, και ίσως να μην είχαν εντελώς άδικο. Αλλά αυτό ακριβώς χρειαζόταν: η προθυμία να αμφισβητήσουμε τη συμβατική σοφία και να επανεξετάσουμε τα πάντα. Η κατασκευή ενός υπολογιστή που συγχωνεύει απρόσκοπτα τον εικονικό και τον φυσικό κόσμο απαιτεί μια βαθιά κατανόηση του πλαισίου, που ξεπερνά κατά πολύ αυτό που μπορούν να προσφέρουν οι υπάρχουσες υπολογιστικές πλατφόρμες. Στην ουσία, ανακαλύψαμε εκ νέου τον τρόπο με τον οποίο οι υπολογιστές αλληλεπιδρούν με τον άνθρωπο, πράγμα που σήμαινε να επαναπροσδιορίσουμε τον τρόπο με τον οποίο κατασκευάζουμε το πυρίτιο από την αρχή".

Εξωτερικά εξαρτήματα Orion.

Η μαγεία των MicroLEDs

Υπήρχαν στιγμές που τα πράγματα έπεφταν πίσω στο χρονοδιάγραμμα ή εμφανιζόταν μια φαινομενικά ανυπέρβλητη τεχνική πρόκληση, όταν ήταν δύσκολο να διατηρηθεί η δυναμική και το ηθικό. Αλλά η ομάδα ήταν ανθεκτική, βρίσκοντας δρόμους γύρω από τα εμπόδια - ή απλά καταρρίπτοντάς τα.

Πάρτε, για παράδειγμα, την οθόνη του Orion. Η ομάδα πυριτίου ήταν υπεύθυνη για το πυρίτιο στον προβολέα οθόνης που βρίσκεται στις γωνίες των γυαλιών.

"Για αυτούς τους προβολείς, υπήρχε ένα ανοιχτό ερώτημα σχετικά με το αν θα μπορούσαμε να βάλουμε τις microLEDs σε μια συστοιχία με αρκετά υψηλή απόδοση και φωτεινότητα για να αναπτύξουμε μια οθόνη ευρέος οπτικού πεδίου", λέει ο Snodgrass. "Υπήρχαν τεράστιες αμφιβολίες ότι θα μπορούσαμε - ότι ήταν εφικτό στο χρονικό πλαίσιο που εξετάζαμε - επειδή η τεχνολογία αυτή ήταν πολύ ανερχόμενη".

"Συνειδητοποιήσαμε πολύ νωρίς ότι έπρεπε να επανεξετάσουμε πολλά από τα πρότυπα ανάπτυξης προϊόντων", προσθέτει ο Yee. "Η ποσότητα φωτός που χρειάζεστε για να κάνετε μια χρήσιμη οθόνη είναι αρκετά πιο φωτεινή για τα γυαλιά AR, επειδή, ως φορητή οθόνη, ανταγωνίζεστε τον ήλιο. Επομένως, χρειαζόμαστε επίπεδα ενέργειας που να τον ανταγωνίζονται - ή τουλάχιστον αυτός είναι ο στόχος. Δεν έχουμε φτάσει ακόμα εκεί, αλλά αυτό είναι ένα μεγάλο κομμάτι. Και αυτό σημαίνει ότι χρειάζεστε πηγές φωτός για μια οθόνη που να είναι ικανές για κάτι τέτοιο και χρειάζεστε κυκλώματα που να μπορούν να το ελέγχουν. Και ταυτόχρονα, πρέπει να το κάνεις μικροσκοπικό".

Προσαρμοσμένο πυρίτιο για την οδήγηση των µLED της Orion.

Ενώ οι microLED φαίνονταν η καταλληλότερη πηγή φωτός για τους προβολείς, το πυρίτιο βοήθησε να ξεκλειδώσουν τις δυνατότητές τους.

"Με τις οθόνες, μιλάμε για το βήμα των εικονοστοιχείων, που είναι οι αποστάσεις μεταξύ των κεντρικών σημείων των γειτονικών εικονοστοιχείων", εξηγεί ο Yee. "Για τις τηλεοράσεις, οι αποστάσεις αυτές είναι εκατοντάδες μικρόμετρα. Στο τηλέφωνό σας, οι αποστάσεις είναι πολλές δεκάδες μικρόμετρα. Και έπρεπε να τις κατεβάσουμε σε μονοψήφια νούμερα. Η μόνη γνωστή κατασκευή ημιαγωγών που μπορούσε να φτάσει εκεί ήταν το πυρίτιο".

Το έργο δυσχέραινε το γεγονός ότι η πίσω επιφάνεια της οθόνης έπρεπε να είναι ένα κομμάτι πυριτίου και κανείς στον κόσμο δεν είχε σχεδιάσει πυρίτιο για microLED.

"Εκείνη την εποχή, οι ερευνητικές ομάδες που υπήρχαν εκεί έξω είχαν όλες επαναχρησιμοποιήσει οθόνες υγρών κρυστάλλων σε πυρίτιο για να τοποθετήσουν microLED", λέει ο Yee. "Κανείς δεν είχε σχεδιάσει ποτέ πριν ένα backplane για microLEDs. Και αντιμετωπίσαμε μια αρκετά μοναδική πρόκληση επειδή πρόκειται για ένα οπτικό εξάρτημα. Πρέπει να είναι επίπεδο. Δεν μπορείτε να το γρατζουνίσετε. Πρέπει να έχει όλα αυτά τα χαρακτηριστικά επειδή όταν κοιτάζετε μέσα από τους κυματοδηγούς, μέσα από τους προβολείς, κυριολεκτικά κοιτάζετε την επάνω επιφάνεια του κομματιού πυριτίου".

Η ομάδα πυριτίου ανέπτυξε μια σύνθετη σειρά από πλατφόρμες δοκιμών για αυτές τις οθόνες microLED, η οποία απαιτούσε στενό συντονισμό με τους παγκόσμιους προμηθευτές μας. Οι microLED έχουν παγκόσμιο αποτύπωμα, ξεκινώντας από ένα σημείο και στη συνέχεια μεταφέρθηκαν σε άλλη τοποθεσία όπου τοποθετήθηκαν σε ένα wafer. Οι γκοφρέτες στη συνέχεια αποστέλλονταν για να κοπούν σε ένα συγκεκριμένο σχήμα, ακολουθούσε ένα ταξίδι στις ΗΠΑ για να συγκολληθούν με μια άλλη γκοφρέτα, και στη συνέχεια αποστέλλονταν πίσω σε όλο τον κόσμο για την κατασκευή και δοκιμή της πραγματικής μονάδας. Ήταν μια εξαιρετικά περίπλοκη διαδικασία και η ομάδα πυριτίου ανέπτυξε οχήματα δοκιμών για να αποδείξει κάθε βήμα.

Η ομάδα έπρεπε επίσης να βρει έναν τρόπο να παρέχει ενέργεια στις οθόνες microLED στον μικροσκοπικό όγκο των γωνιών των γυαλιών. Η αναλογική μας ομάδα ανέπτυξε ένα προσαρμοσμένο τσιπ διαχείρισης ισχύος που χωρούσε μέσα σε αυτόν τον όγκο.

"Η παροχή ενέργειας είναι ζωτικής σημασίας για τέτοιες φορητές συσκευές μικρού μεγέθους, όπου το μέγεθος της μπαταρίας είναι περιορισμένο και ο χώρος είναι περιορισμένος", σημειώνει ο διευθυντής του τμήματος Αναλογικών και Μικτών Συστημάτων Σήματος Jihong Ren. "Η εξατομικευμένη λύση μας για το ολοκληρωμένο κύκλωμα διαχείρισης ισχύος αξιοποιεί τεχνολογίες αιχμής για τη βελτιστοποίηση της απόδοσης ισχύος για το συγκεκριμένο φορτίο εργασίας σε επίπεδο συστήματος, ενώ παράλληλα χωράει μέσα στους περιορισμούς του διαθέσιμου χώρου. Η επίτευξη αυτής της βέλτιστης λύσης απαιτούσε στενή διεπιστημονική συνεργασία με τις ομάδες μας μηχανικών, ηλεκτρικών, SoC, μLED και θερμικών, εξασφαλίζοντας την απρόσκοπτη ενσωμάτωση όλων των εξαρτημάτων και μεγιστοποιώντας τη συνολική απόδοση."

"Αυτό ήταν ένα εκπληκτικό κατόρθωμα όχι μόνο της μηχανικής αλλά και της οργανωτικής διαχείρισης: να συγκεντρώσουμε μια ομάδα, να εργαστούμε σε διαφορετικές χρονικές ζώνες και με όλους αυτούς τους διαφορετικούς προμηθευτές", προσθέτει ο Snodgrass. "Κατά κάποιο τρόπο, η οργανωτική διαχείριση όλων αυτών ήταν εξίσου μεγάλη πρόκληση με την τήρηση των τεχνικών προδιαγραφών".

"Όχι μόνο ο σχεδιασμός είναι προσαρμοσμένος, αλλά και ολόκληρη η διαδικασία κατασκευής είναι προσαρμοσμένη", προσθέτει ο Yee. "Είμαστε τυχεροί που έχουμε μερικούς θαυμάσιους συνεργάτες στη βιομηχανία που βοήθησαν να συμβεί αυτό. Βλέπουν μακροπρόθεσμες δυνατότητες στις οθόνες AR στο σύνολό τους και σίγουρα το όραμα της Meta γι' αυτό. Έτσι, ήταν πρόθυμοι να συνεργαστούν μαζί μας για να γίνουν αυτές οι προσαρμογές και βελτιστοποιήσεις για να καταστεί δυνατή αυτή η οθόνη".

Γυαλιά Orion AR.

Η επανάληψη συναντά την επιτάχυνση

Υπήρχε ένας στενός κύκλος ανατροφοδότησης μεταξύ της ομάδας silicon και των λαμπρών μυαλών των Reality Labs Research και XR Tech που ανέπτυσσαν αλγόριθμους. Οι τελευταίες ομάδες παρείχαν αυτούς τους αλγορίθμους, τους οποίους η πρώτη μετέφραζε σε υλικό, αφαιρώντας την επιβάρυνση από το λογισμικό γενικής χρήσης που εκτελούσε η CPU. Αυτό σήμαινε ότι οι αλγόριθμοι θα εκτελούνταν με χαμηλότερη ισχύ, αλλά σήμαινε επίσης ότι η ομάδα πυριτίου ήταν κλειδωμένη. Μόλις οι αλγόριθμοι είχαν σκληρυνθεί, δεν μπορούσαν πλέον να κάνουν αλλαγές.

"Ας πούμε ότι η XR Tech ανέπτυσσε μια συγκεκριμένη πειθαρχία αλγοριθμικά", εξηγεί ο Διευθυντής Αρχιτεκτονικής και Αλγορίθμων των Silicon Accelerators, Ohad Meitav. "Τους ανήκει η αλγοριθμική στοίβα και η απόδοσή της. Η ομάδα μου, σε συνεργασία μαζί τους, θα αποφάσιζε στη συνέχεια πώς να επιταχύνει τον αλγόριθμο, πώς να σκληρύνει τμήματα του αλγορίθμου και πώς να τον τοποθετήσει πραγματικά στο υλικό με τρόπο που να τρέχει εξαιρετικά αποδοτικά. Στη συνέχεια, η XR Tech θα προσάρμοζε τη στοίβα λογισμικού της ώστε να λαμβάνει υπόψη της το υλικό. Πρόκειται για μια πολύ επαναληπτική διαδικασία".

Μια άλλη ιστορία επιτυχίας είναι η συνεργασία της ομάδας silicon με την Reality Labs Research για την ανάπτυξη ενός νέου αλγορίθμου επαναπροβολής.

"Χρειαζόμασταν τον αλγόριθμο προβολής να υποστηρίζει μια ποικιλία διαφορετικών παραμορφώσεων και διορθώσεων", σημειώνει ο αρχιτέκτονας της Silicon, Steve Clohset. "Ο αλγόριθμος που ανέπτυξε η RL-R και καταλήξαμε να χρησιμοποιήσουμε δεν χρησιμοποιείται στη γενική πληροφορική. Και μέχρι σήμερα, αποδεικνύεται ότι είναι ένα αρκετά ισχυρό εργαλείο".

Αφού οι αλγόριθμοι σκληρύνθηκαν και το υλικό βελτιστοποιήθηκε, η ομάδα παραγωγής πυριτίου έθεσε τα προσαρμοσμένα τσιπ σε δοκιμασία.

"Το προσαρμοσμένο chipset πυριτίου της Orion είναι γεμάτο πολυπλοκότητα", λέει ο ανώτερος διευθυντής του τμήματος End-to-End System and Infrastructure Liping Guo. "Η δημιουργία και επικύρωση αυτόνομων τσιπ και των διαλειτουργικοτήτων μεταξύ τους μέσα σε σύντομο χρονικό διάστημα είναι απίστευτα δύσκολη. Ευτυχώς, λειτουργούμε σε ένα καθετοποιημένο περιβάλλον, όπου η Reality Labs κατέχει ολόκληρη τη στοίβα - από το πυρίτιο και το υλικολογισμικό χαμηλού επιπέδου έως το λειτουργικό σύστημα, το λογισμικό και τις εμπειρίες ανώτερου επιπέδου. Εκμεταλλευτήκαμε πλήρως αυτό το πλεονέκτημα, συνεργαζόμενοι στενά με τους διαλειτουργικούς συνεργάτες μας, και αφήσαμε την ενσωμάτωση του cross-stack στο στάδιο της επικύρωσης του πυριτίου. Το Orion ήταν η πιλοτική μας δοκιμή για αυτή τη μεθοδολογία - αναπτύξαμε τους μυς μας για το shift-left και δημιουργήσαμε ένα ισχυρό θεμέλιο για την Reality Labs ώστε να αποκομίσει τα πλήρη οφέλη του προσαρμοσμένου πυριτίου στο μέλλον".

Και μετά τη δημιουργία, ήρθε η ώρα να βελτιστοποιήσουμε το λογισμικό.

"Υπάρχει μια επαναληπτική διαδικασία κατά την οποία ξεκινάτε με μια εντελώς μη βελτιστοποιημένη στοίβα λογισμικού, μόνο και μόνο για να ξεκινήσουν και να λειτουργήσουν όλα", λέει ο Snodgrass. "Και στη συνέχεια, ένα προς ένα, περνάτε μέσα από τα υποσυστήματα και αρχίζετε να βελτιστοποιείτε το λογισμικό για το συγκεκριμένο υλικό -συμπεριλαμβανομένης της μείωσης της μνήμης που χρησιμοποιεί το λογισμικό. Το υλικό θα μπορούσε να είναι όμορφα σχεδιασμένο, αλλά δεν θα επιτύχετε τη θεωρητική αποδοτικότητα ισχύος αν δεν επενδύσετε τόσο ή περισσότερο χρόνο ώστε το λογισμικό να εκμεταλλευτεί πλήρως το υλικό. Αυτή είναι λοιπόν η ιστορία του Orion: υλικό και λογισμικό βελτιστοποιημένα μέχρι τέλους. Δεν αφήνουμε κανένα πικοτζάουελ ή χιλιοστόβατ πίσω".

Και παρόλο που το Orion μπορεί να είναι ένα πρωτότυπο, η δουλειά που έγινε σε αυτό έχει σημαντικές δυνατότητες να επηρεάσει τον οδικό χάρτη της Meta.

"Βλέπουμε τα IPs πυριτίου που κατασκευάζουμε ως πλατφόρμες με την έννοια ότι πρόκειται για πολύτιμα IPs που θα βελτιώσουμε από τη μία γενιά ή από το ένα προϊόν στο άλλο", προσθέτει ο Meitav. "Όλοι οι αλγόριθμοι υπολογιστικής όρασης και γραφικών δεν κατασκευάζονται μόνο για το Orion. Θα συνεχίσουν να ενημερώνουν τα μελλοντικά προϊόντα".

Η εργασία μας σε πυρίτιο περιλαμβάνει τη δημιουργία νέων λύσεων, ενώ παράλληλα συνεργαζόμαστε στενά με τους εταίρους μας. Στην πραγματικότητα, η επιρροή της ομάδας πυριτίου επεκτείνεται πέρα από τον Orion και στις δύο πλευρές Γυαλιά Ray-Ban Meta και Ακουστικά Meta Quest σήμερα - παρόλο που και οι δύο χρησιμοποιούν τσιπ τρίτων κατασκευαστών. Η ομάδα πυριτίου μοιράζεται τακτικά τη δουλειά της με την ομάδα μικτής πραγματικότητας, δείχνοντας τι είναι δυνατό να γίνει από άποψη αποδοτικότητας ισχύος. Στη συνέχεια, η ομάδα MR μοιράζεται αυτά τα ευρήματα με συνεργάτες όπως Qualcomm για να βοηθήσουν στην ενημέρωση μελλοντικών σχεδιασμών τσιπ. Και επειδή η ομάδα πυριτίου χρησιμοποιεί τους ίδιους έτοιμους επεξεργαστές ψηφιακού σήματος (DSPs) με τα γυαλιά Ray-Ban Meta, ήταν σε θέση να μοιραστεί τα διδάγματα και τις βέλτιστες πρακτικές κατά την υλοποίηση και τη συγγραφή κώδικα για αυτούς τους DSPs, ώστε να βοηθήσει στη βελτίωση των ηχητικών εμπειριών που είναι διαθέσιμες στα γυαλιά AI.

Και αυτή η ανταλλαγή γνώσεων είναι αμφίδρομη: Η ομάδα MR έδωσε στην ομάδα πυριτίου πληροφορίες για πράγματα όπως Ασύγχρονο TimeWarp και Εφαρμογή SpaceWarp στην παραγωγή.

"Αυτό που κάνει ένας άνθρωπος στην παραγωγή είναι πολύ πιο ενδιαφέρον από κάτι που θα μπορούσαμε να κάνουμε με ένα πρωτότυπο", λέει ο Clohset. "Προσπαθήσαμε να ενσωματώσουμε όσο το δυνατόν περισσότερο αυτό που έκαναν με τις στρεβλώσεις".

Ασάφεια < Φιλοδοξία

Επειδή ο Ωρίωνας ήταν πραγματικά μηδέν προς ένα, οι εμπλεκόμενες ομάδες έπρεπε αναγκαστικά να αντιμετωπίσουν ένα υπερβολικό ποσό ασάφειας.

"Με τον Ωρίωνα, δεν μπορώ να υπερτονίσω πόσο πολύπλοκα έκανε τα πράγματα η ασάφεια", λέει ο Clohset. "Όταν φτιάχνεις έναν υπολογιστή, για παράδειγμα, έχεις γενικά μια καλή ιδέα για το ποια θα είναι η οθόνη. Αλλά δεν ξέραμε ποιος θα ήταν τελικά ο κυματοδηγός, οπότε έπρεπε να πάμε σε δειγματοληψία διαφορετικών κυματοδηγών και να βρούμε έναν μηχανισμό που θα μπορούσε να χειριστεί το χειρότερο σενάριο, επειδή δεν ξέραμε πού θα προσγειώνονταν τα πράγματα. Μια βελτιστοποίηση εδώ θα συνέκλινε με όλες αυτές τις άλλες επιλογές, και θα κατέληγες σε αυτόν τον πίνακα με όλα αυτά τα διαφορετικά πράγματα που είχες ως υποστήριξη και προσπαθούσες να επικυρώσεις επειδή δεν ήξερες πού θα κατέληγε το προϊόν σε έξι μήνες".

Είναι σημαντικό να σημειωθεί ότι το Orion δεν είναι απλώς ένα ζευγάρι γυαλιά AR - είναι ένας αστερισμός υλικού που αποτελείται από τρία μέρη. Μεγάλο μέρος της επεξεργασίας γίνεται στο υπολογίστε το puck, γεγονός που καθιστά αναγκαία μια ισχυρή σύνδεση μεταξύ αυτού και των γυαλιών. Προσθέστε το επιφανειακό EMG βραχιολάκι στο βρόχο, και η αρχιτεκτονική του συστήματος γίνεται ακόμη πιο περίπλοκη.

"Αυτό αποτέλεσε τεράστια πρόκληση για τις ομάδες να το λύσουν, και όλα αυτά απλά λειτουργούν" λέει ο Snodgrass. "Ήταν μια καταπληκτική συνεργασία μεταξύ της ομάδας πυριτίου, της ομάδας ασύρματης επικοινωνίας και των ομάδων λογισμικού σε όλο τον οργανισμό".

Ο υπολογιστικός δίσκος του Orion.

"Με την Orion, δημιουργήσαμε μια ολόκληρη ομάδα με μεγάλη ποικιλία μηχανικών και ήταν σε θέση να σχεδιάσουν έναν ολοκαίνουργιο αγωγό", προσθέτει ο Clohset. "Πρόκειται για έναν αγωγό που χειρίζεται την κίνηση αντικειμένων έξι βαθμών ελευθερίας στον τρισδιάστατο χώρο. Χρησιμοποιεί το δικό του προσαρμοσμένο πρόγραμμα οδήγησης οθόνης. Έπρεπε να κάνουμε πραγματικά μοναδικές διορθώσεις στην ποιότητα της εικόνας. Και νομίζω ότι η πρόκληση για εμάς ήταν ότι, επειδή επρόκειτο για ένα έργο μηδέν προς ένα, δεν υπήρχαν υπάρχουσες προδιαγραφές για να τις τροποποιήσουμε και να τις βελτιώσουμε. Τα πάντα εδώ είναι εντελώς νέα, οπότε είχαμε περιθώριο να κάνουμε τα πάντα".

Όπως και το puck έχει μερικά αδρανή χαρακτηριστικά κρυμμένα κάτω από την επιφάνεια, το προσαρμοσμένο σιλικόνη χτυπάει πάνω από το βάρος του, πάρα πολύ. Ενώ το Orion δεν επιτρέπει στον χρήστη να τραβήξει φωτογραφίες με τις κάμερες RGB, το πυρίτιο είναι ικανό να το υποστηρίξει, καθώς και codec avatars. Και ακριβώς όπως το puck βοήθησε στο ξεκλείδωμα ενός πραγματικού παράγοντα μορφής γυαλιών με την εκφόρτωση μεγάλου μέρους του υπολογισμού, το προσαρμοσμένο πυρίτιο της Orion αποδείχθηκε απαραίτητο κομμάτι του παζλ της AR.

"Για να φέρεις στη ζωή μια εμπειρία μηδέν προς ένα, όπως τα γυαλιά AR, χρειάζεσαι προσαρμοσμένη σιλικόνη-πλήρη στάση", εξηγεί ο Snodgrass. "Με την πάροδο του χρόνου, αν υπάρχει αγορά, τότε οι προμηθευτές πυριτίου θα αναπτύξουν προϊόντα για να καλύψουν τη ζήτηση. Αλλά για το μηδέν προς ένα, δεν μπορείτε απλά να πάρετε κάτι που υπάρχει από το ράφι και προορίζεται για ένα διαφορετικό προϊόν και να το προσαρμόσετε σε ένα νέο καλούπι. Πρέπει να επενδύσετε σε κάτι προσαρμοσμένο. Και για να υλοποιήσετε αυτές τις εμπειρίες zero-to-one, χρειάζεστε ευρεία συνεργασία μεταξύ συνεργατών λογισμικού, βιομηχανικών σχεδιαστών, μηχανολόγων μηχανικών και άλλων".

"Ξεφεύγοντας από τα παραδοσιακά νοητικά μοντέλα, δημιουργήσαμε κάτι πραγματικά αξιοσημείωτο", προσθέτει ο Shearer. "Πιστεύουμε ότι αυτή η υπολογιστική πλατφόρμα αντιπροσωπεύει το μέλλον της τεχνολογίας -μια πλατφόρμα που θα φέρει επανάσταση στον τρόπο με τον οποίο ζούμε, εργαζόμαστε και αλληλεπιδρούμε μεταξύ μας. Είμαστε ενθουσιασμένοι που βρισκόμαστε στην πρώτη γραμμή αυτής της καινοτομίας, διευρύνοντας τα όρια του εφικτού και συμβάλλοντας στη διαμόρφωση της πορείας της ιστορίας".


Για περισσότερες πληροφορίες σχετικά με τον Orion, ανατρέξτε σε αυτές τις αναρτήσεις ιστολογίου:

Δημοσιεύθηκε την - Σχολιάστε

Επιτάχυνση του μέλλοντος

Όταν αρχίσαμε να κάνουμε επιδείξεις του Orion στις αρχές του έτους θυμήθηκα μια ατάκα που ακούγεται συχνά στη Meta - στην πραγματικότητα ήταν ακόμη και στην πρώτη μας επιστολή προς τους υποψήφιους μετόχους το 2012: Ο κώδικας κερδίζει επιχειρήματα. Πιθανώς μάθαμε τόσα πολλά για αυτό το χώρο προϊόντων από λίγους μήνες επίδειξης σε πραγματικές συνθήκες παρά από τα χρόνια εργασίας που χρειάστηκαν για την κατασκευή τους. Δεν υπάρχει υποκατάστατο του να κατασκευάζεις πραγματικά κάτι, να το δίνεις στα χέρια των ανθρώπων και να μαθαίνεις από τον τρόπο που αντιδρούν σε αυτό.

Ο Ωρίωνας δεν ήταν το μόνο παράδειγμα αυτού του γεγονότος φέτος. Το υλικό μικτής πραγματικότητας και Γυαλιά AI έχουν φθάσει σε ένα νέο επίπεδο ποιότητας και προσβασιμότητας. Η σταθερότητα αυτών των πλατφορμών επιτρέπει στους προγραμματιστές λογισμικού μας να κινηθούν πολύ ταχύτερα σε ό,τι αφορά τα λειτουργικά συστήματα και τα νέα χαρακτηριστικά τεχνητής νοημοσύνης. Με αυτόν τον τρόπο βλέπω ότι το metaverse αρχίζει να αποκτά μεγαλύτερη εστίαση και γι' αυτό είμαι τόσο σίγουρος ότι η επόμενη χρονιά θα είναι η πιο σημαντική στην ιστορία της Reality Labs.

https://youtube.com/watch?v=xwMNZb6UE1o%3F%26controls%3D0%3Fautoplay%3D0%26color%3Dwhite%26cc_lang_pref%3Den%26cc_load_policy%3D0%26enablejsapi%3D1%26frameborder%3D0%26hl%3Den%26rel%3D0%26origin%3Dhttps%253A%252F%252Fwww.meta.com

Το 2024 ήταν η χρονιά που τα γυαλιά τεχνητής νοημοσύνης έφτασαν στο φόρτε τους. Όταν αρχίσαμε να κατασκευάζουμε έξυπνα γυαλιά το 2021, σκεφτήκαμε ότι θα μπορούσαν να αποτελέσουν ένα καλό πρώτο βήμα προς τα γυαλιά AR που τελικά θέλαμε να κατασκευάσουμε. Ενώ τα ακουστικά μικτής πραγματικότητας είναι σε καλό δρόμο για να γίνουν μια υπολογιστική πλατφόρμα γενικού σκοπού, όπως οι σημερινοί υπολογιστές, είδαμε τα γυαλιά ως τη φυσική εξέλιξη των σημερινών κινητών υπολογιστικών πλατφορμών. Έτσι, θέλαμε να αρχίσουμε να μαθαίνουμε από τον πραγματικό κόσμο το συντομότερο δυνατό.

Το μεγαλύτερο πράγμα που μάθαμε είναι ότι τα γυαλιά είναι μακράν ο καλύτερος παράγοντας μορφής για μια πραγματικά AI-native συσκευή. Στην πραγματικότητα μπορεί να είναι η πρώτη κατηγορία υλικού που θα καθοριστεί εξ αρχής πλήρως από την τεχνητή νοημοσύνη. Για πολλούς ανθρώπους, τα γυαλιά είναι το μέρος όπου ένας βοηθός AI έχει το μεγαλύτερο νόημα, ειδικά όταν πρόκειται για ένα πολυτροπικό σύστημα που μπορεί να κατανοήσει πραγματικά τον κόσμο γύρω σας.

Βρισκόμαστε ακριβώς στην αρχή της καμπύλης S για ολόκληρη αυτή την κατηγορία προϊόντων και υπάρχουν ατελείωτες ευκαιρίες μπροστά μας. Ένα από τα πράγματα για τα οποία είμαι πιο ενθουσιασμένος για το 2025 είναι η εξέλιξη των βοηθών τεχνητής νοημοσύνης σε εργαλεία που δεν ανταποκρίνονται απλώς σε μια προτροπή όταν ζητάτε βοήθεια, αλλά μπορούν να γίνουν προληπτικοί βοηθοί καθώς περνάτε την ημέρα σας. Στο Connect δείξαμε πώς το Live AI στα γυαλιά μπορεί να γίνει περισσότερο ένας συμμετέχων σε πραγματικό χρόνο όταν κάνετε δουλειές. Καθώς αυτή η λειτουργία αρχίζει να κυκλοφορεί σε πρώιμη πρόσβαση αυτό το μήνα θα δούμε το πρώτο βήμα προς ένα νέο είδος εξατομικευμένου βοηθού τεχνητής νοημοσύνης.

Δεν θα είναι η τελευταία. Αυτή τη στιγμή βρισκόμαστε στη μέση μιας βιομηχανικής ώθησης για την κατασκευή υλικού με ενσωματωμένη τεχνητή νοημοσύνη. Βλέπετε τους κατασκευαστές τηλεφώνων και υπολογιστών να αγωνίζονται να ανακατασκευάσουν τα προϊόντα τους ώστε να βάλουν τους βοηθούς AI στον πυρήνα τους. Πιστεύω όμως ότι μια πολύ μεγαλύτερη ευκαιρία είναι να κατασκευάσουμε συσκευές που είναι εξαρχής AI-native, και είμαι σίγουρος ότι τα γυαλιά θα είναι τα πρώτα που θα φτάσουν εκεί. Ο επικεφαλής ερευνητής της Meta, Michael Abrash, έχει μιλήσει για τις δυνατότητες ενός εξατομικευμένου βοηθού AI με επίγνωση του πλαισίου στα γυαλιά. για πολλά χρόνια, και η δημιουργία των τεχνολογιών που το καθιστούν εφικτό έχει αποτελέσει τεράστιο μέλημα των ερευνητικών μας ομάδων.

Μικτή πραγματικότητα ήταν ένας άλλος τομέας όπου η ύπαρξη του κατάλληλου προϊόντος στα χέρια πολλών ανθρώπων αποτέλεσε σημαντικό παράγοντα επιτάχυνσης της προόδου. Είδαμε Meta Quest 3 να βελτιώνονται μήνα με το μήνα, καθώς συνεχίζουμε να επαναλαμβάνουμε το βασικό σύστημα passhrough, το multitasking, τις χωρικές διεπαφές χρήστη και πολλά άλλα. Όλα αυτά τα κέρδη επεκτείνονται σε Quest 3S από τη στιγμή που ξεκίνησε. Αυτό σήμαινε ότι το $299 Quest 3S ήταν από πολλές απόψεις ένα καλύτερο ακουστικό την πρώτη ημέρα από ό,τι ήταν το $499 Quest 3 όταν κυκλοφόρησε για πρώτη φορά το 2023. Και ολόκληρη η οικογένεια Quest 3 συνεχίζει να γίνεται καλύτερη με κάθε ενημέρωση.

Το 2025 θα δούμε την επόμενη επανάληψη αυτού του γεγονότος, καθώς το Quest 3S θα φέρει πολύ περισσότερους ανθρώπους στη μικτή πραγματικότητα για πρώτη φορά. Ενώ το Quest 3 ήταν μια επιτυχία μεταξύ των ανθρώπων που ήταν ενθουσιασμένοι να αποκτήσουν την καλύτερη συσκευή της αγοράς, το Quest 3S αναμένεται να είναι εξαιρετικά προικισμένος το 2024. Οι πωλήσεις ήταν ισχυρές κατά τη διάρκεια του Σαββατοκύριακου της Μαύρης Παρασκευής και αναμένουμε ένα κύμα ανθρώπων που θα ενεργοποιήσουν τα νέα τους ακουστικά κατά τη διάρκεια των διακοπών.

Αυτό θα συνεχίσει μια τάση που διαμορφώθηκε το τελευταίο έτος: αύξηση των νέων χρηστών που αναζητούν ένα ευρύτερο φάσμα δραστηριοτήτων με τα ακουστικά τους. Θέλουμε αυτοί οι νέοι χρήστες να δουν τη μαγεία του MR και να παραμείνουν για μεγάλο χρονικό διάστημα, γι' αυτό και χρηματοδοτούμε προγραμματιστές για να δημιουργήσουν τους νέους τύπους εφαρμογών και παιχνιδιών που αναζητούν.

Υπήρξε μια σημαντική εισροή νεότερων ανθρώπων, ιδίως, και αυτοί προτιμούν τα κοινωνικά και ανταγωνιστικά παιχνίδια πολλαπλών παικτών, καθώς και το περιεχόμενο freemium. Και τίτλοι όπως BEHEMOTH της SkydanceBatman: Arkham Shadow (το οποίο μόλις κέρδισε το βραβείο Best AR/VR game στα The Game Awards!), και Metro Awakening έδειξε για άλλη μια φορά ότι μερικά από τα καλύτερα νέα παιχνίδια που παράγει η βιομηχανία μας είναι πλέον εφικτά μόνο με τα σημερινά ακουστικά.

Καθώς αυξάνεται ο αριθμός των ατόμων που συμμετέχουν στο MR, αυξάνεται παράλληλα και η ποιότητα της κοινωνικής εμπειρίας που μπορεί να προσφέρει. Αυτό βρίσκεται στο επίκεντρο αυτού που προσπαθεί να επιτύχει η Meta με τα Reality Labs και όπου θα ξεκλειδωθεί το μεγαλύτερο δυναμικό του metaverse: "η ευκαιρία να δημιουργήσουμε την πιο κοινωνική πλατφόρμα που υπήρξε ποτέ", έτσι το περιγράψαμε όταν άρχισε να εργάζεται πάνω σε αυτό. Κάναμε δύο βήματα προς τα εμπρός σε αυτό το μέτωπο το 2024: πρώτον με ένα ευρύ σύνολο βελτιώσεων στο Horizon Worlds, συμπεριλαμβανομένης της επέκτασής του στα κινητά, και δεύτερον με το σύστημα Meta Avatars επόμενης γενιάς που επιτρέπει στους ανθρώπους να αναπαριστούν τον εαυτό τους στις εφαρμογές και τα ακουστικά μας. Και καθώς η οπτική ποιότητα και η συνολική εμπειρία με αυτά τα συστήματα βελτιώνονται, όλο και περισσότεροι άνθρωποι παίρνουν την πρώτη τους γεύση από ένα κοινωνικό metaverse. Βλέπουμε παρόμοιες τάσεις με τους νέους χρήστες του Quest 3S να περνούν περισσότερο χρόνο στο Horizon Worlds, καθιστώντας το μια από τις 3 κορυφαίες εφαρμογές εμβύθισης για το Quest 3S, και οι άνθρωποι συνεχίζουν να δημιουργούν νέα Meta Avatars σε κινητά και MR.

Η καθιέρωση της μικτής πραγματικότητας στην επικρατούσα τάση βοήθησε να διαφανεί τι θα ακολουθήσει. Μια από τις πρώτες τάσεις που ανακαλύψαμε μετά την κυκλοφορία του Quest 3 πέρυσι ήταν ότι οι άνθρωποι χρησιμοποιούσαν τη μικτή πραγματικότητα για να παρακολουθούν βίντεο ενώ έκαναν πολλαπλές εργασίες στο σπίτι τους - έπλεναν τα πιάτα ή σκούπιζαν το σαλόνι τους. Αυτό ήταν ένα πρώιμο σημάδι ότι οι άνθρωποι λατρεύουν να έχουν μια μεγάλη εικονική οθόνη την οποία μπορούν να πάρουν οπουδήποτε και να την τοποθετήσουν στον φυσικό κόσμο γύρω τους. Είδαμε αυτή την τάση να απογειώνεται με όλα τα είδη εμπειριών ψυχαγωγίας να αυξάνονται γρήγορα σε ολόκληρη την οικογένεια Quest 3. Νέα χαρακτηριστικά όπως το YouTube Co-Watch δείχνουν πόσες δυνατότητες υπάρχουν για ένα εντελώς νέο είδος κοινωνικής ψυχαγωγικής εμπειρίας στο metaverse.

Αυτός είναι ο λόγος για τον οποίο ο Τζέιμς Κάμερον, ένας από τους πιο τεχνολογικά καινοτόμους αφηγητές της ζωής μας, εργάζεται τώρα για να βοηθήσει περισσότερους κινηματογραφιστές και δημιουργούς να παράγετε εξαιρετικό 3D περιεχόμενο για το Meta Quest. Ενώ οι τρισδιάστατες ταινίες παράγονται εδώ και δεκαετίες, δεν υπήρξε ποτέ ένας τρόπος για να τις δείτε που να είναι τόσο καλός όσο ένα σετ κεφαλής MR, και του χρόνου περισσότεροι άνθρωποι θα έχουν ένα σετ κεφαλής από ποτέ άλλοτε. "Βρισκόμαστε σε ένα πραγματικό, ιστορικό σημείο καμπής,"Ο Τζιμ είπε όταν εγκαινίασε τη νέα μας συνεργασία αυτό το μήνα.

Αυτό συμβαίνει παράλληλα με μια μεγαλύτερη μετατόπιση Mark Rabkin που μοιράστηκαν στο Connect φέτος: Το όραμά μας για το Horizon OS είναι να δημιουργήσουμε ένα νέο είδος υπολογιστικής πλατφόρμας γενικού σκοπού, ικανό να τρέχει κάθε είδους λογισμικό, να υποστηρίζει κάθε είδους χρήστη και να είναι ανοιχτό σε κάθε είδους δημιουργό και προγραμματιστή. Οι πρόσφατες εκδόσεις μας για 2D/3D multi-tasking, τοποθέτηση πάνελ, καλύτερη παρακολούθηση χεριών, ενσωμάτωση Windows Remote Desktop και Open Store έχουν αρχίσει να δημιουργούν δυναμική σε αυτό το νέο μονοπάτι. Το Horizon OS είναι σε καλό δρόμο για να γίνει η πρώτη πλατφόρμα που υποστηρίζει όλο το φάσμα των εμπειριών από την καθηλωτική VR έως τις οθόνες 2D, τις εφαρμογές για κινητά και τους εικονικούς υπολογιστές γραφείου - και η κοινότητα των προγραμματιστών έχει κεντρικό ρόλο σε αυτή την επιτυχία.

Το επόμενο μεγάλο βήμα προς το metaverse θα συνδυάζει γυαλιά τεχνητής νοημοσύνης με το είδος της αληθινής εμπειρίας επαυξημένης πραγματικότητας που αποκαλύψαμε φέτος με το Orion. Δεν είναι συχνό φαινόμενο να ρίχνεις μια ματιά στο μέλλον και να βλέπεις μια εντελώς νέα τεχνολογία που σου δείχνει πού οδεύουν τα πράγματα. Οι άνθρωποι που είδαν το Orion κατάλαβαν αμέσως τι σήμαινε για το μέλλον, όπως οι άνθρωποι που είδαν τους πρώτους προσωπικούς υπολογιστές να παίρνουν μορφή στο Xerox PARC τη δεκαετία του 1970 ("μέσα σε δέκα λεπτά ήταν προφανές για μένα ότι όλοι οι υπολογιστές θα λειτουργούσαν έτσι κάποια μέρα", είπε αργότερα ο Steve Jobs για την επίδειξη του Xerox Alto το 1979).

Το να μπορώ να βάλω τους ανθρώπους σε μια μηχανή του χρόνου και να τους δείξω πώς θα είναι η επόμενη υπολογιστική πλατφόρμα ήταν ένα από τα κορυφαία γεγονότα του 2024 και της μέχρι τώρα καριέρας μου. Αλλά ο πραγματικός αντίκτυπος του Orion θα είναι στα προϊόντα που θα στείλουμε στη συνέχεια και στους τρόπους με τους οποίους θα μας βοηθήσει να κατανοήσουμε καλύτερα τι αγαπούν οι άνθρωποι στα γυαλιά AR και τι πρέπει να βελτιωθεί. Ξοδέψαμε χρόνια σε έρευνες χρηστών, ασκήσεις σχεδιασμού προϊόντων και πειραματικές μελέτες προσπαθώντας να κατανοήσουμε πώς πρέπει να λειτουργούν τα γυαλιά AR, και αυτή η δουλειά μας έδωσε τη δυνατότητα να δημιουργήσουμε το Orion. Όμως, ο ρυθμός προόδου θα είναι πολύ πιο γρήγορος από εδώ και πέρα, τώρα που έχουμε ένα πραγματικό προϊόν για να βασίσουμε τη διαίσθησή μας γύρω από αυτό.

Αυτό ήταν το μάθημα ξανά και ξανά την τελευταία δεκαετία στα Reality Labs. Το πιο σημαντικό πράγμα που μπορείς να κάνεις όταν προσπαθείς να επινοήσεις το μέλλον είναι να στέλνεις πράγματα και να μαθαίνεις από το πώς τα χρησιμοποιούν οι πραγματικοί άνθρωποι. Δεν θα είναι πάντα άμεσες επιτυχίες, αλλά πάντα θα σας διδάσκουν κάτι. Και όταν καταλήξεις σε πράγματα που πραγματικά πετυχαίνουν το στόχο, όπως η μικτή πραγματικότητα στο Quest 3 ή η τεχνητή νοημοσύνη στα γυαλιά, τότε είναι που πατάς το πόδι σου στο γκάζι. Αυτό είναι που θα κάνει το 2025 μια τόσο ξεχωριστή χρονιά: Με τις σωστές συσκευές στην αγορά, τους ανθρώπους να τις βιώνουν για πρώτη φορά και τους προγραμματιστές να ανακαλύπτουν όλες τις ευκαιρίες που ανοίγονται μπροστά τους, ήρθε η ώρα να επιταχύνουμε.

Δημοσιεύθηκε την - Σχολιάστε

Boz to the Future Επεισόδιο 22: Το μέλλον του Orion και των Wearables με καλεσμένο τον Alex Himel

Καλώς ήρθατε πίσω για άλλο ένα επεισόδιο του Ο Boz στο μέλλον, ένα podcast από το Reality Labs. Στο σημερινό επεισόδιο, ο οικοδεσπότης μας, ο CTO της Meta και επικεφαλής των Reality Labs Andrew "Boz" Bosworth, συναντά τον αντιπρόεδρο της Meta για τα Wearables Alex Himel.

Η ομάδα του Himel εργάζεται πάνω σε μερικά από τα πιο δύσκολα τεχνικά προβλήματα του κλάδου, όλα στην υπηρεσία της δημιουργίας της επόμενης υπολογιστικής πλατφόρμας. Όπως και ο Bosworth, είναι ένα μόνιμο ηγετικό στέλεχος της Meta, έχοντας καταλάβει πολλές ηγετικές θέσεις σε όλη την επιχείρηση στα 15+ χρόνια που εργάζεται στην εταιρεία.

Οι Bosworth και Himel καλύπτουν μια σειρά θεμάτων, όπως τα wearables, η επαυξημένη πραγματικότητα και ο τρόπος με τον οποίο η τεχνητή νοημοσύνη επιταχύνει και βελτιώνει τα είδη εμπειριών που ενσωματώνονται σε Γυαλιά Ray-Ban Meta και μελλοντικά προϊόντα.

Πηγαίνουν βαθιά στο Orion και τη θετική υποδοχή που έχει λάβει από τότε που ο Μαρκ Ζούκερμπεργκ το ανακοίνωσε στο Συνδέστε το. Ακριβώς όπως ο Steve Jobs αναγνώρισε το Alto ως σημείο καμπής στην πληροφορική, ο Bosworth υποστήριξε ότι, ενώ μπορεί να διαφωνούμε για τις λεπτομέρειες, είναι δύσκολο να διαφωνήσουμε ότι αυτό είναι το μέλλον. Οι Himel και Bosworth συνεχίζουν να μιλούν για την τεράστια αξία της δημιουργίας πρωτοτύπων και της κατασκευής, λέγοντας πόσο περισσότερα έμαθαν για το Orion και τα παραδείγματα εισόδου του μέσα σε τρεις εβδομάδες χρήσης του σε σύγκριση με τα χρόνια που ξόδεψαν για την κατασκευή του.

Μίλησαν επίσης για τον κρίσιμο ρόλο της τεχνητής νοημοσύνης στα wearables και για το πώς αυτή γίνεται όλο και πιο χρήσιμη στην καθημερινή ζωή - ειδικά τώρα που μπορείτε να ρωτήσετε την Meta AI για τα πράγματα που βλέπετε και να τη χρησιμοποιήσετε για να ορίσετε οπτικές υπενθυμίσεις.

Ο Himel μιλάει επίσης για τη βαθιά εμπειρία του σε ένα διαφορετικό είδος στοίβας: τα σάντουιτς. Με επτά χρόνια εργασίας στο διάσημο κατάστημα Lange's Little Store στο Chappaqua της Νέας Υόρκης, όπου μεγάλωσε, ο Himel και ο Bosworth αναλύουν τι κάνει ένα καλό σάντουιτς, πού πραγματικά ταιριάζουν οι ντομάτες και ποιο ψωμί είναι ανώτερο.

Μπορείτε να συντονιστείτε στο Ο Boz στο μέλλον στο Apple PodcastsSpotify, και οπουδήποτε ακούτε podcasts.

Μπορείτε να ακολουθήσετε τον Himel στο Νήματα. Μπορείτε να ακολουθήσετε την Bosworth στο InstagramTwitter/X, και Νήματα @boztank.

Δημοσιεύθηκε την - Σχολιάστε

Κρυστάλλινη καθαρότητα: Οι κυματοδηγοί μας από καρβίδιο πυριτίου και η πορεία προς το μεγάλο FoV του Orion

0:00 / 0:00

Πίσω στο 2019, η Orion ομάδα προετοίμασε ένα σημαντικό demo για τον ιδρυτή και διευθύνοντα σύμβουλο της Meta Mark Zuckerberg, παρουσιάζοντας πιθανούς κυματοδηγούς για γυαλιά επαυξημένης πραγματικότητας-μια κομβική στιγμή κατά την οποία οι θεωρητικοί υπολογισμοί στο χαρτί έγιναν πραγματικότητα. Και ήταν μια επίδειξη που άλλαξε τα πάντα.

"Φορώντας τα γυαλιά με τους κυματοδηγούς από γυαλί και τις πολλαπλές πλάκες, ένιωθες σαν να ήσουν σε ντίσκο", θυμάται ο οπτικός επιστήμονας Pasqual Rivera. "Υπήρχαν ουράνια τόξα παντού και ήταν τόσο αποσπασματικό - δεν κοιτούσες καν το περιεχόμενο AR. Στη συνέχεια, φορούσες τα γυαλιά με καρβίδιο του πυριτίου κυματοδηγούς, και ήταν σαν να ήσουν στη συμφωνική ορχήστρα και να άκουγες ένα ήσυχο, κλασικό κομμάτι. Μπορούσες πραγματικά να δώσεις προσοχή στην πλήρη εμπειρία αυτού που φτιάχναμε. Αυτό άλλαξε εντελώς το παιχνίδι".

Ωστόσο, όσο ξεκάθαρη και αν φαίνεται σήμερα η επιλογή του καρβιδίου του πυριτίου ως υπόστρωμα, όταν ξεκινήσαμε για πρώτη φορά την ο δρόμος για τα γυαλιά AR πριν από μια δεκαετία, δεν ήταν τίποτα άλλο από αυτό.

"Το καρβίδιο του πυριτίου είναι κανονικά βαριά ντοπαρισμένο με άζωτο", λέει ο Rivera. "Είναι πράσινο, και αν γίνει αρκετά πυκνό, φαίνεται μαύρο. Δεν υπάρχει περίπτωση να φτιάξεις έναν οπτικό φακό από αυτό. Είναι ένα ηλεκτρονικό υλικό. Υπάρχει λόγος που έχει αυτό το χρώμα και οφείλεται στις ηλεκτρονικές του ιδιότητες".

"Το καρβίδιο του πυριτίου υπάρχει ως υλικό εδώ και πολύ καιρό", συμφωνεί ο Giuseppe Calafiore, επικεφαλής τεχνολογίας της AR Waveguides. "Η κύρια εφαρμογή του είναι τα ηλεκτρονικά υψηλής ισχύος. Πάρτε τα ηλεκτρικά οχήματα: Όλα τα ηλεκτρικά οχήματα απαιτούν ένα τσιπ - αλλά αυτό το τσιπ πρέπει επίσης να είναι ικανό για πολύ υψηλή ισχύ, να κινεί τους τροχούς και να οδηγεί αυτό το πράγμα. Αποδεικνύεται ότι δεν μπορείτε να το κάνετε αυτό με το κανονικό υπόστρωμα πυριτίου, με το οποίο κατασκευάζονται τα τσιπ που χρησιμοποιούμε στους υπολογιστές και τα ηλεκτρονικά μας. Χρειάζεσαι μια πλατφόρμα που σου επιτρέπει να περνάς υψηλά ρεύματα, υψηλή ισχύ, και αυτό το υλικό είναι το καρβίδιο του πυριτίου".

Μέχρι να αρχίσουν να αναθερμαίνονται οι συζητήσεις σχετικά με τις ανανεώσιμες πηγές ενέργειας, η αγορά αυτών των τσιπς υψηλής ισχύος δεν πλησίαζε σε τίποτα το μέγεθος της αγοράς τσιπς για καταναλωτικά ηλεκτρονικά προϊόντα. Το καρβίδιο του πυριτίου ήταν ανέκαθεν ακριβό και δεν υπήρχε μεγάλο κίνητρο για να μειωθεί το κόστος, διότι, για το μέγεθος του τσιπ που κατασκευάζεται για ένα αυτοκίνητο, η τιμή του υποστρώματος ήταν ανεκτή.

"Αλλά αποδεικνύεται ότι το καρβίδιο του πυριτίου έχει επίσης κάποιες από τις ιδιότητες που χρειαζόμαστε για κυματοδηγούς και οπτικά", λέει ο Calafiore. "Ο δείκτης διάθλασης είναι η βασική ιδιότητα που μας ενδιαφέρει. Και το καρβίδιο του πυριτίου έχει υψηλό δείκτη διάθλασης, πράγμα που σημαίνει ότι είναι ικανό να διοχετεύει και να εξάγει μεγάλη ποσότητα οπτικών δεδομένων. Μπορείτε να το φανταστείτε ως οπτικό εύρος ζώνης - όπως ακριβώς έχετε εύρος ζώνης για το διαδίκτυο και θέλετε να είναι αρκετά μεγάλο ώστε να μπορείτε να στέλνετε τεράστιες ποσότητες δεδομένων μέσω αυτού του καναλιού. Το ίδιο ισχύει και για τις οπτικές συσκευές".

Όσο υψηλότερος είναι ο δείκτης διάθλασης ενός υλικού, τόσο υψηλότερος είναι ο étendue, ώστε να μπορείτε να στέλνετε περισσότερα οπτικά δεδομένα μέσω αυτού του καναλιού.

"Το κανάλι στην περίπτωσή μας είναι ο κυματοδηγός μας και ένα μεγαλύτερο étendue μεταφράζεται σε μεγαλύτερο οπτικό πεδίο", εξηγεί ο Calafiore. "Όσο μεγαλύτερος είναι ο δείκτης διάθλασης ενός υλικού, τόσο μεγαλύτερο οπτικό πεδίο μπορεί να υποστηρίξει η οθόνη".

Ο δρόμος προς το σωστό δείκτη διάθλασης

Όταν ο Calafiore εντάχθηκε για πρώτη φορά στην τότε Oculus Research το 2016, το γυαλί με τον υψηλότερο δείκτη διάθλασης που είχε στη διάθεσή της η ομάδα ήταν 1,8, γεγονός που απαιτούσε τη στοίβαξη πολλαπλών πλακών για να επιτευχθεί το επιθυμητό οπτικό πεδίο. Πέρα από τα ανεπιθύμητα οπτικά τεχνουργήματα, η γραμμή συναρμολόγησης γινόταν όλο και πιο περίπλοκη, καθώς οι δύο πρώτοι κυματοδηγοί έπρεπε να ευθυγραμμιστούν τέλεια, και στη συνέχεια αυτή η στοίβα έπρεπε να ευθυγραμμιστεί τέλεια με έναν τρίτο κυματοδηγό.

"Όχι μόνο ήταν ακριβό, αλλά ήταν αμέσως προφανές ότι δεν μπορούσες να έχεις τρία κομμάτια γυαλιού ανά φακό σε ένα ζευγάρι γυαλιά", θυμάται ο Calafiore. "Ήταν πολύ βαριά και το πάχος ήταν απαγορευτικά μεγάλο και άσχημο - κανείς δεν θα το αγόραζε. Έτσι επιστρέψαμε στο σημείο μηδέν: προσπαθώντας να αυξήσουμε τον δείκτη διάθλασης του υποστρώματος για να μειώσουμε τον αριθμό των απαιτούμενων πλακών".

Το πρώτο υλικό που εξέτασε η ομάδα ήταν νιοβικό λίθιο, το οποίο έχει δείκτη διάθλασης περίπου 2,3, αρκετά υψηλότερο από το γυαλί που έχει δείκτη διάθλασης 1,8.

"Συνειδητοποιήσαμε ότι χρειαζόταν να στοιβάξουμε μόνο δύο πλάκες και ότι θα μπορούσαμε ίσως να τα καταφέρουμε και με μία πλάκα για να καλύψουμε το οπτικό πεδίο", λέει ο Calafiore. "Σχεδόν παράλληλα, αρχίσαμε να εξετάζουμε και άλλα υλικά - έτσι ανακαλύψαμε μαζί με τους προμηθευτές μας το 2019 ότι το καρβίδιο του πυριτίου, στην πιο καθαρή του μορφή, είναι στην πραγματικότητα πολύ διαφανές. Τυχαίνει επίσης να έχει τον υψηλότερο δείκτη διάθλασης που είναι γνωστός για οπτική εφαρμογή, ο οποίος είναι 2,7".

Αυτή είναι μια αύξηση 17,4% σε σχέση με το νιοβικό λίθιο και μια αύξηση 50% σε σχέση με το γυαλί, για όσους κρατούν το σκορ στο σπίτι.

"Με μερικές τροποποιήσεις στον ίδιο εξοπλισμό που ήδη χρησιμοποιούνταν στη βιομηχανία, ήταν δυνατό να παραχθεί διαφανές καρβίδιο του πυριτίου", λέει ο Calafiore. "Μπορούσες απλώς να αλλάξεις τη διαδικασία, να είσαι πολύ πιο προσεκτικός, και αντί να βελτιστοποιείς τις ηλεκτρονικές ιδιότητες, βελτιστοποιείς τις οπτικές ιδιότητες: διαφάνεια, ομοιομορφία του δείκτη διάθλασης κ.λπ.".

Το δυνητικό κόστος του συμβιβασμού

Εκείνη την εποχή, η ομάδα των Reality Labs ήταν η πρώτη που επιχείρησε να μετακινηθεί από αδιαφανείς γκοφρέτες καρβιδίου του πυριτίου σε διαφανείς. Και επειδή το καρβίδιο του πυριτίου είναι ένα από τα σκληρότερα γνωστά υλικά, ουσιαστικά απαιτεί διαμαντένια εργαλεία για την κοπή ή τη στίλβωση του. Ως αποτέλεσμα, το μη επαναλαμβανόμενο μηχανολογικό κόστος ήταν πολύ υψηλό, οπότε το υπόστρωμα που προέκυψε ήταν αρκετά ακριβό.

Παρόλο που υπάρχουν πιο αποδοτικές εναλλακτικές λύσεις, όπως συμβαίνει με κάθε τεχνολογία, η καθεμία έχει συμβιβασμούς. Και καθώς το οπτικό πεδίο αυξάνεται προς το κορυφαίο οπτικό πεδίο της Orion των περίπου 70 μοιρών, προκύπτουν νέα ζητήματα όπως εικόνες-φαντάσματα και ουράνια τόξα.

"Η εύρεση της βέλτιστης λύσης για μια οθόνη AR με ευρύ οπτικό πεδίο είναι γεμάτη με συμβιβασμούς μεταξύ απόδοσης και κόστους", εξηγεί ο διευθυντής Επιστημονικών Ερευνών Barry Silverstein. "Το κόστος μπορεί συχνά να μειωθεί, αλλά αν οι επιδόσεις δεν είναι ικανοποιητικές, το κόστος δεν θα έχει τελικά σημασία".

Οι εικόνες-φαντάσματα είναι σαν οπτική ηχώ της κύριας εικόνας που προβάλλεται στην οθόνη. Τα ουράνια τόξα είναι πολύχρωμες λωρίδες φωτός που δημιουργούνται όταν το φως του περιβάλλοντος αντανακλάται στον κυματοδηγό. "Ας πούμε ότι οδηγείτε τη νύχτα με κινούμενα φώτα αυτοκινήτων γύρω σας", λέει ο Silverstein. "Θα έχετε και εσείς ουράνια τόξα που κινούνται. Ή αν είστε στην παραλία παίζοντας βόλεϊ και ο ήλιος λάμπει, θα έχετε μια ουράνιο τόξο που κινείται μαζί σας και θα χάσετε τη βολή σας. Και μια από τις θαυματουργές ιδιότητες του καρβιδίου του πυριτίου είναι ότι ξεφορτώνεται αυτά τα ουράνια τόξα".

"Το άλλο πλεονέκτημα του καρβιδίου του πυριτίου που κανένα από τα άλλα υλικά δεν έχει είναι η θερμική αγωγιμότητα", προσθέτει ο Calafiore. "Το πλαστικό είναι ένας τρομερός μονωτής. Το γυαλί, το νιοβικό λίθιο, το ίδιο πράγμα. Πηγαίνετε στο καρβίδιο του πυριτίου και είναι διαφανές, μοιάζει με γυαλί, και μαντέψτε τι: Οδηγεί τη θερμότητα".

Έτσι, τον Ιούλιο του 2020, η ομάδα αποφάσισε ότι το καρβίδιο του πυριτίου ήταν η βέλτιστη επιλογή για τρεις βασικούς λόγους: Είχε καλύτερες οπτικές ιδιότητες και ήταν ελαφρύτερο από το γυαλί διπλής πλάκας.

Το μυστικό της λοξής χάραξης

Με το υλικό στο μυαλό, το επόμενο καρύδι που έπρεπε να σπάσει ήταν η κατασκευή των κυματοδηγών - και συγκεκριμένα, μια αντισυμβατική τεχνική πλέγματος που ονομάζεται λοξή χάραξη.

"Το πλέγμα είναι η νανοδομή που συνδέει και αποσυνδέει το φως από το φακό", εξηγεί ο Calafiore. "Και για να λειτουργήσει το καρβίδιο του πυριτίου, η σχάρα πρέπει να είναι λοξά χαραγμένη. Αντί να είναι κάθετη, θέλετε οι γραμμές του πλέγματος να έχουν διαγώνια κλίση".

"Ήμασταν οι πρώτοι που κάναμε λοξή χάραξη απευθείας στις συσκευές", λέει ο διευθυντής έρευνας Nihar Mohanty. "Όλος ο κλάδος βασιζόταν στο νανοαποτύπωμα, το οποίο δεν λειτουργεί για υποστρώματα με τόσο υψηλό δείκτη διάθλασης. Αυτός είναι ο λόγος για τον οποίο κανείς άλλος στον κόσμο δεν είχε σκεφτεί να κάνει καρβίδιο του πυριτίου".

Αλλά επειδή η λοξή χάραξη είναι μια ανώριμη τεχνολογία, οι περισσότεροι προμηθευτές και εργοστάσια τσιπ ημιαγωγών δεν διαθέτουν τα απαραίτητα εργαλεία.

"Το 2019, ο τότε διευθυντής μου, Matt Colburn, και εγώ δημιουργήσαμε τη δική μας εγκατάσταση, καθώς δεν υπήρχε τίποτα στον κόσμο που να μπορεί να παράγει κυματοδηγούς καρβιδίου πυριτίου με χάραξη και όπου θα μπορούσαμε να αποδείξουμε την τεχνολογία πέρα από την εργαστηριακή κλίμακα", εξηγεί ο Mohanty. "Ήταν μια τεράστια επένδυση και δημιουργήσαμε εκεί ολόκληρη τη γραμμή παραγωγής. Τα εργαλεία κατασκευάστηκαν κατά παραγγελία για εμάς από τους συνεργάτες μας και η διαδικασία αναπτύχθηκε εσωτερικά στη Meta, αν και τα συστήματά μας είναι ερευνητικού επιπέδου, επειδή δεν υπήρχαν συστήματα κατασκευαστικού επιπέδου εκεί έξω. Συνεργαστήκαμε με έναν κατασκευαστικό εταίρο για την ανάπτυξη εργαλείων και διαδικασιών λοξής χάραξης κατασκευαστικού επιπέδου. Και τώρα που δείξαμε τι είναι εφικτό με το καρβίδιο του πυριτίου, θέλουμε και άλλοι στον κλάδο να αρχίσουν να κατασκευάζουν τα δικά τους εργαλεία".

Όσο περισσότερες εταιρείες επενδύουν σε καρβίδιο πυριτίου οπτικής ποιότητας και αναπτύσσουν εξοπλισμό, τόσο ισχυρότερη θα γίνει η κατηγορία των καταναλωτικών γυαλιών AR.

Δεν κυνηγάμε πλέον ουράνια τόξα

Ενώ το το τεχνολογικό αναπόφευκτο είναι ένας μύθος, τα άστρα φαίνεται να ευθυγραμμίζονται υπέρ του καρβιδίου του πυριτίου. Και παρόλο που η ομάδα συνεχίζει να διερευνά εναλλακτικές λύσεις, υπάρχει μια ισχυρή αίσθηση ότι οι κατάλληλοι άνθρωποι έχουν συγκεντρωθεί την κατάλληλη στιγμή υπό τις κατάλληλες συνθήκες της αγοράς για να κατασκευάσουν γυαλιά AR χρησιμοποιώντας αυτό το υλικό.

"Η Orion απέδειξε ότι το καρβίδιο του πυριτίου είναι μια βιώσιμη επιλογή για γυαλιά AR", λέει ο Silverstein, "και τώρα βλέπουμε ενδιαφέρον σε όλη την αλυσίδα εφοδιασμού σε τρεις διαφορετικές ηπείρους, όπου επιδιώκουν έντονα αυτή την ευκαιρία. Το καρβίδιο του πυριτίου θα βγει κερδισμένο. Είναι απλώς θέμα χρόνου κατά τη γνώμη μου".

Και πολλά μπορούν να συμβούν σε αυτό το χρονικό διάστημα - όπως ο τρόπος με τον οποίο έχουν αλλάξει τα πράγματα από τότε που αναπτύξαμε τους πρώτους διαυγείς κρυστάλλους καρβιδίου του πυριτίου.

"Όλοι αυτοί οι κατασκευαστές καρβιδίου του πυριτίου είχαν αυξήσει μαζικά την προμήθεια ως απάντηση στην αναμενόμενη έκρηξη των ηλεκτρικών οχημάτων", σημειώνει ο Calafiore. "Αυτή τη στιγμή, υπάρχει μια πλεονάζουσα παραγωγική ικανότητα που δεν υπήρχε όταν κατασκευάζαμε το Orion. Έτσι, τώρα, επειδή η προσφορά είναι υψηλή και η ζήτηση χαμηλή, το κόστος του υποστρώματος έχει αρχίσει να μειώνεται".

"Οι προμηθευτές είναι πολύ ενθουσιασμένοι από τη νέα ευκαιρία κατασκευής καρβιδίου πυριτίου οπτικής ποιότητας - άλλωστε, κάθε φακός κυματοδηγού αντιπροσωπεύει μεγάλη ποσότητα υλικού σε σχέση με ένα ηλεκτρονικό τσιπ, και όλες οι υπάρχουσες δυνατότητές τους εφαρμόζονται σε αυτό το νέο χώρο", προσθέτει ο Silverstein. "Η πλήρωση του εργοστασίου σας είναι απαραίτητη και η κλιμάκωση του εργοστασίου σας είναι το όνειρο. Το μέγεθος του πλακιδίου έχει επίσης σημασία: Όσο μεγαλύτερη είναι η γκοφρέτα, τόσο χαμηλότερο είναι το κόστος - αλλά αυξάνεται και η πολυπλοκότητα της διαδικασίας. Τούτου λεχθέντος, έχουμε δει προμηθευτές να προχωρούν από τις γκοφρέτες των τεσσάρων ιντσών στις γκοφρέτες των οκτώ ιντσών και ορισμένοι εργάζονται σε πρόδρομες γκοφρέτες των 12 ιντσών, οι οποίες θα αποδώσουν εκθετικά περισσότερα ζευγάρια γυαλιών AR".

Αυτές οι εξελίξεις θα συμβάλουν στη συνέχιση της μείωσης του κόστους. Είναι ακόμη νωρίς, αλλά το μέλλον έρχεται στο προσκήνιο.

"Στην αρχή κάθε νέας τεχνολογικής επανάστασης, δοκιμάζεις ένα σωρό πράγματα", λέει ο Calafiore. "Κοιτάξτε την τηλεόραση: Ξεκινήσαμε με τους καθοδικούς σωλήνες, και στη συνέχεια περάσαμε στις τηλεοράσεις πλάσματος LED και τώρα στις microLED. Περάσαμε από πολλές διαφορετικές τεχνολογίες και αρχιτεκτονικές. Καθώς αναζητάτε μονοπάτια, πολλά μονοπάτια καταλήγουν στο πουθενά, αλλά υπάρχουν κάποια στα οποία επιστρέφετε συνεχώς ως τα πιο ελπιδοφόρα. Δεν είμαστε στο τέλος του δρόμου και δεν μπορούμε να τα καταφέρουμε μόνοι μας, αλλά το καρβίδιο του πυριτίου είναι ένα θαυματουργό υλικό που αξίζει την επένδυση".

"Ο κόσμος έχει ξυπνήσει τώρα", προσθέτει ο Silverstein. "Έχουμε δείξει με επιτυχία ότι το καρβίδιο του πυριτίου μπορεί να λυγίσει σε όλα τα ηλεκτρονικά και τα φωτονικά. Είναι ένα υλικό που θα μπορούσε να έχει μελλοντικές εφαρμογές στην κβαντική πληροφορική. Και βλέπουμε σημάδια ότι είναι δυνατόν να μειωθεί σημαντικά το κόστος. Μένει πολλή δουλειά να γίνει, αλλά η δυνητική υπεραξία εδώ είναι τεράστια".


Μάθετε περισσότερα για το καρβίδιο του πυριτίου στο Φάσμα φωτονικής.

Για περισσότερες πληροφορίες σχετικά με τον Orion, ανατρέξτε σε αυτές τις αναρτήσεις ιστολογίου:

Δημοσιεύθηκε την - Σχολιάστε

Orion: AR γυαλιά έχουν φτάσει

TL;DR:

  • Σήμερα στο Συνδέστε το, ο Μαρκ Ζούκερμπεργκ αποκάλυψε το Orion - το πρώτο μας ζευγάρι αληθινών γυαλιών AR, με την προηγούμενη κωδική ονομασία Έργο Nazare.
  • Με κορυφαίο οπτικό πεδίο στον κλάδο, φακοί καρβιδίου πυριτίου, περίπλοκους κυματοδηγούς, προβολείς uLED και πολλά άλλα, το Orion είναι το πιο προηγμένο και πιο γυαλισμένο πρωτότυπο προϊόν μας μέχρι σήμερα.
  • Τώρα, συνεχίζουμε τη βελτιστοποίηση του προϊόντος και τη μείωση του κόστους, καθώς οδηγούμαστε σε μια επεκτάσιμη καταναλωτική συσκευή που θα φέρει επανάσταση στον τρόπο με τον οποίο οι άνθρωποι αλληλεπιδρούν με τον κόσμο.

"Κατασκευάζουμε γυαλιά AR."

Πέντε απλές λέξεις, πριν από πέντε χρόνια. Μαζί τους, βάλαμε μια σημαία στο όραμά μας για ένα μέλλον όπου δεν θα χρειάζεται πλέον να κάνουμε τη λανθασμένη επιλογή μεταξύ ενός κόσμου πληροφοριών στα χέρια μας και του φυσικού κόσμου γύρω μας.

Και τώρα, πέντε χρόνια αργότερα, άλλες πέντε λέξεις που πρόκειται να αλλάξουν και πάλι το παιχνίδι:

Έχουμε κατασκευάσει γυαλιά AR.

https://youtube.com/watch?v=2CJsnyS8u3c%3Fsi%3DTr77gOKEq3PnA7-k%26controls%3D0%3Fautoplay%3D0%26color%3Dwhite%26cc_lang_pref%3Den%26cc_load_policy%3D0%26enablejsapi%3D1%26frameborder%3D0%26hl%3Den%26rel%3D0%26origin%3Dhttps%253A%252F%252Fwww.meta.com

Στη Meta, η αποστολή μας είναι απλή: να δώσουμε στους ανθρώπους τη δύναμη να χτίσουν κοινότητες και να φέρουν τον κόσμο πιο κοντά. Και στα Reality Labs, δημιουργούμε εργαλεία που βοηθούν τους ανθρώπους να αισθάνονται συνδεδεμένοι οποτεδήποτε και οπουδήποτε. Γι' αυτό εργαζόμαστε για να δημιουργήσουμε την επόμενη υπολογιστική πλατφόρμα που θα θέτει τους ανθρώπους στο επίκεντρο, ώστε να είναι πιο παρόντες, συνδεδεμένοι και ενδυναμωμένοι στον κόσμο.

Γυαλιά Ray-Ban Meta έχουν αποδείξει τη δύναμη της παροχής στους ανθρώπους hands-free πρόσβασης σε βασικά τμήματα της ψηφιακής τους ζωής από τη φυσική τους ζωή. Μπορούμε να μιλάμε σε έναν έξυπνο βοηθό τεχνητής νοημοσύνης, να συνδεόμαστε με φίλους και να απαθανατίζουμε τις στιγμές που έχουν σημασία - και όλα αυτά χωρίς να χρειάζεται ποτέ να βγάλουμε το τηλέφωνο. Αυτά τα κομψά γυαλιά ταιριάζουν άψογα στην καθημερινότητά μας και οι άνθρωποι τα λατρεύουν απόλυτα.

Ωστόσο, ενώ η Ray-Ban Meta άνοιξε μια εντελώς νέα κατηγορία γυαλιών χωρίς οθόνη, υπερφορτισμένων με τεχνητή νοημοσύνη, η βιομηχανία XR ονειρεύεται εδώ και καιρό αληθινά γυαλιά AR - ένα προϊόν που συνδυάζει τα οφέλη μιας μεγάλης ολογραφικής οθόνης και εξατομικευμένης βοήθειας τεχνητής νοημοσύνης σε έναν άνετο, κομψό, φορέσιμο όλη την ημέρα παράγοντα μορφής.

Και σήμερα, κάναμε αυτό το όνειρο πιο κοντά στην πραγματικότητα με την αποκάλυψη του Orion, το οποίο πιστεύουμε ότι είναι το πιο προηγμένο ζευγάρι γυαλιών AR που έχει κατασκευαστεί ποτέ. Στην πραγματικότητα, ίσως είναι η πιο προκλητική συσκευή ηλεκτρονικών καταναλωτικών προϊόντων που κατασκευάστηκε μετά το smartphone. Το Orion είναι το αποτέλεσμα πρωτοποριακών εφευρέσεων σε σχεδόν κάθε τομέα της σύγχρονης πληροφορικής, βασιζόμενο στις τη δουλειά που κάνουμε στα Reality Labs την τελευταία δεκαετία. Είναι γεμάτο με εντελώς νέες τεχνολογίες, συμπεριλαμβανομένης της πιο προηγμένης οθόνης AR που έχει συναρμολογηθεί ποτέ και προσαρμοσμένο πυρίτιο που επιτρέπει την εκτέλεση ισχυρών εμπειριών AR σε ένα ζευγάρι γυαλιά χρησιμοποιώντας ένα κλάσμα της ισχύος και του βάρους ενός ακουστικού MR.

Το σύστημα εισόδου του Orion συνδυάζει απρόσκοπτα τη φωνή, το βλέμμα των ματιών και την παρακολούθηση των χεριών με ένα Βραχιολάκι EMG που σας επιτρέπει να κάνετε σάρωση, κλικ και κύλιση, ενώ το χέρι σας βρίσκεται άνετα στο πλευρό σας, επιτρέποντάς σας να παραμείνετε παρόντες στον κόσμο και στους ανθρώπους γύρω σας, καθώς αλληλεπιδράτε με πλούσιο ψηφιακό περιεχόμενο.

Ξεκινώντας από σήμερα στο Connect και συνεχίζοντας καθ' όλη τη διάρκεια του έτους, ανοίγουμε την πρόσβαση στο πρωτότυπο του προϊόντος Orion για τους υπαλλήλους της Meta και επιλεγμένα, εξωτερικά ακροατήρια, ώστε η ομάδα ανάπτυξης να μπορεί να μάθει, να επαναλάβει και να χτίσει προς την κατεύθυνση της σειράς προϊόντων AR γυαλιών για καταναλωτές, την οποία σχεδιάζουμε να ξεκινήσουμε να αποστέλλουμε στο εγγύς μέλλον.

Γιατί γυαλιά AR;

Υπάρχουν τρεις βασικοί λόγοι για τους οποίους τα γυαλιά AR είναι το κλειδί για την επίτευξη του επόμενου μεγάλου άλματος στην υπολογιστική με γνώμονα τον άνθρωπο.

  1. Επιτρέπουν ψηφιακές εμπειρίες που δεν περιορίζονται από τα όρια της οθόνης ενός smartphone. Με τις μεγάλες ολογραφικές οθόνες, μπορείτε να χρησιμοποιήσετε τον φυσικό κόσμο ως καμβά, τοποθετώντας 2D και 3D περιεχόμενο και εμπειρίες οπουδήποτε θέλετε.
  2. Ενσωματώνουν απρόσκοπτα την τεχνητή νοημοσύνη που μπορεί να αντιληφθεί και να κατανοήσει τον κόσμο γύρω σας, προκειμένου να προβλέψει και να αντιμετωπίσει προληπτικά τις ανάγκες σας.
  3. Είναι ελαφριές και ιδανικές για χρήση τόσο σε εσωτερικούς όσο και σε εξωτερικούς χώρους - και επιτρέπουν στους ανθρώπους να βλέπουν ο ένας το πραγματικό πρόσωπο, τα πραγματικά μάτια και τις πραγματικές εκφράσεις του άλλου.

Αυτό είναι το αστέρι του βορρά προς το οποίο ο κλάδος μας χτίζει: ένα προϊόν που συνδυάζει την ευκολία και την αμεσότητα των φορητών συσκευών με μεγάλη οθόνη, είσοδο υψηλού εύρους ζώνης και ΤΝ με βάση το περιεχόμενο, σε έναν παράγοντα μορφής που οι άνθρωποι αισθάνονται άνετα να φορούν στην καθημερινή τους ζωή.

Συμπαγής παράγοντας μορφής, σύνθετες προκλήσεις

Εδώ και χρόνια, βρισκόμαστε αντιμέτωποι με μια λανθασμένη επιλογή - είτε ακουστικά εικονικής και μικτής πραγματικότητας που επιτρέπουν βαθιές, καθηλωτικές εμπειρίες σε ογκώδη μορφή είτε γυαλιά που είναι ιδανικά για ολοήμερη χρήση, αλλά δεν προσφέρουν πλούσιες οπτικές εφαρμογές και εμπειρίες λόγω της έλλειψης μεγάλης οθόνης και αντίστοιχης υπολογιστικής ισχύος.

Αλλά τα θέλουμε όλα, χωρίς συμβιβασμούς. Εδώ και χρόνια, δουλεύουμε σκληρά για να πάρουμε τις απίστευτες χωρικές εμπειρίες που προσφέρουν τα ακουστικά VR και MR και να σμικρύνουμε την τεχνολογία που είναι απαραίτητη για την παροχή αυτών των εμπειριών σε ένα ζευγάρι ελαφρών, κομψών γυαλιών. Η επίτευξη του παράγοντα μορφής, η παροχή ολογραφικών οθονών, η ανάπτυξη συναρπαστικών εμπειριών AR και η δημιουργία νέων παραδειγμάτων αλληλεπίδρασης ανθρώπου-υπολογιστή (HCI) - και όλα αυτά σε ένα συνεκτικό προϊόν - είναι μία από τις πιο δύσκολες προκλήσεις που έχει αντιμετωπίσει ποτέ ο κλάδος μας. Ήταν τόσο μεγάλη πρόκληση που πιστεύαμε ότι είχαμε λιγότερες από 10 τοις εκατό πιθανότητες να τα καταφέρουμε με επιτυχία.

Μέχρι τώρα.

Μια πρωτοποριακή οθόνη σε έναν απαράμιλλο παράγοντα μορφής

Στις 70 μοίρες περίπου, το Orion διαθέτει το μεγαλύτερο οπτικό πεδίο στο μικρότερο μέγεθος γυαλιών AR που έχει κατασκευαστεί μέχρι σήμερα. Αυτό το οπτικό πεδίο ξεκλειδώνει πραγματικά καθηλωτικές περιπτώσεις χρήσης για το Orion, από παράθυρα πολλαπλών εργασιών και ψυχαγωγία μεγάλης οθόνης μέχρι ολογράμματα ανθρώπων σε φυσικό μέγεθος - όλο το ψηφιακό περιεχόμενο που μπορεί να συνδυάζεται απρόσκοπτα με την άποψή σας για τον φυσικό κόσμο.

Για τον Orion, το οπτικό πεδίο ήταν το ιερό μας δισκοπότηρο. Προσκρούαμε στους νόμους της φυσικής και έπρεπε να λυγίσουμε τις ακτίνες φωτός με τρόπους που δεν λυγίζουν φυσιολογικά - και έπρεπε να το κάνουμε σε ένα φάκελο ισχύος που μετριέται σε χιλιοστοβάτ.

Αντί για γυαλί, φτιάξαμε τους φακούς από καρβίδιο του πυριτίου-μια νέα εφαρμογή για τα γυαλιά AR. Καρβίδιο του πυριτίου είναι απίστευτα ελαφρύ, δεν προκαλεί οπτικά τεχνουργήματα ή αδέσποτο φως και έχει υψηλό δείκτη διάθλασης - όλες οι οπτικές ιδιότητες που είναι βασικές για ένα μεγάλο οπτικό πεδίο. Οι ίδιοι οι κυματοδηγοί έχουν πραγματικά περίπλοκες και πολύπλοκες τρισδιάστατες δομές νανοκλίμακας για τη διάθλαση ή τη διάχυση του φωτός με τους τρόπους που είναι απαραίτητοι για την επίτευξη αυτού του οπτικού πεδίου. Και οι προβολείς είναι uLEDs - ένας νέος τύπος τεχνολογίας οθόνης που είναι εξαιρετικά μικρός και εξαιρετικά αποδοτικός στην κατανάλωση ενέργειας.

Το Orion είναι αναμφισβήτητα ένα ζευγάρι γυαλιά τόσο στην εμφάνιση όσο και στην αίσθηση - με διαφανείς φακούς. Σε αντίθεση με τα ακουστικά MR ή άλλα γυαλιά AR σήμερα, μπορείτε ακόμα να βλέπετε τα πραγματικά μάτια και τις εκφράσεις των άλλων, ώστε να είστε παρόντες και να μοιράζεστε την εμπειρία με τους ανθρώπους γύρω σας. Χρειάστηκαν δεκάδες καινοτομίες για να φτάσει ο βιομηχανικός σχεδιασμός σε μια σύγχρονη μορφή γυαλιών που θα νιώθετε άνετα να φοράτε καθημερινά. Το Orion είναι ένα κατόρθωμα σμίκρυνσης - τα εξαρτήματα είναι πακεταρισμένα σε ένα κλάσμα του χιλιοστού. Και καταφέραμε να ενσωματώσουμε επτά μικροσκοπικές κάμερες και αισθητήρες στα χείλη του σκελετού.

Έπρεπε να διατηρήσουμε την οπτική ακρίβεια στο ένα δέκατο του πάχους μιας ανθρώπινης τρίχας. Και το σύστημα μπορεί να ανιχνεύει μικροσκοπικές ποσότητες κίνησης -όπως τα πλαίσια που διαστέλλονται ή συστέλλονται σε διάφορες θερμοκρασίες δωματίου- και στη συνέχεια να διορθώνει ψηφιακά την απαραίτητη οπτική ευθυγράμμιση, και όλα αυτά μέσα σε χιλιοστά του δευτερολέπτου. Κατασκευάσαμε τα πλαίσια από μαγνήσιο - το ίδιο υλικό που χρησιμοποιείται στα αγωνιστικά αυτοκίνητα F1 και στα διαστημόπλοια - επειδή είναι ελαφρύ αλλά άκαμπτο, ώστε να διατηρεί τα οπτικά στοιχεία σε ευθυγράμμιση και να απομακρύνει αποτελεσματικά τη θερμότητα.

Θέρμανση και ψύξη

Αφού σπάσαμε την οθόνη (χωρίς λογοπαίγνιο) και ξεπεράσαμε τα προβλήματα φυσικής, έπρεπε να αντιμετωπίσουμε την πρόκληση των πραγματικά ισχυρών υπολογιστών σε συνδυασμό με την πραγματικά χαμηλή κατανάλωση ενέργειας και την ανάγκη απαγωγής θερμότητας. Σε αντίθεση με τα σημερινά ακουστικά MR, δεν μπορείτε να τοποθετήσετε έναν ανεμιστήρα σε ένα ζευγάρι γυαλιά. Έτσι, έπρεπε να γίνουμε δημιουργικοί. Πολλά από τα υλικά που χρησιμοποιούνται για την ψύξη του Orion είναι παρόμοια με αυτά που χρησιμοποιεί η NASA για την ψύξη δορυφόρων στο διάστημα.

Χτίσαμε εξαιρετικά εξειδικευμένο προσαρμοσμένο πυρίτιο που είναι εξαιρετικά αποδοτικός σε ισχύ και βελτιστοποιημένος για τους αλγορίθμους τεχνητής νοημοσύνης, μηχανικής αντίληψης και γραφικών. Κατασκευάσαμε πολλαπλά προσαρμοσμένα τσιπ και δεκάδες εξαιρετικά προσαρμοσμένα μπλοκ IP πυριτίου μέσα σε αυτά τα τσιπ. Αυτό μας επιτρέπει να πάρουμε τους αλγορίθμους που είναι απαραίτητοι για την παρακολούθηση χεριών και ματιών, καθώς και την τεχνολογία ταυτόχρονου εντοπισμού και χαρτογράφησης (SLAM), η οποία κανονικά απαιτεί εκατοντάδες χιλιοστά του βατ ισχύος -και συνεπώς παράγει αντίστοιχη ποσότητα θερμότητας- και να τη συρρικνώσουμε σε μόλις μερικές δεκάδες χιλιοστά του βατ.

Και ναι, το προσαρμοσμένο πυρίτιο εξακολουθεί να παίζει κρίσιμο ρόλο στην ανάπτυξη προϊόντων στα Reality Labs, παρά τα όσα μπορεί να έχετε διαβάσει αλλού. 😎

Αβίαστο EMG

Κάθε νέα υπολογιστική πλατφόρμα φέρνει μαζί της αλλαγή παραδείγματος στον τρόπο με τον οποίο αλληλεπιδρούμε με τις συσκευές μας. Η εφεύρεση του ποντικιού βοήθησε να ανοίξει ο δρόμος για τις γραφικές διεπαφές χρήστη (GUI) που κυριαρχούν στον κόσμο μας σήμερα, και τα smartphones δεν άρχισαν να κερδίζουν πραγματικά έδαφος μέχρι την έλευση της οθόνης αφής. Και ο ίδιος κανόνας ισχύει και για τα wearables.

Έχουμε μιλήσει για το έργο μας με ηλεκτρομυογραφία ή EMG, εδώ και χρόνια, με γνώμονα την πεποίθησή μας ότι η είσοδος για τα γυαλιά AR πρέπει να είναι γρήγορη, βολική, αξιόπιστη, διακριτική και κοινωνικά αποδεκτή. Και τώρα, αυτή η εργασία είναι έτοιμη για την prime time.

Το σύστημα εισόδου και αλληλεπίδρασης της Orion συνδυάζει άψογα τη φωνή, το βλέμμα και την παρακολούθηση του χεριού με ένα EMG βραχιολάκι που σας επιτρέπει να σαρώνετε, να κάνετε κλικ και να κάνετε κύλιση με ευκολία.

Λειτουργεί - και μοιάζει με μαγεία. Φανταστείτε να τραβάτε μια φωτογραφία στο πρωινό σας τρέξιμο με ένα απλό άγγιγμα των άκρων των δακτύλων σας ή να πλοηγείστε στα μενού με ελάχιστα αισθητές κινήσεις των χεριών σας. Το βραχιολάκι μας συνδυάζει ένα ύφασμα υψηλής απόδοσης με ενσωματωμένους αισθητήρες EMG για να ανιχνεύει τα ηλεκτρικά σήματα που παράγονται ακόμη και από τις πιο μικρές μυϊκές κινήσεις. Στη συνέχεια, ένας επεξεργαστής ML της συσκευής ερμηνεύει αυτά τα σήματα ΗΜΓ για να παράγει συμβάντα εισόδου που μεταδίδονται ασύρματα στα γυαλιά. Το σύστημα προσαρμόζεται σε εσάς, ώστε να γίνεται καλύτερο και πιο ικανό στην αναγνώριση των πιο λεπτών χειρονομιών με την πάροδο του χρόνου. Και σήμερα, μοιραζόμαστε περισσότερα σχετικά με την υποστήριξή μας για εξωτερική έρευνα που επικεντρώνεται σε επέκταση των δυνατοτήτων ισότητας και προσβασιμότητας των καρτελών ΗΜΓ.

Γνωρίστε το Wireless Compute Puck

Τα αληθινά γυαλιά AR πρέπει να είναι ασύρματα και πρέπει επίσης να είναι μικρά.Έτσι φτιάξαμε ένα ασύρματο υπολογιστικό puck για το Orion. Απομακρύνει ένα μέρος του φορτίου από τα γυαλιά, επιτρέποντας μεγαλύτερη διάρκεια ζωής της μπαταρίας και έναν καλύτερο παράγοντα μορφής με χαμηλή καθυστέρηση.

Τα γυαλιά εκτελούν όλους τους αλγορίθμους παρακολούθησης χεριών, παρακολούθησης ματιών, SLAM και εξειδικευμένους αλγορίθμους γραφικών κλειδώματος του κόσμου AR, ενώ η λογική της εφαρμογής εκτελείται στο puck για να διατηρηθούν τα γυαλιά όσο το δυνατόν πιο ελαφριά και συμπαγή.

Το puck διαθέτει διπλούς επεξεργαστές, συμπεριλαμβανομένου ενός προσαρμοσμένου που έχει σχεδιαστεί εδώ στη Meta, και παρέχει την απαραίτητη υπολογιστική ισχύ για την απόδοση γραφικών χαμηλής καθυστέρησης, την τεχνητή νοημοσύνη και κάποια πρόσθετη αντίληψη της μηχανής.

Και επειδή είναι μικρό και κομψό, μπορείτε να το πετάξετε άνετα σε μια τσάντα ή στην τσέπη σας και να συνεχίσετε τις δουλειές σας - χωρίς δεσμεύσεις.

Εμπειρίες AR

Φυσικά, όπως συμβαίνει με κάθε κομμάτι υλικού, είναι τόσο καλό όσο τα πράγματα που μπορείτε να do με αυτό. Και ενώ είναι ακόμα νωρίς, οι εμπειρίες που προσφέρει ο Orion είναι μια συναρπαστική ματιά στο τι πρόκειται να συμβεί.

https://youtube.com/watch?v=HkdSv3QPhNw%3F%26controls%3D0%3Fautoplay%3D0%26color%3Dwhite%26cc_lang_pref%3Den%26cc_load_policy%3D0%26enablejsapi%3D1%26frameborder%3D0%26hl%3Den%26rel%3D0%26origin%3Dhttps%253A%252F%252Fwww.meta.com

Έχουμε τον έξυπνο βοηθό μας, Meta AI, που εκτελείται στον Orion. Καταλαβαίνει τι κοιτάτε στον φυσικό κόσμο και μπορεί να σας βοηθήσει με χρήσιμες απεικονίσεις. Το Orion χρησιμοποιεί το ίδιο μοντέλο Llama που τροφοδοτεί τις εμπειρίες τεχνητής νοημοσύνης που τρέχουν σήμερα στα έξυπνα γυαλιά Ray-Ban Meta, καθώς και προσαρμοσμένα ερευνητικά μοντέλα για την επίδειξη πιθανών περιπτώσεων χρήσης για τη μελλοντική ανάπτυξη wearables.

Μπορείτε να πραγματοποιείτε βιντεοκλήσεις hands-free εν κινήσει για να ενημερώνεστε με φίλους και συγγενείς σε πραγματικό χρόνο και μπορείτε να παραμείνετε συνδεδεμένοι στο WhatsApp και το Messenger για να βλέπετε και να στέλνετε μηνύματα. Δεν χρειάζεται να βγάλετε το τηλέφωνό σας, να το ξεκλειδώσετε, να βρείτε τη σωστή εφαρμογή και να ενημερώσετε τον φίλο σας ότι έχετε αργήσει για το δείπνο - μπορείτε να τα κάνετε όλα αυτά μέσω των γυαλιών σας.

https://youtube.com/watch?v=el7lUVvu8Bo%3F%26controls%3D0%3Fautoplay%3D0%26color%3Dwhite%26cc_lang_pref%3Den%26cc_load_policy%3D0%26enablejsapi%3D1%26frameborder%3D0%26hl%3Den%26rel%3D0%26origin%3Dhttps%253A%252F%252Fwww.meta.com

Μπορείτε να παίξετε κοινά παιχνίδια AR με την οικογένειά σας στην άλλη άκρη της χώρας ή με τον φίλο σας στην άλλη άκρη του καναπέ. Και η μεγάλη οθόνη του Orion σας επιτρέπει να κάνετε multitasking με πολλαπλά παράθυρα για να κάνετε πράγματα χωρίς να χρειάζεται να κουβαλάτε μαζί σας τον φορητό σας υπολογιστή.

Οι εμπειρίες που είναι διαθέσιμες στο Orion σήμερα θα βοηθήσουν να διαμορφωθεί ο οδικός χάρτης για τη σειρά γυαλιών AR για καταναλωτές στο μέλλον. Οι ομάδες μας θα συνεχίσουν να επαναλαμβάνουν και να δημιουργούν νέες καθηλωτικές κοινωνικές εμπειρίες, μαζί με τους συνεργάτες μας προγραμματιστές, και ανυπομονούμε να μοιραστούμε αυτό που θα ακολουθήσει.

Ένα σκόπιμο πρωτότυπο προϊόντος

Παρόλο που το Orion δεν θα φτάσει στα χέρια των καταναλωτών, μην κάνετε κανένα λάθος: Αυτό είναι όχι ένα ερευνητικό πρωτότυπο. Είναι το πιο γυαλισμένο πρωτότυπο προϊόντος που έχουμε αναπτύξει ποτέ - και είναι πραγματικά αντιπροσωπευτικό για κάτι που θα μπορούσε να στέλνουν στους καταναλωτές. Αντί να βιαστούμε να το βγάλουμε στα ράφια, αποφασίσαμε να επικεντρωθούμε πρώτα στην εσωτερική ανάπτυξη, πράγμα που σημαίνει ότι μπορούμε να συνεχίσουμε να χτίζουμε γρήγορα και να συνεχίσουμε να διευρύνουμε τα όρια της τεχνολογίας και των εμπειριών.

Και αυτό σημαίνει ότι θα φτάσουμε σε ένα ακόμη καλύτερο καταναλωτικό προϊόν πιο γρήγορα.

Τι θα ακολουθήσει

Δύο σημαντικά εμπόδια στέκονται εδώ και καιρό στο δρόμο για τα κύρια καταναλωτικά γυαλιά AR: οι τεχνολογικές ανακαλύψεις που είναι απαραίτητες για την παροχή μιας μεγάλης οθόνης σε έναν συμπαγή τύπο γυαλιών και η ανάγκη για χρήσιμες και συναρπαστικές εμπειρίες AR που μπορούν να τρέξουν σε αυτά τα γυαλιά. Το Orion αποτελεί ένα τεράστιο ορόσημο, παρέχοντας για πρώτη φορά πραγματικές εμπειρίες AR που τρέχουν σε λογικά κομψό υλικό.

Τώρα που μοιραστήκαμε τον Orion με τον κόσμο, επικεντρωνόμαστε σε μερικά πράγματα:

  • Ρύθμιση της ποιότητας της οθόνης AR για να γίνει η εικόνα ακόμα πιο ευκρινής
  • Βελτιστοποίηση όπου μπορούμε για να κάνουμε τον παράγοντα μορφής ακόμα μικρότερο
  • Οικοδόμηση σε κλίμακα για να γίνουν πιο προσιτές

Τα επόμενα χρόνια, μπορείτε να περιμένετε να δείτε νέες συσκευές από εμάς που θα βασίζονται στις προσπάθειες Ε&Α που καταβάλλουμε. Και ορισμένες από τις καινοτομίες της Orion έχουν επεκταθεί στα σημερινά καταναλωτικά προϊόντα μας σήμερα, καθώς και στον μελλοντικό χάρτη πορείας των προϊόντων μας. Έχουμε βελτιστοποιήσει ορισμένους από τους αλγορίθμους μας για τη χωρική αντίληψη, οι οποίοι εκτελούνται τόσο σε Meta Quest 3S και τον Ωρίωνα. Αν και το σύστημα οπτικής και διακριτικής χειρονομιακής εισόδου σχεδιάστηκε αρχικά για το Orion, σκοπεύουμε να το χρησιμοποιήσουμε και σε μελλοντικά προϊόντα. Επίσης, διερευνούμε τη χρήση των βραχιολιών EMG σε μελλοντικά καταναλωτικά προϊόντα.

Ο Orion δεν είναι απλώς ένα παράθυρο στο μέλλον - είναι μια ματιά στις πολύ πραγματικές δυνατότητες που είναι εφικτές σήμερα. Το δημιουργήσαμε επιδιώκοντας αυτό που κάνουμε καλύτερα: να βοηθάμε τους ανθρώπους να συνδέονται. Από τα γυαλιά Ray-Ban Meta μέχρι το Orion, έχουμε δει το καλό που μπορεί να προκύψει από το να αφήνουμε τους ανθρώπους να παραμένουν πιο παρόντες και ενδυναμωμένοι στον φυσικό κόσμο, ακόμη και όταν αξιοποιούν όλο τον πρόσθετο πλούτο που έχει να προσφέρει ο ψηφιακός κόσμος.

Πιστεύουμε ότι δεν θα πρέπει να χρειάζεται να επιλέξετε ανάμεσα στα δύο. Και με την επόμενη υπολογιστική πλατφόρμα, δεν θα χρειαστεί να το κάνετε.


Για περισσότερες πληροφορίες σχετικά με τον Orion, ανατρέξτε σε αυτές τις αναρτήσεις ιστολογίου:

Δημοσιεύθηκε την - Σχολιάστε

Το Compute Puck του Orion: Η ιστορία πίσω από τη συσκευή που βοήθησε να γίνουν δυνατά τα γυαλιά μας AR

Πέρυσι στο Connect, παρουσιάσαμε Orion-το πρώτο μας πραγματικό ζευγάρι γυαλιών AR. Το αποκορύφωμα των το έργο μας στα Reality Labs την τελευταία δεκαετία, το Orion συνδυάζει τα οφέλη μιας μεγάλης ολογραφικής οθόνης και της εξατομικευμένης βοήθειας τεχνητής νοημοσύνης σε έναν άνετο, φορητό παράγοντα μορφής για όλη την ημέρα. Έλαβε κάποια προσοχή για το κορυφαίο στον κλάδο οπτικό πεδίο, τους κυματοδηγούς καρβιδίου πυριτίου, τους προβολείς uLED και πολλά άλλα. Αλλά σήμερα, στρέφουμε την προσοχή μας σε έναν αφανή ήρωα του Orion: το compute puck.

Σχεδιασμένο για να χωράει εύκολα στην τσέπη ή την τσάντα σας, ώστε να μπορείτε να το έχετε μαζί σας σχεδόν παντού καθώς περνάτε την ημέρα σας, το puck αποφορτίζει την επεξεργαστική ισχύ του Orion για να τρέξει τη λογική των εφαρμογών και να επιτρέψει έναν πιο ελκυστικό, μικρότερο παράγοντα μορφής για τα γυαλιά. Συνδέεται ασύρματα με τα γυαλιά και το βραχιολάκι EMG για μια απρόσκοπτη εμπειρία.

Ρυθμίστε το και ξεχάστε το, σωστά;

Αλλά η ιστορία του πακ -ακόμη και ως πρωτότυπο- εμπλέκεται, με ένα δραματικό τόξο που δεν θα μπορούσατε ποτέ να μαντέψετε από την εμφάνισή του.

"Όταν κατασκευάζεις κάτι τέτοιο, αρχίζεις να μπαίνεις στα όρια της φυσικής", εξηγεί ο διευθυντής διαχείρισης προϊόντων Rahul Prasad. "Τα τελευταία 50 χρόνια, ο νόμος του Moore έχει κάνει τα πάντα μικρότερα, ταχύτερα και με χαμηλότερη ισχύ. Το πρόβλημα είναι ότι τώρα αρχίζεις να συναντάς όρια στο πόση θερμότητα μπορείς να αποβάλλεις, πόση μπαταρία μπορείς να συμπιέσεις και πόση απόδοση κεραίας μπορείς να χωρέσεις σε ένα αντικείμενο συγκεκριμένου μεγέθους".

Αν και η εκ των υστέρων γνώση μπορεί να είναι 20/20, οι δυνατότητες του πακ δεν ήταν αμέσως εμφανείς. Όταν είσαι ο πρώτος που κατασκευάζει κάτι, πρέπει να εξερευνήσεις κάθε πιθανότητα - χωρίς να αφήσεις καμία πέτρα αναποδογυρισμένη. Πώς φτιάχνεις κάτι που κάποιοι μπορεί να το θεωρήσουν ανεπιθύμητο αξεσουάρ και όχι κρίσιμο μέρος του πακέτου;

"Ξέραμε ότι το puck ήταν μια επιπλέον συσκευή που ζητούσαμε από τους ανθρώπους να κουβαλούν", σημειώνει ο Διευθυντής Μηχανικής Σχεδίασης Προϊόντων Jared Van Cleave, "οπότε διερευνήσαμε πώς να μετατρέψουμε το σφάλμα σε χαρακτηριστικό".

Τελικά, αυτό το ήθος απέδωσε τα μέγιστα, καθώς ο δίσκος συμπιέζει πολύ υπολογισμό (και ακόμη περισσότερο προσαρμοσμένο πυρίτιο σχεδιασμένο από τη Meta για την τεχνητή νοημοσύνη και τη μηχανική αντίληψη) σε ένα μικρό μέγεθος. Αυτό συνέβαλε καθοριστικά στο να περάσει το Orion από τη σφαίρα της επιστημονικής φαντασίας στην πραγματικότητα.

"Αν δεν είχατε το puck, δεν θα μπορούσατε να ζήσετε τις εμπειρίες που προσφέρει το Orion στον παράγοντα μορφής του -περίοδος", λέει ο Prasad. "Μια καλή εμπειρία AR απαιτεί πραγματικά υψηλές επιδόσεις: υψηλούς ρυθμούς καρέ, εξαιρετικά χαμηλή καθυστέρηση, λεπτομερή διαχείριση ασύρματων δικτύων και ενέργειας κ.λπ. Το puck και τα γυαλιά πρέπει να συν-σχεδιαστούν ώστε να συνεργάζονται πραγματικά στενά, όχι μόνο στο επίπεδο της εφαρμογής, αλλά και στο επίπεδο του λειτουργικού συστήματος, του υλικολογισμικού και του υλικού. Και ακόμη και αν κάποιος συν-σχεδιάσει ένα smartphone για να συνεργαστεί με γυαλιά AR, οι απαιτητικές απαιτήσεις επιδόσεων θα εξαντλούσαν την μπαταρία του τηλεφώνου και θα αφαιρούσαν υπολογιστική χωρητικότητα από τις περιπτώσεις χρήσης του τηλεφώνου. Από την άλλη πλευρά, το puck έχει τη δική του μπαταρία υψηλής χωρητικότητας, SoC υψηλής απόδοσης και έναν προσαρμοσμένο συν-επεξεργαστή AI σχεδιασμένο από την Meta, βελτιστοποιημένο για το Orion".

Φυσικά, το πακ δεν σχεδιάστηκε εν μία νυκτί. Απαιτήθηκαν χρόνια επαναληπτικής εργασίας.

"Δεν ξέραμε πώς οι άνθρωποι θα ήθελαν να αλληλεπιδράσουν με το Orion από την άποψη της εισόδου - δεν υπήρχε τίποτα που θα μπορούσαμε να χρησιμοποιήσουμε στην αγορά", λέει ο Product Manager Matt Resman. "Αν κοιτάξετε τα πρώτα πρωτότυπα γυαλιά μας, ήταν αυτά τα τεράστια ακουστικά που ζύγιζαν τρία ή τέσσερα κιλά. Και όταν προσπαθείς να δημιουργήσεις ένα προϊόν, είναι πολύ δύσκολο να κατανοήσεις την εμπειρία του χρήστη, αν δεν έχεις τον κατάλληλο παράγοντα μορφής. Με το puck, μπορέσαμε να δημιουργήσουμε πρωτότυπα πολύ γρήγορα και να αρχίσουμε να καταλαβαίνουμε πώς θα το χρησιμοποιούσαν οι άνθρωποι".

Με την κωδική ονομασία Omega τις πρώτες μέρες, το puck οραματίστηκε αρχικά από την τότε Oculus Research ως μια ζώνη σχήματος Ω που θα περνούσε γύρω από το λαιμό του χρήστη και θα ήταν συνδεδεμένη με τα γυαλιά...

... μέχρι που κάποιες νέες καινοτομίες από την ομάδα ασύρματης επικοινωνίας της Reality Labs, μεταξύ άλλων, τους επέτρεψαν να κόψουν το καλώδιο. Αυτό επέτρεψε μια πιο φορητή ή φορητή στην τσέπη/στην τσάντα μορφή, η οποία άνοιξε πολλές δυνατότητες.

"Σε εκείνο το σημείο, οι κλήσεις επαυξημένης πραγματικότητας αποτελούσαν ακόμα μια πρωταρχική περίπτωση χρήσης", εξηγεί ο Van Cleave. "Το πακ ήταν το σημείο στο οποίο θα αγκυροβολούνταν τα ολογραφικά βίντεο. Το τοποθετούσατε στο τραπέζι με τον πάγκο των αισθητήρων να σας κοιτάζει, να σας απεικονίζει και στη συνέχεια να προβάλλει από την επιφάνεια του puck αυτόν με τον οποίο μιλούσατε για την κλήση".

"Ο Orion συνδέει τους ανθρώπους και μας φέρνει κοντά", λέει ο Resman. "Μια από τις αρχικές ιδέες για το πακ ήταν να βοηθήσει να δημιουργηθεί αυτή η αίσθηση παρουσίας με άλλους ανθρώπους και να καταστεί δυνατή αυτή η πιο πλούσια μορφή επικοινωνίας".

"Δεν μοιάζει με οτιδήποτε έχετε δει ποτέ - η συσκευή έχει τη δυνατότητα να δημιουργήσει πραγματικά διασκεδαστικές και μοναδικές αλληλεπιδράσεις", προσθέτει ο βιομηχανικός σχεδιαστής Emron Henry. "Η εμπειρία του χρήστη μοιάζει λίγο σαν να απελευθερώνει ένα τζίνι από ένα μπουκάλι, όπου τα ολογράμματα αναδύονται απρόσκοπτα από τη συσκευή και διαλύονται πίσω σε αυτήν".

Όπως μπορείτε πιθανώς να καταλάβετε από τώρα, υπάρχουν περισσότερες δυνατότητες μέσα στο πακ από αυτό που τελικά ενεργοποιήθηκε ως χαρακτηριστικό. Εκτός από τους αισθητήρες και τις κάμερες που θα χρησιμοποιούνταν για κλήσεις AR, το puck διαθέτει απτικά και αισθητήρες 6DOF που θα μπορούσαν να του επιτρέψουν να χρησιμοποιηθεί ως χειριστήριο με παρακολούθηση για την επιλογή και το χειρισμό εικονικών αντικειμένων και την αναπαραγωγή παιχνιδιών AR. Η ομάδα διερεύνησε επίσης την εισαγωγή χωρητικής και δυναμικής αφής, ώστε το puck να μπορεί να χρησιμεύσει ως gamepad όταν κρατιέται τόσο σε κατακόρυφη όσο και σε οριζόντια θέση.

"Συζητούσαμε για την ανάγκη να κουβαλάμε αυτό το επιπλέον πράγμα", λέει ο Van Cleave. "Πώς μπορούμε να το κάνουμε πιο χρήσιμο; Υπήρχε ένα ολόκληρο ρεύμα εργασίας γύρω από αυτό. Και σε κάποιο σημείο, η υπόθεση ήταν ότι το AR gaming θα ήταν αυτή η φονική περίπτωση χρήσης".

Από πολύ νωρίς, ξέραμε ότι έπρεπε να εξερευνήσουμε τις δυνατότητες του πακ να κάνει πράγματα που δεν μπορούν να κάνουν τα τηλέφωνα. Τελικά, καταλήξαμε στη χρήση του οφθαλμικού βλέμματος, του EMG και της παρακολούθησης χεριών για παιχνίδια AR, όπως το Stargazer και το Pong, αλλά δημιουργήσαμε πρωτότυπα διάφορα demo και παιχνίδια που χρησιμοποιούσαν το puck ως χειριστήριο στις πρώτες μέρες του Orion.

0:00 / 0:00

0:00 / 0:00

0:00 / 0:00

Αναπαραστάσεις εξερεύνησης της μπάλας ως χειριστήριο 6DOF για παιχνίδια AR όπως το Pong.

"Επειδή δεν πρόκειται για τηλέφωνο, αυτό μας έδωσε μεγάλη σχεδιαστική ελευθερία", προσθέτει ο Prasad. "Μπορεί να είναι παχύτερο, μπορώ να το κάνω πιο στρογγυλεμένο, ώστε να χωράει άνετα στο χέρι σας ως χειριστήριο. Είναι αρκετά απίστευτο το γεγονός ότι το puck είναι στην πραγματικότητα μικρότερο από το μέσο τηλέφωνο, αλλά είναι πιο ισχυρό από ένα τηλέφωνο, επειδή διαθέτει έναν συν-επεξεργαστή που έχει σχεδιαστεί από τη Meta για την τεχνητή νοημοσύνη και τη μηχανική αντίληψη".

Η ομάδα ασχολήθηκε με το ερώτημα πώς ένα ποιοτικό παιχνίδι AR μπορεί να διαφέρει από ένα παιχνίδι MR ή ένα παιχνίδι κονσόλας. Αυτό σήμαινε τη διερεύνηση διαφορετικών δυνατοτήτων για ένα χειριστήριο παιχνιδιού AR, συμπεριλαμβανομένων των joysticks, της διάταξης φυσικών κουμπιών, των κουμπιών ενεργοποίησης και άλλων.

"Δεν καταλήξαμε να κατασκευάσουμε τίποτα από αυτά τα πράγματα", σημειώνει ο Van Cleave. "Τα κατασκευάσαμε πρωτότυπα, αλλά δεν προχωρήσαμε ποτέ σε πλήρη κατασκευή. Θέλαμε να το κρατήσουμε απλό. Θέλαμε να κάνουμε αυτές τις μαλακές διεπαφές, αλλά όχι να φτιάξουμε φυσικά, μηχανικά κουμπιά".

Και ενώ οι αισθητήρες και τα απτικά δεν ενεργοποιήθηκαν στο τελικό πρωτότυπο του προϊόντος, λειτούργησαν αναπόσπαστα κατά τη διάρκεια της ανάπτυξης, επιτρέποντας στις ομάδες να καταγράφουν σφάλματα, απλά πατώντας μερικές φορές το πάνω μέρος της συσκευής για να ενεργοποιήσουν μια αναφορά σφάλματος.

Καθώς η Τεχνητή Νοημοσύνη άρχισε να αποκτά κεντρική θέση ως βασική περίπτωση χρήσης, ο υπολογισμός τέθηκε σε όλο και πιο έντονη εστίαση. Τελικά, το puck φιλοξενεί την ασύρματη συνδεσιμότητα του Orion, την υπολογιστική ισχύ και τη χωρητικότητα της μπαταρίας - ένα τεράστιο τεχνικό κατόρθωμα από μόνο του - το οποίο συμβάλλει στη μείωση του βάρους και του συντελεστή μορφής των γυαλιών, ενώ παράλληλα διαχέει πολύ περισσότερα θερμικά αέρια λόγω της επιφάνειάς του.

Καθ' όλη τη διάρκεια της εξέλιξής του, ένα πράγμα παρέμεινε το ίδιο: το πακ έχει περισσότερα στοιχεία από όσα βλέπει το ανεκπαίδευτο μάτι. Η υιοθέτηση αντισυμβατικών ιδεών επέτρεψε στις ομάδες μας να εξερευνήσουν, να διευρύνουν τα όρια και να οικοδομήσουν το μέλλον.

"Ορίζουμε μια κατηγορία που δεν υπάρχει ακόμα", σημειώνει ο Henry. "Όπως θα περίμενε κανείς με την Ε&Α, υπήρξαν εκκινήσεις και στάσεις στην πορεία. Πώς θα περιμένουν οι χρήστες να αλληλεπιδράσουν με τα ολογράμματα; Θα προτιμούσαν να χρησιμοποιήσουν ένα τηλεχειριστήριο AR ή αρκεί η παρακολούθηση του χεριού, το βλέμμα των ματιών και το EMG για την είσοδο; Τι αισθάνονται διαισθητικό, χαμηλής τριβής, οικείο και χρήσιμο;"

"Αντί να βλέπουμε το puck ως μια απλή πέτρα, αναρωτηθήκαμε τι άλλο θα μπορούσαμε να προσφέρουμε για να το διαφοροποιήσουμε περαιτέρω από τα τηλέφωνα και να δικαιολογήσουμε γιατί θα θέλατε να το έχετε μαζί σας", παραδέχεται ο Resman. "Μήπως η ακατέργαστη υπολογιστική του ισχύς και ο πρακτικός σχεδιασμός του -που βοήθησε στο να ξεκλειδώσουμε έναν παράγοντα μορφής γυαλιών που μπορείτε ρεαλιστικά να φοράτε όλη μέρα- προσφέρουν τελικά αρκετή αξία; Είναι δουλειά μας να βοηθήσουμε να απαντηθούν αυτά τα ερωτήματα".

"Από πολύ νωρίς, αλλάξαμε ταχύτητα και επικεντρωθήκαμε στο τι μπορούμε να κάνουμε που δεν μπορεί να κάνει ένα τηλέφωνο", προσθέτει ο Van Cleave. "Τα τηλέφωνα πρέπει να έχουν την οθόνη, πρέπει να έχουν τη συγκεκριμένη διάταξη φυσικών κουμπιών που περιμένουν οι χρήστες. Εμείς δεν έχουμε αυτούς τους περιορισμούς. Ο υπολογιστικός μας δίσκος μπορεί να είναι ό,τι θέλουμε να είναι".


Για περισσότερες πληροφορίες σχετικά με τον Orion, ανατρέξτε σε αυτές τις αναρτήσεις ιστολογίου:

Δημοσιεύθηκε την - Σχολιάστε

Orion: AR γυαλιά έχουν φτάσει

TL;DR:

  • Σήμερα στο Συνδέστε το, ο Μαρκ Ζούκερμπεργκ αποκάλυψε το Orion - το πρώτο μας ζευγάρι αληθινών γυαλιών AR, με την προηγούμενη κωδική ονομασία Έργο Nazare.
  • Με κορυφαίο οπτικό πεδίο στον κλάδο, φακοί καρβιδίου πυριτίου, περίπλοκους κυματοδηγούς, προβολείς uLED και πολλά άλλα, το Orion είναι το πιο προηγμένο και πιο γυαλισμένο πρωτότυπο προϊόν μας μέχρι σήμερα.
  • Τώρα, συνεχίζουμε τη βελτιστοποίηση του προϊόντος και τη μείωση του κόστους, καθώς οδηγούμαστε σε μια επεκτάσιμη καταναλωτική συσκευή που θα φέρει επανάσταση στον τρόπο με τον οποίο οι άνθρωποι αλληλεπιδρούν με τον κόσμο.

"Κατασκευάζουμε γυαλιά AR."

Πέντε απλές λέξεις, πριν από πέντε χρόνια. Μαζί τους, βάλαμε μια σημαία στο όραμά μας για ένα μέλλον όπου δεν θα χρειάζεται πλέον να κάνουμε τη λανθασμένη επιλογή μεταξύ ενός κόσμου πληροφοριών στα χέρια μας και του φυσικού κόσμου γύρω μας.

Και τώρα, πέντε χρόνια αργότερα, άλλες πέντε λέξεις που πρόκειται να αλλάξουν και πάλι το παιχνίδι:

Έχουμε κατασκευάσει γυαλιά AR.

https://youtube.com/watch?v=2CJsnyS8u3c%3Fsi%3DTr77gOKEq3PnA7-k%26controls%3D0%3Fautoplay%3D0%26color%3Dwhite%26cc_lang_pref%3Den%26cc_load_policy%3D0%26enablejsapi%3D1%26frameborder%3D0%26hl%3Den%26rel%3D0%26origin%3Dhttps%253A%252F%252Fwww.meta.com

Στη Meta, η αποστολή μας είναι απλή: να δώσουμε στους ανθρώπους τη δύναμη να χτίσουν κοινότητες και να φέρουν τον κόσμο πιο κοντά. Και στα Reality Labs, δημιουργούμε εργαλεία που βοηθούν τους ανθρώπους να αισθάνονται συνδεδεμένοι οποτεδήποτε και οπουδήποτε. Γι' αυτό εργαζόμαστε για να δημιουργήσουμε την επόμενη υπολογιστική πλατφόρμα που θα θέτει τους ανθρώπους στο επίκεντρο, ώστε να είναι πιο παρόντες, συνδεδεμένοι και ενδυναμωμένοι στον κόσμο.

Γυαλιά Ray-Ban Meta έχουν αποδείξει τη δύναμη της παροχής στους ανθρώπους hands-free πρόσβασης σε βασικά τμήματα της ψηφιακής τους ζωής από τη φυσική τους ζωή. Μπορούμε να μιλάμε σε έναν έξυπνο βοηθό τεχνητής νοημοσύνης, να συνδεόμαστε με φίλους και να απαθανατίζουμε τις στιγμές που έχουν σημασία - και όλα αυτά χωρίς να χρειάζεται ποτέ να βγάλουμε το τηλέφωνο. Αυτά τα κομψά γυαλιά ταιριάζουν άψογα στην καθημερινότητά μας και οι άνθρωποι τα λατρεύουν απόλυτα.

Ωστόσο, ενώ η Ray-Ban Meta άνοιξε μια εντελώς νέα κατηγορία γυαλιών χωρίς οθόνη, υπερφορτισμένων με τεχνητή νοημοσύνη, η βιομηχανία XR ονειρεύεται εδώ και καιρό αληθινά γυαλιά AR - ένα προϊόν που συνδυάζει τα οφέλη μιας μεγάλης ολογραφικής οθόνης και εξατομικευμένης βοήθειας τεχνητής νοημοσύνης σε έναν άνετο, κομψό, φορέσιμο όλη την ημέρα παράγοντα μορφής.

Και σήμερα, κάναμε αυτό το όνειρο πιο κοντά στην πραγματικότητα με την αποκάλυψη του Orion, το οποίο πιστεύουμε ότι είναι το πιο προηγμένο ζευγάρι γυαλιών AR που έχει κατασκευαστεί ποτέ. Στην πραγματικότητα, ίσως είναι η πιο προκλητική συσκευή ηλεκτρονικών καταναλωτικών προϊόντων που κατασκευάστηκε μετά το smartphone. Το Orion είναι το αποτέλεσμα πρωτοποριακών εφευρέσεων σε σχεδόν κάθε τομέα της σύγχρονης πληροφορικής, βασιζόμενο στις τη δουλειά που κάνουμε στα Reality Labs την τελευταία δεκαετία. Είναι γεμάτο με εντελώς νέες τεχνολογίες, συμπεριλαμβανομένης της πιο προηγμένης οθόνης AR που έχει συναρμολογηθεί ποτέ και προσαρμοσμένο πυρίτιο που επιτρέπει την εκτέλεση ισχυρών εμπειριών AR σε ένα ζευγάρι γυαλιά χρησιμοποιώντας ένα κλάσμα της ισχύος και του βάρους ενός ακουστικού MR.

Το σύστημα εισόδου του Orion συνδυάζει απρόσκοπτα τη φωνή, το βλέμμα των ματιών και την παρακολούθηση των χεριών με ένα Βραχιολάκι EMG που σας επιτρέπει να κάνετε σάρωση, κλικ και κύλιση, ενώ το χέρι σας βρίσκεται άνετα στο πλευρό σας, επιτρέποντάς σας να παραμείνετε παρόντες στον κόσμο και στους ανθρώπους γύρω σας, καθώς αλληλεπιδράτε με πλούσιο ψηφιακό περιεχόμενο.

Ξεκινώντας από σήμερα στο Connect και συνεχίζοντας καθ' όλη τη διάρκεια του έτους, ανοίγουμε την πρόσβαση στο πρωτότυπο του προϊόντος Orion για τους υπαλλήλους της Meta και επιλεγμένα, εξωτερικά ακροατήρια, ώστε η ομάδα ανάπτυξης να μπορεί να μάθει, να επαναλάβει και να χτίσει προς την κατεύθυνση της σειράς προϊόντων AR γυαλιών για καταναλωτές, την οποία σχεδιάζουμε να ξεκινήσουμε να αποστέλλουμε στο εγγύς μέλλον.

Γιατί γυαλιά AR;

Υπάρχουν τρεις βασικοί λόγοι για τους οποίους τα γυαλιά AR είναι το κλειδί για την επίτευξη του επόμενου μεγάλου άλματος στην υπολογιστική με γνώμονα τον άνθρωπο.

  1. Επιτρέπουν ψηφιακές εμπειρίες που δεν περιορίζονται από τα όρια της οθόνης ενός smartphone. Με τις μεγάλες ολογραφικές οθόνες, μπορείτε να χρησιμοποιήσετε τον φυσικό κόσμο ως καμβά, τοποθετώντας 2D και 3D περιεχόμενο και εμπειρίες οπουδήποτε θέλετε.
  2. Ενσωματώνουν απρόσκοπτα την τεχνητή νοημοσύνη που μπορεί να αντιληφθεί και να κατανοήσει τον κόσμο γύρω σας, προκειμένου να προβλέψει και να αντιμετωπίσει προληπτικά τις ανάγκες σας.
  3. Είναι ελαφριές και ιδανικές για χρήση τόσο σε εσωτερικούς όσο και σε εξωτερικούς χώρους - και επιτρέπουν στους ανθρώπους να βλέπουν ο ένας το πραγματικό πρόσωπο, τα πραγματικά μάτια και τις πραγματικές εκφράσεις του άλλου.

Αυτό είναι το αστέρι του βορρά προς το οποίο ο κλάδος μας χτίζει: ένα προϊόν που συνδυάζει την ευκολία και την αμεσότητα των φορητών συσκευών με μεγάλη οθόνη, είσοδο υψηλού εύρους ζώνης και ΤΝ με βάση το περιεχόμενο, σε έναν παράγοντα μορφής που οι άνθρωποι αισθάνονται άνετα να φορούν στην καθημερινή τους ζωή.

Συμπαγής παράγοντας μορφής, σύνθετες προκλήσεις

Εδώ και χρόνια, βρισκόμαστε αντιμέτωποι με μια λανθασμένη επιλογή - είτε ακουστικά εικονικής και μικτής πραγματικότητας που επιτρέπουν βαθιές, καθηλωτικές εμπειρίες σε ογκώδη μορφή είτε γυαλιά που είναι ιδανικά για ολοήμερη χρήση, αλλά δεν προσφέρουν πλούσιες οπτικές εφαρμογές και εμπειρίες λόγω της έλλειψης μεγάλης οθόνης και αντίστοιχης υπολογιστικής ισχύος.

Αλλά τα θέλουμε όλα, χωρίς συμβιβασμούς. Εδώ και χρόνια, δουλεύουμε σκληρά για να πάρουμε τις απίστευτες χωρικές εμπειρίες που προσφέρουν τα ακουστικά VR και MR και να σμικρύνουμε την τεχνολογία που είναι απαραίτητη για την παροχή αυτών των εμπειριών σε ένα ζευγάρι ελαφρών, κομψών γυαλιών. Η επίτευξη του παράγοντα μορφής, η παροχή ολογραφικών οθονών, η ανάπτυξη συναρπαστικών εμπειριών AR και η δημιουργία νέων παραδειγμάτων αλληλεπίδρασης ανθρώπου-υπολογιστή (HCI) - και όλα αυτά σε ένα συνεκτικό προϊόν - είναι μία από τις πιο δύσκολες προκλήσεις που έχει αντιμετωπίσει ποτέ ο κλάδος μας. Ήταν τόσο μεγάλη πρόκληση που πιστεύαμε ότι είχαμε λιγότερες από 10 τοις εκατό πιθανότητες να τα καταφέρουμε με επιτυχία.

Μέχρι τώρα.

Μια πρωτοποριακή οθόνη σε έναν απαράμιλλο παράγοντα μορφής

Στις 70 μοίρες περίπου, το Orion διαθέτει το μεγαλύτερο οπτικό πεδίο στο μικρότερο μέγεθος γυαλιών AR που έχει κατασκευαστεί μέχρι σήμερα. Αυτό το οπτικό πεδίο ξεκλειδώνει πραγματικά καθηλωτικές περιπτώσεις χρήσης για το Orion, από παράθυρα πολλαπλών εργασιών και ψυχαγωγία μεγάλης οθόνης μέχρι ολογράμματα ανθρώπων σε φυσικό μέγεθος - όλο το ψηφιακό περιεχόμενο που μπορεί να συνδυάζεται απρόσκοπτα με την άποψή σας για τον φυσικό κόσμο.

Για τον Orion, το οπτικό πεδίο ήταν το ιερό μας δισκοπότηρο. Προσκρούαμε στους νόμους της φυσικής και έπρεπε να λυγίσουμε τις ακτίνες φωτός με τρόπους που δεν λυγίζουν φυσιολογικά - και έπρεπε να το κάνουμε σε ένα φάκελο ισχύος που μετριέται σε χιλιοστοβάτ.

Αντί για γυαλί, φτιάξαμε τους φακούς από καρβίδιο του πυριτίου-μια νέα εφαρμογή για τα γυαλιά AR. Καρβίδιο του πυριτίου είναι απίστευτα ελαφρύ, δεν προκαλεί οπτικά τεχνουργήματα ή αδέσποτο φως και έχει υψηλό δείκτη διάθλασης - όλες οι οπτικές ιδιότητες που είναι βασικές για ένα μεγάλο οπτικό πεδίο. Οι ίδιοι οι κυματοδηγοί έχουν πραγματικά περίπλοκες και πολύπλοκες τρισδιάστατες δομές νανοκλίμακας για τη διάθλαση ή τη διάχυση του φωτός με τους τρόπους που είναι απαραίτητοι για την επίτευξη αυτού του οπτικού πεδίου. Και οι προβολείς είναι uLEDs - ένας νέος τύπος τεχνολογίας οθόνης που είναι εξαιρετικά μικρός και εξαιρετικά αποδοτικός στην κατανάλωση ενέργειας.

Το Orion είναι αναμφισβήτητα ένα ζευγάρι γυαλιά τόσο στην εμφάνιση όσο και στην αίσθηση - με διαφανείς φακούς. Σε αντίθεση με τα ακουστικά MR ή άλλα γυαλιά AR σήμερα, μπορείτε ακόμα να βλέπετε τα πραγματικά μάτια και τις εκφράσεις των άλλων, ώστε να είστε παρόντες και να μοιράζεστε την εμπειρία με τους ανθρώπους γύρω σας. Χρειάστηκαν δεκάδες καινοτομίες για να φτάσει ο βιομηχανικός σχεδιασμός σε μια σύγχρονη μορφή γυαλιών που θα νιώθετε άνετα να φοράτε καθημερινά. Το Orion είναι ένα κατόρθωμα σμίκρυνσης - τα εξαρτήματα είναι πακεταρισμένα σε ένα κλάσμα του χιλιοστού. Και καταφέραμε να ενσωματώσουμε επτά μικροσκοπικές κάμερες και αισθητήρες στα χείλη του σκελετού.

Έπρεπε να διατηρήσουμε την οπτική ακρίβεια στο ένα δέκατο του πάχους μιας ανθρώπινης τρίχας. Και το σύστημα μπορεί να ανιχνεύει μικροσκοπικές ποσότητες κίνησης -όπως τα πλαίσια που διαστέλλονται ή συστέλλονται σε διάφορες θερμοκρασίες δωματίου- και στη συνέχεια να διορθώνει ψηφιακά την απαραίτητη οπτική ευθυγράμμιση, και όλα αυτά μέσα σε χιλιοστά του δευτερολέπτου. Κατασκευάσαμε τα πλαίσια από μαγνήσιο - το ίδιο υλικό που χρησιμοποιείται στα αγωνιστικά αυτοκίνητα F1 και στα διαστημόπλοια - επειδή είναι ελαφρύ αλλά άκαμπτο, ώστε να διατηρεί τα οπτικά στοιχεία σε ευθυγράμμιση και να απομακρύνει αποτελεσματικά τη θερμότητα.

Θέρμανση και ψύξη

Αφού σπάσαμε την οθόνη (χωρίς λογοπαίγνιο) και ξεπεράσαμε τα προβλήματα φυσικής, έπρεπε να αντιμετωπίσουμε την πρόκληση των πραγματικά ισχυρών υπολογιστών σε συνδυασμό με την πραγματικά χαμηλή κατανάλωση ενέργειας και την ανάγκη απαγωγής θερμότητας. Σε αντίθεση με τα σημερινά ακουστικά MR, δεν μπορείτε να τοποθετήσετε έναν ανεμιστήρα σε ένα ζευγάρι γυαλιά. Έτσι, έπρεπε να γίνουμε δημιουργικοί. Πολλά από τα υλικά που χρησιμοποιούνται για την ψύξη του Orion είναι παρόμοια με αυτά που χρησιμοποιεί η NASA για την ψύξη δορυφόρων στο διάστημα.

Χτίσαμε εξαιρετικά εξειδικευμένο προσαρμοσμένο πυρίτιο που είναι εξαιρετικά αποδοτικός σε ισχύ και βελτιστοποιημένος για τους αλγορίθμους τεχνητής νοημοσύνης, μηχανικής αντίληψης και γραφικών. Κατασκευάσαμε πολλαπλά προσαρμοσμένα τσιπ και δεκάδες εξαιρετικά προσαρμοσμένα μπλοκ IP πυριτίου μέσα σε αυτά τα τσιπ. Αυτό μας επιτρέπει να πάρουμε τους αλγορίθμους που είναι απαραίτητοι για την παρακολούθηση χεριών και ματιών, καθώς και την τεχνολογία ταυτόχρονου εντοπισμού και χαρτογράφησης (SLAM), η οποία κανονικά απαιτεί εκατοντάδες χιλιοστά του βατ ισχύος -και συνεπώς παράγει αντίστοιχη ποσότητα θερμότητας- και να τη συρρικνώσουμε σε μόλις μερικές δεκάδες χιλιοστά του βατ.

Και ναι, το προσαρμοσμένο πυρίτιο εξακολουθεί να παίζει κρίσιμο ρόλο στην ανάπτυξη προϊόντων στα Reality Labs, παρά τα όσα μπορεί να έχετε διαβάσει αλλού. 😎

Αβίαστο EMG

Κάθε νέα υπολογιστική πλατφόρμα φέρνει μαζί της αλλαγή παραδείγματος στον τρόπο με τον οποίο αλληλεπιδρούμε με τις συσκευές μας. Η εφεύρεση του ποντικιού βοήθησε να ανοίξει ο δρόμος για τις γραφικές διεπαφές χρήστη (GUI) που κυριαρχούν στον κόσμο μας σήμερα, και τα smartphones δεν άρχισαν να κερδίζουν πραγματικά έδαφος μέχρι την έλευση της οθόνης αφής. Και ο ίδιος κανόνας ισχύει και για τα wearables.

Έχουμε μιλήσει για το έργο μας με ηλεκτρομυογραφία ή EMG, εδώ και χρόνια, με γνώμονα την πεποίθησή μας ότι η είσοδος για τα γυαλιά AR πρέπει να είναι γρήγορη, βολική, αξιόπιστη, διακριτική και κοινωνικά αποδεκτή. Και τώρα, αυτή η εργασία είναι έτοιμη για την prime time.

Το σύστημα εισόδου και αλληλεπίδρασης της Orion συνδυάζει άψογα τη φωνή, το βλέμμα και την παρακολούθηση του χεριού με ένα EMG βραχιολάκι που σας επιτρέπει να σαρώνετε, να κάνετε κλικ και να κάνετε κύλιση με ευκολία.

Λειτουργεί - και μοιάζει με μαγεία. Φανταστείτε να τραβάτε μια φωτογραφία στο πρωινό σας τρέξιμο με ένα απλό άγγιγμα των άκρων των δακτύλων σας ή να πλοηγείστε στα μενού με ελάχιστα αισθητές κινήσεις των χεριών σας. Το βραχιολάκι μας συνδυάζει ένα ύφασμα υψηλής απόδοσης με ενσωματωμένους αισθητήρες EMG για να ανιχνεύει τα ηλεκτρικά σήματα που παράγονται ακόμη και από τις πιο μικρές μυϊκές κινήσεις. Στη συνέχεια, ένας επεξεργαστής ML της συσκευής ερμηνεύει αυτά τα σήματα ΗΜΓ για να παράγει συμβάντα εισόδου που μεταδίδονται ασύρματα στα γυαλιά. Το σύστημα προσαρμόζεται σε εσάς, ώστε να γίνεται καλύτερο και πιο ικανό στην αναγνώριση των πιο λεπτών χειρονομιών με την πάροδο του χρόνου. Και σήμερα, μοιραζόμαστε περισσότερα σχετικά με την υποστήριξή μας για εξωτερική έρευνα που επικεντρώνεται σε επέκταση των δυνατοτήτων ισότητας και προσβασιμότητας των καρτελών ΗΜΓ.

Γνωρίστε το Wireless Compute Puck

Τα αληθινά γυαλιά AR πρέπει να είναι ασύρματα και πρέπει επίσης να είναι μικρά.Έτσι φτιάξαμε ένα ασύρματο υπολογιστικό puck για το Orion. Απομακρύνει ένα μέρος του φορτίου από τα γυαλιά, επιτρέποντας μεγαλύτερη διάρκεια ζωής της μπαταρίας και έναν καλύτερο παράγοντα μορφής με χαμηλή καθυστέρηση.

Τα γυαλιά εκτελούν όλους τους αλγορίθμους παρακολούθησης χεριών, παρακολούθησης ματιών, SLAM και εξειδικευμένους αλγορίθμους γραφικών κλειδώματος του κόσμου AR, ενώ η λογική της εφαρμογής εκτελείται στο puck για να διατηρηθούν τα γυαλιά όσο το δυνατόν πιο ελαφριά και συμπαγή.

Το puck διαθέτει διπλούς επεξεργαστές, συμπεριλαμβανομένου ενός προσαρμοσμένου που έχει σχεδιαστεί εδώ στη Meta, και παρέχει την απαραίτητη υπολογιστική ισχύ για την απόδοση γραφικών χαμηλής καθυστέρησης, την τεχνητή νοημοσύνη και κάποια πρόσθετη αντίληψη της μηχανής.

Και επειδή είναι μικρό και κομψό, μπορείτε να το πετάξετε άνετα σε μια τσάντα ή στην τσέπη σας και να συνεχίσετε τις δουλειές σας - χωρίς δεσμεύσεις.

Εμπειρίες AR

Φυσικά, όπως συμβαίνει με κάθε κομμάτι υλικού, είναι τόσο καλό όσο τα πράγματα που μπορείτε να do με αυτό. Και ενώ είναι ακόμα νωρίς, οι εμπειρίες που προσφέρει ο Orion είναι μια συναρπαστική ματιά στο τι πρόκειται να συμβεί.

https://youtube.com/watch?v=HkdSv3QPhNw%3F%26controls%3D0%3Fautoplay%3D0%26color%3Dwhite%26cc_lang_pref%3Den%26cc_load_policy%3D0%26enablejsapi%3D1%26frameborder%3D0%26hl%3Den%26rel%3D0%26origin%3Dhttps%253A%252F%252Fwww.meta.com

Έχουμε τον έξυπνο βοηθό μας, Meta AI, που εκτελείται στον Orion. Καταλαβαίνει τι κοιτάτε στον φυσικό κόσμο και μπορεί να σας βοηθήσει με χρήσιμες απεικονίσεις. Το Orion χρησιμοποιεί το ίδιο μοντέλο Llama που τροφοδοτεί τις εμπειρίες τεχνητής νοημοσύνης που τρέχουν σήμερα στα έξυπνα γυαλιά Ray-Ban Meta, καθώς και προσαρμοσμένα ερευνητικά μοντέλα για την επίδειξη πιθανών περιπτώσεων χρήσης για τη μελλοντική ανάπτυξη wearables.

Μπορείτε να πραγματοποιείτε βιντεοκλήσεις hands-free εν κινήσει για να ενημερώνεστε με φίλους και συγγενείς σε πραγματικό χρόνο και μπορείτε να παραμείνετε συνδεδεμένοι στο WhatsApp και το Messenger για να βλέπετε και να στέλνετε μηνύματα. Δεν χρειάζεται να βγάλετε το τηλέφωνό σας, να το ξεκλειδώσετε, να βρείτε τη σωστή εφαρμογή και να ενημερώσετε τον φίλο σας ότι έχετε αργήσει για το δείπνο - μπορείτε να τα κάνετε όλα αυτά μέσω των γυαλιών σας.

https://youtube.com/watch?v=el7lUVvu8Bo%3F%26controls%3D0%3Fautoplay%3D0%26color%3Dwhite%26cc_lang_pref%3Den%26cc_load_policy%3D0%26enablejsapi%3D1%26frameborder%3D0%26hl%3Den%26rel%3D0%26origin%3Dhttps%253A%252F%252Fwww.meta.com

Μπορείτε να παίξετε κοινά παιχνίδια AR με την οικογένειά σας στην άλλη άκρη της χώρας ή με τον φίλο σας στην άλλη άκρη του καναπέ. Και η μεγάλη οθόνη του Orion σας επιτρέπει να κάνετε multitasking με πολλαπλά παράθυρα για να κάνετε πράγματα χωρίς να χρειάζεται να κουβαλάτε μαζί σας τον φορητό σας υπολογιστή.

Οι εμπειρίες που είναι διαθέσιμες στο Orion σήμερα θα βοηθήσουν να διαμορφωθεί ο οδικός χάρτης για τη σειρά γυαλιών AR για καταναλωτές στο μέλλον. Οι ομάδες μας θα συνεχίσουν να επαναλαμβάνουν και να δημιουργούν νέες καθηλωτικές κοινωνικές εμπειρίες, μαζί με τους συνεργάτες μας προγραμματιστές, και ανυπομονούμε να μοιραστούμε αυτό που θα ακολουθήσει.

Ένα σκόπιμο πρωτότυπο προϊόντος

Παρόλο που το Orion δεν θα φτάσει στα χέρια των καταναλωτών, μην κάνετε κανένα λάθος: Αυτό είναι όχι ένα ερευνητικό πρωτότυπο. Είναι το πιο γυαλισμένο πρωτότυπο προϊόντος που έχουμε αναπτύξει ποτέ - και είναι πραγματικά αντιπροσωπευτικό για κάτι που θα μπορούσε να στέλνουν στους καταναλωτές. Αντί να βιαστούμε να το βγάλουμε στα ράφια, αποφασίσαμε να επικεντρωθούμε πρώτα στην εσωτερική ανάπτυξη, πράγμα που σημαίνει ότι μπορούμε να συνεχίσουμε να χτίζουμε γρήγορα και να συνεχίσουμε να διευρύνουμε τα όρια της τεχνολογίας και των εμπειριών.

Και αυτό σημαίνει ότι θα φτάσουμε σε ένα ακόμη καλύτερο καταναλωτικό προϊόν πιο γρήγορα.

Τι θα ακολουθήσει

Δύο σημαντικά εμπόδια στέκονται εδώ και καιρό στο δρόμο για τα κύρια καταναλωτικά γυαλιά AR: οι τεχνολογικές ανακαλύψεις που είναι απαραίτητες για την παροχή μιας μεγάλης οθόνης σε έναν συμπαγή τύπο γυαλιών και η ανάγκη για χρήσιμες και συναρπαστικές εμπειρίες AR που μπορούν να τρέξουν σε αυτά τα γυαλιά. Το Orion αποτελεί ένα τεράστιο ορόσημο, παρέχοντας για πρώτη φορά πραγματικές εμπειρίες AR που τρέχουν σε λογικά κομψό υλικό.

Τώρα που μοιραστήκαμε τον Orion με τον κόσμο, επικεντρωνόμαστε σε μερικά πράγματα:

  • Ρύθμιση της ποιότητας της οθόνης AR για να γίνει η εικόνα ακόμα πιο ευκρινής
  • Βελτιστοποίηση όπου μπορούμε για να κάνουμε τον παράγοντα μορφής ακόμα μικρότερο
  • Οικοδόμηση σε κλίμακα για να γίνουν πιο προσιτές

Τα επόμενα χρόνια, μπορείτε να περιμένετε να δείτε νέες συσκευές από εμάς που θα βασίζονται στις προσπάθειες Ε&Α που καταβάλλουμε. Και ορισμένες από τις καινοτομίες της Orion έχουν επεκταθεί στα σημερινά καταναλωτικά προϊόντα μας σήμερα, καθώς και στον μελλοντικό χάρτη πορείας των προϊόντων μας. Έχουμε βελτιστοποιήσει ορισμένους από τους αλγορίθμους μας για τη χωρική αντίληψη, οι οποίοι εκτελούνται τόσο σε Meta Quest 3S και τον Ωρίωνα. Αν και το σύστημα οπτικής και διακριτικής χειρονομιακής εισόδου σχεδιάστηκε αρχικά για το Orion, σκοπεύουμε να το χρησιμοποιήσουμε και σε μελλοντικά προϊόντα. Επίσης, διερευνούμε τη χρήση των βραχιολιών EMG σε μελλοντικά καταναλωτικά προϊόντα.

Ο Orion δεν είναι απλώς ένα παράθυρο στο μέλλον - είναι μια ματιά στις πολύ πραγματικές δυνατότητες που είναι εφικτές σήμερα. Το δημιουργήσαμε επιδιώκοντας αυτό που κάνουμε καλύτερα: να βοηθάμε τους ανθρώπους να συνδέονται. Από τα γυαλιά Ray-Ban Meta μέχρι το Orion, έχουμε δει το καλό που μπορεί να προκύψει από το να αφήνουμε τους ανθρώπους να παραμένουν πιο παρόντες και ενδυναμωμένοι στον φυσικό κόσμο, ακόμη και όταν αξιοποιούν όλο τον πρόσθετο πλούτο που έχει να προσφέρει ο ψηφιακός κόσμος.

Πιστεύουμε ότι δεν θα πρέπει να χρειάζεται να επιλέξετε ανάμεσα στα δύο. Και με την επόμενη υπολογιστική πλατφόρμα, δεν θα χρειαστεί να το κάνετε.


Για περισσότερες πληροφορίες σχετικά με τον Orion, ανατρέξτε σε αυτές τις αναρτήσεις ιστολογίου: