Σήμερα, προβάλλουμε νέα έρευνα από το Georgia Tech που βοηθάει στην εκπαίδευση ρομπότ να εκτελούν βασικές καθημερινές εργασίες χρησιμοποιώντας εγωκεντρικές καταγραφές από τους χρήστες του Meta's Έργο Aria ερευνητικά γυαλιά. Δείτε το παρακάτω βίντεο, διαβάστε ολόκληρη την ιστορία, ή κάντε αίτηση για το δικό σας Project Aria Research Kit.

Φανταστείτε να έχετε βοήθεια για την εκτέλεση καθημερινών εργασιών στο σπίτι σας, όπως πλύσιμο ρούχων, πλύσιμο πιάτων και επισκευές. Χρησιμοποιούμε ήδη εργαλεία που βοηθούν σε αυτές τις εργασίες, όπως πλυντήρια ρούχων, πλυντήρια πιάτων και ηλεκτρικά τρυπάνια. Αλλά τι θα λέγατε αν μπορούσατε να έχετε ένα ακόμη πιο ισχυρό και ευέλικτο εργαλείο με τη μορφή ενός ανθρωποειδούς ρομπότ που θα μπορούσε να μαθαίνει από εσάς και να επιταχύνει οποιονδήποτε αριθμό φυσικών έργων που βρίσκονται στη λίστα των εργασιών σας;

Ακόμη και αν είχατε το διαθέσιμο σύστημα υλικού, η διδασκαλία ενός ρομπότ να εκτελεί καθημερινές εργασίες μπορεί να επιτευχθεί μόνο μέσω μιας αργής και δυσκίνητης μεθόδου συλλογής δεδομένων που ονομάζεται τηλεχειρισμός ρομπότ. Μέχρι τώρα. Με τη χρήση του Κιτ έρευνας Project Aria, ο καθηγητής Danfei Xu και η Εργαστήριο ρομποτικής μάθησης και συλλογιστικής στο Georgia Tech χρησιμοποιούν τους εγωκεντρικούς αισθητήρες στα γυαλιά Aria για να δημιουργήσουν αυτό που αποκαλούν "ανθρώπινα δεδομένα" για εργασίες που θέλουν να αναπαράγει ένα ανθρωποειδές ρομπότ. Χρησιμοποιούν τα ανθρώπινα δεδομένα για να μειώσουν δραματικά τον όγκο των δεδομένων τηλεχειρισμού του ρομπότ που απαιτούνται για την εκπαίδευση της πολιτικής ενός ρομπότ - ένα επίτευγμα που θα μπορούσε κάποια μέρα να καταστήσει τα ανθρωποειδή ρομπότ ικανά να μαθαίνουν οποιονδήποτε αριθμό εργασιών που θα μπορούσε να επιδείξει ένας άνθρωπος.

Ο Kareer τηλεχειρίζεται το ρομπότ για να καταγράψει δεδομένα συν-εκπαίδευσης για το EgoMimic. Ο τηλεχειρισμός μπορεί να είναι δύσκολο να κλιμακωθεί και να απαιτήσει σημαντική ανθρώπινη προσπάθεια.

"Παραδοσιακά, η συλλογή δεδομένων για τη ρομποτική σημαίνει τη δημιουργία δεδομένων επίδειξης", λέει ο Simar Kareer, διδακτορικός φοιτητής στο Georgia Tech's Σχολή Διαδραστικής Πληροφορικής. "Χειρίζεστε τις αρθρώσεις του ρομπότ με έναν ελεγκτή για να το μετακινήσετε και να επιτύχετε την εργασία που θέλετε, και το κάνετε αυτό εκατοντάδες φορές, ενώ καταγράφετε δεδομένα αισθητήρων, και στη συνέχεια εκπαιδεύετε τα μοντέλα σας. Αυτό είναι αργό και δύσκολο. Ο μόνος τρόπος για να σπάσει αυτός ο κύκλος είναι να αποσυνδεθεί η συλλογή δεδομένων από το ίδιο το ρομπότ".

Σήμερα, τα μοντέλα πολιτικής των ρομπότ εκπαιδεύονται με μεγάλες ποσότητες στοχευμένων δεδομένων επίδειξης ειδικά για κάθε στενή εργασία με υψηλό κόστος. Ο Kareer υποθέτει ότι τα παθητικά δεδομένα που συλλέγονται από πολλούς ερευνητές, όπως τα δεδομένα που καταγράφονται από τα γυαλιά Aria, θα μπορούσαν αντ' αυτού να χρησιμοποιηθούν για να επιτρέψουν τη δημιουργία δεδομένων για ένα πολύ ευρύτερο σύνολο εργασιών, ώστε να δημιουργηθούν στο μέλλον πιο γενικά χρήσιμα ρομπότ.

Εμπνευσμένο από Έργο Aria και Ego-Exo4D το οποίο περιλαμβάνει ένα τεράστιο σύνολο εγωκεντρικών δεδομένων με πάνω από 3 χιλιάδες ώρες βιντεοσκοπήσεων καθημερινών δραστηριοτήτων, ο Kareer ανέπτυξε EgoMimic, ένα νέο αλγοριθμικό πλαίσιο που αξιοποιεί δεδομένα ανθρώπων και ρομπότ για την ανάπτυξη ανθρωποειδών ρομπότ.

"Όταν κοίταξα το Ego4D, είδα ένα σύνολο δεδομένων που είναι το ίδιο με όλα τα μεγάλα σύνολα δεδομένων ρομπότ που προσπαθούμε να συλλέξουμε, μόνο που είναι με ανθρώπους", εξηγεί ο Kareer. "Απλώς φοράς ένα ζευγάρι γυαλιά και πας να κάνεις πράγματα. Δεν χρειάζεται να προέρχονται από το ρομπότ. Θα πρέπει να προέρχεται από κάτι πιο κλιμακούμενο και παθητικά παραγόμενο, που είμαστε εμείς". Στην έρευνα του Kareer, τα γυαλιά Aria χρησιμοποιήθηκαν για τη δημιουργία ανθρώπινων δεδομένων για τη συνεκπαίδευση του πλαισίου EgoMimic.

Η Kareer δημιουργεί δεδομένα συν-εκπαίδευσης ανθρώπων καταγράφοντας με τα γυαλιά Aria ενώ διπλώνει ένα μπλουζάκι.

Τα γυαλιά Aria δεν χρησιμοποιούνται μόνο για τη συλλογή ανθρώπινων δεδομένων στην έρευνα του Georgia Tech. Χρησιμοποιούνται επίσης ως αναπόσπαστο στοιχείο της εγκατάστασης λειτουργίας του ρομπότ σε πραγματικό χρόνο. Τα γυαλιά Aria τοποθετούνται στην πλατφόρμα του ανθρωποειδούς ρομπότ τους ακριβώς όπως ένα ζευγάρι μάτια και χρησιμεύουν ως ένα ολοκληρωμένο πακέτο αισθητήρων που επιτρέπει στο ρομπότ να αντιλαμβάνεται το περιβάλλον του σε πραγματικό χρόνο. Το Aria Client SDK χρησιμοποιείται για τη ροή των δεδομένων των αισθητήρων Aria απευθείας στην πολιτική του ρομπότ, η οποία εκτελείται σε συνδεδεμένο υπολογιστή, ο οποίος με τη σειρά του ελέγχει την ενεργοποίηση του ρομπότ. Η χρήση των γυαλιών Aria τόσο για τη συλλογή δεδομένων όσο και για τον αγωγό αντίληψης σε πραγματικό χρόνο ελαχιστοποιεί το χάσμα πεδίου μεταξύ του ανθρώπινου επιδεικνύοντος και του ρομπότ, ανοίγοντας το δρόμο για την κλιμακωτή παραγωγή ανθρώπινων δεδομένων για τη μελλοντική εκπαίδευση εργασιών ρομποτικής.

Τα γυαλιά Aria που είναι τοποθετημένα στην κορυφή του ρομπότ παρέχουν στο σύστημα δεδομένα αισθητήρων που επιτρέπουν στο ρομπότ να αντιλαμβάνεται και να αλληλεπιδρά με τον χώρο.

Χάρη στο EgoMimic, ο Kareer πέτυχε αύξηση της απόδοσης του ρομπότ του κατά 400% σε διάφορες εργασίες σε σχέση με προηγούμενες μεθόδους με μόλις 90 λεπτά εγγραφών Aria. Το ρομπότ μπόρεσε επίσης να εκτελέσει με επιτυχία αυτές τις εργασίες σε περιβάλλοντα που δεν είχε δει προηγουμένως.

Στο μέλλον, τα ανθρωποειδή ρομπότ θα μπορούσαν να εκπαιδευτούν σε κλίμακα με τη χρήση εγωκεντρικών δεδομένων, ώστε να εκτελούν μια ποικιλία εργασιών με τον ίδιο τρόπο που εκτελούν οι άνθρωποι.

"Βλέπουμε το Aria ως επένδυση στην ερευνητική κοινότητα", λέει ο James Fort, Reality Labs Research Product Manager της Meta. "Όσο περισσότερο τυποποιείται η εγωκεντρική ερευνητική κοινότητα, τόσο περισσότεροι ερευνητές θα μπορούν να συνεργάζονται. Πραγματικά, μέσω της κλιμάκωσης με την κοινότητα με αυτόν τον τρόπο, μπορούμε να αρχίσουμε να λύνουμε μεγαλύτερα προβλήματα σχετικά με το πώς θα λειτουργούν τα πράγματα στο μέλλον".

Ο Kareer θα παρουσιάσει την εργασία του για το EgoMimic στο 2025 Διεθνές συνέδριο μηχανικών IEEE για τη ρομποτική και τον αυτοματισμό (ICRA) στην Ατλάντα.

Από την έναρξή του το 2020, Έργο Aria έχει δώσει τη δυνατότητα σε ερευνητές σε όλο τον κόσμο να προωθήσουν την κατάσταση της τεχνολογίας στην αντίληψη μηχανών και την τεχνητή νοημοσύνη, μέσω της πρόσβασης σε ερευνητικό υλικό αιχμής και σε υλικό ανοικτού κώδικα. σύνολα δεδομένων, μοντέλα και εργαλεία. Σήμερα, είμαστε ενθουσιασμένοι που ανακοινώνουμε το επόμενο βήμα σε αυτό το ταξίδι: την παρουσίαση των γυαλιών Aria Gen 2. Αυτή η επόμενη γενιά υλικού θα ξεκλειδώσει νέες δυνατότητες σε ένα ευρύ φάσμα ερευνητικών τομέων, όπως η μηχανική αντίληψη, η εγωκεντρική και η συμφραζόμενη τεχνητή νοημοσύνη και η ρομποτική.

0:00 / 0:00

Για τους ερευνητές που επιθυμούν να διερευνήσουν πώς τα συστήματα τεχνητής νοημοσύνης μπορούν να βελτιώσουν να κατανοήσουν τον κόσμο από την ανθρώπινη οπτική γωνία, Τα γυαλιά Aria Gen 2 προσθέτουν ένα νέο σύνολο δυνατοτήτων στην πλατφόρμα Aria. Περιλαμβάνουν μια σειρά από εξελίξεις που δεν υπάρχουν σε καμία άλλη συσκευή που είναι διαθέσιμη σήμερα και η πρόσβαση σε αυτές τις πρωτοποριακές τεχνολογίες θα επιτρέψει στους ερευνητές να διευρύνουν τα όρια του εφικτού.

Σε σύγκριση με το Aria Gen 1, η μοναδική πρόταση αξίας του Aria Gen 2 περιλαμβάνει:

• Σύγχρονη σουίτα αισθητήρων: Η αναβαθμισμένη σουίτα αισθητήρων διαθέτει κάμερα RGB, κάμερες SLAM 6DOF, κάμερες παρακολούθησης ματιών, χωρικά μικρόφωνα, IMU, βαρόμετρο, μαγνητόμετρο και GNSS. Σε σύγκριση με τον προκάτοχό του, το Aria Gen 1, η νέα γενιά εισάγει δύο καινοτόμους αισθητήρες ενσωματωμένους στο κάλυμμα της μύτης: έναν αισθητήρα PPG για τη μέτρηση του καρδιακού ρυθμού και ένα μικρόφωνο επαφής για τη διάκριση της φωνής του χρήστη από τη φωνή των παρευρισκομένων.
• Αντίληψη μηχανής με εξαιρετικά χαμηλή κατανάλωση ενέργειας και επί της συσκευής: Το SLAM, η παρακολούθηση με τα μάτια, η παρακολούθηση με τα χέρια και η αναγνώριση ομιλίας επεξεργάζονται όλα στη συσκευή χρησιμοποιώντας το προσαρμοσμένο πυρίτιο της Meta.
• Ολοήμερη χρηστικότητα: Τα γυαλιά Aria Gen 2 είναι ικανά για έξι έως οκτώ ώρες συνεχούς χρήσης, ζυγίζουν περίπου 75 γραμμάρια και έχουν πτυσσόμενους βραχίονες για εύκολη φορητότητα.
• Αλληλεπίδραση μέσω ήχου: Οι χρήστες λαμβάνουν ηχητική ανατροφοδότηση μέσω των καλύτερων στην κατηγορία τους ηχείων ανοικτού αυτιού που ακυρώνουν τη δύναμη, επιτρέποντας την πρωτοτυποποίηση του συστήματος χρήστη μέσα στο βρόχο.

Το μας δεκαετές ταξίδι για τη δημιουργία της επόμενης υπολογιστικής πλατφόρμας οδήγησε στην ανάπτυξη αυτών των κρίσιμων τεχνολογιών. Στο Meta, οι ομάδες του Reality Labs Research και του εργαστηρίου FAIR AI θα τα χρησιμοποιήσουν για να προωθήσουν το μακροπρόθεσμο ερευνητικό μας όραμα.. Η διάθεσή τους σε ακαδημαϊκά και εμπορικά ερευνητικά εργαστήρια μέσω του Project Aria θα προωθήσει περαιτέρω την ανοικτή έρευνα και την κατανόηση από το κοινό ενός βασικού συνόλου τεχνολογιών που πιστεύουμε ότι θα βοηθήσουν στη διαμόρφωση του μέλλοντος της πληροφορικής και της τεχνητής νοημοσύνης.

Η ανοικτή έρευνα που επιτρέπει το έργο Aria από το 2020 έχει ήδη οδηγήσει σε σημαντικό έργο, συμπεριλαμβανομένης της δημιουργίας εργαλείων ανοικτού κώδικα που χρησιμοποιούνται ευρέως σε ακαδημαϊκούς και βιομηχανικούς φορείς. Το Σύνολο δεδομένων Ego-Exo4D, που συλλέχθηκε με τη χρήση της πρώτης γενιάς γυαλιών Aria, έχει γίνει ένα θεμελιώδες εργαλείο για τη σύγχρονη όραση υπολογιστών και τον αναπτυσσόμενο τομέα της ρομποτικής. Οι ερευνητές του Georgia Tech έδειξαν πρόσφατα πώς το Aria Research Kit μπορεί να να βοηθήσουν τα ανθρωποειδή ρομπότ να μάθουν να βοηθούν τους ανθρώπους στο σπίτι, ενώ ομάδες της BMW το χρησιμοποίησε για να διερευνήσει πώς να ενσωματώσει συστήματα επαυξημένης και εικονικής πραγματικότητας σε έξυπνα οχήματα.

Η Aria επιτρέπει επίσης την ανάπτυξη νέων τεχνολογιών για την προσβασιμότητα. Τα γυαλιά Aria πρώτης γενιάς χρησιμοποιήθηκαν από τους Πανεπιστήμιο Carnegie Mellon στο έργο NavCog, το οποίο αποσκοπούσε στην ανάπτυξη τεχνολογιών που θα βοηθούσαν τα τυφλά άτομα και τα άτομα με χαμηλή όραση στην πλοήγηση σε εσωτερικούς χώρους. Με βάση αυτό το θεμέλιο, τα γυαλιά Aria Gen 2 αξιοποιούνται τώρα από Οραματιστείτε το, μια εταιρεία αφιερωμένη στη δημιουργία λύσεων για τυφλούς ή άτομα με χαμηλή όραση. Η Envision διερευνά την ενσωμάτωση της Ally Βοηθός τεχνητής νοημοσύνης και χωρικός ήχος με τα πιο πρόσφατα γυαλιά Aria Gen 2 για να βελτιωθεί η πλοήγηση σε εσωτερικούς χώρους και η εμπειρία προσβασιμότητας.

0:00 / 0:00

Η Envision χρησιμοποίησε τις δυνατότητες SLAM του Aria Gen 2 στη συσκευή, μαζί με χαρακτηριστικά χωρικού ήχου μέσω ενσωματωμένων ηχείων, για να βοηθήσει τυφλά και άτομα με χαμηλή όραση να πλοηγηθούν απρόσκοπτα σε εσωτερικούς χώρους. Αυτή η καινοτόμος χρήση των τεχνολογιών, η οποία βρίσκεται ακόμη σε διερευνητικό και ερευνητικό στάδιο, αποτελεί παράδειγμα του τρόπου με τον οποίο οι ερευνητές μπορούν να αξιοποιήσουν τα γυαλιά Aria Gen 2 για την κατασκευή πρωτοτύπων εμπειριών τεχνητής νοημοσύνης που βασίζονται σε εγωκεντρικές παρατηρήσεις. Οι προηγμένοι αισθητήρες και οι δυνατότητες μηχανικής αντίληψης εντός της συσκευής, συμπεριλαμβανομένων των SLAM, της παρακολούθησης με τα μάτια, της παρακολούθησης με τα χέρια και της αλληλεπίδρασης με ήχο, τα καθιστούν επίσης ιδανικά για τη συλλογή δεδομένων για εφαρμογές έρευνας και ρομποτικής.

Τους επόμενους μήνες, θα μοιραστούμε περισσότερες λεπτομέρειες σχετικά με το χρονοδιάγραμμα της διαθεσιμότητας της συσκευής στους συνεργάτες. Οι ερευνητές που ενδιαφέρονται να αποκτήσουν πρόσβαση στο Aria Gen 2 μπορούν να εγγραφείτε για να λαμβάνετε ενημερώσεις. Είμαστε ενθουσιασμένοι να δούμε πώς οι ερευνητές θα αξιοποιήσουν το Aria Gen 2 για να ανοίξουν το δρόμο για μελλοντικές καινοτομίες που θα διαμορφώσουν την επόμενη υπολογιστική πλατφόρμα.

Νωρίτερα φέτος, εμείς ανακοίνωσε το τα πιο πρόσφατα ερευνητικά μας γυαλιά, Aria Gen 2, που σηματοδοτούν τη συνέχιση της αποστολής του Project Aria να δώσει τη δυνατότητα σε ερευνητές σε όλο τον κόσμο να προωθήσουν το επίπεδο της τεχνολογίας στη μηχανική αντίληψη, τη συμφραζόμενη τεχνητή νοημοσύνη και τη ρομποτική μέσω της πρόσβασης σε ερευνητικό υλικό αιχμής και σύνολα δεδομένων, μοντέλα και εργαλεία ανοικτού κώδικα. Σήμερα, είμαστε ενθουσιασμένοι που μοιραζόμαστε περισσότερα για την τεχνολογία μέσα στο Aria Gen 2. Αυτό περιλαμβάνει μια λεπτομερή επισκόπηση του παράγοντα μορφής, των δυνατοτήτων ήχου, της διάρκειας ζωής της μπαταρίας, των αναβαθμισμένων καμερών και αισθητήρων, του υπολογισμού στη συσκευή και πολλά άλλα.

Τι είναι το Aria Gen 2;

Το Aria Gen 2 είναι μια φορητή συσκευή που συνδυάζει τις τελευταίες εξελίξεις στην όραση υπολογιστών, τη μηχανική μάθηση και την τεχνολογία αισθητήρων. Ο συμπαγής παράγοντας μορφής και ο ελαφρύς σχεδιασμός του Aria Gen 2 το καθιστούν ιδανική επιλογή για ερευνητές που πρέπει να συλλέξουν δεδομένα ή να κατασκευάσουν πρωτότυπα σε διάφορα περιβάλλοντα. Τα γυαλιά περιέχουν μια σειρά από βελτιώσεις σε σύγκριση με το Aria Gen 1, ο ερευνητικός προκάτοχός του, που ανακοινώθηκε το 2020.

Aria Gen 2: Εξελίξεις και χαρακτηριστικά

Η μετάβαση από το Aria Gen 1 στο Gen 2 σηματοδοτεί ένα σημαντικό άλμα στη φορητή τεχνολογία, προσφέροντας βελτιωμένα χαρακτηριστικά και δυνατότητες που ανταποκρίνονται σε ένα ευρύτερο φάσμα εφαρμογών και αναγκών των χρηστών. Παρακάτω, εξετάζουμε τις βασικές διαφορές και βελτιώσεις που εισήχθησαν στο Aria Gen 2.

1. Φορητότητα

Το Aria Gen 2 διαθέτει ανώτερη φορεσιμότητα, που χαρακτηρίζεται από βελτιωμένη άνεση και εφαρμογή, ενώ παράλληλα φιλοξενεί ένα ευρύτερο φάσμα μορφολογιών προσώπου και μια πλούσια σουίτα αισθητήρων για έρευνα. Τα γυαλιά διατηρούν έναν ελαφρύ σχεδιασμό (με βάρος 74 - 76 g, ανάλογα με το μέγεθος) και περιλαμβάνουν τώρα πτυσσόμενους βραχίονες για ευκολότερη αποθήκευση και μεταφορά για καθημερινή χρήση. Για να διασφαλίσουμε ότι κάθε χρήστης έχει τη βέλτιστη φυσική και λειτουργική εφαρμογή, έχουμε εισαγάγει οκτώ παραλλαγές μεγέθους της συσκευής - λαμβάνοντας υπόψη διάφορους ανθρώπινους παράγοντες, όπως το πλάτος του κεφαλιού και η παραλλαγή της γέφυρας της μύτης.

Οκτώ παραλλαγές μεγέθους των συσκευών Aria Gen 2.

2. Βελτιώσεις κάμερας Computer Vision (CV)

Υψηλό δυναμικό εύρος (HDR): Ο αισθητήρας κάμερας παγκόσμιου κλείστρου του Aria Gen 2 προσφέρει υψηλό δυναμικό εύρος 120 dB, σε σύγκριση με το εύρος 70 dB του Gen 1. Αυτό επιτρέπει ανώτερες εργασίες όρασης υπολογιστή σε διαφορετικές συνθήκες φωτισμού.

0:00 / 0:00

Το βίντεο δείχνει ότι η κάμερα CV είναι σε θέση να καταγράφει εξαιρετικά δυναμικές σκηνές με το νήμα ενός φωτός LED να διακρίνεται μαζί με τις υπόλοιπες λεπτομέρειες της σκηνής.

Ευρύ οπτικό πεδίο (FOV): Το Aria Gen 2 είναι εξοπλισμένο με τέσσερις κάμερες υπολογιστικής όρασης (CV), διπλασιάζοντας τον αριθμό των καμερών CV του Gen 1, ώστε να παρέχει ευρύτερο οπτικό πεδίο και να επιτρέπει την προηγμένη τρισδιάστατη παρακολούθηση χεριών και αντικειμένων.

Στερεοφωνική επικάλυψη: Η στερεοφωνική επικάλυψη στο Gen 2 αυξάνεται στις 80° από τις 35° του Gen 1, διευκολύνοντας τα στερεοφωνικά μοντέλα θεμελίωσης που ενισχύουν την αντίληψη του βάθους και τη χωρική αντίληψη.

0:00 / 0:00

Το παράδειγμα εδώ δείχνει πώς η αυξημένη στερεοφωνική επικάλυψη επιτρέπει σε μεθόδους όπως το FoundationStereo της NVIDIA να δημιουργούν χάρτες βάθους με βάση διορθωμένες στερεοφωνικές εικόνες. Οι χάρτες βάθους μπορούν να συγχωνευθούν για τη δημιουργία γεωμετρικών ανακατασκευών της σκηνής μόνο με τη χρήση των δεδομένων του στερεοζεύγους Aria Gen 2.

3. Νέες ενσωματώσεις αισθητήρων

Αισθητήρας φωτός περιβάλλοντος (ALS): Η Aria Gen 2 περιλαμβάνει ένα βαθμονομημένο ALS, που επιτρέπει καλύτερους αλγορίθμους ελέγχου έκθεσης και ξεκλειδώνει νέες δυνατότητες σε χαμηλούς ρυθμούς καρέ. Η υπεριώδης λειτουργία της ALS μπορεί να χρησιμοποιηθεί για τη διάκριση μεταξύ εσωτερικού και εξωτερικού φωτισμού, όπως απεικονίζεται στο βίντεο.

0:00 / 0:00

Μικρόφωνο επαφής: Το Aria Gen 2 περιλαμβάνει ένα μικρόφωνο επαφής ενσωματωμένο στο κάλυμμα της μύτης της συσκευής, βελτιώνοντας τη λήψη ήχου σε θορυβώδη περιβάλλοντα.

0:00 / 0:00

Στο βίντεο παρουσιάζεται ένας χρήστης σε μια σήραγγα ανέμου για να προσομοιωθεί ένα σενάριο με αέρα, όπου το μικρόφωνο επαφής είναι σε θέση να πιάσει τον ψίθυρο του χρήστη όταν τα ακουστικά μικρόφωνα δεν μπορούν.

Καρδιακός ρυθμός: Το Aria Gen 2 περιλαμβάνει έναν αισθητήρα φωτοπληθυσμογραφίας (PPG) ενσωματωμένο στο κάλυμμα της μύτης της συσκευής, ο οποίος επιτρέπει την εκτίμηση του καρδιακού ρυθμού του ατόμου που φοράει τη συσκευή.

4. Ευθυγράμμιση χρόνου συσκευής

Το Aria Gen 2 διαθέτει μια ενσωματωμένη λύση υλικού που χρησιμοποιεί την τεχνολογία ραδιοσυχνοτήτων Sub-GHz για τη μετάδοση πληροφοριών χρονομέτρησης, επιτρέποντας την ακριβή χρονική ευθυγράμμιση με άλλες συσκευές Aria Gen 2 ή συμβατές συσκευές που υποστηρίζουν ραδιοσυχνοτήτων Sub-GHz. Αυτή η τεχνολογία επιτυγχάνει χρονική ευθυγράμμιση με ακρίβεια κάτω του χιλιοστού του δευτερολέπτου, σηματοδοτώντας σημαντική βελτίωση σε σχέση με το ευθυγράμμιση με βάση το λογισμικό του Gen 1.

0:00 / 0:00

Το βίντεο δείχνει πώς το Aria Gen 2 χρησιμοποιεί τη χρονική ευθυγράμμιση των συσκευών για εργασίες όπως η εγγραφή από κατανεμημένες λήψεις από δύο συσκευές Aria Gen 2.

5. Σήματα μηχανικής αντίληψης (MP) σε πραγματικό χρόνο στη συσκευή

Το Aria Gen 2 διαθέτει προηγμένους αλγορίθμους αντίληψης μηχανής εντός της συσκευής που εκτελούνται στον ενεργειακά αποδοτικό προσαρμοσμένο συνεπεξεργαστή της Meta. Αυτές οι δυνατότητες αιχμής επιτρέπουν στη συσκευή να παράγει ακριβή και ακριβή δεδομένα, παρακολουθώντας τον τρόπο με τον οποίο αλληλεπιδρούμε με το περιβάλλον μας.

Οπτική αδρανειακή οδομετρία (VIO)

Ένα από τα βασικά χαρακτηριστικά του Aria Gen 2 είναι η ικανότητά του να παρακολουθεί τα γυαλιά σε έξι βαθμούς ελευθερίας (6DOF) σε ένα χωρικό πλαίσιο αναφοράς χρησιμοποιώντας οπτική αδρανειακή οδομετρία (VIO). Αυτό επιτρέπει την απρόσκοπτη πλοήγηση και χαρτογράφηση του περιβάλλοντος, ανοίγοντας νέες δυνατότητες για την έρευνα στην ΤΝ και τη ρομποτική με βάση το πλαίσιο.

Παρακολούθηση με τα μάτια

Το Aria Gen 2 διαθέτει επίσης ένα προηγμένο σύστημα παρακολούθησης των ματιών μέσω κάμερας που παρακολουθεί το βλέμμα του χρήστη με απαράμιλλη ακρίβεια. Αυτό το σύστημα παρέχει πληθώρα πληροφοριών, όπως: βλέμμα ανά μάτι, σημείο σύγκλισης, ανίχνευση βλεφαρίσματος, εκτίμηση κέντρου κόρης, διάμετρος κόρης, κέντρο κερατοειδούς κ.λπ.

Αυτά τα προηγμένα σήματα επιτρέπουν μια βαθύτερη κατανόηση της οπτικής προσοχής και των προθέσεων του χρήστη, ξεκλειδώνοντας νέες δυνατότητες για την αλληλεπίδραση ανθρώπου-υπολογιστή.

Παρακολούθηση χεριών

Το Aria Gen 2 διαθέτει επίσης μια λύση εντοπισμού χεριών που παρακολουθεί το χέρι του χρήστη σε τρισδιάστατο χώρο. Αυτό παράγει αρθρωτές πόζες των αρθρώσεων του χεριού στο πλαίσιο αναφοράς της συσκευής, διευκολύνοντας τις ακριβείς σημειώσεις του χεριού για σύνολα δεδομένων και επιτρέποντας εφαρμογές όπως ο επιδέξιος χειρισμός του χεριού από ρομπότ που απαιτούν υψηλή ακρίβεια.

0:00 / 0:00

Επίδειξη των αισθητήρων και των δυνατοτήτων μηχανικής αντίληψης του Aria Gen 2, καθώς και των αλγορίθμων εκτός συσκευής που βασίζονται σε αυτούς.

Το μέλλον της Aria είναι εδώ: Μείνετε ενήμεροι

Τα γυαλιά Aria Gen 2 ανοίγουν το δρόμο για μελλοντικές καινοτομίες που θα καθορίσουν την επόμενη υπολογιστική πλατφόρμα. Οι αιτήσεις για συνεργασία με το Aria Gen 2 θα ανοίξουν αργότερα φέτος, και οι ερευνητές που ενδιαφέρονται να ενημερώνονται μπορούν να ενταχθούν στην ομάδα Κατάλογος συμφερόντων Aria Gen 2. Εν τω μεταξύ, οι αιτήσεις για το Aria Research Kit με τα γυαλιά Aria Gen 1 εξακολουθούν να γίνονται δεκτές σε κυλιόμενη βάση-κάντε αίτηση τώρα για να ξεκινήσετε αμέσως.

Ελάτε μαζί μας στο CVPR 2025 στο Νάσβιλ του Τενεσί, αυτόν τον Ιούνιο, όπου η ομάδα θα παρουσιάσει τα γυαλιά Aria Gen 2 μέσω διαδραστικών επιδείξεων. Επισκεφθείτε το περίπτερο της Meta για να γνωρίσετε τις τελευταίες εξελίξεις και να μάθετε περισσότερα για τα καινοτόμα χαρακτηριστικά του Aria Gen 2.