EgoMimic: Georgia Tech χρησιμοποιεί τα ερευνητικά γυαλιά Project Aria για να βοηθήσει στην εκπαίδευση ανθρωποειδών ρομπότ

Σήμερα, προβάλλουμε νέα έρευνα από το Georgia Tech που βοηθάει στην εκπαίδευση ρομπότ να εκτελούν βασικές καθημερινές εργασίες χρησιμοποιώντας εγωκεντρικές καταγραφές από τους χρήστες του Meta's Έργο Aria ερευνητικά γυαλιά. Δείτε το παρακάτω βίντεο, διαβάστε ολόκληρη την ιστορία, ή κάντε αίτηση για το δικό σας Project Aria Research Kit.

Φανταστείτε να έχετε βοήθεια για την εκτέλεση καθημερινών εργασιών στο σπίτι σας, όπως πλύσιμο ρούχων, πλύσιμο πιάτων και επισκευές. Χρησιμοποιούμε ήδη εργαλεία που βοηθούν σε αυτές τις εργασίες, όπως πλυντήρια ρούχων, πλυντήρια πιάτων και ηλεκτρικά τρυπάνια. Αλλά τι θα λέγατε αν μπορούσατε να έχετε ένα ακόμη πιο ισχυρό και ευέλικτο εργαλείο με τη μορφή ενός ανθρωποειδούς ρομπότ που θα μπορούσε να μαθαίνει από εσάς και να επιταχύνει οποιονδήποτε αριθμό φυσικών έργων που βρίσκονται στη λίστα των εργασιών σας;

Ακόμη και αν είχατε το διαθέσιμο σύστημα υλικού, η διδασκαλία ενός ρομπότ να εκτελεί καθημερινές εργασίες μπορεί να επιτευχθεί μόνο μέσω μιας αργής και δυσκίνητης μεθόδου συλλογής δεδομένων που ονομάζεται τηλεχειρισμός ρομπότ. Μέχρι τώρα. Με τη χρήση του Κιτ έρευνας Project Aria, ο καθηγητής Danfei Xu και η Εργαστήριο ρομποτικής μάθησης και συλλογιστικής στο Georgia Tech χρησιμοποιούν τους εγωκεντρικούς αισθητήρες στα γυαλιά Aria για να δημιουργήσουν αυτό που αποκαλούν "ανθρώπινα δεδομένα" για εργασίες που θέλουν να αναπαράγει ένα ανθρωποειδές ρομπότ. Χρησιμοποιούν τα ανθρώπινα δεδομένα για να μειώσουν δραματικά τον όγκο των δεδομένων τηλεχειρισμού του ρομπότ που απαιτούνται για την εκπαίδευση της πολιτικής ενός ρομπότ - ένα επίτευγμα που θα μπορούσε κάποια μέρα να καταστήσει τα ανθρωποειδή ρομπότ ικανά να μαθαίνουν οποιονδήποτε αριθμό εργασιών που θα μπορούσε να επιδείξει ένας άνθρωπος.

Ο Kareer τηλεχειρίζεται το ρομπότ για να καταγράψει δεδομένα συν-εκπαίδευσης για το EgoMimic. Ο τηλεχειρισμός μπορεί να είναι δύσκολο να κλιμακωθεί και να απαιτήσει σημαντική ανθρώπινη προσπάθεια.

"Παραδοσιακά, η συλλογή δεδομένων για τη ρομποτική σημαίνει τη δημιουργία δεδομένων επίδειξης", λέει ο Simar Kareer, διδακτορικός φοιτητής στο Georgia Tech's Σχολή Διαδραστικής Πληροφορικής. "Χειρίζεστε τις αρθρώσεις του ρομπότ με έναν ελεγκτή για να το μετακινήσετε και να επιτύχετε την εργασία που θέλετε, και το κάνετε αυτό εκατοντάδες φορές, ενώ καταγράφετε δεδομένα αισθητήρων, και στη συνέχεια εκπαιδεύετε τα μοντέλα σας. Αυτό είναι αργό και δύσκολο. Ο μόνος τρόπος για να σπάσει αυτός ο κύκλος είναι να αποσυνδεθεί η συλλογή δεδομένων από το ίδιο το ρομπότ".

Σήμερα, τα μοντέλα πολιτικής των ρομπότ εκπαιδεύονται με μεγάλες ποσότητες στοχευμένων δεδομένων επίδειξης ειδικά για κάθε στενή εργασία με υψηλό κόστος. Ο Kareer υποθέτει ότι τα παθητικά δεδομένα που συλλέγονται από πολλούς ερευνητές, όπως τα δεδομένα που καταγράφονται από τα γυαλιά Aria, θα μπορούσαν αντ' αυτού να χρησιμοποιηθούν για να επιτρέψουν τη δημιουργία δεδομένων για ένα πολύ ευρύτερο σύνολο εργασιών, ώστε να δημιουργηθούν στο μέλλον πιο γενικά χρήσιμα ρομπότ.

Εμπνευσμένο από Έργο Aria και Ego-Exo4D το οποίο περιλαμβάνει ένα τεράστιο σύνολο εγωκεντρικών δεδομένων με πάνω από 3 χιλιάδες ώρες βιντεοσκοπήσεων καθημερινών δραστηριοτήτων, ο Kareer ανέπτυξε EgoMimic, ένα νέο αλγοριθμικό πλαίσιο που αξιοποιεί δεδομένα ανθρώπων και ρομπότ για την ανάπτυξη ανθρωποειδών ρομπότ.

"Όταν κοίταξα το Ego4D, είδα ένα σύνολο δεδομένων που είναι το ίδιο με όλα τα μεγάλα σύνολα δεδομένων ρομπότ που προσπαθούμε να συλλέξουμε, μόνο που είναι με ανθρώπους", εξηγεί ο Kareer. "Απλώς φοράς ένα ζευγάρι γυαλιά και πας να κάνεις πράγματα. Δεν χρειάζεται να προέρχονται από το ρομπότ. Θα πρέπει να προέρχεται από κάτι πιο κλιμακούμενο και παθητικά παραγόμενο, που είμαστε εμείς". Στην έρευνα του Kareer, τα γυαλιά Aria χρησιμοποιήθηκαν για τη δημιουργία ανθρώπινων δεδομένων για τη συνεκπαίδευση του πλαισίου EgoMimic.

Η Kareer δημιουργεί δεδομένα συν-εκπαίδευσης ανθρώπων καταγράφοντας με τα γυαλιά Aria ενώ διπλώνει ένα μπλουζάκι.

Τα γυαλιά Aria δεν χρησιμοποιούνται μόνο για τη συλλογή ανθρώπινων δεδομένων στην έρευνα του Georgia Tech. Χρησιμοποιούνται επίσης ως αναπόσπαστο στοιχείο της εγκατάστασης λειτουργίας του ρομπότ σε πραγματικό χρόνο. Τα γυαλιά Aria τοποθετούνται στην πλατφόρμα του ανθρωποειδούς ρομπότ τους ακριβώς όπως ένα ζευγάρι μάτια και χρησιμεύουν ως ένα ολοκληρωμένο πακέτο αισθητήρων που επιτρέπει στο ρομπότ να αντιλαμβάνεται το περιβάλλον του σε πραγματικό χρόνο. Το Aria Client SDK χρησιμοποιείται για τη ροή των δεδομένων των αισθητήρων Aria απευθείας στην πολιτική του ρομπότ, η οποία εκτελείται σε συνδεδεμένο υπολογιστή, ο οποίος με τη σειρά του ελέγχει την ενεργοποίηση του ρομπότ. Η χρήση των γυαλιών Aria τόσο για τη συλλογή δεδομένων όσο και για τον αγωγό αντίληψης σε πραγματικό χρόνο ελαχιστοποιεί το χάσμα πεδίου μεταξύ του ανθρώπινου επιδεικνύοντος και του ρομπότ, ανοίγοντας το δρόμο για την κλιμακωτή παραγωγή ανθρώπινων δεδομένων για τη μελλοντική εκπαίδευση εργασιών ρομποτικής.

Τα γυαλιά Aria που είναι τοποθετημένα στην κορυφή του ρομπότ παρέχουν στο σύστημα δεδομένα αισθητήρων που επιτρέπουν στο ρομπότ να αντιλαμβάνεται και να αλληλεπιδρά με τον χώρο.

Χάρη στο EgoMimic, ο Kareer πέτυχε αύξηση της απόδοσης του ρομπότ του κατά 400% σε διάφορες εργασίες σε σχέση με προηγούμενες μεθόδους με μόλις 90 λεπτά εγγραφών Aria. Το ρομπότ μπόρεσε επίσης να εκτελέσει με επιτυχία αυτές τις εργασίες σε περιβάλλοντα που δεν είχε δει προηγουμένως.

Στο μέλλον, τα ανθρωποειδή ρομπότ θα μπορούσαν να εκπαιδευτούν σε κλίμακα με τη χρήση εγωκεντρικών δεδομένων, ώστε να εκτελούν μια ποικιλία εργασιών με τον ίδιο τρόπο που εκτελούν οι άνθρωποι.

"Βλέπουμε το Aria ως επένδυση στην ερευνητική κοινότητα", λέει ο James Fort, Reality Labs Research Product Manager της Meta. "Όσο περισσότερο τυποποιείται η εγωκεντρική ερευνητική κοινότητα, τόσο περισσότεροι ερευνητές θα μπορούν να συνεργάζονται. Πραγματικά, μέσω της κλιμάκωσης με την κοινότητα με αυτόν τον τρόπο, μπορούμε να αρχίσουμε να λύνουμε μεγαλύτερα προβλήματα σχετικά με το πώς θα λειτουργούν τα πράγματα στο μέλλον".

Ο Kareer θα παρουσιάσει την εργασία του για το EgoMimic στο 2025 Διεθνές συνέδριο μηχανικών IEEE για τη ρομποτική και τον αυτοματισμό (ICRA) στην Ατλάντα.