Τι θα ήταν ο κόσμος χωρίς τέχνες; χωρίς χορό;

Ο χορός είναι μια τέχνη που μας βοηθάει  να συνδεθούμε μεταξύ μας και να διεγείρουμε συναισθήματα.  Για τα άτομα με προβλήματα όρασης ωστόσο, η σύνδεση με τον χορό είναι πρακτικά αδύνατη.  Πώς μπορούμε να επανασχεδιάσουμε τον τρόπο που βιώνει τον χορό ένα άτομο με προβλήματα όρασης;

Η τεχνητή νοημοσύνη σε συνεργασία με την υπολογιστική όραση (computer vision), μπορεί να μας βοηθήσει να τους χαρίσουμε ένα κομμάτι από αυτά τα συναισθήματα, αποδομώντας μια χορογραφία σε πραγματικό χρόνο, κρατώντας σημεία κλειδιά από τον σκελετό του χορευτή και μεταφέροντας τα μέσω της αφής σε ένα ιδιότυπο σύστημα braile!

Η πλατφόρμα που σχεδιάζουμε δίνει τη δυνατότητα σε άτομα με προβλήματα όρασης να βιώσουν τον χορό μέσω κινητικής ανατροφοδότησης και αφή. Χρησιμοποιώντας ένα σύστημα που βασίζεται στην υπολογιστική όραση, η κίνηση ενός χορευτή παρακολουθείται, μεταφράζεται και μεταφέρεται μέσω κινητικών καρφίδων που γίνονται αισθητές από τις παλάμες. Η κινητική ανάδραση στις παλάμες κάποιου είναι τρισδιάστατης φύσης, καθιστώντας την σαφώς αντιληπτή μέσω της αφής, με δυνατότητα αναπαράστασης πολλαπλών χορευτών.

To project μας είναι εμπνευσμένο από την έρευνα του Paul Bach-y-Rita (Paul Bach-y-Rita - Wikipedia) για την νευροπλαστικότητα του εγκεφάλου, ο οποίος μπορεί (όπως αποδείχθηκε) μέσω άλλων αισθήσεων να μας χαρίσει έστω βασική όραση! H έρευνα απέδειξε ότι ο εγκέφαλος είναι πολύ πιο ευέλικτος από όσο νομίζουμε.  Ειδικά για άτομα με προβλήματα όρασης, τα οποία τελικά μπορούν να διδαχθούν να "βλέπουν" χρησιμοποιώντας άλλες αισθήσεις με κυριότερη την αφή (πχ απτική οθόνη - haptic / tactile). Οι πρώτες εφαρμογές της έρευνας αποτελούνταν από καρφίδες σε μια πολυθρόνα όπου η εικόνα γινόταν αντιληπτή από την πλάτη του χρήστη.  Αργότερα (βίντεο) χρησιμοποιήθηκε μια πιο ευέλικτη πλατφόρμα από τον Bach-y-Rita όπου η όραση δινόταν μέσω της γλώσσας από μια μήτρα ηλεκτρικών σημάτων (βίντεο τα κεντρικά σημεία της έρευνας).

Η διαφοροποίηση της δικής μας πλατφόρμας είναι ότι (α) χρησιμοποιούμε μια μήτρα αφής παλάμης, (β) εξειδικεύουμε και προσαρμόζουμε τη συσκευή μας ειδικά στην τέχνη του χορού μιας και θα ήταν αδύνατο οι πρωτότυπες συσκευές της έρευνας να χρησιμοποιηθούν για αυτόν τον σκοπό λόγω μεγάλου όγκου κινούμενης πληροφορίας σε πραγματικό χρόνο, (γ) αποδομούμε τον χορό σε βασικά σημεία ώστε να είναι πολύ ευκολότερη η κατασκευή της συσκευής, (γ)  είναι φορητή και ευέλικτη (δ) ευκολότερη καμπύλη προσαρμογής του χρήστη χωρίς ιδιαίτερη εκπαίδευση, (ε) φθηνή στην κατασκευή, αλλά και (στ') δεν αλλοιώνεται η ανάλυση της κίνησης ανάλογα με την απόσταση του χορευτή από την κάμερα. Κατά τα άλλα βασιστήκαμε στα ευρήματα της έρευνας απλά μεταφράζοντας στην περίπτωσή μας την “ροή” της κίνησης του χορευτή σε μια χαμηλής ανάλυσης απτική οθόνη, δίνοντας το ερέθισμα στην παλάμη του χρήστη αντί της πλάτης ή της γλώσσας.

* και Paul Bach-y-Rita - Neuroplasticity on Vimeo (στο επόμενο βίντεο παρουσιάζεται πως ο εγκέφαλος μπορεί να "επανεκπαιδευτεί" σε κάτι νέο, ακόμα και σε μεγαλύτερη ηλικία, ακόμα και από άτομα που δεν έχουν προβλήματα όρασης που δεν χρησιμοποιύν τόσο τις υπόλοιπες αισθήσεις όσο τα άτομα με προβλήματα όρασης, με λίγη εξάσκηση.)

Στην παραπάνω έρευνα υπάρχει μια «απτική οθόνη» όπου οι εικόνες που λαμβάνονται προβάλλονται στο δέρμα μέσω της πλάτης (haptic tactile television) ή στη γλώσσα (μεταγενέστερη έρευνα) χρησιμοποιώντας απτικούς ενεργοποιητές και μελέτες έχουν δείξει ότι αυτές οι εικόνες ήταν αντιληπτές από άτομα με προβλήματα όρασης. Αυτό υποστήριξε την ιδέα μας να γίνονται αντιληπτές οπτικές πληροφορίες αποδομημένης κίνησης του χορού μέσω απτικών καρφίδων, 

 * εκτός από την έρευνα του Paul Bach-y-Rita μια πληθώρα ακόμα μεταγενέστερων ερευνών απέδειξε ότι είναι δυνατή η "όραση" μέσω αφής (Απτική). Eνδεικτικά κάποιες δημοσιεύσεις σε επιστημονικά περιοδικά: The Role of Haptic Information in Visualization - Seeing with the brain - the material world of visually impaired children - Tactile Television - VibroVision (με χρήση επίσης kinect) και πλατφόρμας δόνησης - H ερευνα του Paul Bach-y-Rita

Είμαστε η ομάδα μαθητών WTH - What The Ha(i)ck που αποτελείται από τους μαθητές της Γ' τάξης του 1ου ΓΕΛ ΦΛΩΡΙΝΑΣ σχ. έτους  2021-2022
ΚΑΔΡΕΦΗ ΚΥΡΙΑΚΗ - ΜΑΡΙΑ // ΚΑΤΙΚΑΡΙΔΗΣ ΑΓΓΕΛΟΣ // ΜΕΛΙΣΣΑΝΙΔΟΥ ΟΛΓΑ // ΣΙΩΚΗΣ ΛΟΥΚΑΣ ΚΩΝΣΤΑΝΤΙΝΟΣ // ΤΣΙΜΟΣ ΕΦΡΑΙΜ // ΧΟΡΔΑΚΗΣ ΙΩΑΝΝΗΣ με υπ. καθηγητή τον κ. Παπαδόπουλο Δημήτριο ΠΕ86

Σε όλες τις παρακάτω διαφορετικές προσεγγίσεις που αναλύσαμε (και στην επιλεγμένη), η όραση του υπολογιστή, τεχνητή νοημοσύνη (pose estimation) και λήψη αποφάσεων γίνεται από λογισμικό που δημιουργήθηκε στη Γλώσσα Processing, με χρήση 3δ κάμερας kinect με pretrained μοντέλλα pose estimation. Στην συνέχεια μέσω σειριακής επικοινωνίας με μικροεπεξεργαστή arduino και κινητήρες σέρβο, η εφαρμογή "απαιτεί" από τον μικροεπεξεργαστή να ενεργοποιήσει/απενεργοποιήσει στην μήτρα των καρφίδων τα επιθυμητά στοιχεία. Θα ήταν δυνατόν να υλοποιήσουμε την ιδέα μας  και χωρίς τη χρήση 3δ κάμερας κινέκτ, με απλή web camera, επιλέγοντας την πλατφόρμα ΑΙ :  PoseNet, OpenPose, omniPose κ.ο.κ. Επιλέξαμε τελικά 3δ κάμερα κινεκτ λόγω του ότι (α) είναι δυνατόν να αναγνωρίσουμε και την κατευθυνση που κοιτάει ο χεορευτής (είναι πρός την κάμερα ή με πλάτη) και (β) στο μέλλον σχεδιάζεται να προστεθεί μια επιπλεόν στήλη καρφίδων η οποία θα μας ενημερώνει σχετικά με το βάθος της κίνησης.

ΠΡΟΣΕΓΓΙΣΕΙΣ

(σχεδιάδραμμα συστήματος και πλατφόρμας)

Στην περίπτωση υλοποίησης της πλατφόρμας μας όπως στην μελέτη με ενεργοποιητές ηλεκτρικών σημάτων για χρήση με τη γλώσσα, η υλοποίηση της πλατφόρμας θα ήταν αρκετά ευκολότερη μιας και κυκλοφορούν πολλά ηλεκτρονικά κυκλώματα μήτρας με χρήση ηλεκτρισμού (αλλά και κατασκευάζονται εύκολα), παρόλα αυτά καταλήξαμε να μην χρησιμοποιήσουμε τέτοιου τύπου υλοποίηση για λόγους ασφαλείας αλλά να επιλέξουμε να κατασκευάσουμε μια πλατφόρμα αφής με ακίδες (απτική οθόνη) που μεταφέρουν το ερέθισμα στις παλάμες του χρήστη (εξήγηση στις παρακάτω προσεγγίσεις).

Προσέγγιση 2η

Όπως ακριβώς η προσέγγιση 1η σε μήτρα καρφίδων της ανάλυσης που επιθυμούμε, με διαφορά την ελαχιστοποίηση των καρφίδων που ενεργοποιούνται, κρατώντας κάθε φορά Μόνο ευθείες από κάθε κλείδωση (ή μόνο 16) κλειδώσεις (σημεία κλειδιά του χορευτή/τριας. (προσέγγιση sticky man). Τα σημεία κλεισιά που παρουσιάζονται, κεφάλι, λαιμός, κορμός, κέντρο μάζας, δεξής ΚΑΙ αριστερός ώμος,αγκώνας,καρπός, δεξής ΚΑΙ αριστερός γοφός, γόνατο, αστράγαλος. Τα πειονεκτήματα και πλεονεκτήματα είναι τα ίδια όπως και στην πρώτη προσέγγιση με λίγο μικρότερο βαθμό δυσκολίας στην φυσική υλοποίηση της πλατφόρμας αφής, λόγω λιγότερων σημείων προβολής. (επίσης μπορούμε να επιλέξουμε για την υλοποίηση συνολική ανάλυση που επιθυμούμε). 

Προσέγγιση 3η - επιλεγμένη

Σε αυτή την προσέγγιση εργαζόμαστε με διαφορετικό σκεπτικό, την ροή "flow" της χορογραφίας. Παραλείπουμε πολλά σημεία κλειδιά του σκελετού και διατηρούμε μόνο 4!. Την θέση του αριστερού και δεξιού καρπού όπως και τη θέση των 2 ποδιών. Αυτά τα σημεία θα επιτρέψουν εύκολα στον χρήστη με προβλήματα όρασης, χωρίς μεγάλο φόρτο επεξεργασίας να φτιάξει την εικόνα στο μυαλό του, απλά ενώνοντας μερικές νοητές γραμμές (εικόνα)

Η μήτρα καρφίδων μπορεί να είναι και πάλι ανάλυσης της αρεσκείας μας, παρόλα αυτά ακόμα και μια μήτρα 12 καρφίδων θα μας επιτρέψει να αναπαραστήσουμε πληροφορίες όπως ανοικτό χέρι/πόδι, κλειστό, στην αντίθετη πλευρά, ψηλά ή χαμηλά. (Μια βιτρουβιανή μήτρα μικρής ανάλυσης). Η κίνηση θα γίνεται με μικροκαθυστέρηση αρχίζοντας με το δεξί χέρι, ακολουθώνας το αριστερό, στη συνέχεια δεξί πόδι ακολουθούμενο από το αριστερό, επιτρέποντας στον χρήστη με προβλήματα όρασης να αντιληφθεί την τοποθέτηση κάθε άκρου, και έτσι να φαντασθεί την τοποθέτηση του κορμού εύκολα, χωρίς να έχει να επεξεργασθεί μεγάλο όγκο πληροφοριών με αποτέλεσμα να μπορεί να ανταπεξέλθει σε πραγματικό χρόνο στην επεξεργασία και μεταφορά της αφής σε εικόνα στον εγκέφαλό του. Να τονίσουμε ακόμα ότι ο ρυθμός προβολής των εικόνων μπορεί να ελλατωθεί δυναμικά στην εφαρμογή μας, ώστε να προβάλλονται στην απτική οθόνη για παράδειγμα αντί για 25, όσα "καρέ" επιθυμούμε π.χ. μόνο 1 καρέ / δευτερόλεπτο, λιγότερα , ή και περισσότερα, ώστε σταδιακά με την εξάσκηση να επιτευχθεί μια ταχύτητα πραγματικού χρόνου από τον χρήστη.

Λόγω περιορισμένου χρόνου σε αυτή την περίοδο θα περιοριστούμε σε 12 καρφίδες 3 σειρές των 4ων καρφίδων που χωρίζονται με 2 ευθείες, μία στο ύψος των όμων και μία στην νοητή γραμμή του κορμού του χορευτή (κέντρο). Οι υπολογισμοί εδώ δεν γίνονται ανάλογα με την τοποθέτηση του χορευτή/τριας στο κάδρο, αλλά η κάθε κλείδωση ενεργοποιείται ανάλογα με την τοποθέτηση του άκρου σε σχέση με το κέντρο (κορμό) του χορευτή και το ύψος του κεφαλιού/λαιμού. Με αυτό τον τρόπο δεν μας ενδιαφέρει η τοποθέτηση του χορευτή στο κάδρο, αλλά και δεν χαλάει η ανάλυση ανάλογα με το πόσο μακρυά ή κοντά είναι ο χορευτής/τρια στην κάμερα, ενώ παράλληλα μειώνουμε το φόρτο επεξεργασίας του χρήστη.

Ας αναπτύξουμε το σκεπτικό μας :

• (A) γνωρίζουμε ότι στο συγκεκριμένο καρέ (παρακάτω εικόνα) λόγω αφής (και μικρής χρονοκαθυστέρησης όπως αναφέραμε) ότι στις ενεργοποιημένες καρφίδες 1,2,3,4 βρίσκονται τα άκρα Αριστερό χέρι, Δεξί χέρι, αριστερό πόδι, δεξί πόδι αντίστοιχα, και επίσης ότι το κέντρο του χορευτή χορεύτριας ανεξαρτήτως τοποθέτησης στο πλάνο είναι στο κέντρο (γαλανή γραμμή) και η γραμμή ώμων είναι η κόκκινη. (υπάρχουν και οι αντίστοιχες γραμμές ανάγλυφα στην επιφάνεια της πλατφόρμας μας)

• (B) μπορούμε εύκολα να φαντασθούμε και να αναπαραστήσουμε στο μυαλό μας (μέσω αυτής της ιδότυπης βιτρουβιανής μήτρας μικρής ανάλυσης)  ότι τα πόδια βρίσκονται σχεδόν σε στάση με άνοιγμα ώμων, το αριστερό χέρι είναι τεντωμένο ελαφρά κάτω από τους ώμους και το δεξί χέρι μαζεμένο και στο ύψος του κεφαλιού ή ψηλότερα. (θέση χορευτή/τριας). Η τοποθέτηση μπορεί να μην διεκδικεί δάφνες ακρίβειας, παρόλα αυτά επιτρέπει με ευκολία να προσεγγίσουμε την πραγματική τοποθέτηση του θέματος αλλά και εύκολη αναπαράσταση της πόζας στον εγκέφαλό μας.

Στο παρακάτω βίντεο: όταν ένα άκρο από τα 4 σημεία κλειδιά έρθει πάνω από την νοητή γραμμή ώμων, ενεργοποιείται η καρφίδα που του αντιστοιχεί από την 1η σειρά στην πλησιέστερη στήλη. Αντίστοιχα, οι 2 επόμενες σειρές από την νοητή γραμμή των όμων μέχρι το ύψος του χορευτή.

Στον άξονα Χ επιλέγουμε ανάλογα με την τοποθέτηση κάθε άκρου, σε σχεση με τη νοητή ευθεία του κορμού, ώστε να ενεργοποιηθεί ανάλογα μία από τις 2 πρώτες στήλες, ή τις 2 επόμενες. Με αυτόν τον τρόπο ανεξάρτητα της τοποθέτησης του χορευτή, ακόμα και αν είναι στην άκρη του κάδρου (βίντεο), αν το δεξί για παράδειγμα χέρι είναι απλωμένο, θα ενεργοποιηθεί η 4η στήλη και η ανάλογη καρφίδα, ακόμα και αν είναι πολύ μακρυά, κοντά από την κάμερα, στο κέντρο ή στην άκρη του πλάνου.

Πλεονεκτήματα : 1) ευκολότερη υλοποίσηση φυσικής πλατφόρμας (απτική οθόνη) με μόνο έναν μικροεπεξεργαστή. 2) Δεν χαμηλώνει η ανάλυση όταν απομακρύνεται το θέμα από το κάδρο 3) μικρότερος όγκος πληροφοριών για τον χρήστη ώστε να μπορεί να ανταπεξέλθει σε πραγματικό χρόνο.

Μειονεκτήματα : 1) Πολύ μεγαλύτερης δυσκολίας αλγόριθμος αναγνώρισης / αποδόμησης κίνησης 2) χαμηλότερη ανάλυση

Καταλήξαμε στην απλούστευση αυτή και με χρήση μόνο 12 κινητήρων σέρβο, λόγω πίεσης χρόνου και εξετάσεων μιας και οι μαθητές που υλοποιούν την εφαμρογή, παρακολουθούν τα μαθήματα της Γ' τάξης και είναι επιφορτισμένοι με τα μαθήματα πανελλαδικών. Σε μεταγενέστερο χρόνο σχεδιάζεται η χρήση μήτρας 32 ακίδων  σε 2 περιοχές των 16, που θα είναι αρκετές ώστε να προσθέσουμε μερικές ακόμα κλειδώσεις (σημεία αποσαφήνισης) όπως σημείο κεφαλιού, βάση λαιμου και κέντρο μάζας, και θα βοηθήσουν στην τοποθέτηση με ακρίβεια του θέματος μας, και παράλληλα να διατηρήσουν την ευκολότερη επεξεργασία από τον χρήστη με προβλήματα όρασης, αλλά και την εύκολη υλοποίηση με έναν μικροεπεξεργαστή arduino uno και μία θύρα επέκτασης 36 θέσεων σερβοκινητήρων που κυκλοφορούν στην αγορά.

Μελλοντικές πιθανές τροποποιήσεις / βελτιώσεις.

Είναι δυνατή χωρίς καμία αλλαγή η χρήση αντί του 3δ σαρωτή κινέκτ ενός σαρωτή όπως Orbecc Persee, Orbecc Astra κ.λ.π. Η συγκεκριμένη συσκευή παρά το ιδιαίτερα μικρό κόστος 200ευρώ περίπου και το επίσης μικρό μέγεθος, είναι ένα πακέτο υπολογιστή + 3δ σαρωτή.
Με αυτόν τον τρόπο θα έχουμε μια υπερ-φορητή φθηνή συσκευή, την οποία θα μπορεί να αγοράσει ακομη και ο χρήστης και να μεταφέρει παντού.
Μάλιστα ο συγκεκριμένος αισθητήρας είναι στην ουσία Η/Υ android + 3d scanner in One, και μιας και υλοποιήσαμε την εφαρμογή σε processing η οποία υποστηρίζει processing android, αλλά και λόγω του ότι η τρέχουσα υλοποίηση έγινε με SDK, SimpleOpenNi, όπως και οι συσκευές αυτές, είναι απόλυτα συμβατές χωρίς καμία σχεδόν αλλαγή στον κώδικά μας.
Επιπρόσθετα θα υπάρχει σημαντικά μεγαλύτερη ανάλυση από το κινέκτ, αλλά και μεγαλύτερη απόσταση λειτουργίας μέχρι 8μ έναντι 5-6μ του κινέκτ.

Βεβαίως μπορούν να χρησιμοποιηθούν με μικροαλλαγές και άλλες συσκευές του εμπορίου όπως intel realsense κλπ με μικροαλλαγές στον κώδικα.

Υλικά / Λογισμικό που χρησιμοποιήσαμε