Transcript EY: Κατερίνα Νικολαΐδου

SpeakGreek
Ανάπτυξη διαδικτυακού
συστήματος εκπαίδευσης
της ομιλίας
Κ. Νικολαΐδου1, Γ. Παπανικολάου2,
Κ. Αβδελίδης2, Ε. Καϊναδά1,
Α. Σφακιανάκη1, Λ. Βρύσης2,
Κ. Κωσταντουδάκης2, Ι. Σταρτσένκο2,
Ε. Κέλμαλη1
1 Εργαστήριο Φωνητικής - Τμήμα Αγγλικής Γλώσσας και Φιλολογίας, ΑΠΘ
2
speakgreek.web.auth.gr
Εργαστήριο Ηλεκτρακουστικής και Τηλεοπτικών Συστημάτων Τμήμα Ηλεκτρολόγων Μηχανικών και Μηχανικών Υπολογιστών, ΑΠΘ
ΑΡΙΣΤΕΙΑ ΙΙ
Υπόβαθρο

Προφορικός λόγος:
 Σύνθετη
διαδικασία που συνδυάζει γνωσιακές,
γλωσσικές και φωνητικές/αρθρωτικές δεξιότητες
 Επικοινωνιακή ικανότητα του ομιλητή
 Κατανόηση μηνύματος
 Κοινωνική

αποδοχή
Προβλήματα:
 αλλόγλωσσους
μαθητές της ελληνικής
 άτομα με διαταραχές ομιλίας

Πρακτική εξάσκηση για τη βελτίωση της
άρθρωσης και ευχέρειας στο λόγο
Βιο-ανατροφοδότηση
Χρήση τεχνολογίας για περαιτέρω ή εναλλακτική εξάσκηση

Οπτικοποίηση της ομιλίας - γραφική αναπαράσταση της ομιλίας στην οθόνη
του Η/Υ



Φασματογραφήματα φωνημάτων σε πραγματικό χρόνο,
αναπαράσταση του τονικού ύψους (βασικής συχνότητας F0) σε πραγματικό χρόνο
Κίνηση της γλώσσας, επαφή της με τον ουρανίσκο (υπέρηχος, ηλεκτροπαλατογράφος)
Εφαρμογές

Αποκατάσταση διαφορετικών διαταραχών της ομιλίας (κώφωση-βαρηκοΪα,
διαταραχές άρθρωσης, διαταραχές ευχέρειας, φώνησης)
(π.χ., Brooks et al., 1981, Maryn et al., 2006)

Στη διδασκαλία της προφοράς της ξένης γλώσσας
(π.χ. Chun, 2007).
SpeakGreek: Στόχοι

ανάπτυξη
ενός
διαδικτυακού
συστήματος
εκπαίδευσης με βιοανατροφοδότηση για τα Νέα
Ελληνικά

εκπαίδευση και αξιολόγηση της ομιλίας του χρήστη
μέσω:
οπτικοποίησης της ομιλίας σε πραγματικό χρόνο
 αυτόματης αναγνώρισης φωνής

SpeakGreek: Στόχοι

πρακτική εξάσκηση στην αντίληψη και παραγωγή



βασικών παραμέτρων της ομιλίας
φωνηέντων και συμφώνων
τόνου, επιτονισμού

εφαρμογή του εργαλείου στην εκπαίδευση και στην κλινική
παρέμβαση

αυτόνομη χρήση και χρήση με δάσκαλο ή λογοθεραπευτή

απλή και εικονογραφημένη έκδοση
SpeakGreek: δομή του εργαλείου
Εργαλείο
εκπαίδευσης
λόγου
Φωνητική
Βιβλιοθήκη
Πυρήνας Εργαλείου
εκπαίδευσης
Πυρήνας Εργαλείου
εκπαίδευσης
Βασική εκπαίδευση
Οι ήχοι της
γλώσσας μου
Αντίληψη
Παραγωγή
Η μελωδία της
γλώσσας μου
Δομή του εργαλείου
Φωνητική Βιβλιοθήκη

πληροφορίες για την άρθρωση των ήχων, τον τόνο και
επιτονισμό

χρήση
 κινούμενης φωνητικής οδού
 ακουστικών, βίντεο και αρθρωτικών δεδομένων
ηλεκτροπαλατογράφου και υπέρηχου για την
αναπαράσταση της άρθρωσης των ήχων.
Δομή του εργαλείου
Βασική Εκπαίδευση




Φώνηση: παραγωγή ηχηρών-άηχων φθόγγων και εναλλαγή τους
Διάρκεια φώνησης
Έλεγχος και αυξομείωση τονικού ύψους
Έλεγχος και αυξομείωση έντασης
Δομή του εργαλείου
Οι ήχοι της γλώσσας μου

αντίληψη και παραγωγή μεμονωμένων ήχων, συλλαβών και
λέξεων
 ανατροφοδότηση σε πραγματικό χρόνο
 αξιολόγηση
π.χ.Μεμονωμένα φωνήεντα (F1-F2 φωνηεντικός χώρος)
Μεμονωμένα σύμφωνα
Ελάχιστα ζεύγη (θύμα-σήμα)

Αυτόματη αναγνώριση (συλλαβές, λέξεις)
Δομή του εργαλείου
Η μελωδία της γλώσσας μου

αντίληψη και παραγωγή του τόνου και του επιτονισμού





ανατροφοδότηση σε πραγματικό χρόνο και
αξιολόγηση
Τόνος: ελάχιστα ζεύγη (νόμο-νομό)
Επιτονισμός: ασκήσεις εστίασης, καταφάσεις, ερωτήσεις ολικής και
μερικής αγνοίας, επιτονισμός συνεχείας, έκφραση ευγένειας/αγένειας
οπτικοποίηση
χρήση F0 καμπύλης σε πραγματικό χρόνο
 χρήση εικόνων, σκίασης

Καταγραφές
Δύο βάσεις δεδομένων

Βάση Α: οπτικοακουστικές καταγραφές για τους ήχους της ελληνικής,τον
τόνο και επιτονισμό
 Βιντεοσκόπηση 3 ατόμων
 Δεδομένα υπέρηχου και ηλεκτροπαλατογράφου για 2 άτομα
Στόχος: παροχή οπτικοακουστικών πληροφοριών για την Φωνητική Βιβλιοθήκη

Βάση Β: ακουστικά δεδομένα από 60 άτομα
 Σύμφωνα, φωνήεντα, τόνος, επιτονισμός
Στόχος:
 εντοπισμός των στόχων παραγωγής
 καθορισμός παραμέτρων για την βιοανατροφοδότηση
 δεδομένα για την αυτόματη αναγνώριση φωνής
Διάδοση-στόχοι

Ελεύθερη διαθεσιμότητα διαδικτυακά







αλλόγλωσσοι μαθητές της ελληνικής
άτομα με διαταραχές ομιλίας
δασκάλοι
λογοθεραπευτές
επιστήμονες
απλοί χρήστες
Παροχή διεπαφής που επιτρέπει την εύκολη χρήση
εργαλείων εκμάθησης

Συλλογή στοιχειών χρήσης των εργαλείων

Αξιολόγηση του εργαλείου
Προκλήσεις υλοποίησης

Ανθεκτικότητα σε περιβάλλον θορύβου

Εκτέλεση σε πραγματικό χρόνο

Βιοανατροφοδότηση

Αναγνώριση σφαλμάτων εκφοράς

Ανάλυση μεγάλου όγκου πληροφορίας
σώματος δεδομένων
SpeakGreek


βασική & εφαρμοσμένη έρευνα
επιστήμονες στο χώρο των επιστημών της ομιλίας
Καινοτόμα στοιχεία
 συλλογή και ανάλυση μεγάλου όγκου δεδομένων
 αναμενόμενες καινοτόμες προσεγγίσεις επεξεργασίας
ηχητικού σήματος της ομιλίας
 ελεύθερη πρόσβαση στη βάση δεδομένων και το
εργαλείο