Η AI του KAIST διαβάζει τα χείλη ξεκινώντας από τη μέση της φράσης
Κάποιος κοιτάζει την κάμερα και λέει στα αγγλικά ότι ετοιμάζει τις βαλίτσες του για το ταξίδι. Με τον ήχο κλειστό, η λέξη pack μοιάζει στα χείλη σχεδόν ίδια με το back. Λίγο αργότερα, όμως, διακρίνονται οι λέξεις «βαλίτσες» και «ταξίδι». Για έναν άνθρωπο που προσπαθεί να καταλάβει τη φράση, είναι φυσικό να επιστρέψει νοερά στο ρήμα. Πολλά συστήματα αυτόματης χειλεανάγνωσης, ώσπου να φτάσουν στις βαλίτσες, έχουν ήδη γράψει το λάθος ρήμα.
Αυτό το παράδειγμα διάλεξαν ερευνητές του KAIST, στη Νότια Κορέα, για να εξηγήσουν μια αλλαγή στον τρόπο με τον οποίο η τεχνητή νοημοσύνη μετατρέπει την κίνηση των χειλιών σε κείμενο. Το σύστημά τους μπορεί να αναγνωρίσει πρώτα μια λέξη στη μέση ή στο τέλος της πρότασης και να αφήσει κενό ένα δυσκολότερο σημείο στην αρχή. Σε δοκιμή με αγγλόφωνα βίντεο, η προσέγγιση μείωσε το ποσοστό σφαλμάτων λέξεων από 25,8% σε 19,4% σε σύγκριση με τη μέθοδο αναφοράς της ομάδας. Η εργασία διακρίθηκε με Outstanding Paper Award στο επιστημονικό συνέδριο EMNLP 2026. Η δημοσιευμένη μελέτη · Η ανακοίνωση του KAIST
Τι χάνεται όταν κλείνει το μικρόφωνο
Αν προφέρει κανείς αργά τους ήχους «π», «μπ» και «μ» μπροστά σε καθρέφτη, θα προσέξει ότι και στους τρεις τα χείλη κλείνουν. Το αυτί ξεχωρίζει εύκολα διαφορές που η κάμερα δυσκολεύεται να καταγράψει. Ακόμη και με καθαρή εικόνα, λοιπόν, μπορεί να υπάρχουν περισσότερες από μία εύλογες αναγνώσεις της ίδιας κίνησης. Μια κάμερα υψηλότερης ανάλυσης θα δείξει καλύτερα τα χείλη. Δύσκολα όμως θα δείξει, για παράδειγμα, αν πάλλονται οι φωνητικές χορδές. KAIST
Στην αυτόματη χειλεανάγνωση, που οι ερευνητές ονομάζουν οπτική αναγνώριση ομιλίας, ένα τμήμα του συστήματος παρακολουθεί πώς αλλάζει η εικόνα από καρέ σε καρέ. Ένα δεύτερο αξιοποιεί αυτές τις ενδείξεις για να συνθέσει κείμενο. Πολλά μοντέλα γράφουν από αριστερά προς τα δεξιά. Κάθε επιλογή τους γίνεται μέρος της φράσης πάνω στην οποία θα στηρίξουν την επόμενη. Αν αστοχήσουν νωρίς, μπορούν να παράγουν μια ολόκληρη συνέχεια που ταιριάζει θαυμάσια με τη δική τους πρώτη παρανόηση. Η εργασία στα πρακτικά του EMNLP
Πώς συμπληρώνεται μια πρόταση με κενά
Η ομάδα των Jeong Hun Yeo, Chae Won Kim, Hyeongseop Rha και Yong Man Ro χρησιμοποίησε ένα γλωσσικό μοντέλο διάχυσης. Στη συγκεκριμένη εφαρμογή, ο όρος περιγράφει μια διαδικασία διαδοχικής συμπλήρωσης κειμένου. Αρχικά, η πρόταση έχει μόνο κενές θέσεις. Το μοντέλο βλέπει το απόσπασμα, υπολογίζει ποιες επιλογές υποστηρίζονται περισσότερο και συμπληρώνει ορισμένες θέσεις. Στο επόμενο πέρασμα, οι λέξεις που έχει ήδη τοποθετήσει προσφέρουν πληροφορίες για τα κενά και προς τις δύο κατευθύνσεις. Δημοσίευση των ερευνητών
Στο παράδειγμα με τις βαλίτσες, αυτό σημαίνει ότι το σύστημα έχει δικαίωμα να αναβάλει την απόφαση ανάμεσα στο pack και στο back. Το ίδιο το βίντεο παραμένει απαραίτητο. Οι κινήσεις του προσώπου περιορίζουν τις πιθανές αναγνώσεις και τα συμφραζόμενα βοηθούν στην επιλογή ανάμεσά τους. Η «σιγουριά» του μοντέλου έχει εδώ συγκεκριμένη έννοια. Δείχνει πόσο ισχυρά προτιμά μια εκδοχή έναντι των υπολοίπων. Μια λέξη μπορεί να ταιριάζει απόλυτα στις προσδοκίες του και ο ομιλητής να έχει πει κάτι πιο ασυνήθιστο. Σχήμα 1 της μελέτης
Υπάρχει και μια δυσκολία που γίνεται φανερή μόλις προσπαθήσει κανείς να σχεδιάσει αυτές τις κενές θέσεις. Πόσες χρειάζονται; Δύο άνθρωποι μπορούν μέσα σε τρία δευτερόλεπτα να πουν φράσεις πολύ διαφορετικού μήκους. Οι ερευνητές εκπαίδευσαν το σύστημα να εξετάζει περισσότερα από ένα πιθανά μήκη για το ίδιο βίντεο. Παράγει υποψήφιες μεταγραφές και τις βαθμολογεί, συνυπολογίζοντας πόσο εύλογο είναι το μήκος καθεμιάς και πόσο ισχυρές είναι οι επιμέρους επιλογές. Η επιπλέον δουλειά βελτιώνει το αποτέλεσμα, έχει όμως υπολογιστικό κόστος. Πλήρες κείμενο της μελέτης
Τι σημαίνουν τα 19,4 λάθη ανά εκατό λέξεις
Η βασική δοκιμή έγινε στο LRS3, μια συλλογή βίντεο από αγγλόφωνες ομιλίες TED και TEDx. Για την εκπαίδευση στην εργασία της χειλεανάγνωσης, οι ερευνητές χρησιμοποίησαν 433 ώρες βίντεο με αντίστοιχες μεταγραφές. Η δοκιμή αφορά ανθρώπους που μιλούσαν κανονικά μπροστά σε κάμερα. Στη φάση της αναγνώρισης, το σύστημα έπρεπε να βρει τι είπαν έχοντας στη διάθεσή του μόνο την εικόνα. Αυτή είναι μια σημαντική λεπτομέρεια για τη φράση «σε απόλυτη σιωπή», η οποία θα μπορούσε να δώσει την εντύπωση ότι οι συμμετέχοντες σχημάτιζαν επίτηδες άηχες λέξεις. Περιγραφή του LRS3 από την Οξφόρδη · Μελέτη του KAIST
Ο δείκτης word error rate μετρά πόσες διορθώσεις χρειάζονται για να συμφωνήσει η αυτόματη μεταγραφή με το κείμενο αναφοράς. Μετρά εξίσου μια αντικατάσταση, μια λέξη που λείπει και μια λέξη που το μοντέλο πρόσθεσε μόνο του. Το 19,4% αντιστοιχεί, επομένως, σε περίπου 19 τέτοιες διορθώσεις ανά 100 λέξεις αναφοράς στο σύνολο της δοκιμής. Για τον αναγνώστη ενός υποτίτλου, βέβαια, δύο λάθη ίδιου στατιστικού βάρους μπορεί να έχουν πολύ διαφορετικές συνέπειες. Μια παράλειψη άρθρου ίσως περάσει απαρατήρητη. Μια παράλειψη άρνησης μπορεί να αντιστρέψει το νόημα.
Στη σύγκριση που έκαναν οι συγγραφείς κρατώντας ίδιο το τμήμα του συστήματος που αναλύει την εικόνα, η μέθοδος αναφοράς έδωσε 25,8% και η δική τους 19,4%. Η διαφορά είναι 6,4 ποσοστιαίες μονάδες, δηλαδή περίπου ένα τέταρτο λιγότερα σφάλματα. Η επίδοση αφορά μεθόδους που χρησιμοποίησαν μόνο το LRS3 ως πηγή βίντεο με μεταγραφές για τη συγκεκριμένη εκπαίδευση. Τα επιμέρους μοντέλα είχαν ήδη προεκπαιδευτεί. Επίσης, τα αποτελέσματα αυτά δεν δίνουν μέτρηση για την ελληνική γλώσσα. Πίνακες αποτελεσμάτων της μελέτης
Από μια μαγνητοσκοπημένη ομιλία στους ζωντανούς υπότιτλους
Μια πιθανή εφαρμογή είναι ο υποτιτλισμός όταν το μικρόφωνο έχει καταγράψει περισσότερο θόρυβο από ομιλία. Μια άλλη, την οποία αναφέρει το KAIST, είναι ένα βοήθημα επικοινωνίας για κωφούς και βαρήκοους χρήστες. Υπάρχει όμως ουσιαστική διαφορά ανάμεσα στον υποτιτλισμό έτοιμου βίντεο και σε μια συζήτηση πρόσωπο με πρόσωπο. Στο βίντεο, το τέλος της φράσης είναι ήδη διαθέσιμο. Στη συζήτηση, όποιος περιμένει να δει τι θα πουν τα χείλη στη συνέχεια πρέπει να περιμένει και τον ομιλητή να το πει. Η λειτουργία σε πραγματικό χρόνο, τοπικά σε μια μικρή φορετή συσκευή, παραμένει στόχος της ομάδας. KAIST
Για έναν άνθρωπο που βασίζεται στους υπότιτλους για να πάρει μέρος σε μια συζήτηση, σημασία έχει και το πώς θα εμφανίζεται η αβεβαιότητα στην οθόνη. Στο παράδειγμα με τις βαλίτσες, η αναμονή μερικών λέξεων λύνει την απορία. Σε ένα όνομα, σε μια διεύθυνση ή σε μια απρόσμενη απάντηση, τα συμφραζόμενα μπορεί να ευνοούν την πιο συνηθισμένη εκδοχή και να αδικούν αυτόν που μίλησε. Εκεί, μια ένδειξη ότι η συγκεκριμένη λέξη παραμένει αβέβαιη μπορεί να αξίζει περισσότερο από έναν καλογραμμένο υπότιτλο που τη μάντεψε λάθος.
Πηγές
- ACL Anthology — «Diffusion Large Language Models for Visual Speech Recognition», η αξιολογημένη εργασία στο EMNLP 2026
- KAIST News Center — Η ανακοίνωση της ομάδας για τη μέθοδο, τη διάκριση και τις πιθανές εφαρμογές
- University of Oxford, Visual Geometry Group — Τα σύνολα δεδομένων χειλεανάγνωσης και η προέλευση του LRS3
