Μπορεί ένα μοντέλο AI να ξεχάσει όσα έμαθε;
Όταν διαγράφουμε ένα αρχείο από μια εφαρμογή, περιμένουμε ότι κάποια στιγμή θα πάψει να υπάρχει στους ενεργούς διακομιστές της. Μπορεί να παραμείνει προσωρινά σε αντίγραφα ασφαλείας, όμως η βασική διαδικασία είναι κατανοητή: το σύστημα γνωρίζει πού βρίσκεται το αρχείο και μπορεί να το αφαιρέσει.
Με την τεχνητή νοημοσύνη, η διαγραφή δεν είναι τόσο απλή.
Αν μια φωτογραφία, ένα βιβλίο, ένας κώδικας ή προσωπικά δεδομένα χρησιμοποιηθούν για την εκπαίδευση ενός μοντέλου, η επίδρασή τους δεν αποθηκεύεται απαραίτητα σε ένα ξεχωριστό σημείο. Διαχέεται μέσα σε εκατομμύρια ή δισεκατομμύρια αριθμητικές παραμέτρους, μαζί με την επίδραση όλων των υπόλοιπων δεδομένων.
Πώς αφαιρείς, λοιπόν, μία συγκεκριμένη πληροφορία χωρίς να χαλάσεις όσα χρήσιμα έχει μάθει το μοντέλο;
Το ερευνητικό πεδίο που προσπαθεί να απαντήσει σε αυτό το ερώτημα ονομάζεται machine unlearning — ένας όρος που αποδίδεται συνήθως ως μηχανική απομάθηση. Στόχος του δεν είναι να κάνει ένα σύστημα να απαντά απλώς «δεν γνωρίζω». Είναι να περιορίσει πραγματικά την επίδραση που είχαν συγκεκριμένα δεδομένα στην εκπαίδευσή του.
Η διαφορά αποδεικνύεται πολύ μεγαλύτερη από όσο ακούγεται.
Η γνώση δεν βρίσκεται σε ένα συρτάρι
Ένα γλωσσικό μοντέλο δεν λειτουργεί όπως μια εγκυκλοπαίδεια με ξεχωριστή σελίδα για κάθε θέμα. Κατά την εκπαίδευση, επεξεργάζεται τεράστιες ποσότητες κειμένου και προσαρμόζει σταδιακά τις παραμέτρους του ώστε να προβλέπει τι είναι πιθανό να ακολουθήσει σε κάθε συμφραζόμενο.
Οι ίδιες παράμετροι συμμετέχουν σε πολλές διαφορετικές προβλέψεις. Μια μικρή ομάδα τους μπορεί να επηρεάζει ταυτόχρονα τη γραμματική, γνώσεις για πραγματικά πρόσωπα, τη συγγραφή κώδικα και τον τρόπο με τον οποίο το μοντέλο απαντά σε μια ερώτηση.
Δεν υπάρχει επομένως ένας φάκελος με την ένδειξη «πληροφορίες από το έγγραφο Χ» που μπορεί να μεταφερθεί στον κάδο ανακύκλωσης.
Ακόμη και αν το μοντέλο αναπαράγει μια συγκεκριμένη φράση, δεν είναι πάντοτε εύκολο να γνωρίζουμε αν την απομνημόνευσε από ένα μοναδικό κείμενο ή αν την ανασυνθέτει από πολλά παρόμοια παραδείγματα. Αντίστροφα, το γεγονός ότι δεν επαναλαμβάνει πλέον τη φράση δεν αποδεικνύει ότι η επίδραση των αρχικών δεδομένων έχει αφαιρεθεί.
Η καθαρή λύση είναι και η ακριβότερη
Ο πιο πειστικός τρόπος να αποδειχθεί ότι ένα μοντέλο δεν επηρεάστηκε από συγκεκριμένα δεδομένα είναι να εκπαιδευτεί ξανά χωρίς αυτά.
Δημιουργούμε δηλαδή ένα νέο μοντέλο με την ίδια διαδικασία, αφαιρώντας από το σύνολο εκπαίδευσης ό,τι πρέπει να διαγραφεί. Το νέο αποτέλεσμα μπορεί να χρησιμοποιηθεί ως σημείο αναφοράς για το πώς θα συμπεριφερόταν το σύστημα αν δεν είχε δει ποτέ τα συγκεκριμένα δεδομένα.
Αυτή είναι μια σχετικά καθαρή ιδέα, αλλά δύσκολα εφαρμόζεται κάθε φορά που εμφανίζεται ένα νέο αίτημα διαγραφής. Η εκπαίδευση ενός μεγάλου μοντέλου απαιτεί σημαντικό χρόνο, υπολογιστικούς πόρους και ενέργεια. Αν φτάνουν διαδοχικά αιτήματα για διαφορετικά δεδομένα, η συνεχής επανεκπαίδευση γίνεται πρακτικά ασύμφορη.
Το machine unlearning προσπαθεί να πλησιάσει το αποτέλεσμα της πλήρους επανεκπαίδευσης, αλλά με πολύ μικρότερο κόστος. Αντί να ξεκινήσει από το μηδέν, τροποποιεί ένα ήδη εκπαιδευμένο μοντέλο.
Εδώ αρχίζουν οι πραγματικές δυσκολίες.
Άλλο η άρνηση και άλλο η λήθη
Ένας απλός τρόπος να εμποδίσουμε ένα μοντέλο να εμφανίζει κάποια πληροφορία είναι να το εκπαιδεύσουμε να αρνείται να απαντήσει σε σχετικές ερωτήσεις.
Αν ρωτηθεί για το περιεχόμενο που πρέπει να «ξεχάσει», μπορεί να απαντά ότι δεν διαθέτει τις πληροφορίες ή ότι δεν μπορεί να βοηθήσει. Αυτό είναι χρήσιμο ως μηχανισμός ασφαλείας, αλλά δεν αποδεικνύει ότι η γνώση έχει αφαιρεθεί από τις εσωτερικές του αναπαραστάσεις.
Μια διαφορετική διατύπωση, ένα έμμεσο ερώτημα ή μια κατάλληλη σειρά οδηγιών μπορεί να την επαναφέρει. Ακόμη και αν η τελική απάντηση παραμένει κενή, ενδιάμεσα ίχνη της πληροφορίας μπορεί να εμφανίζονται κατά τη διαδικασία παραγωγής του αποτελέσματος.
Πρόσφατη έρευνα σε πολυτροπικά μοντέλα συλλογισμού έδειξε ακριβώς αυτή την απόσταση. Ορισμένες μέθοδοι κατάφερναν να κρύψουν την τελική απάντηση, αλλά ευαίσθητες πληροφορίες παρέμεναν στα ενδιάμεσα βήματα συλλογισμού. Άλλες μέθοδοι αφαιρούσαν πιο επιθετικά τη γνώση, προκαλούσαν όμως αισθητή ζημιά στη γενικότερη ικανότητα του μοντέλου να λύνει προβλήματα.
Για ένα σύστημα που επεξεργάζεται κείμενο και εικόνες, η κατάσταση γίνεται ακόμη πιο περίπλοκη. Μια πληροφορία μπορεί να αφαιρεθεί από τις απαντήσεις κειμένου και να εξακολουθεί να αναγνωρίζεται μέσα σε μια εικόνα ή να ανακατασκευάζεται από τον συνδυασμό των δύο.
Πώς ελέγχεις αν κάτι έχει πραγματικά ξεχαστεί;
Η πιο προφανής δοκιμή είναι να κάνουμε στο μοντέλο ερωτήσεις για τις πληροφορίες που έπρεπε να αφαιρεθούν. Αν δεν απαντήσει σωστά, η διαδικασία φαίνεται να έχει πετύχει.
Αυτό όμως είναι μόνο η αρχή.
Οι ερευνητές δοκιμάζουν παραφράσεις, έμμεσες ερωτήσεις και διαφορετικά συμφραζόμενα. Εξετάζουν αν το μοντέλο μπορεί να συμπληρώσει τμήματα του αρχικού κειμένου, αν διακρίνει τα δεδομένα που είδε κατά την εκπαίδευση από εκείνα που δεν είδε και αν η γνώση επανέρχεται ύστερα από μικρή πρόσθετη εκπαίδευση.
Παράλληλα πρέπει να ελεγχθεί τι συνέβη στις υπόλοιπες ικανότητές του. Ένα μοντέλο που ξέχασε τη ζητούμενη πληροφορία αλλά έχασε μαζί της μεγάλο μέρος της γλωσσικής ή συλλογιστικής του ικανότητας δεν αποτελεί επιτυχημένο αποτέλεσμα.
Χρειάζεται λοιπόν να ικανοποιούνται δύο αντικρουόμενοι στόχοι:
- Να αφαιρεθεί όσο γίνεται πληρέστερα η ανεπιθύμητη γνώση.
- Να παραμείνει σχεδόν ανέπαφη η χρήσιμη γνώση που δεν σχετίζεται με το αίτημα.
Αυτή η ισορροπία δεν είναι ίδια για όλα τα δεδομένα. Μερικά παραδείγματα ξεχνιούνται σχετικά εύκολα, ενώ άλλα είναι βαθιά συνδεδεμένα με παρόμοιες πληροφορίες. Έρευνα που παρουσιάστηκε στο Web Conference του 2026 διαπίστωσε ότι διαφορετικά δείγματα μέσα στο ίδιο σύνολο διαγραφής μπορούν να «ξεχνιούνται» με διαφορετική ταχύτητα. Μια ενιαία ένταση παρέμβασης μπορεί να μην αφαιρεί πλήρως τα πιο δύσκολα δεδομένα και ταυτόχρονα να προκαλεί υπερβολική ζημιά γύρω από τα ευκολότερα.
Το σβήσιμο αφήνει σημάδια
Υπάρχει και μια λιγότερο αναμενόμενη πλευρά του προβλήματος. Ακόμη και όταν το μοντέλο σταματήσει να εμφανίζει την ανεπιθύμητη γνώση, η διαδικασία διαγραφής μπορεί να αφήσει δικό της αποτύπωμα.
Εργασία που παρουσιάστηκε στο ICLR 2026 εξέτασε κατά πόσο μπορεί κάποιος να καταλάβει ότι ένα μοντέλο έχει περάσει από διαδικασία unlearning. Οι ερευνητές βρήκαν ανιχνεύσιμα ίχνη τόσο στις εσωτερικές αναπαραστάσεις όσο και στις εξόδους του μοντέλου.
Σε ορισμένα πειράματα, ένας σχετικά απλός ταξινομητής μπορούσε να διακρίνει με ακρίβεια πάνω από 90% αν είχε εφαρμοστεί unlearning, ακόμη και όταν οι ερωτήσεις δεν αφορούσαν άμεσα τα δεδομένα που είχαν αφαιρεθεί.
Αυτό δεν σημαίνει ότι ο ταξινομητής ανακτούσε αυτομάτως το διαγραμμένο υλικό. Δείχνει όμως ότι η διαδικασία δεν ήταν αόρατη. Το μοντέλο είχε αλλάξει με έναν συστηματικό τρόπο και αυτή η αλλαγή μπορούσε να εντοπιστεί εξωτερικά.
Το εύρημα ανοίγει ένα νέο ερώτημα ασφαλείας: αν κάποιος αντιληφθεί ότι ένα μοντέλο έχει τροποποιηθεί για να ξεχάσει κάτι, μπορεί να χρησιμοποιήσει αυτή την πληροφορία για να περιορίσει την αναζήτησή του ή να σχεδιάσει πιο στοχευμένες επιθέσεις ανάκτησης;
Γιατί δεν μπορούμε απλώς να μη χρησιμοποιούμε τα δεδομένα;
Για νέα μοντέλα, η καλύτερη αντιμετώπιση μπορεί να ξεκινά πριν από την εκπαίδευση. Η προσεκτική καταγραφή της προέλευσης των δεδομένων, η αφαίρεση διπλότυπου υλικού και η δυνατότητα σύνδεσης κάθε τμήματος του συνόλου εκπαίδευσης με την πηγή του κάνουν τα μελλοντικά αιτήματα ευκολότερα.
Δεν λύνουν, όμως, το πρόβλημα των ήδη εκπαιδευμένων συστημάτων. Ούτε εμποδίζουν πάντα την εμφάνιση νέων ζητημάτων μετά την κυκλοφορία τους.
Ένα έργο μπορεί να διανεμόταν νόμιμα όταν συλλέχθηκε και αργότερα να αλλάξει άδεια. Προσωπικά στοιχεία μπορεί να αποκαλυφθούν κατά λάθος. Μπορεί επίσης να διαπιστωθεί ότι ένα μοντέλο έχει απομνημονεύσει επισφαλή κώδικα, παρωχημένες τεχνικές οδηγίες ή υλικό που διευκολύνει καταχρηστικές ενέργειες.
Η ανάγκη για αφαίρεση πληροφοριών δεν προέρχεται επομένως μόνο από την προστασία προσωπικών δεδομένων. Συνδέεται με τα πνευματικά δικαιώματα, την ασφάλεια, τη διόρθωση προβληματικών συνόλων δεδομένων και τη συντήρηση ενός μοντέλου σε βάθος χρόνου.
Μερικές αρχιτεκτονικές ξεχνούν ευκολότερα
Η δυσκολία του unlearning εξαρτάται και από τον τρόπο με τον οποίο έχει κατασκευαστεί το σύστημα.
Αν μια εφαρμογή αντλεί πληροφορίες από εξωτερική βάση εγγράφων τη στιγμή που απαντά, η αφαίρεση ενός εγγράφου είναι σχετικά απλή. Το αρχείο διαγράφεται από τη βάση και παύει να δίνεται ως πρόσθετο υλικό στο μοντέλο. Αυτή είναι μία από τις πρακτικές διευκολύνσεις των συστημάτων retrieval-augmented generation.
Αν όμως το ίδιο περιεχόμενο είχε χρησιμοποιηθεί για την εκπαίδευση ή την προσαρμογή των παραμέτρων του μοντέλου, η αφαίρεση από τη βάση δεν διαγράφει ό,τι έχει ήδη απορροφηθεί.
Μια άλλη κατεύθυνση είναι η εκπαίδευση σε διαχωρισμένα τμήματα, ώστε η επίδραση ορισμένων δεδομένων να περιορίζεται σε συγκεκριμένα υπομοντέλα. Αν χρειαστεί διαγραφή, επανεκπαιδεύεται μόνο το σχετικό τμήμα. Αυτή η οργάνωση μπορεί να μειώσει το κόστος, αλλά εισάγει νέα πολυπλοκότητα και δεν ταιριάζει απαραίτητα σε κάθε αρχιτεκτονική.
Το κουμπί «διαγραφή» δεν υπάρχει ακόμη
Το machine unlearning βρίσκεται σε μια παράξενη θέση. Είναι εύκολο να περιγραφεί ως στόχος και δύσκολο να οριστεί με τρόπο που να ελέγχεται οριστικά.
Τι ακριβώς σημαίνει ότι ένα μοντέλο ξέχασε ένα βιβλίο; Πρέπει να μην μπορεί να επαναλάβει καμία φράση του; Να μη γνωρίζει την πλοκή; Να μην επηρεάζεται καθόλου το ύφος του; Τι γίνεται με πληροφορίες που υπάρχουν και σε εκατοντάδες άλλες πηγές;
Δεν υπάρχει μία μέτρηση που να απαντά σε όλα αυτά τα ερωτήματα. Γι’ αυτό οι νεότερες έρευνες δίνουν βάρος όχι μόνο σε νέους αλγορίθμους διαγραφής, αλλά και σε αυστηρότερους τρόπους αξιολόγησης.
Το πιθανότερο είναι ότι δεν θα προκύψει ένα καθολικό εργαλείο που θα αφαιρεί οποιαδήποτε γνώση από οποιοδήποτε μοντέλο. Θα χρειαστεί συνδυασμός μεθόδων: καλύτερη διαχείριση δεδομένων πριν από την εκπαίδευση, αρχιτεκτονικές που διευκολύνουν την απομόνωση πληροφοριών, ελεγχόμενη επανεκπαίδευση και εξωτερικά φίλτρα όπου η πλήρης διαγραφή δεν μπορεί να επιβεβαιωθεί.
Μέχρι τότε, η φράση «το μοντέλο ξέχασε» πρέπει να αντιμετωπίζεται με προσοχή. Ένα σύστημα μπορεί να έχει μάθει να μη μιλά για κάτι χωρίς να έχει πάψει πραγματικά να το γνωρίζει.
