Ο κρυφός «φόρος» της AI όταν δεν μιλάς αγγλικά
Μια εταιρεία φτιάχνει έναν ψηφιακό βοηθό για να απαντά στις ερωτήσεις των πελατών της. Επιλέγει μοντέλο τεχνητής νοημοσύνης, ελέγχει την τιμή και υπολογίζει πόσες συνομιλίες αντέχει ο προϋπολογισμός της. Υπάρχει, όμως, μια παράμετρος που μπορεί να αλλάξει τον λογαριασμό πριν καν δοθεί η πρώτη απάντηση: η γλώσσα των πελατών.
Ρεπορτάζ του Rest of World, που δημοσιεύθηκε στις 26 Οκτωβρίου, επαναφέρει το ζήτημα του «tokenizer tax». Πρόκειται για την πρόσθετη επιβάρυνση που μπορεί να προκύπτει όταν ένα σύστημα AI χρειάζεται περισσότερες μονάδες επεξεργασίας για να χειριστεί περιεχόμενο σε ορισμένες γλώσσες. Ο όρος περιγράφει μια τεχνική και οικονομική ανισότητα, όχι πραγματικό φόρο. Rest of World
Η διαφορά έχει πρακτική σημασία. Μια κοινή τιμή ανά μονάδα χρήσης δεν εξασφαλίζει ότι δύο άνθρωποι θα πληρώσουν το ίδιο για μια αντίστοιχη υπηρεσία στη μητρική τους γλώσσα.
Γιατί τα μοντέλα μετρούν tokens αντί για λέξεις
Πριν επεξεργαστεί ένα κείμενο, ένα γλωσσικό μοντέλο το μετατρέπει σε tokens: μικρές μονάδες που μπορεί να αντιστοιχούν σε ολόκληρες λέξεις, τμήματα λέξεων, σημεία στίξης ή ακόμη μικρότερα κομμάτια. Αυτή τη δουλειά αναλαμβάνει ο tokenizer.
Ο διαχωρισμός δεν είναι ίδιος για κάθε μοντέλο. Συνηθισμένες ακολουθίες χαρακτήρων μπορούν να αποθηκεύονται ως μία μονάδα, ενώ λιγότερο συνηθισμένες να κατακερματίζονται. Η τεχνική τεκμηρίωση της Hugging Face εξηγεί πώς μέθοδοι όπως το Byte Pair Encoding μαθαίνουν τέτοιους συνδυασμούς από δεδομένα. Το ότι ένα σύστημα μπορεί να αναπαραστήσει ένα κείμενο δεν σημαίνει ότι το αναπαριστά οικονομικά. Hugging Face
Έτσι, δύο προτάσεις με αντίστοιχο νόημα και παρόμοιο μήκος μπορούν να έχουν διαφορετικό «μέγεθος» για το μοντέλο. Η οθόνη δείχνει μια μικρή παράγραφο· το σύστημα χρέωσης βλέπει έναν αριθμό tokens.
Τι έδειξε η νέα ανάλυση
Η CLEAR, μια πρωτοβουλία για τη γλωσσική ισότητα στην AI, δημοσίευσε στις 29 Σεπτεμβρίου ανάλυση με επαγγελματικά μεταφρασμένες προτάσεις του συνόλου FLORES-200. Εξέτασε 203 συνδυασμούς γλώσσας και συστήματος γραφής.
Στην πιο ακραία περίπτωση, η αναλογία tokens ανάμεσα στη λιγότερο και την περισσότερο αποδοτικά κωδικοποιημένη γλώσσα έφτασε το 17 προς 1. Πρόκειται για σύγκριση μέσα στον ίδιο tokenizer, για αντίστοιχο περιεχόμενο. Δεν σημαίνει ότι όλες οι μη αγγλικές γλώσσες κοστίζουν 17 φορές περισσότερο ούτε ότι όλοι οι πάροχοι εμφανίζουν την ίδια απόκλιση.
Η εργασία δημοσιεύεται ως ανάλυση στον ιστότοπο της CLEAR, με διαθέσιμο κώδικα αναπαραγωγής. Δεν παρουσιάζεται ως δημοσίευση που έχει περάσει από αξιολόγηση ομοτίμων. CLEAR
Ένα πρόβλημα που είχε καταγραφεί ήδη από το 2023
Η βασική διαπίστωση δεν στηρίζεται μόνο στη νέα ανάλυση. Ερευνητές είχαν εξετάσει το ίδιο πρόβλημα σε εργασία που δημοσιεύθηκε στο επιστημονικό συνέδριο EMNLP το 2023.
Μελετώντας 22 διαφορετικές γλώσσες και τις τότε υπηρεσίες μοντέλων της OpenAI, εντόπισαν περιπτώσεις όπου οι χρήστες επιβαρύνονταν περισσότερο, ενώ λάμβαναν χειρότερα αποτελέσματα. Η έρευνα συνέδεσε τον τρόπο τεμαχισμού του κειμένου με την οικονομική πρόσβαση στις υπηρεσίες. ACL Anthology — EMNLP 2023
Τα συγκεκριμένα αποτελέσματα αφορούν τα μοντέλα και τις τιμές εκείνης της περιόδου. Δεν αποτελούν σημερινό τιμοκατάλογο. Επιβεβαιώνουν, όμως, ότι η γλωσσική ανισότητα στη χρέωση είναι μετρήσιμο πρόβλημα με ερευνητικό παρελθόν.
Πότε τα περισσότερα tokens γίνονται περισσότερα χρήματα
Η οικονομική επίπτωση είναι πιο άμεση στα API: στις υπηρεσίες μέσω των οποίων επιχειρήσεις και προγραμματιστές ενσωματώνουν μοντέλα στις εφαρμογές τους και πληρώνουν ανάλογα με τη χρήση.
Ας υποθέσουμε ότι δύο ισοδύναμα κείμενα απαιτούν 1.000 και 3.000 tokens αντίστοιχα. Με την ίδια τιμή ανά token εισόδου, το δεύτερο κοστίζει τριπλάσια για την εισαγωγή του στο συγκεκριμένο μοντέλο. Είναι υποθετικό παράδειγμα αριθμητικής, όχι μέτρηση για κάποια συγκεκριμένη γλώσσα.
Ο συνολικός λογαριασμός χρειάζεται περισσότερα στοιχεία: πόσο κείμενο παράγεται στην απάντηση, ποιες τιμές εφαρμόζονται στην είσοδο και την έξοδο, αν χρησιμοποιούνται εκπτώσεις για επαναλαμβανόμενο περιεχόμενο και αν υπάρχουν πρόσθετες υπηρεσίες.
Δεν προκύπτει, επίσης, ότι ένας ελληνόφωνος καταναλωτής πληρώνει αυτομάτως ακριβότερη μηνιαία συνδρομή σε ένα chatbot. Η συνδρομή και η χρέωση μιας εφαρμογής ανά token είναι διαφορετικά εμπορικά μοντέλα. Το πρόβλημα γίνεται ιδιαίτερα σημαντικό όταν μια επιχείρηση πρέπει να εξυπηρετεί χιλιάδες χρήστες με συγκεκριμένο προϋπολογισμό.
Τι σημαίνει για τα ελληνικά
Η ελληνική γλώσσα εμφανίζεται σε συγκεκριμένο εύρημα της CLEAR: για το Qwen 3, η μεγαλύτερη μεμονωμένη αύξηση της αναλογίας ανισότητας καταγράφεται όταν προστίθενται τα ελληνικά στη σταδιακά διευρυνόμενη ομάδα γλωσσών της δοκιμής.
Αυτό δεν αποτελεί ενιαίο συντελεστή επιβάρυνσης για τα ελληνικά. Αφορά συγκεκριμένο tokenizer, δεδομένα και μέθοδο σύγκρισης. CLEAR
Για μια ελληνική εφαρμογή, η χρήσιμη ερώτηση είναι επομένως συγκεκριμένη: πόσα tokens απαιτούν τα πραγματικά μηνύματα, έγγραφα και απαντήσεις της;
Ένα σύστημα εξυπηρέτησης πελατών, για παράδειγμα, μπορεί να χειρίζεται ελληνικά μαζί με αγγλικές ονομασίες προϊόντων, αριθμούς παραγγελιών και συντομογραφίες. Μια δοκιμή με μία μεταφρασμένη παράγραφο δεν αντιπροσωπεύει απαραίτητα αυτό το μείγμα. Ο υπολογισμός χρειάζεται υλικό από την πραγματική χρήση, με προστατευμένα προσωπικά δεδομένα.
Το κόστος δεν είναι η μόνη επίπτωση
Τα μοντέλα έχουν και όριο στο περιεχόμενο που μπορούν να χειριστούν μέσα σε μία συνομιλία ή αίτημα: το λεγόμενο παράθυρο συμφραζομένων. Όταν αυτό εκφράζεται σε tokens, η ίδια ονομαστική χωρητικότητα δεν αντιστοιχεί απαραίτητα στην ίδια ποσότητα πληροφορίας σε κάθε γλώσσα.
Σε ένα απλουστευμένο παράδειγμα, αν ένα σύνολο μεταφρασμένων εγγράφων απαιτεί διπλάσια tokens, θα χρειάζεται περίπου διπλάσιο χώρο. Η εφαρμογή ίσως πρέπει να επιλέγει λιγότερα αποσπάσματα ή να τα επεξεργάζεται σε περισσότερα στάδια.
Αυτό δημιουργεί σχεδιαστικές επιλογές: τι θα παραλειφθεί, τι θα συνοψιστεί και πόσα επιπλέον αιτήματα θα χρειαστούν; Η γλώσσα μπορεί έτσι να επηρεάζει και τη λειτουργία της υπηρεσίας.
Δεν υπάρχει, πάντως, απλός κανόνας ότι διπλάσια tokens σημαίνουν διπλάσιο χρόνο αναμονής. Η ταχύτητα εξαρτάται και από το μοντέλο, την υποδομή και την παραγωγή της απάντησης.
Λιγότερα tokens δεν εγγυώνται καλύτερη AI
Ένας αποδοτικός tokenizer είναι χρήσιμος, αλλά δεν αρκεί για να επιλέξει κανείς μοντέλο. Εργασία που δημοσιεύθηκε στα Findings του NAACL το 2024 εξέτασε την επίδραση διαφορετικών tokenizers στην εκπαίδευση και την απόδοση γλωσσικών μοντέλων.
Οι ερευνητές διαπίστωσαν ότι η επιλογή tokenizer έχει ουσιαστικές συνέπειες. Παράλληλα, έδειξαν ότι συνηθισμένοι δείκτες αποδοτικότητας του τεμαχισμού δεν προβλέπουν πάντα την ποιότητα στις τελικές εργασίες. ACL Anthology — NAACL 2024
Για έναν αγοραστή υπηρεσιών AI, αυτό σημαίνει ότι το κόστος πρέπει να εξετάζεται μαζί με την ορθότητα. Μια οικονομική απάντηση που απαιτεί ανθρώπινη διόρθωση μπορεί τελικά να στοιχίζει περισσότερο. Αντίστοιχα, η καλή επίδοση ενός μοντέλου στα αγγλικά δεν αντικαθιστά τη δοκιμή του στη γλώσσα των χρηστών.
Τι μπορούν να κάνουν οι εφαρμογές σήμερα
Το πρώτο βήμα είναι η μέτρηση πριν από την επιλογή παρόχου. Υπάρχουν ήδη εργαλεία που υπολογίζουν τα tokens ενός αιτήματος πριν σταλεί στο μοντέλο. Η τεκμηρίωση της Anthropic περιγράφει αυτή τη δυνατότητα για εκτίμηση κόστους, διαχείριση ορίων και προσαρμογή του μήκους των αιτημάτων. Anthropic — Token counting
Μια ουσιαστική αξιολόγηση θα μπορούσε να συγκρίνει τα ίδια αντιπροσωπευτικά περιστατικά σε διαφορετικά μοντέλα: τελικό κόστος, χρόνο απόκρισης, ποιότητα και ανάγκη διορθώσεων. Έτσι αποφεύγεται η επιλογή μόνο από την τιμή ανά εκατομμύριο tokens, η οποία δεν περιγράφει από μόνη της το κόστος ολοκλήρωσης μιας δουλειάς.
Η μετάφραση όλων των αιτημάτων στα αγγλικά δεν είναι αυτονόητη λύση. Προσθέτει ένα ακόμη στάδιο, με δικό του κόστος και πιθανότητα απώλειας νοήματος, ιδιαίτερα όταν το κείμενο περιέχει τοπικές εκφράσεις ή ειδική ορολογία.
Η ουσιαστική απαίτηση από την πολυγλωσσική AI είναι να λειτουργεί καλά στις γλώσσες που υπόσχεται να υποστηρίζει. Αυτό περιλαμβάνει και διαφάνεια για τους πόρους που χρειάζεται. Για μια υπηρεσία που απευθύνεται σε όλους, η μητρική γλώσσα του χρήστη δεν μπορεί να αντιμετωπίζεται ως λεπτομέρεια του προϋπολογισμού.
Πηγές
- Rest of World — AI models cost more when you don’t use English
- CLEAR — The Tokenizer Tax
- EMNLP 2023 — Do All Languages Cost the Same? Tokenization in the Era of Commercial Language Models
- NAACL 2024 — Tokenizer Choice For LLM Training: Negligible or Crucial?
- Hugging Face — Summary of the tokenizers
- Anthropic — Token counting
