Διάδρομος κέντρου δεδομένων με σειρές ικριωμάτων διακομιστών

Prometheus: Μέσα στην υποδομή της Meta που στοχεύει το ένα εκατομμύριο GPU

Στο New Albany του Οχάιο, η Meta συνδέει εκατοντάδες χιλιάδες επεξεργαστές γραφικών σε μια υποδομή εκπαίδευσης τεχνητής νοημοσύνης που φιλοδοξεί να επεκτείνει σε περίπου ένα εκατομμύριο GPU. Το όνομά της είναι Prometheus και, σύμφωνα με την εταιρεία, η πρώτη φάση έχει ήδη ολοκληρωθεί και χρησιμοποιήθηκε για την εκπαίδευση μοντέλων της οικογένειας Muse.

Η τεχνική παρουσίαση που δημοσιεύθηκε στις 19 Οκτωβρίου περιγράφει ένα συγκρότημα πολλών διασυνδεδεμένων κτιρίων, με πλατφόρμες NVIDIA GB200 και GB300 και σχεδιαζόμενη προσθήκη εξοπλισμού Vera Rubin. Η Meta το χαρακτηρίζει υποδομή κλίμακας gigawatt. Το ένα εκατομμύριο GPU αποτελεί στόχο πλήρους ανάπτυξης, όχι τον σημερινό εγκατεστημένο αριθμό. Πηγή: Engineering at Meta.

Οι αριθμοί εντυπωσιάζουν, αλλά το δυσκολότερο μέρος βρίσκεται ανάμεσά τους: πώς συνεργάζονται τόσα μηχανήματα, πώς απομακρύνεται η θερμότητά τους και πώς συνεχίζεται μια εργασία όταν κάποιο εξάρτημα παρουσιάσει πρόβλημα.

Το Prometheus δείχνει πόσο έχει μετατοπιστεί ο ανταγωνισμός στην AI. Η ανάπτυξη ενός μοντέλου εξαρτάται πλέον και από αποφάσεις που θυμίζουν μεγάλο βιομηχανικό έργο: ηλεκτροδότηση, σωληνώσεις, εφεδρείες και συντήρηση.

Τι σημαίνει «supercluster» στην πράξη

Μια μεγάλη υποδομή AI πρέπει να μοιράζει υπολογισμούς σε πολλούς επεξεργαστές και να ανταλλάσσει αποτελέσματα μεταξύ τους. Η αγορά περισσότερων GPU δεν αρκεί, αν αυτές περνούν σημαντικό μέρος του χρόνου τους περιμένοντας δεδομένα.

Η Meta είχε περιγράψει ήδη από το 2024 δύο συστοιχίες με 24.576 GPU H100 η καθεμία, χρησιμοποιώντας διαφορετικές τεχνολογίες δικτύωσης. Στην ίδια παρουσίαση εξηγούσε ότι χρειάστηκαν αλλαγές στη δρομολόγηση, στον προγραμματισμό εργασιών και στο λογισμικό επικοινωνίας για να αξιοποιηθεί αποτελεσματικά το μεγαλύτερο μέγεθος. Πρόκειται για προγενέστερες εγκαταστάσεις, που αποτυπώνουν την τεχνική διαδρομή προς τη σημερινή κλίμακα. Πηγή: Meta — Building Meta’s GenAI Infrastructure.

Μπορούμε να το σκεφτούμε ως μια ομάδα που μοιράζεται μια τεράστια εργασία. Αν κάθε μέλος ολοκληρώνει γρήγορα το δικό του κομμάτι, αλλά περιμένει συνεχώς τους υπόλοιπους, η συνολική απόδοση παραμένει χαμηλή. Στους υπολογιστές, αυτή η αναμονή μεταφράζεται σε ακριβό εξοπλισμό που δεν παράγει χρήσιμο αποτέλεσμα.

Γι’ αυτό η δικτύωση αποτελεί μέρος του υπολογιστικού συστήματος και επηρεάζει άμεσα την ταχύτητα εκπαίδευσης.

Οι GPU οργανώνονται πλέον σε ολόκληρα ικριώματα

Η πλατφόρμα GB300 NVL72 της NVIDIA δείχνει πώς αλλάζει η βασική μονάδα κατασκευής ενός σύγχρονου κέντρου AI. Συνδυάζει 72 GPU Blackwell Ultra και 36 επεξεργαστές Grace σε ένα ικρίωμα — το μεταλλικό πλαίσιο που φιλοξενεί τον εξοπλισμό.

Το NVLink επιτρέπει τη γρήγορη επικοινωνία ανάμεσα στις GPU, ώστε να συνεργάζονται ως μια ενιαία πολυεπεξεργαστική μονάδα. Η αρχιτεκτονική αναφοράς της NVIDIA προβλέπει υγρή ψύξη και ενσωματωμένη ανίχνευση διαρροών. Πηγή: NVIDIA — System Hardware & Components.

Η συγκέντρωση περισσότερης ισχύος σε μικρότερο χώρο αλλάζει τις απαιτήσεις της εγκατάστασης. Η τροφοδοσία και η ψύξη πρέπει να σχεδιάζονται μαζί με τον υπολογιστικό εξοπλισμό. Ένα κτίριο που εξυπηρετούσε συμβατικούς servers δεν είναι απαραίτητα έτοιμο να δεχτεί τέτοια πυκνότητα.

Υπάρχει και μια σημαντική διάκριση στις μετρήσεις: η μέγιστη θεωρητική υπολογιστική επίδοση ενός συστήματος δεν ισοδυναμεί με την ταχύτητα μιας πραγματικής εκπαίδευσης. Η δεύτερη επηρεάζεται από το μοντέλο, τη μνήμη, την ανταλλαγή δεδομένων και τις διακοπές λειτουργίας.

Το πραγματικό ζητούμενο είναι ο χρόνος χρήσιμης δουλειάς

Η Meta αναφέρει ότι στις εκπαιδεύσεις του Muse Wonder πέτυχε «goodput» άνω του 85% στην προεκπαίδευση και άνω του 90% στην ενισχυτική μάθηση. Είναι εταιρικές μετρήσεις, χωρίς ανεξάρτητη επαλήθευση στην τεχνική παρουσίαση, και δεν πρέπει να εκλαμβάνονται ως ποσοστά αξιοποίησης της θεωρητικής υπολογιστικής ισχύος. Πηγή: Engineering at Meta.

Το ευρύτερο πρόβλημα περιγράφεται σε προδημοσίευση ερευνητών της εταιρείας στο arXiv: σε πολύ μεγάλες εκπαιδεύσεις, οι συχνές βλάβες και ο χρόνος ανάκαμψης μειώνουν τον αποτελεσματικό χρόνο εργασίας.

Η προτεινόμενη προσέγγιση επιτρέπει να αποσύρεται προσωρινά το τμήμα της εκπαίδευσης που επηρεάζεται από μια βλάβη, ενώ άλλα τμήματα συνεχίζουν. Το προβληματικό τμήμα επανεκκινείται και επανεντάσσεται. Η εργασία είναι διαθέσιμη ως προδημοσίευση, επομένως τα αποτελέσματά της χρειάζονται την αντίστοιχη επιφύλαξη. Πηγή: Training LLMs with Fault Tolerant HSDP on 100,000 GPUs.

Η πρακτική σημασία είναι μεγάλη: η βελτίωση της αξιοπιστίας μπορεί να αποδώσει περισσότερο χρήσιμο υπολογιστικό έργο από τον ίδιο εξοπλισμό. Δεν χρειάζεται κάθε κέρδος απόδοσης να προέρχεται από την αγορά νέων επεξεργαστών.

Η ψύξη γίνεται μέρος της αρχιτεκτονικής

Σε ξεχωριστή παρουσίασή της για την υγρή ψύξη, η Meta περιγράφει ένα κύκλωμα στο οποίο μείγμα νερού και γλυκόλης μεταφέρει τη θερμότητα από τον εξοπλισμό σε εναλλάκτες. Το υγρό επανέρχεται στους servers και χρησιμοποιείται ξανά, αντί να απορρίπτεται μετά από κάθε διαδρομή. Πηγή: Meta — Closed-Loop Cooling Explained.

Η τεχνική αυτή επιτρέπει την απομάκρυνση θερμότητας κοντά στην πηγή της και διευκολύνει την τοποθέτηση περισσότερου εξοπλισμού στον ίδιο χώρο. Η Meta δηλώνει ότι χρησιμοποιεί κλειστά κυκλώματα υγρής ψύξης και στο Prometheus.

Ωστόσο, η ανακυκλοφορία του ψυκτικού δεν αποτελεί από μόνη της πλήρη περιβαλλοντικό απολογισμό. Χρειάζεται να γνωρίζουμε πώς αποβάλλεται τελικά η θερμότητα, πόση ηλεκτρική ενέργεια απαιτεί η λειτουργία και ποια είναι η συνολική κατανάλωση νερού της εγκατάστασης.

Η σωστή ερώτηση δεν εξαντλείται στο αν το σύστημα χρησιμοποιεί αέρα ή υγρό. Αφορά την απόδοση ολόκληρης της εγκατάστασης, σε διαφορετικές θερμοκρασίες περιβάλλοντος και επίπεδα φόρτου.

Ένα gigawatt δεν είναι ετήσια κατανάλωση

Ο χαρακτηρισμός «κλίμακας gigawatt» χρειάζεται προσοχή. Το gigawatt είναι μονάδα ισχύος: περιγράφει τον ρυθμό με τον οποίο καταναλώνεται ή παρέχεται ενέργεια. Η ετήσια κατανάλωση εκφράζεται σε μονάδες όπως οι τεραβατώρες.

Για παράδειγμα, ένα υποθετικό φορτίο που θα λειτουργούσε συνεχώς στο ένα gigawatt επί ένα μη δίσεκτο έτος θα κατανάλωνε 8,76 τεραβατώρες. Ο αριθμός προκύπτει από τον πολλαπλασιασμό της ισχύος επί τις 8.760 ώρες του έτους. Δεν αποτελεί μέτρηση ή πρόβλεψη για το Prometheus.

Για να υπολογιστεί η πραγματική κατανάλωση χρειάζονται στοιχεία για τον ενεργό εξοπλισμό, τον φόρτο του και τις βοηθητικές εγκαταστάσεις. Η ονομαστική δυνατότητα ενός έργου και η μέση λειτουργία του μπορεί να διαφέρουν σημαντικά.

Αυτή η διάκριση έχει σημασία και για το ηλεκτρικό δίκτυο. Μια νέα μεγάλη σύνδεση δημιουργεί απαιτήσεις σχεδιασμού, ακόμη κι αν η εγκατάσταση γεμίσει σταδιακά με servers.

Η AI συναντά τα όρια των ενεργειακών υποδομών

Στην επικαιροποιημένη ανάλυσή του για το 2026, ο Διεθνής Οργανισμός Ενέργειας προβλέπει ότι η παγκόσμια κατανάλωση ηλεκτρισμού των κέντρων δεδομένων θα αυξηθεί από περίπου 485 τεραβατώρες το 2025 σε 950 το 2030. Πρόκειται για προβολή που αφορά το σύνολο των data centers, όχι αποκλειστικά την AI ούτε τη Meta. Πηγή: IEA — Key Questions on Energy and AI.

Ο οργανισμός επισημαίνει επίσης περιορισμούς στις συνδέσεις με τα δίκτυα και στις αλυσίδες εφοδιασμού. Η γρήγορη ανάπτυξη των υπολογιστικών εγκαταστάσεων δεν συμβαδίζει πάντα με τον χρόνο κατασκευής των ενεργειακών υποδομών.

Για τις τοπικές κοινωνίες, επομένως, το ενδιαφέρον επεκτείνεται πέρα από την τεχνολογική επίδοση. Αφορά το ποιος χρηματοδοτεί τις αναβαθμίσεις, πώς διαμορφώνεται η ζήτηση και ποια στοιχεία δημοσιοποιούνται για τη λειτουργία. Ο IEA τονίζει ότι η επίδραση στις τιμές ηλεκτρισμού εξαρτάται από τις συνθήκες κάθε συστήματος και τις πολιτικές επιλογές· δεν είναι ίδια παντού.

Το μέγεθος πρέπει να μεταφραστεί σε αποτέλεσμα

Το Prometheus αποτελεί συγκεκριμένο παράδειγμα της βιομηχανικής κλίμακας που αποκτά η τεχνητή νοημοσύνη. Η ολοκλήρωση της πρώτης φάσης, όπως την περιγράφει η Meta, είναι διαφορετικό ορόσημο από την επίτευξη του τελικού στόχου επέκτασης.

Ο αριθμός των GPU θα συνεχίσει να τραβά την προσοχή. Η ουσιαστική αξιολόγηση, όμως, χρειάζεται περισσότερα: πόσο χρήσιμο έργο παράγεται, πόσοι πόροι απαιτούνται και ποιες δυνατότητες φτάνουν τελικά στους χρήστες.

Ένα μεγαλύτερο υπολογιστικό σύστημα διευρύνει τις επιλογές των ερευνητών. Η αξία του θα κριθεί από το τι καταφέρνουν να κάνουν με αυτές.

Πηγές

ΣΧΕΤΙΚΑ ΑΡΘΡΑ