Meta Prometheus: Gigawatt-Supercluster in Ohio

In New Albany, Ohio, befindet sich ein markanter Schritt in der Entwicklung von Meta: Das Prometheus-Supercluster. Dieses gigawattfähige System soll als Basis für die nächsten Generationen von KI-Modellen dienen. Die erste Phase ist bereits fertiggestellt und dient aktuell dem Training der Muse-Foundation-Modelle, darunter das neue Muse Wonder.

Technisch gesehen wird das Cluster auf ca. 1 Million GPUs skaliert. Für Partner im Bereich Data Center und IT sind dabei neue Herausforderungen entstanden. Da ein Fehler auf einem einzelnen Host den gesamten Job stoppen kann, ist die Flottenstabilität entscheidend. Meta konnte während der Trainings über 85% Goodput erreichen und für Reinforcement Learning sogar mehr als 90%. Durch die Nutzung von NVL72-Racks mit 72 GPUs pro Rack wurde das Ausfallrisiko drastisch reduziert; ein einzelnes Gerät wird durch einen eingebauten Ersatz ersetzt.

Die Infrastruktur setzt auf verschiedene Plattformen. Das erste System, Catalina, basiert auf der NVIDIA GB200 NVL72 und nutzt eine zwei-Rack-Konfiguration mit 36 GPUs pro Rack. Das zweite System, Clemente, verwendet die NVIDIA GB300 NVL72 und packt 72 Blackwell Ultra-GPUs in einen einzigen Rack. Zudem wird ein dritter Rack-Typ, San Miguel, mit flüssigem Kühlungssystem erwartet.

Besonders relevant ist die Netzwerkinfrastruktur. Im Gegensatz zu herkömmlichen Webdiensten, bei denen Datenverkehr zwischen Servern läuft, erfordert das Training großer Modelle eine hohe Bandbreite und niedrige Latenz für den direkten GPU-zu-GPU-Transfer. Daher baut Meta ein dediziertes "Back-End"-Netzwerk auf, um die Kommunikation innerhalb der Gebäude und zwischen denselben zu optimieren.