Dieses Video dokumentiert eine ausführliche technische Führung durch den Supercomputer „El Capitan“ am Lawrence Livermore National Laboratory (LLNL), präsentiert von Scott Manley. Die Analyse beleuchtet die gesamte Systemarchitektur von der physischen Infrastruktur, den Strom- und Kühlsystemen bis hin zu den Rechenknoten, dem AMD MI300A APU-Design, dem Slingshot-Netzwerkinterconnect und dem Betriebssystem-Stack (TOSS). Zudem werden die praktischen Anwendungen im Bereich der nationalen Sicherheit, der Bestandsüberwachung von Kernwaffen sowie das unklassifizierte Zwillingssystem „Tuolumne“ für die offene Wissenschaft vorgestellt.
Wichtigste Punkte & Zeitstempel
0:07 Vorstellung von El Capitan: Überblick über El Capitan am Lawrence Livermore National Laboratory (LLNL) als eines der weltweit leistungsstärksten Supercomputing-Systeme.
0:29 Historischer Kontext & Top500: Einordnung des TOP500-Rankings und des Linpack-Benchmarks (Lösung linearer Algebra-Gleichungen in Gleitkommazahlen/Flops); Erwähnung des Systems Linshine aus China, das im Juni 2026 mit 2,198 Exaflops debütierte.
0:47 Architektur und Skalierung: Aufbau des Supercomputers aus über 11.400 Rechenknoten und mehr als 44.000 integrierten APUs (Accelerated Processing Units), vergleichbar mit 44.000 zusammengeschalteten Heimcomputern.
1:00 Rechenleistung und Energie: Erzielung von rund 1,7 bis 1,8 Exaflops Rechenleistung bei einem Gesamtstromverbrauch von etwa 30 Megawatt – einer Leistungssteigerung um das Fünffache bei nur vierfachem Stromverbrauch im Vergleich zur Vorgängergeneration Sierra.
7:12 Rack-Architektur & Dateisystem: Struktur der 90 Racks in zehn Reihen und physische Trennung vom separaten Dateisystem (Merced basierend auf dem Lustre Parallel File System).
8:00 Integration & Engineering: Mehrjährige Planungs- und Integrationsphasen, in denen späte technologische Entscheidungen zur Anpassung an schnell langlebige Hardware-Roadmaps getroffen werden.
10:02 AMD MI300A APU: Einsatz des AMD MI300A Chips als Kernkomponente, der CPU-Kerne, GPU-Beschleuniger und High Bandwidth Memory (HBM) auf einem gemeinsamen Silizium-Interposer mit über 100 Millionen Transistoren und 2,1 GHz Taktrate vereint.
13:09 Slingshot-Interconnect: Netzwerktopologie basierend auf 200-Gigabit-Ethernet-Signalübertragung pro Anschluss, verschaltet in einer All-to-All-Dragonfly-Topologie innerhalb und zwischen den Racks für minimale Hops.
15:06 Hardware-Komponenten im Rack: Flüssigkeitsgekühlte Netzmodule (Umwandlung von Hochspannungs-Gleichstrom), vertikale Compute-Blades und sogenannte Rabbits (kombinierte Speicher- und Computermodule mit SSDs und AMD-CPUs für Checkpointing und Daten-Postprocessing).
19:00 Betriebssystem-Stack (TOSS): Verwendung des Triilab Operating System Stack (TOSS) auf Basis von Red Hat Enterprise Linux mit HPC-spezifischen Modulen; völlig disklose Rechenknoten zur Fehlervermeidung und der Ressourcemanager Flux für die hierarchische Job-Verwaltung.
20:51 Kernel-Optimierungen & OS-Noise: Vollständig kohärenter gemeinsamer Speicher (HBM) für CPU und GPU im Kernel sowie Modifikationen zur Eliminierung von Betriebssystem-Rauschen (OS-Noise), um Synchronisationsverzögerungen bei über 46.000 MPI-Tasks zu minimieren.
27:25 Kühlung & Infrastruktur (ECFM): Das Exascale Computing Facility Modernization (ECFM)-Projekt fügte 40 Megawatt zusätzliche Leistung und einen 18.000-Tonnen-Kühlturm hinzu; der Kreislauf nutzt evaporative Kühlung mit 10.000 Gallonen pro Minute und wurde vorab mit mobilen Lastbank-Trailern (Load Bank Trailers) als Heizkessel kommissioniert.
36:44 Stromversorgung & Unterstationen: Netzeinspeisung mit 115 kV von zwei parallelen Versorgern, Transformierung auf 13,8 kV im Unterwerk U450 und anschließende Reduzierung auf 480 V AC an den Rack-Verteilern.
30:00 Mission & Anwendung (Nukleare Sicherheit): Finanzierung durch die National Nuclear Security Administration (NNSA); Hauptaufgabe ist das Stewardship und die Modernisierung des US-Kernwaffenarsenals durch Simulationen anstelle physischer Tests.
48:47 Software-Ökosystem & Physics Codes: Verwaltung des Software-Stacks durch ein Sub-Center of Excellence zur Abstraktion der Hardwarekomplexität, Erstellung von unklassifizierten Reproduzieren zur Fehlersuche in Zusammenarbeit mit Hardware-Herstellern.
55:01 Numerische Simulationen & Hydrodynamik: Einsatz des Miranda-Codes für kompressible Fluiddynamik-Simulationen, dreidimensionale Hydrocodes, Überschall-Stoßwellen und adaptive Gitterverfeinerung.
1:05:32 Gleitkomma-Präzision (64-bit): Aktive Forschung zur Notwendigkeit von 64-Bit-Doppelpräzision (Double Precision) gegenüber 32-Bit- oder 16-Bit-Formaten zur Vermeidung von Fehlerfortpflanzung in nichtlinearen Systemen und Preconditioning-Verfahren.
1:09:18 Trägheitseinschlussfusion (ICF): Simulationen von Hohlraum-Kapseln (Inertial Confinement Fusion) zur Untersuchung von hydrodynamischen Instabilitäten und Strahlungstransport, um experimentelle Zündungserträge vorherzusagen.
1:20:00 Tuolumne (Open-Science-Zwilling): Vorstellung von Tuolumne, dem unklassifizierten Zwillingssystem von El Capitan (etwa ein Neuntel der Größe), das für offene wissenschaftliche Forschung (Erdbeben, Astrophysik, Klimasimulationen) und gemeinsames Hardware-Debugging genutzt wird.
Glossar
Exaflops (Exoflops): Eine Maßeinheit für die Rechenleistung eines Computers; entspricht einer Trillion ($10^{18}$) Gleitkommaoperationen pro Sekunde.
APU (Accelerated Processing Unit): Ein Mikroprozessor, der zentrale Recheneinheiten (CPU) und Grafik- beziehungsweise Parallelrecheneinheiten (GPU) sowie gemeinsamen Speicher auf einem einzigen Silizium-Die integriert.
HBM (High Bandwidth Memory): Ein computerinterner Hochgeschwindigkeits-Arbeitsspeicher mit extrem hoher Datenübertragungsrate, bei dem Speicherdioden vertikal übereinandergestapelt sind.
Linpack: Ein standardisierter Software-Benchmark zur Lösung linearer Gleichungssysteme, der zur Messung der Rechengeschwindigkeit und zur Erstellung der TOP500-Liste von Supercomputern verwendet wird.
Slingshot-Interconnect: Ein hochentwickeltes, Ethernet-basiertes Hochleistungs-Netzwerk von HPE Cray, das für extrem niedrige Latenzen und hohe Bandbreiten in Großrechnern ausgelegt ist.
Dragonfly-Topologie: Eine Netzwerktopologie, bei der Rechenknoten und Switches innerhalb von Racks und über Gruppen hinweg allumfassend verschaltet sind, um die Anzahl der Zwischenschritte (Hops) zu minimieren.
MPI (Message Passing Interface): Ein standardisiertes Programmiermodell, das die Kommunikation und Datenaustauschprozesse zwischen verteilten Rechenknoten in parallelen Computersystemen steuert.
TOSS (Triilab Operating System Stack): Ein speziell vom Lawrence Livermore National Laboratory entwickelter Betriebssystem-Stack basierend auf Red Hat Enterprise Linux, optimiert für Höchstleistungsrechner.
Flux: Ein moderner, hierarchischer Ressourcemanager und Scheduler, der am LLNL entwickelt wurde, um die parallele Ausführung und dynamische Aufteilung von Rechenjobs zu steuern.
OS-Noise (Betriebssystem-Rauschen): Unvorhersehbare Unterbrechungen von Rechenprozessen durch Hintergrundaktivitäten des Betriebssystems, die in synchronisierten Supercomputern zu Verzögerungen an den Synchronisationspunkten (Barrieren) führen.
Rabbit-Modul: Ein modulares Untersystem in HPE-Supercomputern, das SSD-Speicher und AMD-CPUs kombiniert, um Checkpointing, Caching und die Echtzeit-Nachbearbeitung von Daten durchzuführen.
Trägheitseinschlussfusion (ICF - Inertial Confinement Fusion): Ein Verfahren zur Freisetzung von Fusionsenergie, bei dem winzige Brennstoffkapseln durch intensive Laser- oder Röntgenstrahlung extrem komprimiert werden.
Hohlraum (Hohlraum / Hoohlraum): Ein kleiner Strahlungsbehälter (oft aus Gold) bei der indirekten Laserträgheitseinschlussfusion, der Laserlicht in thermische Röntgenstrahlung umwandelt.
Preconditioning (Vorkonditionierung): Ein mathematisches Verfahren zur Umformung eines komplexen Gleichungssystems in eine leichter lösbare Form, um die Konvergenzgeschwindigkeit numerischer Berechnungen zu verbessern.