Expertengruppe für die Überprüfung dieses Themas: Senior Systems Architects, High-Performance Computing (HPC) Storage Engineers und Large-Scale Data Scientists.
Zusammenfassung
Dieser Fachvortrag detailliert die Speicherinfrastruktur und Optimierungsstrategien, die zur Bewältigung der massiven Datenmengen des High Luminosity Large Hadron Collider (HL-LHC) Projekts am CERN bis 2030 erforderlich sind. Das Ziel ist eine kontinuierliche Verarbeitungsrate von 10 Terabit pro Sekunde über eine globale Hierarchie von Rechenzentren (Tier 0 bis Tier 2). Die Architektur stützt sich auf das ROOT-Dateiformat, das xrootd-Protokoll und softwaredefinierte Speichersysteme wie dCache und EOS. Ein wesentlicher Fokus liegt auf der physischen Implementierung mittels Hardware-RAID (RAID 6) auf Linux-Basis, wobei spezifische Kernel-Tuning-Parameter für Dirty Memory, TCP BBR und Read-Ahead genutzt werden, um die Lücke zwischen sequenziellem Hardware-Durchsatz und zufälligen wissenschaftlichen Zugriffsmustern zu schließen.
Wichtigste Punkte & Zeitstempel
0:30 HL-LHC Anforderungen: Das Upgrade zum High Luminosity LHC steigert die Zielrate für globales Lesen und Schreiben auf 10 Tbps, verteilt auf CERN und weltweite Partnerstandorte.
2:00 Exogene Faktoren: Die Speicherstrategie wird durch Kapitalismus (begrenzte Budgets), Politik (Verlust von Standorten wie Russland) und die Kosten für Datentransfer beeinflusst.
4:45 Tier-Hierarchie: Daten fließen von Tier 0 (CERN, lokale Kopie) über Tier 1 (regionale Zentren mit Disk/Tape) zu Tier 2 (kleinere Institute mit opportunistischem Speicher).
6:05 Immutable Objects: Alle Daten werden ähnlich wie bei S3 als unveränderliche Objekte gespeichert; Änderungen erfordern das Löschen und Neuerstellen der Datei.
6:36 LHCOPN Netzwerk: Die Standorte sind über das LHC Optical Private Network mit dedizierten Glasfaserstrecken (aktuell 400–800 Gbps) verbunden.
7:31 ROOT-Dateiformat: Ein 1990 entwickeltes Format, das C++-Klasseninstanzen (Serialisierung ähnlich wie Pickle) und ausführbaren Code speichert.
9:18 xrootd Protokoll: Ein RPC-basiertes System für parallele, selektive Lesezugriffe auf riesige Dateien, um unnötiges Kopieren ganzer Gigabyte-Files zu vermeiden.
11:30 Scientific Data Management: Tools wie Rucio (Katalogisierung) und FTS (File Transfer Service) orchestrieren die Platzierung und Bewegung der Petabytes.
14:45 Third Party Copies (TPC): Ermöglicht den direkten Datentransfer zwischen zwei Servern ohne Umweg über den Client (ähnlich RSync/SCP2), optimiert über Data Transfer Nodes (DTN).
16:22 CERN Tape Archive (CTA): Eine Open-Source-Lösung für die effiziente Verwaltung von Magnetbändern, die Zugriffe nach physischer Bandposition gruppiert.
18:16 dCache Architektur: Java-basiertes System, das Protokoll-Gateways (Doors), Metadaten-Datenbanken und Speicher-Pools trennt, um horizontale Skalierung zu ermöglichen.
21:13 Hardware-Spezifikationen: Einsatz von 5U Disc Shelves mit 1 PB Netto-Kapazität pro Server, 100G NICs und 16 TB SAS-Laufwerken unter XFS.
23:31 I/O-Optimierung: Visualisierung mittels BTT zeigt die Transformation von Random-Read-Mustern in sequenzielle Disk-Abläufe durch RAM-Caching.
26:14 RAID-Strategie: Bevorzugung von Hardware-RAID gegenüber ZFS/Ceph wegen geringerer CPU-Last, stabilen Linux-Mainline-Treibern und etablierten Admin-Workflows.
33:50 Kernel-Tuning: Reduktion von Dirty Memory Limits für schnelleres Flushing, Erhöhung des Read-Ahead und Nutzung des BBR TCP-Algorithmus für hohen Durchsatz auf instabilen Verbindungen.
Diskussions-Highlights
39:45 Controller-Redundanz: Moderne Broadcom/LSI-Karten speichern RAID-Metadaten auf den Disks, was den Wiederaufbau eines Arrays nach Controller-Ausfall durch einfachen Hardware-Tausch ermöglicht.
41:33 Fehlerquellen: Echter Datenverlust resultiert in der Praxis selten aus Hardware-Defekten, sondern primär aus Firmware-Bugs in SSDs oder Festplatten.
Glossar
HL-LHC (High Luminosity Large Hadron Collider): Ein geplantes Upgrade des Teilchenbeschleunigers am CERN zur Erhöhung der Kollisionsrate.
Petabyte (PB): Eine Maßeinheit für digitale Daten (1.000 Terabyte).
Tier 0/1/2: Hierarchische Klassifizierung von Rechenzentren im WLCG (Worldwide LHC Computing Grid).
LHCOPN: Ein dediziertes, geschlossenes Netzwerk für den Datenaustausch zwischen den primären LHC-Rechenzentren.
xrootd: Ein hochperformantes Protokoll zum Zugriff auf Datenarchive, das besonders effizient bei teilweisen Lesezugriffen ist.
Rucio: Eine Software zur Verwaltung wissenschaftlicher Daten, die den Ort und die Replizierung von Dateien über hunderte Standorte hinweg verfolgt.
FTS (File Transfer Service): Ein Dienst, der massive Datentransfers zwischen Endpunkten plant und überwacht, um Überlastungen zu vermeiden.
dCache: Ein verteiltes Speichersystem zur Verwaltung riesiger Datenmengen unter einem einheitlichen Namensraum.
RAID 6: Ein Verfahren zur Datenspeicherung auf mehreren Festplatten, das den gleichzeitigen Ausfall von zwei Festplatten ohne Datenverlust erlaubt.
Dirty Memory: Daten im Arbeitsspeicher, die verändert wurden, aber noch nicht auf die Festplatte geschrieben wurden.
BBR (Bottleneck Bandwidth and Round-trip propagation time): Ein von Google entwickelter TCP-Überlastungsalgorithmus, der den Durchsatz optimiert, indem er die verfügbare Bandbreite schätzt.
RPC (Remote Procedure Call): Eine Technik, bei der ein Computer ein Programm auf einem anderen Computer ausführt, als wäre es lokal.
XFS: Ein leistungsfähiges 64-Bit-Dateisystem, das besonders gut mit großen Dateien und parallelen I/O-Operationen umgehen kann.