Dieser Konferenzbericht synthetisiert die technischen Sessions des Google AI Dev Lab mit Schwerpunkt auf der Skalierung von Machine-Learning-Workloads über den gesamten Hardware- und Compiler-Stack (TPUs, AMD/Intel-GPUs, XLA, JAX und PyTorch). Das ideale Review-Gremium für diese Thematik setzt sich aus Senior AI Infrastructure Architects, ML-Compiler-Ingenieuren und HPC/Kernel-Entwicklern zusammen, da die Beiträge primär hardwarenahe Optimierungen, Compiler-Zwischenrepräsentationen (StableHLO/PJRT), verteilte Sharding-Strategien sowie disaggregierte Trainings- und Inferenz-Architekturen behandeln.
Die Konferenzbeiträge gliedern sich in sechs Kernbereiche: (1) Vereinheitlichung von Compiler- und Laufzeitschichten durch StableHLO, PJRT und Torch TPU; (2) heterogene Hardware-Erweiterungen für AMD ROCm und Intel oneAPI mittels domänenspezifischer DSLs und Custom Calls; (3) Frameworks für großskaliges Pre- und Post-Training (MaxText, Tunix, Pathways); (4) hochperformante Inferenz und Reinforcement Learning (RL) für Mixture-of-Experts (MoE)-Modelle via vLLM und Tinix; (5) LLM-gestützte autonome Kernel-Generierung und -Migration (Max Code, Max Kernel, max_evol); sowie (6) domänenspezifische Adaptionen in Robotik, Quantensimulation, Datenbankbeschleunigung und klinischer Medizin.
Wichtigste Punkte
Compiler- und Laufzeitarchitektur (XLA, StableHLO, PJRT & Torch TPU): Google und Meta standardisieren den ML-Stack, um Hardwarefragmentierung aufzubrechen. StableHLO fungiert als versionsstabiles Kern-IR (~100 Ops) mit zweijähriger Vorwärts- und Rückwärtskompatibilität durch VHLO. PJRT entkoppelt Frameworks hardware-agnostisch über eine einheitliche C-API. Mit Torch TPU wird nativer PyTorch-Code über StableHLO direkt in XLA eingespeist; neue Modi wie „Defer and Fuse“ erzielen durch heuristische Kernel-Fusion über 50 % Leistungssteigerung. HLO garantiert durch ein striktes Rekursionsverbot vollständig statische Speicherallokationen zur Kompilierzeit.
Heterogene Beschleuniger-Integration (AMD & Intel): Die Öffnung des JAX/XLA-Ökosystems ermöglicht direkte Hardware-Kontrolle abseits von NVIDIA. AMDs FlyDSL bietet ein Python-basiertes „Layout-first“-Programmiermodell für Matrix-Hardware-Einheiten (MFMA), das bei Mixtral 8x7B (FP8) bis zu 3,5-fache Decode-Beschleunigungen erzielt. AMDs Jaxator bindet die AITer-Bibliothek über XLA Custom Calls an und realisiert 4-Bit-Fließkomma-Rezepte (MXFP4) mit bis zu 30 % Durchsatzgewinn gegenüber FP8. Für Intel-GPUs (Xe2-Architektur / Arc Pro B70) leitet das oneAPI-Backend Matrixoperationen an oneDNN und Elementwise-Ops über MLIR/SPIR-V weiter.
Großskaliges Pre- und Post-Training (MaxText, Tunix & Kinetic):MaxText skaliert State-of-the-Art-Modelle (Gemma 4, DeepSeek) über zehntausende TPUs, unterstützt elastisches Training via Pathways (Fehlertoleranz ohne Cluster-Neustarts) und überwacht Metriken wie Good Put und Bad Put. Tunix stellt eine modulare JAX-native Post-Training-Schicht für SFT, DPO und GRPO bereit. Kinetic schließt die Lücke zwischen lokaler IDE-Entwicklung und Google Kubernetes Engine (GKE) über den Python-Dekorator @kinetic.run, transparentes GCS-FUSE-Caching und integriertes Remote-Debugging.
MoE-Inferenz und Reinforcement Learning auf TPUs: Zur Beherrschung von XL-MoE-Modellen (z. B. Qwen3-Coder-480B) auf Ironwood-TPUs wurden Kommunikationsmuster restrukturiert: Das Ersetzen von all_to_all durch vollständige Token-Replikation und lokale Reduktion vor dem Transfer halbiert das Datenvolumen und verdoppelt den Durchsatz auf bis zu 286 Tokens/s/Chip (77 % theoretische Roofline-Effizienz). Das TPU-RL-Ökosystem und Tinix entkoppeln Rollout- und Trainings-Worker (Disaggregation), eliminieren Retokenisierungsdrift mittels Token-in-Token-Out (TiTO) und erzielen Sampler-Durchsätze von 35.000 Tokens/s.
Autonome Kernel-Entwicklung und Code-Migration: Zur Überwindung manueller Portierungsengpässe automatisieren Agentensysteme das ML-Engineering. Max Code migriert PyTorch-Code mit hoher numerischer Äquivalenz nach JAX. Max Kernel generiert und optimiert TPU-Kernel in Pallas über compiler-inspirierte Feedbackschleifen (4,7-facher Speedup bei Qwen 3). max_evol nutzt evolutionäre Algorithmen und Hardware-in-the-Loop-Testing via Pytest, um Triton-Pointer-Code autonom in Pallas-Ref-Code zu überführen (1,8-facher Speedup bei block-sparsamer Aufmerksamkeit).
Diffusion Transformer (DiT): Bei videobasierten DiTs entfallen >97 % der Rechenlast auf den Transformer; 2D-Mesh-Sharding verhindert OOM-Abbrüche auf TPU v6e-8.
Quantensimulation:JAX Quantum beschleunigt Hamilton-Simulationen; TPUs dominieren dichte Matrixmultiplikationen via MXUs, während H200-GPUs bei Eigenwertzerlegungen (eigh) führen (240x schneller als CPUs).
Klinische KI: Feintuning von Qwen-34B auf Notaufnahmeberichten (EHR/MDM) am Cedars-Sinai steigert den F1-Score bei ICD-10-Klassifikationen um 16 %, offenbart jedoch Risiken wie den Verlust von Chain-of-Thought-Fähigkeiten.
Analytische Datenbanken: Erste Studien zeigen, dass TPUs relationale SQL-Filter und Sparse-Lookups beschleunigen, HBM-Speicherbandbreite und Matrizenkonstruktion jedoch primäre Engpässe bleiben.
Gebärdensprachübersetzung & Edge-AI:PaliGemma 2 übersetzt indonesische Bisindo-Gebärden über 3x3-„Motion Grids“ mit 99,4 % Genauigkeit, bereitgestellt via Flutter und LiteRT/WebGPU.
Diskussions-Highlights
Modellqualitäts-Vergleich (gemini-3.5-flash-lite vs. gemini-3.6-flash):
Das Lite-Modell (gemini-3.5-flash-lite) ist für eine erste Orientierung funktional, fällt jedoch bei hardwarenahen Systemanalysen qualitativ deutlich ab.
Phonetische und nomenklatorische Halluzinationen: Das Lite-Modell übernimmt wiederholt fehlerhafte Transkriptionen unkritisch (z. B. „Palace“ statt Pallas, „Pal Jig 2“ / „Bali Jema“ statt PaliGemma 2). Das 3.6-Flash-Modell korrigiert diese Fachtermini zuverlässig im Kontext.
Granularität und Kausalität: 3.6-Flash erfasst exakte technische Abhängigkeiten (z. B. warum Minor-to-Major-Layouts gewählt werden, genaue Kompilierungszeiten wie 95 min bei DiT, exakte Fusionsmechanismen auf Registerebene und Risiken wie den Entropie-Kollaps), während das Lite-Modell diese Aspekte stark verkürzt oder verallgemeinert.
Fazit: Für spezialisierte ML-Systemanalysen ist das Lite-Modell signifikant schwächer und birgt das Risiko semantischer Verfälschungen bei proprietären Framework-Namen.
Kollokation versus Disaggregation in RL-Systemen: Intensive Debatte über die Platzierung von Generierung und Training. Während kollokierte Architekturen auf kleineren Clustern On-Policy-Stabilität garantieren, erzwingen massive Modelle (>100B) eine disaggregierte Trennung über Pathways, um Straggler-Effekte im Inferenz-Rollout vom Gradienten-Update zu isolieren.
Statische Speicherbindung versus dynamische Modellarchitekturen: Der fundamentale Compiler-Konflikt zwischen der deterministischen XLA-Philosophie (vollständige Kompilierzeit-Allokation ohne dynamische Allokation) und modernen agentischen LLM-Workflows mit variablen Kontextlängen erfordert zunehmend Heuristiken wie Shape-Bucketisierung und selektives Schleifen-Unrolling.
Glossar
AITer (AMD AI Operator Library): Eine hardwarenahe Funktionsbibliothek von AMD, die optimierte Rechenkerne (Attention, GEMM, MoE) für ROCm bereitstellt.
BCOO (Batch Coordinate Format): Ein standardisiertes Speicherformat für dünnbesetzte (sparse) Matrizen, optimiert für Vektor- und Matrix-Beschleuniger.
CasADi: Ein Open-Source-Software-Framework für symbolische Berechnungen und automatische Differenzierung zur numerischen Lösung nichtlinearer Optimierungs- und Steuerungsprobleme.
CHLO (Client HLO): Ein hochstufiger MLIR-Dialekt, der komplexe mathematische Framework-Operationen abbildet, bevor diese in atomare StableHLO-Befehle zerlegt werden.
Diffrax: Eine auf JAX basierende Bibliothek zur numerischen Lösung von gewöhnlichen und stochastischen Differentialgleichungen.
DiT (Diffusion Transformer): Eine Architektur für generative Modelle (z. B. Video-/Bildsynthese), die Diffusionsschleifen über Transformer-Schichten anstelle klassischer Convolutional-U-Nets implementiert.
DPO (Direct Preference Optimization): Ein Ausrichtungsverfahren (Alignment), das Sprachmodelle über paarweise Präferenzdaten direkt optimiert, ohne ein separates Belohnungsmodell trainieren zu müssen.
EHR (Electronic Health Record): Digitale Patientenakte in Krankenhäusern, die longitudinale Behandlungs-, Labor- und Verlaufsdaten enthält.
FlashAttention: Ein E/A-bewusster Aufmerksamkeits-Algorithmus, der Zwischenspeicherungen im langsamen HBM-Speicher minimiert, indem Berechnungen kachelweise im schnellen SRAM/VMEM durchgeführt werden.
FlyDSL: Eine Python-basierte domänenspezifische Sprache von AMD zur feingranularen Programmierung von GPU-Rechenkernen unter direkter Steuerung von Thread-Hierarchien.
GEMM (General Matrix Multiply): Die universelle Matrix-Matrix-Multiplikation, welche die rechnerische Basis tiefer neuronaler Netze darstellt.
Good Put / Bad Put: Metriken zur Quantifizierung der Clustereffizienz; Good Put misst die rein produktive Rechenzeit, Bad Put summiert Verluste durch Ausfälle, Neu-Initialisierungen oder Kompilierungsoverhead.
GRPO (Group Relative Policy Optimization): Ein effizienter Reinforcement-Learning-Algorithmus, der Vorteile relativ innerhalb einer Gruppe generierter Antworten berechnet und keinen separaten Critic-Knoten benötigt.
HBM (High Bandwidth Memory): Dreidimensional gestapelter Hochgeschwindigkeitsspeicher, der direkt auf dem Prozessorsubstrat angebunden ist.
HLO (High Level Optimizer): Die zentrale datenflussbasierte Zwischenrepräsentation (IR) innerhalb des XLA-Compilers.
Ironwood / Trillium: Eigennamen spezifischer Google Cloud TPU-Hardware-Generationen mit optimierter Energieeffizienz und Matrixrechenleistung.
Jaxator: Ein Brücken-Framework, das AMDs AITer-Bibliothek über XLA Custom Calls in JAX-Workflows einbindet.
LiteRT: Googles leichtgewichtige Ausführungsumgebung zur On-Device-Inferenz auf Mobil- und Edge-Geräten (hervorgegangen aus TensorFlow Lite).
LoRA / QLoRA: Parameter-effiziente Feinabstimmungsmethoden (Low-Rank Adaptation), bei denen nur kleine Rangmatrizen trainiert werden; QLoRA quantisiert das Basismodell zusätzlich (z. B. auf 4-Bit).
MDM (Medical Decision Making): Der analytische Abschnitt in klinischen Arztberichten, der Differenzialdiagnosen und Begründungen für diagnostische Tests dokumentiert.
MFMA (Matrix Fused Multiply-Add): Dedizierte Hardware-Recheneinheiten und Assemblerinstruktionen auf AMD-CDNA-GPUs für Matrixmultiplikationen.
MLIR (Multi-Level Intermediate Representation): Ein modulares Compiler-Framework von LLVM zur Konstruktion wiederverwendbarer domänenspezifischer Zwischendarstellungen (Dialekte).
MoE (Mixture of Experts): Neuronale Netzarchitektur, bei der Eingaben (Tokens) über ein Gating-Netzwerk dynamisch nur an eine kleine Teilmenge spezialisierter Experten-Schichten weitergeleitet werden.
Motion Grid: Ein Vorverarbeitungsverfahren für Videos, bei dem aufeinanderfolgende Einzelbilder in einem zweidimensionalen Raster (z. B. 3x3) zu einem statischen Gesamtbild montiert werden.
MXFP4 (Microscaling Floating Point 4-bit): Ein standardisiertes 4-Bit-Fließkommaformat, das Matrixelemente in kleinen Blöcken mit gemeinsamen Skalierungsfaktoren kapselt.
MXU (Matrix Multiply Unit): Das systolische Hardware-Rechenwerk innerhalb einer Google TPU, ausgelegt auf dichte Matrixoperationen.
oneAPI (1DNN, 1MKL, 1CCL): Intels offenes Plattformframework zur herstellerübergreifenden heterogenen Programmierung; umfasst optimierte Bibliotheken für Deep Learning, Mathematik und kollektive Kommunikation.
Pallas: Die domänenspezifische Schnittstelle innerhalb von JAX, mit der Entwickler manuelle Low-Level-Hardware-Kernel für TPUs und GPUs schreiben.
Pathways: Googles verteiltes Laufzeitsystem, das heterogene Rechenaufgaben über zehntausende Hardwarebeschleuniger transparent orchestriert.
PJRT (Plugin Joint Runtime): Eine standardisierte C-API in XLA, die Frameworks von hardware- und herstellerspezifischen Treiber- und Speicherimplementierungen entkoppelt.
Roofline-Modell: Ein Analyseverfahren, das darstellt, ob ein Rechenkern durch die Hardware-Rechenleistung (FLOPS) oder die Speicherbandbreite (Bytes/s) limitiert ist.
Sharding (SPMD): Die systematische Aufteilung von Modellparametern, Aktivierungen und Optimizer-Zuständen über mehrere physische Beschleuniger nach dem Paradigma Single Program, Multiple Data.
StableHLO: Ein portables, standardisiertes Berechnungs-IR für maschinelles Lernen, das als Schnittstelle zwischen Frontends (JAX, PyTorch) und Hardware-Compilern dient.
TiTO (Token-in-Token-Out): Ein Verfahren im Reinforcement Learning, das garantiert, dass identische Token-IDs aus dem Inferenz-Sampling verlustfrei in die Loss-Berechnung des Trainings übergehen.
TPU (Tensor Processing Unit): Googles anwendungsspezifischer integrierter Schaltkreis (ASIC), der für Tensor-Operationen und neuronale Netze optimiert ist.
VHLO (Versioned StableHLO): Eine versionierte Serialisierung von StableHLO, die Up- und Downgrade-Passes zur langfristigen Kompatibilität bereitstellt.
VJP (Vector-Jacobian Product): Die mathematische Grundlage der automatischen Rückwärtsdifferenzierung (Reverse-Mode Autodiff) zur Berechnung von Modellgradienten.
VMEM (Vector Memory): Der extrem schnelle, chipinterne SRAM-Arbeitsspeicher auf TPU-Kernen zur Vermeidung externer HBM-Zugriffe.
XLA (Accelerated Linear Algebra): Googles domänenspezifischer Optimierungscompiler, der Rechengraphen aus ML-Frameworks fusioniert und in Maschinencode übersetzt.