Dieses Transkript präsentiert einen detaillierten technischen Einblick in das skalierbare Post-Training und Reinforcement Learning (RL) von großen Sprachmodellen (LLMs) auf Google Cloud TPUs. Es erläutert das integrierte Ökosystem aus MaxText, Tunix, Pathways und VLLM, welches fortgeschrittene Techniken wie Supervised Fine-Tuning (SFT), Direct Preference Optimization (DPO), Odds Ratio Preference Optimization (ORPO), Knowledge Distillation und Group Relative Policy Optimization (GRPO) bereitstellt. Anhand realer Fallstudien (darunter Gemma 4 26B und Qwen 3 30B auf Ironwood V7X-Chips) werden Leistungsmetriken, disaggregierte Architekturen für Training und Rollout, Mechanismen zur Gewichts-Synchronisation sowie die architektonische Parität zwischen GPUs und TPUs demonstriert.
Wichtigste Punkte & Zeitstempel
0:00 MaxText-Architektur: Ein hochperformantes Open-Source-Framework für das Vor- und Post-Training von LLMs (wie Gemma, Qwen, DeepSeek und Llama) auf Google Cloud TPUs, basierend auf dem JAX-Ökosystem und skalierbar bis zu GKE-Clustern.
1:26 Vier-Säulen-Referenz-Stack: Besteht aus MaxText (Training/Skalierung), Tunix (Post-Training-Algorithmen), Pathways (Orchestrierung und disaggregiertes Mesh-Management) sowie VLLM (Inferenz-Engine).
2:07 Supervised Fine-Tuning (SFT): Anpassung von Basismodellen mithilfe von Hugging Face-Chat-Datensätzen und benutzerdefinierten Templates auf Single-Host-VMs oder Multi-Host-GKE-Clustern.
3:36 Präferenz-Ausrichtung (DPO & ORPO): Direkte Präferenzoptimierung (DPO) mit vorausgehendem SFT und Odds Ratio Preference Optimization (ORPO), das SFT und Präferenz-Ausrichtung in einem kombinierten Optimierungsschritt ausführt.
5:04 Knowledge Distillation: Komprimierung großer Teacher-Modelle in effizientere Student-Modelle durch Hard-Distillation, Soft-Distillation (mittels Kullback-Leibler-Divergenz) und Feature-Matching.
8:20 Disaggregierte RL-Architektur: Physikalische Trennung von Trainings- und Rollout-Meshes (Inferenz), wobei Pathways als Orchestrator für die latenzarme Gewichtsübertragung zwischen den Netzwerken fungiert.
13:20 Entwickler-Erfahrung & Deployment: Vereinfachte Installation über uv pip, automatisierter Build von Docker-Images und Einreichung von Workloads auf Kubernetes via XPK-Tooling.
15:32 Gemma 4 26B Konvergenz-Lauf: Praxisbeispiel eines Mixture-of-Experts-Modells (MoE), das über GRPO auf Google Cloud trainiert wurde, mit stabiler Belohnungskurve und globalen Schrittzeiten von ca. 6,5 Minuten.
22:42 Evaluierung & Leistung (Qwen 3 30B): Ausführung auf Ironwood V7X-TPU-Chips (V7X128-Konfigurationen), die eine Leistungssteigerung auf dem Math 500-Benchmark von 25 % auf 34 % und Durchsätze von 35.000 Tokens/Sekunde erzielten.
27:31 GPU-TPU-Parität: Nachweis der exakten mathematischen Äquivalenz (Loss- und Gradienten-Parität) zwischen GPU- und TPU-Ausführungen bei einem 200-Schritte-GRPO-Lauf.
Glossar
MaxText: Ein von Google entwickeltes, extrem performantes Open-Source-Framework zum effizienten Trainieren großer Sprachmodelle.
JAX: Eine moderne Programmierbibliothek für Hochleistungs-Berechnungen und automatisches Differenzieren, optimiert für Hardware-Beschleuniger.
GKE (Google Kubernetes Engine): Ein verwalteter Kubernetes-Dienst von Google Cloud zur Bereitstellung, Verwaltung und Skalierung von Container-Anwendungen.
TPU (Tensor Processing Unit): Ein von Google speziell für maschinelles Lernen und neuronale Netze entwickelter ASIC-Prozessor.
SFT (Supervised Fine-Tuning): Ein Trainingsverfahren, bei dem ein vortrainiertes Modell anhand strukturierter Daten lernt, Anweisungen zu befolgen.
DPO (Direct Preference Optimization): Ein Algorithmus zur Ausrichtung von KI-Modellen an menschlichen Vorlieben direkt auf Basis von Datensätzen, ohne separates Belohnungsmodell.
ORPO (Odds Ratio Preference Optimization): Ein Optimierungsverfahren, das überwachtes Feintuning und Präferenzanpassung gleichzeitig in einem Schritt durchführt.
Knowledge Distillation: Eine Methode zur Komprimierung von Modellen, bei der ein kleineres Modell (Student) das Verhalten eines massiven Modells (Teacher) nachahmt.
Kullback-Leibler-Divergenz (KL-Divergenz): Ein statistisches Maß dafür, wie stark sich eine Wahrscheinlichkeitsverteilung von einer anderen unterscheidet.
GRPO (Group Relative Policy Optimization): Ein hocheffizienter Reinforcement-Learning-Algorithmus, der Gruppen von Modellausgaben vergleicht, um die Richtlinie (Policy) ohne separates Kritiker-Modell zu optimieren.
Pathways: Ein von Google entwickeltes Orchestrierungssystem zur verteilten Ausführung von Rechenlasten über massive Hardware-Netzwerke hinweg.
VLLM: Eine hocheffiziente Open-Source-Inferenz-Engine zur schnellen Textgenerierung mit großen Sprachmodellen.
MoE (Mixture of Experts): Eine Modellarchitektur, bei der nur ein Bruchteil der Netzwerkgewichte (bestimmte „Experten“) für eine spezifische Eingabe aktiviert wird.
Ironwood V7X: Eine hochentwickelte TPU-Chip-Generation von Google Cloud für extrem skalierbares und beschleunigtes KI-Training.
ICI / DCN: Interner Chip-zu-Chip-Verbindungsbus (ICI) und Rechenzentrumsnetzwerk (DCN) für die knotenübergreifende Datenübertragung.
XPK: Ein Open-Source-Toolkit von Google zur einfachen Ausführung und Skalierung von ML-Workloads auf GKE und TPU-Clustern.