Browse Summaries

Zusammenfassung

Dieser Vortrag präsentiert eine frühe Untersuchung der University of Michigan zur Nutzung von Tensor Processing Units (TPUs), traditionell KI-Beschleuniger, für relationale Datenbankabfragen und Datenanalysen. Mithilfe des Star Schema Benchmarks (SSB) mit einem Skalierungsfaktor von 10 (~60 Millionen Zeilen) auf einer TPU v6 in Google Colab evaluiert die Forschung das Mapping von SQL-Operatoren (Filter, Joins, Aggregationen) auf spezifische TPU-Hardwareeinheiten wie Matrix Multiplication Units (MXUs) und Sparse Cores. Die Ergebnisse zeigen, dass TPUs relationale Operationen beschleunigen können, der Hauptengpass jedoch in den Datenaufbereitungskosten, der Matrizenkonstruktion und der Speicherbandbreite (HBM) liegt.

Wichtigste Punkte & Zeitstempel

• 0:05 TPUs für Datenbanken: Vorstellung des Forschungsprojekts der University of Michigan zur Evaluation von KI-Spezialbeschleunigern für analytische Datenbank-Workloads.
• 0:33 Hardware-Evolution: Während CPUs seit Jahrzehnten für Datenbanken optimiert sind, bieten parallele Beschleuniger (GPUs, TPUs) neue Potenziale für datenintensive Operationen.
• 3:20 TPU-Architekturkomponenten: TPUs besitzen spezialisierte Einheiten wie Matrix Multiplication Units (MXUs) für systolische Matrizenmultiplikationen und Sparse Cores für Embedding-Lookups.
• 4:21 Operator-Mapping-Herausforderung: Datenbankabfragen bestehen aus heterogenen Operatoren; Filter mappen auf Vektorausführungen, während Joins und Aggregationen auf MXUs oder Sparse Cores verteilt werden müssen.
• 6:57 Star Schema Benchmark (SSB): Evaluierung von vier Kernabfragen auf einer TPU v6 unter Verwendung von Google Colab mit 60 Millionen Zeilen in der Faktenstabelle (Skalierungsfaktor 10).
• 7:46 Leistungsanalyse der Abfragen: Q1.1 profitiert von MXUs nach schneller Matrizenkonstruktion; Q2.1 und Q3.1 nutzen Sparse Cores für Lookup-Joins; Q4.1 erzeugt zu große Zwischenzustände und führt zu HBM-Out-of-Memory-Fehlern.
• 12:21 Q&A und Systemgrenzen: Diskussion über HBM-Speichertransfers, TPUv6e-Versionskonflikte in Google Colab und die Grundvoraussetzung, dass Datensätze vollständig im Hauptspeicher gehalten werden müssen.

Glossar

• TPU (Tensor Processing Unit): Ein von Google entwickelter, anwendungsspezifischer integrierter Schaltkreis (ASIC), der für die beschleunigte Ausführung von Berechnungen im Bereich maschinelles Lernen und Künstliche Intelligenz optimiert ist.
• MXU (Matrix Multiplication Unit): Die primäre Recheneinheit einer TPU, die für extrem performante, systolische Matrixmultiplikationen ausgelegt ist.
• Sparse Core: Eine spezialisierte Hardwarereinheit in modernen TPU-Architekturen zur effizienten Ausführung von Sparse-Lookups (Nachschlageoperationen in dünnbesetzten Datenstrukturen).
• XLA (Accelerated Linear Algebra): Ein domänenspezifischer Compiler für lineare Algebra, der Berechnungs-Graphen (z. B. aus TensorFlow oder JAX) analysiert, optimiert und kompiliert.
• Star Schema Benchmark (SSB): Ein standardisierter Industriestandard-Benchmark zur Messung der Leistung von Data-Warehouses und analytischen Abfragesystemen (OLAP).
• HBM (High Bandwidth Memory): Ein extrem schneller, speicherintegrierter Hauptspeicherstandard, der direkt auf dem Prozessor- oder Beschleunigersubstrat platziert ist, um eine maximale Speicherbandbreite zu gewährleisten.
• Skalierungsfaktor (Scale Factor): Ein Parameter in Benchmarks, der die relative Größe des generierten Testdatensatzes bestimmt (Skalierungsfaktor 10 entspricht im SSB etwa 60 Millionen Zeilen in der Haupttabelle).

Zusammenfassung

Diese Präsentation stellt JAX Quantum vor, ein Open-Source-Paket zur Beschleunigung von Quantenhardware-Simulationen, das von Shantanu, einem Doktoranden am MIT, entwickelt wurde. Die Software bietet eine an QTip angelehnte API und nutzt JAX für automatisierte Differenzierung sowie Hardware-Beschleunigung auf GPUs und TPUs. Sie deckt Quantenoperationen, Kraus-Maps, Diagonalisierungen (eigh) und quantendynamische Differentialgleichungen (über Diffrax) ab. Das Kernobjekt (Q array) unterstützt dichte, sparse (BCOO, Diagonale) und CuQuantum-Backends. Leistungsbenchmarks belegen, dass Google V4 TPUs und Nvidia H200 GPUs herkömmliche Laptop-CPUs bei Matrixmultiplikationen und Optimierungsaufgaben (wie der bosonischen Fehlerkorrektur, die auf der H200 240-mal schneller läuft) drastisch übertreffen.

Wichtigste Punkte & Zeitstempel

• 0:05 Einführung & Hintergrund: Vorstellung von Shantanu (MIT-Doktorand) und dem Open-Source-Projekt JAX Quantum, das für die Hardware-Beschleunigung von Quantensimulationen entwickelt wurde.
• 0:18 Experimenteller Kontext: Erläuterung der experimentellen Arbeit mit supraleitenden Quantenprozessoren (QPUs) in Verdünnungskühlschränken bei Temperaturen, die 300-mal kälter sind als der interstellare Raum.
• 0:39 Mathematische Kernoperationen: Aufschlüsselung der simulierten Operationen: Zustandsvektor-Multiplikationen (Matvec), Kraus-Maps (Matmul), Hermitian-Diagonalisierungen (eigh) zur Bestimmung von Energieniveaus und Zeitevolution über die Schrödingergleichung mit Diffrax.
• 0:47 Q-Array & Backend-Architektur: Einführung des Q array-Objekts als dünner Wrapper über JAX-Arrays mit integrierter Dimensionalitäts- und Batch-Verwaltung; unterstützt dichte, sparse (BCOO, Diagonale) und CuQuantum-Backends sowie Sharding.
• 0:53 Hardware-Benchmarks: Systematischer Vergleich zwischen V4 TPU, H200 GPU und MacBook Pro CPU; TPUs dominieren Matrixmultiplikationen (aufgrund von MXU-Zellgrößen), während GPUs bei Diagonalisierungen (eigh) überlegen sind.
• 1:20 Gerätedesign & Optimierung: Praktischer Einsatz von automatischer Differenzierung zur Analyse von Rauschempfindlichkeiten (z. B. Fluss-Bias-Noises) und Multi-Start-Optimierungen für die Zielzustandsvorbereitung in der bosonischen Fehlerkorrektur (H200 ist 240-mal schneller als eine CPU).
• 2:18 Ausblick & Q&A: Diskussion über geplante Benchmarks mit neueren TPU-Generationen (V5/V6), Krylov-basierte Diagonalisierungsverfahren, die Wahl von Python/JAX gegenüber Julia sowie den Einsatz in geschlossenen Regelkreisen (Reinforcement Learning).

Glossar

• JAX: Ein von Google entwickeltes Python-Framework für hochleistungsfähiges numerisches Rechnen, das automatische Differenzierung und JIT-Kompilierung kombiniert.
• QPU (Quantum Processing Unit): Ein Quantenprozessor, der Quanteninformationen verarbeitet und als Hardware-Basis für Quantencomputer dient.
• Verdünnungskühlschrank (Dilution Refrigerator): Ein spezielles kryogenes Kühlsystem, das extrem niedrige Temperaturen (nahe dem absoluten Nullpunkt) erzeugt, um supraleitende Quanten Schaltkreise störungsfrei zu betreiben.
• Kraus-Map: Eine mathematische Repräsentation (Quantenkanal), die die zeitliche Evolution und Dekohärenz von offenen Quantensystemen beschreibt.
• Hermitesche Matrix (Hermitian Matrix): Eine quadratische Matrix, die gleich ihrer konjugiert transponierten Form ist; sie beschreibt in der Quantenmechanik physikalische Observablen mit reellen Eigenwerten.
• Eigh: Eine numerische Routine zur Berechnung der Eigenwerte und Eigenvektoren hermitescher Matrizen, essenziell zur Ermittlung von Energieniveaus in Quantensystemen.
• Diffrax: Eine in JAX geschriebene Bibliothek zur Lösung von gewöhnlichen Differentialgleichungen (ODEs), die hier für Simulationen der Quantendynamik genutzt wird.
• QTip: Das etablierte Python-Framework Quantum Toolbox in Python, dessen API-Struktur von JAX Quantum als vertrautes Vorbild übernommen wurde.
• Floquet-Theorie: Ein mathematisches Werkzeug zur Analyse von Quantensystemen mit periodisch zeitabhängigen Hamiltonoperatoren.
• Automatische Differenzierung (Auto-Diff): Ein algorithmisches Verfahren zur exakten Berechnung von Ableitungen in Computerprogrammen, verwendet für Optimierungen und Rauschanalysen.
• BCOO: Ein Sparse-Matrix-Format (Batch Coordinate), das die effiziente Speicherung und Verarbeitung dünnbesetzter Matrizen auf Parallelrechnern optimiert.
• CuQuantum: Eine von Nvidia entwickelte SDK-Bibliothek zur massiven Beschleunigung von Quantenberecknungen auf Grafikprozessoren (GPUs).
• TPU (Tensor Processing Unit): Ein von Google entwickelter spezialisierter integrierter Schaltkreis (ASIC), der für Rechenlasten im Bereich neuronaler Netze und Tensor-Operationen optimiert ist.
• H200 GPU: Eine Nvidia-Hochleistungs-Grafikkarte für Rechenzentren mit enormer Speicherbandbreite und Rechenleistung für komplexe wissenschaftliche Simulationen.
• MXU (Matrix Multiply Unit): Der dedizierte Hardwarekern einer TPU, der für hochparallele Matrixmultiplikationen ausgelegt ist.
• AWG (Arbitrary Waveform Generator): Ein elektronisches Mess- und Steuergerät zur Erzeugung präziser elektrischer Signale, eingesetzt zur Ansteuerung von Quantenhardware.

Zusammenfassung

Diese Präsentation stellt Kinetic vor, ein vom CAR-Team entwickeltes Tool, das die lokale Entwicklungsumgebung auf Laptops nahtlos mit Cloud-TPUs über einen einzigen Python-Dekorateur verbindet. Kinetic eliminiert die Komplexität manueller Infrastrukturkonfigurationen wie Docker-Dateien oder Kubernetes-Manifeste und ermöglicht ML-Ingenieuren und Forschern den reibungslosen Übergang von schnellen lokalen Iterationen zu massiven Cloud-Bereitstellungen auf GKE (Google Kubernetes Engine). Die Plattform bietet APIs für transparente Datenverarbeitung, asynchrone Jobs, Hyperparameter-Batches und Remote-Debugging direkt in gängigen IDEs.

Wichtigste Punkte & Zeitstempel

• 0:08 Einführung in Kinetic: Vorstellung durch Diva und Jotender (CAR-Team) zur Überbrückung von lokalen Laptop-Umgebungen und Cloud-TPUs.
• 0:24 Trennung der ML-Phasen: Unterscheidung zwischen der schnellen, agilen Iterationsphase auf Laptops und der robusten Skalierungsphase in der Produktion.
• 0:59 Infrastruktur-Hürden: Beseitigung von Reibungsverlusten wie dem manuellen Schreiben von Docker-Dateien, Kubernetes-Manifesten oder Daten-Plumbing beim Wechsel in die Cloud.
• 0:2:27 Installation & Setup: Nutzung des Kinetic Python-Pakets und des CLI-Befehls kinetic init zur automatisierten Konfiguration von GKE-Projekten und Clustern.
• 0:3:09 Der Kinetic-Dekorateur: Dekoration von Trainingsfunktionen mit @kinetic.run zur Ausführung von Skripten auf Cloud-Hardware wie Trillium-Chips oder V5-Chips.
• 0:5:56 Architektur im Hintergrund: Serialisierung von Python-Funktionen, Erstellung leichtgewichtiger Docker-Container, Ausführung auf GKE und Synchronisation von Ergebnissen via GCS (Google Cloud Storage).
• 0:6:51 Transparente Daten-API: Einheitlicher Zugriff auf lokale Dateien, GCS-Buckets und Hugging Face-Repositories mit automatischem SHA-256-Caching und fuse=true für latenzfreies Laden per GCS FUSE CSI.
• 0:9:54 Asynchrone Jobs (Detached API): Ausführung langlebiger Jobs über run_async zur Rückgabe dauerhafter Job-Handles, die ein Schließen des Laptops erlauben, sowie Wiederverbindung mittels kinetic.attach.
• 0:14:31 Batch-Workloads & Hyperparameter-Sweeps: Parallelsierung von Hyperparameter-Suchen über run_async_map mit automatischer Fehlerorchestrierung und Persistenz in Cloud-Speichern.
• 0:17:06 Remote-Debugging in IDEs: Aktivierung per debug=True-Argument zur Einbindung von debugpy-Servern und lokalen Debuggern wie VS Code oder Cursor ohne Abhängigkeit von reinen print()-Anweisungen.
• 0:19:54 Erweiterte Features & Ressourcen: Unterstützung für Multi-Host-TPUs (z. B. 32 Chips), benutzerdefinierte Images, OSS-Integrationen (Orbax, VLM, Tunix) und Dokumentation via kinetic.readthedocs.io (GitHub Branch DevLabs 2026).

Glossar

• Cloud TPU: Von Google entwickelte, spezialisierte Hardware-Beschleuniger (Tensor Processing Units), die für das hocheffiziente Training und die Ausführung von Deep-Learning-Modellen optimiert sind.
• GKE (Google Kubernetes Engine): Ein verwalteter Kubernetes-Dienst von Google Cloud zur Bereitstellung, Verwaltung und automatischen Skalierung von containerisierten Anwendungen.
• Python-Dekorateur: Ein Entwurfsmuster in Python, mit dem das Verhalten einer Funktion oder Methode durch Vor- und Nachbearbeitung erweitert werden kann, ohne den eigentlichen Funktionscode zu verändern.
• Docker: Eine Open-Source-Plattform zum Verpacken von Anwendungen und deren Abhängigkeiten in standardisierte, isolierte Einheiten, sogenannte Container.
• GCS FUSE: Ein Open-Source-Dateisystemtreiber, mit dem Google Cloud Storage (GCS)-Buckets wie lokale Dateisysteme gemountet und angesteuert werden können.
• CSI (Container Storage Interface): Ein standardisierter Industriestandard zur konsistenten Einbindung verschiedener Speicher-Backends in Container-Orchestrierungssysteme wie Kubernetes.
• Hyperparameter-Sweep: Ein automatisierter, systematischer Prozess zum Testen zahlreicher Kombinationen von Modellkonfigurationen (Hyperparametern), um die optimale Modellleistung zu ermitteln.
• debugpy: Ein Implementierungsprotokoll und Server für Python, das das Remote-Debugging und die Haltepunkt-Steuerung von Code in Entwicklungsumgebungen (IDEs) ermöglicht.
• Trillium-Chip: Eine spezifische Generation von Google Cloud TPU-Chips, die für Höchstleistung und Energieeffizienz im ML-Bereich entwickelt wurde.

Abstract

Dieser Vortrag von Kai Wong (Rice University) präsentiert einen neuartigen Ansatz für das gemeinsame Sharding und die Platzierung von Diffusion Transformer (DiT)-Modellen zur Videogenerierung auf Tensor Processing Units (TPUs). Da über 97 % der Rechenzeit auf das DiT-Modell entfallen und hardwarebedingte Netzwerkkonflikte (Contention) zu erheblichen Latenzschwankungen führen, stellt der Autor ein zweistufiges Suchframework vor. Dieses kombiniert die schnelle Grobabschätzung von StableHLO mit einer detaillierten Kompilierungsanalyse, um optimale parallele Strategien ohne Quellcode-Modifikationen zu ermitteln.

Wichtigste Punkte & Zeitstempel

• 0:00 Hohe Rechenlast von DiT: Diffusion Transformers erzeugen sehr lange Sequenzen ohne KV-Cache, wodurch über 97 % der gesamten Rechenzeit auf das DiT-Modell entfallen.
• 0:55 Hardware-Topologie und Latenz: TPUv5- und TPUv6e-Subslices nutzen ein 2D-Mesh, bei dem gleichzeitiger Datenverkehr zu Netzwerk-Contention und stark variierenden Ausführungslatenzen führt, selbst bei identischem Sharding.
• 2:20 Platzierung als Ausführungsplan: Aufgrund von Bandbreiten-Degradationen bei gleichzeitigem Datenverkehr muss die Geräteplatzierung als inhärenter Bestandteil des Compiler-Ausführungsplans behandelt werden.
• 3:26 Rolle des JAX-Compilers: Der JAX-Compiler nutzt StableHLO und Shardy für die Sharding-Propagierung, während erst das kompilierte HLO exakte Kommunikationsprimitive (Collectives) offenlegt.
• 5:33 Zweistufiges Suchframework: Die erste Stufe nutzt StableHLO für eine günstige Grobabschätzung (prunt 85 % der Konfigurationen), während die zweite Stufe die verbleibenden Top-15 % via Compiler-HLO präzise bewertet.
• 6:56 Integration in MaxDiffusion: Der ermittelte Ausführungsplan wird direkt in MaxDiffusion integriert, ohne Modifikationen am Modellcode, an Low-Level-Lowering-Prozessen oder an Kerneln vorzunehmen.
• 8:59 TPUv5- und TPUv6e-Unterstützung: Der Ansatz konzentriert sich auf TPUv5- und TPUv6e-Architekturen, deren 2D-Mesh-Topologien mathematisch effizient modellierbar sind.

Glossar

• TPU (Tensor Processing Unit): Ein von Google entwickelter, anwendungsspezifischer Prozessor (ASIC), der speziell zur Beschleunigung von Workloads im Bereich des maschinellen Lernens entwickelt wurde.
• Diffusion Transformer (DiT): Eine generative KI-Architektur (eingesetzt u. a. für die Videogenerierung), die Diffusionsprozesse mit der Transformer-Architektur anstelle klassischer U-Net-Strukturen kombiniert.
• Sharding: Das Aufteilen großer Tensoren, Datensätze oder Modellgewichte auf mehrere Hardware-Beschleuniger, um Speicher- und Rechenlasten zu verteilen.
• KV Cache: Ein Zwischenspeicher für Schlüssel- und Wert-Vektoren in Transformator-Modellen, der die autoregressive Generierung beschleunigt, bei DiT-Modellen jedoch oft nicht vorhanden ist.
• Tensor-Parallelismus: Eine parallele Verarbeitungsmethode, bei der einzelne mathematische Operationen (Matrizenmultiplikationen von Tensoren) auf mehrere Prozessoren aufgeteilt werden.
• Kontext-Parallelismus: Eine Technik zur Verteilung extrem langer Eingabesequenzen (Kontexte) über mehrere Recheneinheiten, um den Speicherbedarf pro Gerät zu senken.
• XLA (Accelerated Linear Algebra): Ein domänenspezifischer Compiler für lineare Algebra, der Rechengraphen von Frameworks wie JAX oder TensorFlow analysiert und für Hardware optimiert.
• StableHLO: Ein standardisiertes, stabiles Zwischenformat (High-Level Operations) für den portablen Austausch von Rechengraphen zwischen ML-Compilern und Frameworks.
• HLO (High-Level Optimizer): Eine maschinennahe, optimierte Zwischenrepräsentation im Compiler, die explizite Kommunikationsanweisungen und Kernel-Strukturen offenlegt.
• Kernel Fusion: Ein Compiler-Optimierungsverfahren, bei dem mehrere aufeinanderfolgende Operationen zu einem einzigen Ausführungsschritt zusammengefasst werden, um teure Speicherzugriffe zu vermeiden.
• MaxDiffusion: Ein Open-Source-Framework von Google, das optimierte Implementierungen von Diffusionsmodellen für die Ausführung auf TPU-Clustern bereitstellt.

Zusammenfassung

Dieser Vortrag präsentiert max_evol, ein agentenbasiertes System für autonomes Maschinelles Lernen, das das Portieren und Optimieren von Deep-Learning-Kerneln (speziell von Triton zu JAX Palas) als ingenieurwissenschaftliches Suchproblem anstelle einer simplen Einmal-LLM-Übersetzung behandelt. Das von Alai entwickelte System kombiniert max_kernel und alpha_evolve zu einer geschlossenen Feedbackschleife mit Hardware-in-the-Loop-Validierung und evolutionärer Suche. Da direkte Übersetzungen zwischen Triton (pointerbasiert) und JAX Palas (abstrahierte ref-Objekte) zu massiven Leistungsabfällen führen, automatisiert der Agent Syntaxprüfung, Kompilierung, Korrektheitsvalidierung via Pytest und evolutionäre Leistungsoptimierung. In einer Fallstudie zur block-sparsamen Aufmerksamkeit (block sparse attention) erzielte das System einen 1,78- bis 1,8-fachen Speedup gegenüber der Baseline, während es Ausnahmen wie Out-of-Memory-Fehler autonom behandelte.

Wichtigste Punkte & Zeitstempel

• 0:00 Autonome ML-Entwicklung: Vorstellung von is_agent und max_evol als agentenbasierte Systeme zur Automatisierung komplexer ML-Ingenieuraufgaben wie der Kernel-Portierung.
• 0:29 Das Portierungsproblem: Die Notwendigkeit, PyTorch-Forschungscode für effiziente Inferenz in optimierten JAX-Code zu portieren, um XLA-Funktionen und benutzerdefinierte Kernel voll auszuschöpfen.
• 0:32 Die Rolle von Custom Kernels: Kompiliereinheiten verarbeiten dichte Matrixmultiplikationen exzellent, doch neuartige sparse Operationen (z. B. Mixture of Experts, block sparse attention) erfordern benutzerdefinierte Kernel, um I/O-Arbeiten (HBM-Datentransfers) mit Rechenoperationen zu überlappen.
• 6:00 Dachlinienmodell (Roofline Model): Nutzung evolutionärer Fitnessfunktionen (basiert auf Latenz und Tile-Volume), um die tatsächlich erreichbare Leistung näher an die theoretische Hardware-Obergrenze heranzuführen.
• 7:42 Triton versus JAX Palas: Triton fungiert als dünner CUDA-Wrapper mit expliziter Pointer-Arithmetik, während Palas abstrakte ref-Objekte und Block-Spezifikationen verwendet, weshalb direkte Übersetzungen zu 5- bis 10-fachen Leistungseinbrüchen führen.
• 9:53 Engpass manueller Portierung: Mangelnde Spezialisten, die sowohl ML-Wissen als auch Low-Level-Hardware-Kompetenz besitzen, machen manuelle Portierungen extrem zeitaufwendig und fehleranfällig.
• 11:54 LLM-Einsatzstufen: Abgrenzung von simplen Copilots (Level 1) und naiven Prompt-Agenten (Level 2) hin zu geschlossenen Agenten-Suchschleifen (max_evol).
• 13:11 Architektur von max_evol: Ein geschlossener Sub-Agent mit integrierter Dokumentationsindexierung, Ausführungsumgebung und Hardware-in-the-Loop-Validierung.
• 15:37 12-Schritte-Implementierungszyklus: Strukturierter Workflow mit strikten Verträgen zwischen den Schritten, um Fehler automatisiert zu erkennen und auf vorherige Stufen zurückzuspringen.
• 17:04 Validierungs-Pipeline: Stufenweise Überprüfung von Syntax, Linting, Kompilierung, Formkonsistenz und numerischer Genauigkeit via Pytest auf CPU.
• 18:37 Cloud-Ausführung via CLI: Nutzung der offiziellen Google Colab CLI und geplante Erweiterung auf diverse Cloud-GPU-Anbieter.
• 19:24 Rust-basierte Werkzeuge: Implementierung des Hauptagenten in Rust mit Tools wie kernel_db zur Verfolgung des Optimierungsfortschritts.
• 20:30 Evolutionäre Hardware-Optimierung: Mutation von Kernel-Implementierungen, Ausführung auf tatsächlichen Beschleunigern, Erfassung von Metriken und Iteration über eine Kernel-Datenbank.
• 23:06 Fallstudie und Fehlerbehebung: Portierung von block-sparsamer Aufmerksamkeit mit Erreichung eines 1,8-fachen Speedups bei gleichzeitiger autonomer Bewältigung von Out-of-Memory- und Slice-Fehlern.
• 27:47 Roadmap: Geplante Bereitstellung umfangreicher Benchmarks und Ausweitung auf hochgradig parallelisierte Experimente.

Glossar

• Triton: Eine Programmiersprache und ein Compilier-Framework, das als dünner Wrapper um CUDA dient und die Entwicklung von Hochleistungskerneln mit expliziter Pointer-Arithmetik ermöglicht.
• JAX Palas: Ein Programmier-Framework in JAX, das das Schreiben von High-Performance-Kerneln über abstrakte Referenzobjekte (ref) und Block-Spezifikationen anstelle direkter Pointer-Operationen erlaubt.
• XLA (Accelerated Linear Algebra): Ein Domain-Specific Compiler, der lineare Algebra-Graphen optimiert, um die Ausführungsgeschwindigkeit auf Beschleunigern wie GPUs und TPUs zu maximieren.
• HBM (High Bandwidth Memory): Ein speicherintensiver, vertikal gestapelter Arbeitsspeicher für Grafikprozessoren, der extrem hohe Datenübertragungsraten bei geringer Latenz bietet.
• DMA (Direct Memory Access): Eine Hardware-Funktion, die es Peripheriegeräten ermöglicht, Daten direkt in den Hauptspeicher zu schreiben oder daraus zu lesen, ohne die CPU zu belasten.
• Roofline-Modell (Roofline Model): Ein visuelles Leistungsmodell zur Bewertung der erreichbaren Rechenleistung von Prozessoren unter Berücksichtigung von Rechenintensität und Speicherbandbreite.
• Mixture of Experts (MoE): Eine Deep-Learning-Architektur, bei der je nach Eingabe nur bestimmte neuronale Teilnetzwerke (Experten) aktiviert werden, wodurch spärliche (sparse) Aktivierungsmuster entstehen.
• Tile-Volume: Die Datenmenge (in Bytes), die bei einer rechentechnischen Operation in einem Datenblock gleichzeitig verarbeitet und im schnellen SRAM gehalten wird.
• Pytest: Ein verbreitetes Test-Framework für Python zur automatisierten Validierung der numerischen Korrektheit von Softwarekomponenten.
• Doom Loop: Ein unerwünschter algorithmischer Zustand, bei dem ein Sprachmodell oder Agent wiederholt dieselben fehlerhaften Werkzeuge oder Eingaben anwendet, ohne Fortschritte zu erzielen.

Zusammenfassung

Dieses Transkript präsentiert einen detaillierten technischen Einblick in das skalierbare Post-Training und Reinforcement Learning (RL) von großen Sprachmodellen (LLMs) auf Google Cloud TPUs. Es erläutert das integrierte Ökosystem aus MaxText, Tunix, Pathways und VLLM, welches fortgeschrittene Techniken wie Supervised Fine-Tuning (SFT), Direct Preference Optimization (DPO), Odds Ratio Preference Optimization (ORPO), Knowledge Distillation und Group Relative Policy Optimization (GRPO) bereitstellt. Anhand realer Fallstudien (darunter Gemma 4 26B und Qwen 3 30B auf Ironwood V7X-Chips) werden Leistungsmetriken, disaggregierte Architekturen für Training und Rollout, Mechanismen zur Gewichts-Synchronisation sowie die architektonische Parität zwischen GPUs und TPUs demonstriert.

Wichtigste Punkte & Zeitstempel

• 0:00 MaxText-Architektur: Ein hochperformantes Open-Source-Framework für das Vor- und Post-Training von LLMs (wie Gemma, Qwen, DeepSeek und Llama) auf Google Cloud TPUs, basierend auf dem JAX-Ökosystem und skalierbar bis zu GKE-Clustern.
• 1:26 Vier-Säulen-Referenz-Stack: Besteht aus MaxText (Training/Skalierung), Tunix (Post-Training-Algorithmen), Pathways (Orchestrierung und disaggregiertes Mesh-Management) sowie VLLM (Inferenz-Engine).
• 2:07 Supervised Fine-Tuning (SFT): Anpassung von Basismodellen mithilfe von Hugging Face-Chat-Datensätzen und benutzerdefinierten Templates auf Single-Host-VMs oder Multi-Host-GKE-Clustern.
• 3:36 Präferenz-Ausrichtung (DPO & ORPO): Direkte Präferenzoptimierung (DPO) mit vorausgehendem SFT und Odds Ratio Preference Optimization (ORPO), das SFT und Präferenz-Ausrichtung in einem kombinierten Optimierungsschritt ausführt.
• 5:04 Knowledge Distillation: Komprimierung großer Teacher-Modelle in effizientere Student-Modelle durch Hard-Distillation, Soft-Distillation (mittels Kullback-Leibler-Divergenz) und Feature-Matching.
• 8:20 Disaggregierte RL-Architektur: Physikalische Trennung von Trainings- und Rollout-Meshes (Inferenz), wobei Pathways als Orchestrator für die latenzarme Gewichtsübertragung zwischen den Netzwerken fungiert.
• 13:20 Entwickler-Erfahrung & Deployment: Vereinfachte Installation über uv pip, automatisierter Build von Docker-Images und Einreichung von Workloads auf Kubernetes via XPK-Tooling.
• 15:32 Gemma 4 26B Konvergenz-Lauf: Praxisbeispiel eines Mixture-of-Experts-Modells (MoE), das über GRPO auf Google Cloud trainiert wurde, mit stabiler Belohnungskurve und globalen Schrittzeiten von ca. 6,5 Minuten.
• 22:42 Evaluierung & Leistung (Qwen 3 30B): Ausführung auf Ironwood V7X-TPU-Chips (V7X128-Konfigurationen), die eine Leistungssteigerung auf dem Math 500-Benchmark von 25 % auf 34 % und Durchsätze von 35.000 Tokens/Sekunde erzielten.
• 27:31 GPU-TPU-Parität: Nachweis der exakten mathematischen Äquivalenz (Loss- und Gradienten-Parität) zwischen GPU- und TPU-Ausführungen bei einem 200-Schritte-GRPO-Lauf.

Glossar

• MaxText: Ein von Google entwickeltes, extrem performantes Open-Source-Framework zum effizienten Trainieren großer Sprachmodelle.
• JAX: Eine moderne Programmierbibliothek für Hochleistungs-Berechnungen und automatisches Differenzieren, optimiert für Hardware-Beschleuniger.
• GKE (Google Kubernetes Engine): Ein verwalteter Kubernetes-Dienst von Google Cloud zur Bereitstellung, Verwaltung und Skalierung von Container-Anwendungen.
• TPU (Tensor Processing Unit): Ein von Google speziell für maschinelles Lernen und neuronale Netze entwickelter ASIC-Prozessor.
• SFT (Supervised Fine-Tuning): Ein Trainingsverfahren, bei dem ein vortrainiertes Modell anhand strukturierter Daten lernt, Anweisungen zu befolgen.
• DPO (Direct Preference Optimization): Ein Algorithmus zur Ausrichtung von KI-Modellen an menschlichen Vorlieben direkt auf Basis von Datensätzen, ohne separates Belohnungsmodell.
• ORPO (Odds Ratio Preference Optimization): Ein Optimierungsverfahren, das überwachtes Feintuning und Präferenzanpassung gleichzeitig in einem Schritt durchführt.
• Knowledge Distillation: Eine Methode zur Komprimierung von Modellen, bei der ein kleineres Modell (Student) das Verhalten eines massiven Modells (Teacher) nachahmt.
• Kullback-Leibler-Divergenz (KL-Divergenz): Ein statistisches Maß dafür, wie stark sich eine Wahrscheinlichkeitsverteilung von einer anderen unterscheidet.
• GRPO (Group Relative Policy Optimization): Ein hocheffizienter Reinforcement-Learning-Algorithmus, der Gruppen von Modellausgaben vergleicht, um die Richtlinie (Policy) ohne separates Kritiker-Modell zu optimieren.
• Pathways: Ein von Google entwickeltes Orchestrierungssystem zur verteilten Ausführung von Rechenlasten über massive Hardware-Netzwerke hinweg.
• VLLM: Eine hocheffiziente Open-Source-Inferenz-Engine zur schnellen Textgenerierung mit großen Sprachmodellen.
• MoE (Mixture of Experts): Eine Modellarchitektur, bei der nur ein Bruchteil der Netzwerkgewichte (bestimmte „Experten“) für eine spezifische Eingabe aktiviert wird.
• Ironwood V7X: Eine hochentwickelte TPU-Chip-Generation von Google Cloud für extrem skalierbares und beschleunigtes KI-Training.
• ICI / DCN: Interner Chip-zu-Chip-Verbindungsbus (ICI) und Rechenzentrumsnetzwerk (DCN) für die knotenübergreifende Datenübertragung.
• XPK: Ein Open-Source-Toolkit von Google zur einfachen Ausführung und Skalierung von ML-Workloads auf GKE und TPU-Clustern.

Zusammenfassung

Dieses Video präsentiert einen technischen XLA-Crashkurs (Accelerated Linear Algebra), der von den Google-Entwicklern Kevin Gleason und Peter Gavin durchgeführt wird. Im Mittelpunkt stehen die Architektur des XLA-Compilers sowie dessen zentrale Zwischenrepräsentationen (IR) wie HLO, MHLO, StableHLO, VHLO und CHLO. Die Präsentation beleuchtet, wie StableHLO als universelle Schnittstelle zwischen verschiedenen Deep-Learning-Frameworks (wie JAX und PyTorch) und diversen Hardware-Backends (TPUs, AWS Neuron, Apple Metal) dient. Zudem werden Framework-Lowerings, die PJRT-API zur Geräteanbindung sowie compilerinterne Mechanismen wie Array-Layouts, Tiling, Parameter-Statik und die entscheidende Instruktions-Fusion (Fusion) zur Leistungs- und Speicheroptimierung detailliert erklärt.

Wichtigste Punkte & Zeitstempel

• 0:05 Einführung in XLA: Die Google-Entwickler Kevin Gleason und Peter Gavin stellen den XLA-Compiler-Stack vor, wobei Gleason den High-Level-Bereich (StableHLO/Frameworks) und Gavin die Compiler-Interna (TPU-Compiler) abdeckt.
• 0:54 HLO (High-Level Optimizer): Die ursprüngliche Compiler-Zwischensprache von XLA aus dem Jahr 2017, konzipiert mit rund 120 Rechenoperationen als framework-generisches und hardware-portables Format für TPUs.
• 2:07 MHLO (Meta HLO): Um 2019 eingeführt, um die MLIR-Infrastruktur (Multi-Level Intermediate Representation) zu nutzen; unterstützt erweiterte Features wie dynamische Formen und integrierte Quantisierung.
• 3:31 StableHLO: Im Jahr 2022 als stabile öffentliche Schnittstelle des OpenXLA-Projekts etabliert; reduziert den Operationssatz auf ca. 100 und entkoppelt Frameworks und Hardware-Backends vollständig.
• 5:22 VHLO & Kompatibilität: Versioniertes StableHLO zur automatischen Verwaltung von Vorwärts- und Rückwärtskompatibilität über MLIR-Bytecode und programmatische Upgrade-/Downgrade-Passes.
• 6:35 CHLO (Client HLO): Höherstufige Client-Operationen, die Abstraktionen aus Frameworks bewahren und wahlweise direkt auf StableHLO abgebildet oder in Backend-IR zerlegt werden.
• 7:42 Framework-Lowerings: Frameworks wie JAX und PyTorch konvertieren ihre eigenen Operationen (z. B. JAXpr, AOT Autograd) auf einfache Weise in StableHLO.
• 8:42 Custom Kernels: Benutzerdefinierte Kernel werden in JAX (über das Palace-Framework) getraced und als opake MLIR-Blobs in StableHLO-Custom-Calls eingebunden.
• 9:19 PJRT-API: Eine vereinheitlichte API-Schnittstelle, die Kompilierung, Ausführung sowie Pufferübertragungen zwischen Host und Hardware-Geräten standardisiert, sodass Backends unabhängig agieren können.
• 10:46 XLA-Compiler-Interna: Peter Gavin erläutert den internen Aufbau des TPU-Compilers, bei dem HLO-Module aus datenflussbasierten Berechnungs-Graphen ohne Rekursion bestehen, um Speicherplatz statisch zu binden.
• 12:06 Arrays und Layouts: Verwaltung mehrdimensionaler Arrays (bis zu 8 Dimensionen) mit Layout-Definitionen (angegeben von minor zu major) und Datentyp-Unterstützung von Integern bis hin zu feineren Gleitkommaformaten.
• 13:50 Tiling: Ein Verfahren zur Leistungseigerung, bei dem Arrays intern per Reshape, Transpose und Padding so umstrukturiert werden, dass sie exakt an die Vektorbreite der Hardware (z. B. Tile-Größe T8) angepasst sind.
• 15:12 HLO-Instruktionen & Kontrollfluss: Elementweise Operationen, lineare Algebra, Batch-Normalisierung, verteilte Collectives (z. B. Reduce-Scatter) sowie Kontrollflusskonstrukte (Conditional, While) als eigenständige Anweisungen.
• 18:25 Instruktions-Fusion (Fusion): Der Kernvorteil von XLA; mehrere aufeinanderfolgende Operationen werden gemeinsam kompiliert und im Register gehalten, wodurch teure Hauptspeicher-Zugriffe (Roundtrips) eliminiert werden.
• 19:48 Front-End und Back-End: Die Compiler-Architektur trennt geräteunabhängige Optimierungspässe im Frontend von der Backend-Codegenerierung, die den bereinigten Code auf spezifische Hardware-Zielplattformen abbildet.

Glossar

• XLA (Accelerated Linear Algebra): Ein domänenspezifischer Optimierungscompiler von Google, der darauf ausgelegt ist, Berechnungen für lineare Algebra in Machine-Learning-Modellen zu beschleunigen.
• IR (Intermediate Representation / Zwischenrepräsentiation): Eine von Compilern intern verwendete Programmiersprache oder Datenstruktur, um Quellcode schrittweise in Maschinencode zu übersetzen.
• HLO (High-Level Optimizer): Die ursprüngliche, hochstufige Zwischensprache des XLA-Compilers zur Optimierung von Rechenoperationen.
• MHLO (Meta HLO): Eine auf MLIR basierende Zwischenrepräsentiation für XLA, die erweiterte Compiler-Funktionen wie dynamische Dimensionen unterstützt.
• StableHLO: Ein standardisiertes, versionsstabiles Austauschformat und IR für Machine-Learning-Compiler, das die Kompatibilität zwischen verschiedenen Frameworks und Hardware-Plattformen langfristig sichert.
• VHLO (Versioned StableHLO): Eine versionierte Form von StableHLO, die Mechanismen bereitstellt, um Code-Versionen zwischen verschiedenen Compiler-Release-Ständen auf- und abzuwerten (Upgrade/Downgrade).
• CHLO (Client HLO): Eine Sammlung höherstufiger Operationen, die nah an den Quell-Frameworks liegen und deterministisch in das fundamentale StableHLO zerlegt werden können.
• MLIR (Multi-Level Intermediate Representation): Ein modulares Compiler-Infrastruktur-Framework, das die Erstellung und Wiederverwendung von domänenspezifischen Zwischenrepräsentationen ermöglicht.
• TPU (Tensor Processing Unit): Ein von Google entwickelter, spezialisierter Mikroprozessor (ASIC), der für die effiziente Ausführung von Deep-Learning- und Tensor-Berechnungen optimiert ist.
• PJRT (Portable JAX/XLA Runtime): Eine standardisierte API-Schnittstelle, die Frameworks von den spezifischen Details der Hardware-Ausführung und Pufferverwaltung entkoppelt.
• Tiling: Eine Optimierungsmethode, bei der Datenmatrizen in kleinere Blöcke (Kacheln) aufgeteilt und im Speicher angeordnet werden, um die Vektoreinheiten der Hardware optimal auszulasten.
• Instruktions-Fusion (Fusion): Ein Verfahren, bei dem mehrere aufeinanderfolgende Rechenschritte zu einer einzigen Operation zusammengefasst werden, um das Schreiben von Zwischenergebnissen in den Hauptspeicher zu vermeiden.
• Reduce-Scatter: Eine verteilte Rechenoperation in parallelen Systemen, bei der Daten über mehrere Prozessoren hinweg reduziert (z. B. summiert) und anschließend aufgeteilt werden.
• BF-16 (Bfloat16): Ein 16-Bit-Gleitkommazahlenformat, das denselben großen Wertebereich wie das Standard-32-Bit-Format (FP32) besitzt, jedoch weniger Präzision verwendet, um Speicher zu sparen und die Rechengeschwindigkeit zu erhöhen.

Abstract

Dieser Vortrag, präsentiert von Arthi aus dem JAX-Team bei AMD, beschreibt die Integration von FlyDSL-Kerneln in JAX für AMD-GPUs. FlyDSL ist eine Python-basierte Domain-Specific Language (DSL), die eine layout-erste, feingranulare Steuerung von GPU-Berechnungen ermöglicht, um leistungskritische Workloads wie Mixture-of-Experts (MoE) GEMMs und Fused Attention zu optimieren. Benchmarks des Mixtral 8x7B-Modells in FP8 zeigen im Vergleich zum Standard-XLA-Pfad eine 2,5-fache Leistungssteigerung im Prä-Fill und eine 3,5-fache im Dekodieren, wobei der Durchsatz von 14 auf 50 Token pro Sekunde steigt.

Wichtigste Punkte & Zeitstempel

• 0:00 Motivation für FlyDSL: Während XLA Standard-Operationen und einfache Fusionen automatisiert, erfordern leistungskritische Workloads wie Fused Attention oder Mixture-of-Experts (MoE) GEMMs eine explizite Hardware-Steuerung von Layouts, Tiling und Speicher-Pipelines.
• 0:18 FlyDSL-Architektur: FlyDSL bietet ein layout-erstes Python-Programmiermodell ähnlich wie Cute, das vollständige Kontrolle über die Rechenhierarchie von Block-, Warp- und Thread-Ebene bis zu den MFMA-Atomen (Matrix-Hardware-Einheiten) gestattet.
• 0:38 JAX-Integration: Ein Brückenlayer konvertiert JAX-Tensoren über DLPAC-Metadaten (Form, Strides, Datentyp) in ein von FlyDSL lesbares Speicherformat, da FlyDSL nativ primär PyTorch unterstützt.
• 0:41 Kompilierungs-Pipeline: JAX-Code wird getraced, über FlyDSL in LLVM-ähnliche Dialekte (fl) und amdogdl übersetzt, zu hsa co kompiliert und via C-Trampolines im Runtime-Verhalten pro GPU-Sharding ausgeführt.
• 0:56 Ziel-Workload (MoE GEMMs): Bewältigung irregulärer Speicherzugriffe (Gather/Scatter) und dynamischer Token-Verteilungen in Mixture-of-Experts-Modellen durch gruppierte GEMMs statt ineffizienter maskierter dichter GEMMs.
• 0:7:31 Standalone-Validierung: Tests des isolierten FlyDSL-Kernels gegen AMDs CK-Kernel (Composable Kernel) beim Mixtral 8x7B-Modell in FP8 zeigen volle Leistungs-Parität und stellenweise Überlegenheit.
• 0:8:11 End-to-End-Inferenz: Die Integration in das Max-Inferenz-Framework für Mixtral 8x7B liefert eine 2,5-fache Beschleunigung im Prä-Fill und 3,5-fache im Dekodieren; der Inferenz-Durchsatz erhöht sich von 14 auf 50 Token/Sekunde.
• 0:10:07 Zukunftsaussichten: Die Roadmap umfasst die Unterstützung von Rückwärtspass-Kerneln (Training), dynamischen Skalaren zur Laufzeit sowie die Bereitstellung vorgefertigter Python-Wheels.
• 0:11:31 Fusionslogik (Q&A): Kernel-Fusionen müssen vom Entwickler explizit im FlyDSL-Code authorisiert werden und sind keine automatische Optimierung durch den Compiler.

Glossar

• JAX: Ein von Google entwickeltes Python-Framework für hochperformantes numerisches Rechnen und maschinelles Lernen mit automatischer Differenzierung.
• XLA (Accelerated Linear Algebra): Ein domainspezifischer Compiler für lineare Algebra, der Rechengraphen in JAX analysiert und optimierten Maschinencode generiert.
• FlyDSL: Eine Python-basierte Domain-Specific Language (DSL) für AMD-GPUs, die Entwicklern die direkte Kontrolle über Thread-Layouts und Hardware-Einheiten auf niedriger Ebene gibt.
• GEMM (General Matrix Multiply): Eine grundlegende mathematische Operation zur Matrixmultiplikation und -addition, die das Fundament neuronaler Netzwerke bildet.
• Mixture of Experts (MoE): Eine Transformer-Architektur, bei der eingehende Daten nur an eine dynamische Teilmenge von spezialisierten Teil-Netzwerken ("Experten") geleitet werden, um Rechenleistung zu sparen.
• MFMA (Matrix-Fused Multiply-Add): Spezifische Hardware-Recheneinheiten auf AMD-Grafikkarten, die für beschleunigte Matrixmultiplikationen bei Deep-Learning-Workloads optimiert sind.
• FP8 (8-bit Floating Point): Ein extrem komprimiertes Gleitkommaformat mit 8 Bit Genauigkeit, das den Speicherbedarf halbiert und die Verarbeitungsgeschwindigkeit in KI-Modellen drastisch erhöht.
• DLPAC / DLPack: Ein offener Standard, der den direkten und schnellen Austausch von Tensor-Daten im Arbeitsspeicher zwischen verschiedenen KI-Frameworks ermöglicht.
• Composable Kernel (CK): Eine Hochleistungs-Bibliothek von AMD zur Erstellung optimierter GPU-Kernel für Deep-Learning-Operationen.
• Triton: Eine alternative Programmiersprache und ein Compiler, die es ermöglichen, CUDA-ähnliche Kernel direkt in Python zu schreiben, ohne C++ oder CUDA beherrschen zu müssen.

Abstract

Dieser Vortrag von Bavani (Softwareingenieurin bei Intel) beschreibt die Integration des oneAPI-Backends in den XLA-Compiler (Accelerated Linear Algebra), wodurch JAX-Workloads auf Intel-GPUs der Battlemage-Architektur ausgeführt werden können. Die Präsentation beleuchtet die Hardware-Spezifikationen der ARC-Workstation-GPUs, den oneAPI-Software-Stack, die zweigleisige Kompilierungspipeline (über oneDNN und MLIR/SPIR-V sowie experimentellen Triton-Codegen), die Laufzeitausführung via Level-Zero-Schnittstelle, die Multi-GPU-Skalierung mittels oneCCL sowie die Struktur des PJRT-basierten JAX-Plugins.

Wichtigste Punkte & Zeitstempel

• 0:09 Intel Battlemage GPU-Architektur: Vorstellung der professionellen Workstation-GPU ARC Pro B70 auf Basis der XE2-Architektur mit 32 GB GDDR6 VRAM, 32 XC-Cores (jeweils 8 Vektor- und Matrix-Engines) und einem dynamisch aufteilbaren 256 KB L1-Cache.
• 0:26 oneAPI Software-Stack: Erläuterung von oneAPI als plattformübergreifendes Programmierframework, das durch Bibliotheken wie oneMKL (Mathematik), oneDNN (Deep Learning) und oneCCL (Kollektivkommunikation) die plattformunabhängige Hardware-Nutzung ermöglicht.
• 0:40 HLO-Kompilierungspipeline: Trennung der Codegenerierung: Convolutions und Dot-Operationen werden über GEM-Custom-Calls an oneDNN übergeben, während elementweise Operationen und Reduktionen über MLIR-Infrastruktur zu SPIR-V-Binärdateien gewandelt werden.
• 0:8:32 Experimenteller Triton-Codegen: Dreiphasige Triton-Pipeline (Triton IR, TTIG-Dialekt und Triton GenOps), die mithilfe von Autotuning-Mechanismen optimale Kachelungskonfigurationen (Tiling Configs) für rechenintensive Matrixoperationen ermittelt.
• 0:10:57 Laufzeitausführung und Level-Zero: Einbindung des SYCL-Executors zur Speicher- und Kernelverwaltung, Laden von SPIR-V-Binärdateien in die Level-Zero-Laufzeitumgebung und JIT-Kompilierung (Just-in-Time) in die native ISA über den Intel Graphics Compiler (IGC).
• 0:12:09 Multi-GPU-Skalierung mit oneCCL: Nutzung der oneAPI Collective Communications Library zur Abwicklung verteilter Trainingsvorgänge und Synchronisation über hardwarebeschleunigte Kollektivprimitive (z. B. All-Reduce, Broadcast).
• 0:13:27 JAX-Integration und Validierung: Bereitstellung eines PJRT-basierten oneAPI-Plugins, aufgeteilt in drei Python-Wheels (jaxlib, oneAPI-Plugin, oneAPI-PJRT), mit erfolgreichen Validierungen für Modelle wie Gemma 2, Stable Diffusion XL, BERT und GPT-2.
• 0:14:37 Zukunftsarbeit und Upstream-Roadmap: Laufende Upstream-Integrationen in XLA/JAX, darunter Profiling-Tools (PTI), erweiterte Multi-GPU-Skalierung, graphbasierte SYCL-Kommandozeilenpuffer sowie zukünftige Unterstützung für Intel Data Center GPUs (z. B. Crescent Island).

Glossar

• XLA (Accelerated Linear Algebra): Ein Domain-spezifischer Compiler für lineare Algebra, der Rechengraphen in Machine-Learning-Frameworks (wie JAX und TensorFlow) optimiert und beschleunigt.
• JAX: Ein Hochleistungs-Framework für maschinelles Lernen und numerische Berechnungen, das automatische Differenzierung und JIT-Kompilierung unterstützt.
• Battlemage / XE2: Die zweite Generation von Intels Grafikprozessor-Architektur (Xe High Performance Graphics) für Gaming und professionelle Workstations.
• GDDR6 VRAM: Graphics Double Data Rate 6 Video Random Access Memory – ein extrem schneller Grafikspeicher, der große KI-Modelle und Daten lokal puffert.
• XC-Core: Der grundlegende Rechenbaustein der Intel-Xe-Architektur, der Threads steuert und Vektor- sowie Matrix-Berechnungen durchführt.
• oneAPI: Ein offenes, herstellerübergreifendes Software-Entwicklungsframework von Intel zur einheitlichen Programmierung verschiedener Hardware-Architekturen (CPUs, GPUs, FPGAs).
• oneMKL (oneAPI Math Kernel Library): Eine optimierte Softwarebibliothek für mathematische Kernroutinen wie lineare Algebra und Fast-Fourier-Transformationen (FFTs).
• oneDNN (oneAPI Deep Neural Network Library): Eine leistungsoptimierte Bibliothek mit Grundbausteinen für neuronale Netze (wie Faltungen, Aktivierungsfunktionen und Normalisierungen).
• oneCCL (oneAPI Collective Communications Library): Eine Bibliothek für verteilte Systemkommunikation, die synchrone Operationen über mehrere GPUs hinweg beschleunigt.
• HLO (High-Level Optimizer / High-Level Operations): Die abstrakte Zwischenstufe (Intermediate Representation) im XLA-Compiler, auf der mathematische Operationen optimiert werden.
• MLIR (Multi-Level Intermediate Representation): Eine modulare Compiler-Infrastruktur, die verschiedene Abstraktionsebenen (Dialekte) nutzt, um Code schrittweise für spezifische Hardware zu übersetzen.
• SPIR-V: Ein offener, standardisierter Zwischencode-Standard der Khronos Group für parallele Compute-Kernel und Shader.
• SYCL: Eine offene C++-Standarderweiterung für heterogenes Computing, mit der Entwickler plattformübergreifenden Code für CPUs und Beschleuniger schreiben können.
• Level Zero: Eine schlanke, hardwarenahe Low-Level-Programmierschnittstelle (API) zur direkten Steuerung von Intel-Grafikprozessoren mit minimalem Overhead.
• ISA (Instruction Set Architecture): Der konkrete maschinennahe Befehlssatz der zugrundeliegenden Hardware, in den der Programmcode übersetzt wird.
• PJRT: Eine standardisierte Plug-in-Schnittstelle in JAX, die die Anbindung unterschiedlicher Hardware-Beschleuniger (wie GPUs oder TPUs) vereinheitlicht.
• Triton: Ein Python-basiertes Programmiermodell und ein Compiler, mit dem effiziente GPU-Kernel erstellt werden können, ohne Low-Level-Code schreiben zu müssen.
• Autotuning: Ein automatisierter Prozess während der Kompilierung, bei dem verschiedene Ausführungsvarianten getestet werden, um die performanteste Konfiguration auszuwählen.

Zusammenfassung

Diese Transkription dokumentiert eine technische Präsentation und Fragerunde des Google-Tinix-Teams über die Tinix-Architektur für groß angelegtes, agentenbasiertes Reinforcement Learning (RL) auf Tensor Processing Units (TPUs). Tinix entkoppelt Generierungs- (Rollout) und Trainings-Worker vollständig, um die Hardware-Auslastung (MFU) zu maximieren und den Engpass des „Wartens auf die Welt“ bei langen, multivariaten Agenten-Workflows zu eliminieren. Das Framework unterstützt moderne Algorithmen (PPO, GRPO, DPO, GSPO), asynchrone Rollouts, Token-in-Token-Out-Konsistenz (TiTO) zur Vermeidung von Retokenisierungsdrift sowie kollokierte und disaggregierte Bereitstellungsmodi.

Wichtigste Punkte & Zeitstempel

• 0:05 Einführung in Tinix: Vorstellung des Google-Tinix-Teams und der Agenda zur groß angelegten RL-Architektur auf TPUs durch Lance, Su und Hu.
• 1:26 Markt- und Infrastrukturtrend: Der Boom des KI-Codings treibt die Diversifizierung von Rechenclustern zwischen Grafikprozessoren (GPUs) und TPUs voran.
• 3:27 Agentische Herausforderungen: Steigende Komplexität durch Planung, Argumentation, Tool-Nutzung und tausende parallele Sandbox-Umgebungen.
• 5:32 Post-Training-Phasen: Überblick über Supervised Fine-Tuning (SFT), Reinforcement Learning und Knowledge Distillation innerhalb des Tinix-Frameworks.
• 7:39 Infrastruktur-Paradigmen: Bewältigung heterogener Workloads durch kombinierte Parallelismus-Strategien (Tensor-, Expert- und Pipeline-Parallelismus).
• 9:58 Entkoppeltes Agenten-Modell: Vollständige Trennung von Rollout-Generatoren und Trainern durch einen zentralen Orchestrator zur unabhängigen Skalierung.
• 13:12 Agentische vs. traditionelle Workflows: Multi-Turn-Zustandssequenzen für Software-Engineering-Agenten (z. B. GitHub-Fehlerbehebung mit Code-Änderungen und Tests).
• 17:35 Asynchroner Rollout: Überwindung von Auslastungslücken (Bubbles) durch asynchrone Trajektorienerfassung und Gruppenwarteschlangen für GRPO.
• 22:00 Bereitstellungsmodi (Kollokiert vs. Disaggregiert): Abwägung zwischen ressourcensparender Kollokation für kleine Cluster und Durchsatzoptimierung via Disaggregation für große Cluster.
• 25:47 Trainings-Rezepte: Validierung der Pipeline anhand von Frozen Lake (Gridworld) und SWE-Agenten (Gemma/Qwen-Modelle auf TPU-Clustern).
• 29:41 Kritische Lernprozesse (TiTO & Maskierung): Vermeidung von Retokenisierungsdrift (Token-in-Token-Out) und präzise Loss-Maskierung zur Sicherung der Richtlinienkonvergenz.
• 33:07 Zukünftige Skalierungshürden: Lange Kompilierungszeiten, verwaiste Umgebungen („Zombie-Umgebungen“) und Fehlerfortpflanzung bei globalen Abläufen.

Diskussions-Highlights

• Off-Policy-Management: Erörterung, wie Tinix asynchrone Updates über mehrere Richtlinienversionen hinweg handhabt, ohne die Konvergenzstabilität durch veraltete Daten zu gefährden.
• Rollout-zu-Trainer-Verhältnis: Diskussion über die empirische Notwendigkeit, das Verhältnis von Inferenz- zu Trainingschips (z. B. 16/32- bis 64-Chip-Konfigurationen) anzupassen, um den Learner kontinuierlich auszulasten.
• Sandbox-Lebenszyklus: Klarstellung, dass Sandbox-Umgebungen dauerhaft für Multi-Turn-Aufgaben aktiv gehalten werden, während die LLM-Inferenz außerhalb der Sandbox erfolgt.
• Kollokation vs. Disaggregation: Abwägung der Vorteile: Kollokation garantiert On-Policy-Verhalten, leidet jedoch unter Stragglern; Disaggregation skaliert für große Cluster (>100B-Modelle), erfordert jedoch Off-Policy-Toleranz.

Glossar

• TPU (Tensor Processing Unit): Von Google entwickelte, spezialisierte integrierte Schaltung (ASIC), die für die Beschleunigung von Workloads im Bereich des maschinellen Lernens optimiert ist.
• RL (Reinforcement Learning / Bestärkendes Lernen): Ein Teilgebiet des maschinellen Lernens, bei dem ein Agent durch Belohnungen und Bestrafungen lernt, in einer Umgebung optimale Entscheidungen zu treffen.
• PPO (Proximal Policy Optimization): Ein beliebter Algorithmus im Bestärkenden Lernen zur stabileren Aktualisierung von neuronalen Netzen, der zu große Richtlinienänderungen verhindert.
• GRPO (Group Relative Policy Optimization): Ein RL-Algorithmus, der Gruppen von Trajektorien vergleicht und Vorteile relativ innerhalb der Gruppe berechnet, häufig effizienter bei großen Sprachmodellen.
• DPO (Direct Preference Optimization): Eine Methode zur Ausrichtung von Sprachmodellen an menschlichen Vorlieben direkt über Datensätze, ohne ein separates Belohnungsmodell zu trainieren.
• GSPO: Ein spezialisierter RL-Algorithmus zur Optimierung von Sprachmodell-Richtlinien in LLM-Infrastrukturen.
• Asynchroner Rollout (Async Rollout): Ein Verarbeitungsverfahren, bei dem die Generierung von Trainingsdaten unabhängig und zeitversetzt zum eigentlichen Modelltraining erfolgt, um Leerlaufzeiten zu vermeiden.
• Sandbox-Umgebung: Eine isolierte, sichere virtuelle Testumgebung, in der Code oder Agenten-Aktionen ohne Risiko für das Hauptsystem ausgeführt werden können.
• TiTO (Token-in-Token-Out): Ein Verfahren zur Sicherstellung, dass exakt dieselben Token-IDs, die beim Sampling generiert wurden, auch für die Berechnung der Verlustfunktion verwendet werden, um Konvergenzfehler zu verhindern.
• Log PSD (Log Probability Standard Deviation): Eine Metrik zur Überwachung der numerischen Stabilität und Konsistenz von Wahrscheinlichkeiten zwischen Sampling und Training.
• HBM (High Bandwidth Memory): Ein Hochgeschwindigkeits-Speicherstandard für Grafikprozessoren und Beschleuniger, der enorme Datenübertragungsraten ermöglicht.
• Straggler: Einzelne rechenintensive Aufgaben oder Worker innerhalb eines verteilten Netzwerks, deren langsame Ausführung den gesamten globalen Verarbeitungsschritt blockiert.
• Kollokation (Colocation): Die Ausführung von Rollout-, Inferenz- und Trainingsprozessen auf demselben physischen Hardware-Cluster oder Chip-Mesh zur Ressourceneinsparung.
• Disaggregation: Die räumliche oder logische Trennung verschiedener Arbeitslasten (z. B. Rollout auf separaten Rechenknoten vom Training) zur unabhängigen Skalierung und Durchsatzmaximierung.

Zusammenfassung

Der Vortrag präsentiert „Jaxator“, ein von AMD entwickeltes Framework, das darauf abzielt, die hochoptimierten AMD-AIT-Operator-Bibliotheken (AIT) nahtlos in JAX/XLA-Workloads auf der ROCm-Plattform für AMD-Instinct-GPUs zu integrieren. Jaxator fungiert als Brücke, die JAX-Arrays über XLA-Custom-Calls mit AIT-Kernen verbindet und dabei Sharding-Regeln, Layouts und benutzerdefinierte VJP-Unterstützung für das Training bereitstellt. Anhand von zwei Fallstudien (Multi-Head Attention und dem MXFP4-End-to-End-Rezept für Llama-Modelle) demonstriert das Projekt erhebliche Leistungssteigerungen (ca. 4,39 % bei MHA, bis zu 30 % bei MXFP4 im Vergleich zu FP8-Baselines), während gleichzeitig Herausforderungen bei der Entkopplung von PyTorch-Abhängigkeiten und der Laufzeitkoordinierung zwischen HIP und XLA adressiert werden.

Wichtigste Punkte & Zeitstempel

• 0:00 Einführung in Jaxator: Vorstellung von Rutaj Vidya (AMD Software Engineer) bezüglich der Integration von AMD-AIT-Kernen in JAX/XLA für ROCm-Workloads.
• 0:19 Präsentationsstruktur: Gliederung in AIT-Übersicht, Jaxator-Framework, zwei Fallstudien (MHA und MXFP4) sowie Ausblick.
• 2:01 Definition von AIT: AIT ist AMDs Hochleistungs-KI-Operator-Bibliothek auf ROCm für Training und Inferenz, die LLM-Bausteine (Attention, GEMMs, MoE, LayerNorm) über mehrere Backends (Composable Kernel, Triton, HIP, Hand-Assembly) bereitstellt.
• 3:21 Leistungsgewinne von AIT: AIT erzielt je nach Operator Geschwindigkeitssteigerungen von 2x bis zu 17x im Vergleich zu Standardimplementierungen.
• 4:26 Jaxator-Framework: Fungiert als Integrationsschicht, die Low-Level-Lowering-Regeln, Runtime-Integration, Sharding-Regeln und Custom VJP (Gradienten) für JAX bereitstellt.
• 6:38 Verwendung von XLA Custom Calls: Architektonische Entscheidung, XLA-Custom-Calls zu nutzen, um die Kompilierungszyklen von XLA von den AIT-Freigabezyklen zu entkoppeln.
• 10:02 Erste Fallstudie (Multi-Head Attention): MHA stellt einen kritischen Flaschenhals beim Llama-Training dar; die Integration über Jaxator liefert einen mittleren Geschwindigkeitszuwachs von 4,39 %.
• 12:03 Zweite Fallstudie (MXFP4): Stresstest mit einem 4-Bit-Low-Precision-Fließkomma-Rezept für Llama 3/3.1, das die Quantisierung von BF16 zu MXFP4, Vorwärts- und Rückwärtskerne sowie Sharding-Kollokationen umfasst.
• 16:33 MXFP4-Leistungsresultate: Erzielung von ca. 20 % Leistungssteigerung für MLP-only und ca. 30 % für das vollständige Rezept (MLP + QKV + O-Projektionen) im Vergleich zur FP8-Baseline, wobei die Verlustkurve nahe an der FP8-Baseline verläuft.
• 18:09 Lektionen & Herausforderungen: Notwendigkeit der Entkopplung tiefer PyTorch-Abhängigkeiten aus AIT, Beherrschung zweier Runtimes (HIP und XLA) sowie Behandlung von Kernen als Blackboxes für XLA.
• 21:01 Zukunftsaussichten: Eröffnung von Pull-Requests, Bereitstellung von Alpha-Wheels im GitHub-Repository von ROCm/Jaxator und Ausweitung der Operator-Abdeckung.

Glossar

• JAX: Ein von Google entwickeltes Python-Framework für hochleistungsfähiges numerisches Rechnen und maschinelles Lernen mit automatischer Differenzierung.
• XLA (Accelerated Linear Algebra): Ein domainspezifischer Compiler für lineare Algebra, der JAX- und TensorFlow-Berechnungen für maximale Ausführungsgeschwindigkeit optimiert.
• ROCm (Radeon Open Compute): AMDs offene Softwareplattform für GPU-Computing und parallele Programmierung (das AMD-Gegenstück zu Nvidias CUDA).
• AIT: AMDs Hochleistungs-KI-Operator-Bibliothek auf ROCm, die speziell optimierte Rechenkerne für Deep-Learning-Workloads bereitstellt.
• Custom Calls: Mechanismen in XLA, mit denen extern geschriebene, plattformspezifische C++- oder GPU-Funktionen direkt aus dem kompilierten Rechengraphen aufgerufen werden können.
• GEMM (General Matrix Multiply): Eine grundlegende mathematische Operation (Matrix-Multiplikation), die den Großteil der Rechenzeit beim Training und Betrieb von neuronalen Netzen ausmacht.
• MoE (Mixture of Experts): Eine Architektur für neuronale Netze, bei der nur bestimmte Teilnetzwerke („Experten“) für spezifische Eingaben aktiviert werden, um die Recheneffizienz zu steigern.
• MHA (Multi-Head Attention): Ein zentraler Baustein von Transformator-Modellen (wie Llama), der es dem Modell ermöglicht, gleichzeitig auf Informationen aus verschiedenen Repräsentationsunterräumen zu achten.
• Sharding: Das Aufteilen von Daten oder Modellgewichten auf mehrere GPUs, um paralleles Training extrem großer Modelle zu ermöglichen.
• VJP (Vector-Jacobian Product): Eine mathematische Methode zur Implementierung des Rückwärtspfads (Gradientenberechnung) in Frameworks wie JAX für das Training von KI-Modellen.
• MXFP4: Ein extrem präzisionsreduziertes 4-Bit-Fließkommaformat (Microscaling Format), das den Speicherbedarf und die Rechenzeit drastisch senkt.
• BF16 (Bfloat16): Ein 16-Bit-Fließkommaformat, das häufig im Deep Learning verwendet wird, um den Speicherverbrauch im Vergleich zu Standard-32-Bit-Zahlen zu halbieren.
• FP8: Ein 8-Bit-Fließkommaformat für noch höhere Recheneffizienz und Durchsatz bei modernem KI-Training.
• HIP: Eine C++-Laufzeitumgebung und Programmiersprache von AMD, die die Ausführung von hocheffizientem Code auf AMD-Grafikkarten ermöglicht.
• Composable Kernel (CK): Eine Programmierumgebung und Bibliothek von AMD zum Schreiben hochoptimierter GPU-Rechenkerne.
• Triton: Eine Open-Source-Programmiersprache und ein Compiler, mit dem Entwickler effiziente GPU-Rechenkerne in Python schreiben können, ohne Low-Level-Code schreiben zu müssen.
• MLPerf: Ein internationaler Industriestandard zur objektiven und standardisierten Messung der Leistung von Hard- und Software für maschinelles Lernen.

Zusammenfassung

Dieses Video behandelt das Post-Training von Large Language Models (LLMs) unter Verwendung der JAX-nativen Bibliothek Tunix. Es unterscheidet zwischen Pre-Training (Erstellung von Foundation-Modellen durch unüberwachtes Lernen auf rohen Datensätzen) und Post-Training (Verhaltensanpassung und Alignment mit kleineren, hochgradig kuratierten Datensätzen). Die Präsentation erläutert die modulare White-Box-Architektur von Tunix sowie dessen Integration in das JAX-Ökosystem (inklusive Flax, Opex und Grain) mit Schwerpunkt auf TPU-Optimierungen. Im Hauptteil werden drei zentrale Post-Training-Methoden vorgestellt: SFT (Supervised Fine-Tuning mit LoRA/QLoRA), DPO (Direct Preference Optimization) zur Angleichung an menschliche Präferenzen und RL (Reinforcement Learning via GRPO) für erweiterte Reasoning-Fähigkeiten. Abschließend werden Hardware-Optimierungsstrategien zur Vermeidung von Out-of-Memory-Fehlern (OOM), Kriterien zur Algorithmuselektion sowie Best Practices für Evaluations-Pipelines diskutiert.

Wichtigste Punkte & Zeitstempel

• 0:02 Phasen des LLM-Trainings: Definition der zwei Hauptphasen: Pre-Training (Wissensaufbau aus gigantischen Rohtexten) und Post-Training (Verhaltensanpassung und Formatierung mit kleineren, zielgerichteten Datensätzen zur Kosteneinsparung).
• 6:23 Einführung in Tunix: Vorstellung von Tunix als leichter, JAX-nativer Post-Training-Bibliothek, die auf Basiskomponenten wie Flax, Opex und Grain aufbaut und insbesondere für TPUs optimiert ist.
• 10:29 Supervised Fine-Tuning (SFT): Der grundlegende erste Post-Training-Schritt zur Etablierung des gewünschten Chat-Verhaltens, wahlweise als vollständiges Fine-Tuning oder ressourcensparend über LoRA und QLoRA (4-Bit-Quantisierung).
• 11:39 Direct Preference Optimization (DPO): Verfahren zur Verfeinerung des Modells anhand von Präferenzdatenpaaren (bevorzugte vs. abgelehnte Antworten), um das Modell direkt an menschliche Vorlieben anzupassen.
• 20:11 Reinforcement Learning (RL / GRPO): Einsatz von Reinforcement Learning, speziell Group Relative Policy Optimization (GRPO), zur Optimierung der Antwort-Performance und des logischen Schließens (Reasoning).
• 22:15 Hardware-Optimierung & OOM-Vermeidung: Handhabung des extremen Speicherbedarfs von LLMs durch präzise Konfiguration von globalen Batch-Größen, um Out-of-Memory-Fehler (OOM) beim Training zu verhindern.
• 25:05 Algorithmuselektion: Leitfaden zur Kombination von Post-Training-Methoden: Start mit SFT und LoRA bei vorhandenen Daten, Übergang zu DPO bei Präferenzpaaren, und Hinzunahme von GRPO ausschließlich bei Bedarf an erweiterten Reasoning-Fähigkeiten.
• 28:28 Tunix vs. MaxText: Empfehlung, Tunix für modulare und flexible Low-Level-Anpassungen zu nutzen, während MaxText als skalierbarer Wrapper für den Betrieb über mehrere Rechencluster dient.
• 29:19 Evaluations-Pipelines: Dringende Empfehlung zur parallelen Implementierung von Evaluations-Tools zur Überwachung von Modellabweichungen, Entropie-Kollabieren und Trainingsfehlern vor und während des Post-Trainings.

Glossar

• LLM (Large Language Model): Ein auf maschinellem Lernen basierendes Sprachmodell, das mit riesigen Textmengen trainiert wurde, um menschliche Sprache zu verstehen und zu generieren.
• JAX: Ein von Google entwickeltes Software-Framework für Hochleistungs-Berechnungen und automatisches Differenzieren, optimiert für beschleunigte Hardware.
• Tunix: Eine JAX-native Open-Source-Bibliothek, die speziell für die effiziente Durchführung von LLM-Post-Training-Workflows entwickelt wurde.
• SFT (Supervised Fine-Tuning): Eine Methode des überwachten Feintunings, bei der ein Basismodell mit konkreten Beispielen von Eingaben und idealen Ausgaben trainiert wird.
• LoRA (Low-Rank Adaptation): Eine Technik zur effizienten Parameteranpassung von KI-Modellen, bei der nur ein Bruchteil der Modellgewichte trainiert wird, um Rechenaufwand und Speicher zu reduzieren.
• QLoRA: Eine quantisierte Weiterentwicklung von LoRA, die durch Reduzierung der Präzision (z.B. auf 4-Bit) den Speicherbedarf des Modells drastisch minimiert.
• DPO (Direct Preference Optimization): Ein Algorithmus zur Ausrichtung (Alignment) von Sprachmodellen anhand von menschlichen Präferenzpaaren (bevorzugt vs. abgelehnt), ohne ein separates Belohnungsmodell zu benötigen.
• Reinforcement Learning (RL): Bestärkendes Lernen; ein maschinelles Lernverfahren, bei dem ein Agent durch ein System von Belohnungen und Bestrafungen lernt, optimale Entscheidungen zu treffen.
• GRPO (Group Relative Policy Optimization): Ein effizienter Reinforcement-Learning-Algorithmus, der Gruppen von Antworten vergleicht, um die Modellrichtlinie (Policy) ohne ein zusätzliches Kritiker-Modell zu optimieren.
• TPU (Tensor Processing Unit): Ein von Google entworfener Spezialprozessor (ASIC), der für die beschleunigte Ausführung von Tensor- und Deep-Learning-Berechnungen optimiert ist.
• OOM (Out of Memory): Ein kritischer Systemfehler, der auftritt, wenn ein Programm (wie ein LLM-Training) mehr Arbeitsspeicher oder VRAM verbraucht, als physikalisch verfügbar ist.
• Flax / Opex / Grain: Software-Bibliotheken im JAX-Ökosystem: Flax dient dem Aufbau neuronaler Netze, Opex verwaltet Gradienten-Optimierer, und Grain ist für Hochleistungs-Daten-I/O zuständig.
• MaxText: Ein auf Tunix aufsetzender, hochskalierbarer Wrapper, der das Training von Sprachmodellen über große Cluster aus mehreren TPUs oder GPUs vereinfacht.

Zusammenfassung

Der Vortrag von Shyok, Senior Research Engineer bei HuggingFace, beleuchtet die Implementierung eines TPU-optimierten Ports des Open-Source-Bildgenerierungsmodells „Qwen Image“ (aus dem Qwen-Labor von Alibaba). Im Fokus stehen die Integration von Latent-Diffusion-Modellen mit der HuggingFace-Diffusers-Bibliothek, die Ausführung auf TPU-v6e-8-Hardware mittels PyTorch XLA sowie architektonische Lösungsansätze wie 2D-Mesh-Sharding zur Bewältigung von Speicher- und Kompilierungsgrenzen.

Wichtigste Punkte & Zeitstempel

• 0:00 Qwen-Image-Einführung: Vorstellung des von Alibaba entwickelten Open-Source-Bildgenerierungsmodells auf Basis von Latent Diffusion, demonstriert anhand eines via Prompt erstellten Testbildes.
• 1:43 Architektur von Diffusionsmodellen: Erklärung der Multi-Komponenten-Pipeline von Diffusionsmodellen, bestehend aus Text-Encodern, initialen verrauschten latenten Vektoren, einer iterativen Transformer-basierten Entrauschungsschleife und einem VAE-Decoder.
• 5:43 Die Diffusers-Bibliothek: Überblick über die von HuggingFace bereitgestellte Bibliothek zur vereinheitlichten Steuerung multimodaler Pipelines mit nativer PyTorch-XLA-Kompilierungskompatibilität.
• 7:27 PyTorch-XLA-Integration: Nutzung der mark_step-API zur Markierung von Kompilierungsgraphen und Einsatz experimenteller Flash-Attention-Backends zur Effizienzsteigerung.
• 9:19 Qwen-Image-Pipeline-Design: Aufteilung der Ausführung: Der Qwen-2.5-VL-Text-Encoder läuft auf der CPU (verursacht <1% der Rechenlast), um Kompilierungsfehler zu umgehen, während Transformer und VAE auf den TPU-Beschleunigern ausgeführt werden.
• 13:20 2D-Mesh-Sharding für TPU v6e-8: Implementierung einer modell- und datenparallelen Sharding-Strategie über ein 2D-Mesh entlang der größten Gewichtungsdimension (z. B. Matrizen von 4096 × 16384), um das vollständige Laden des Transformers auf einen einzelnen TPU-Chip zu umgehen.
• 15:56 Code-Korrekturen für XLA: Behebung von Bugs in der isolierten encode_prompt-Implementierung und strengen negativen Indexierungsfehlern, die auf XLA Validierungsfehler auslösen.
• 16:24 Leistungsmetriken und Benchmarks: Kompilierungszeit von 95 Minuten auf TPU v6e-8, gefolgt von einer steady-state Inferenzlatenz von 20 Sekunden für 50 Schritte (im Vergleich zu 35 Sekunden auf einer NVIDIA A100 GPU).
• 17:50 Profiling und Ausblick: Bedeutung von Profiling-Werkzeugen zur Reduzierung von Host-zu-Device-Synchronisationsengpässen und Ausblick auf die Nutzung von nativem Torch TPU für vereinfachte Hardware-Portabilität.

Glossar

• Latent Diffusion: Eine Klasse von Bildgenerierungsmodellen, bei denen der iterative Entrauschungsprozess in einem komprimierten, niederdimensionalen latenten Raum stattfindet, statt direkt auf Rohpixeln zu operieren.
• PyTorch XLA: Ein Framework, das PyTorch-Operationen über den OpenXLA-Compiler auf Google-TPUs und andere beschleunigte Hardware-Architekturen abbildet und optimiert.
• TPU v6e-8: Googles Tensor Processing Unit der 6. Generation (Version v6e) in einer Konfiguration mit 8 Chips, optimiert für kosteneffizientes Large-Scale-Deep-Learning.
• 2D-Mesh-Sharding: Eine parallele Verteilungsstrategie, bei der Modellparameter und Daten über ein zweidimensionales logisches Chip-Gitter aufgeteilt werden, um speicherintensive Modelle auf Hardware mit begrenztem Chip-Speicher auszuführen.
• Flash Attention: Ein algorithmischer Ansatz zur exakten Berechnung der Self-Attention in Transformers mit optimiertem Speicherzugriff (I/O-Awareness) zur Beschleunigung und Einsparung von VRAM.
• VAE (Variational Autoencoder): Ein neuronales Netzwerk, das in dieser Pipeline als Decoder fungiert, um die im latenten Raum erzeugten Zwischendaten in hochauflösende Bild-Rohpixel zu transformieren.
• SPMD (Single Program, Multiple Data): Ein paralleles Programmiermodell, bei dem dasselbe Programm unabhängig auf mehreren Recheneinheiten ausgeführt wird, die mit unterschiedlichen Datensätzen arbeiten.

Abstract

Dieser Vortrag präsentiert technische Fortschritte bei der Skalierung großer Sprachmodelle (LLMs) und Mixture-of-Experts-Architekturen (MoE) auf Google Tensor Processing Units (TPUs) unter Verwendung der Open-Source-Inferenz-Engines vLLM und SGLang (JAX-Backend).

Im Mittelpunkt stehen detaillierte System- und Kernel-Optimierungen für XL-MoE-Modelle wie Qwen3-Coder-480B auf der Google Ironwood-Chiparchitektur. Durch horizontale Kommunikationsanpassungen (Ersetzung von all_to_all durch Replikation und all_reduce) sowie vertikale Kernel-Fusionen auf dem TPU-On-Chip-Speicher (VMEM) konnte die Ausführungseffizienz von 9,8 auf 286 Tokens pro Sekunde und Chip gesteigert werden, was 77 % der theoretischen Roofline-Leistung entspricht.

Darüber hinaus wird das „TPU-RL“-Ökosystem vorgestellt, das MaxText, Tunx, TPU-Inference und den Multi-Host-Orchestrierer Pathways kombiniert. Die Infrastruktur ermöglicht effizientes Reinforcement Learning durch entkoppelte oder gemeinsam genutzte Ausführungsmodi, dynamisches KV-Cache-Management für Synchros und Expert Replay. Leistungsdaten demonstrieren bei einem GRPO-Run mit Qwen2.5-35B auf 128 Ironwood-Chips einen Sampler-Durchsatz von 35.000 Tokens/s. Abschließend wird die Integration von TorchTPU angekündigt.

Wichtigste Punkte & Zeitstempel

• 0:00 Einführung & Hintergrund: Vorstellung der Neuerungen in den JAX-basierten Inferenz-Engines vLLM und SGLang für Google TPUs zur Erzielung wettbewerbsfähiger Kosten-Leistungs-Verhältnisse in Produktionsumgebungen.
• 0:58 Wertversprechen der TPU-Inferenz: Erweiterung der verfügbaren Rechenkapazitäten und Reduzierung von Entwicklungsaufwänden durch Beibehaltung bestehender Schnittstellen und Kompatibilität mit GKE und Vertex AI.
• 2:51 Fortschritte der vLLM-TPU-Architektur: Übergang zu einer Hardware-Plugin-Struktur, Erreichen einer 2- bis 5-fachen Leistungssteigerung gegenüber dem Prototyp und Fokus auf die Ironwood-Chipgeneration für XL-MoE- und Argumentationsmodelle.
• 5:14 Leistungsoptimierung für XL-MoE-Modelle: Optimierungsarbeiten am Modell Qwen3-Coder-480B führen zu einer Roofline-Ausschöpfung von 77 % sowie einer Durchsatzsteigerung von 9,8 auf 286 Tokens/s/Chip (bei Decode-Prozessen von 34 auf 574 Tokens/s/Chip).
• 10:00 Horizontale Kommunikationstaktiken: Umgehung ineffizienter all_to_all-Operationen auf der Ring-Mesh-Topologie der TPUs durch vollständige Eingabe-Replikation über alle Shards hinweg.
• 12:44 Lokale Reduktion vor Inter-Node-Kommunikation: Umstrukturierung der Berechnungsreihenfolge zur Durchführung lokaler Token-Reduktionen vor Datenübertragungen; der Wechsel von all_to_all zu all_reduce halbiert das Kommunikationsvolumen und verdoppelt die Leistung.
• 14:30 Vertikale Kernel-Fusion im On-Chip-Speicher: Ausnutzung des großen TPU-VMEMs zur aggressiven Verschmelzung von GEMM-Operationen, Aktivierungsfunktionen (SiLU/SwiGLU) sowie Quantisierungsstufen, um HBM-Zugriffe zu eliminieren.
• 16:11 Automatisierte Skalierung auf Qwen 3.5: Nutzung kompilierbasierter Kostenmodelle zur automatischen Kachelgrößen-Auswahl; Wiederverwendung optimierter Module verkürzt die Optimierungsdauer von Qwen 3.5 auf 2 Monate für 50 % Roofline-Effizienz.
• 19:45 Reinforcement-Learning-Architektur (TPU-RL): Präsentation der RL-Pipeline aus MaxText (Training), Tunx (Post-Training/Orchestrierung), TPU-Inference (vLLM) und Pathways (Multi-Host-Steuerung via Inter-Core Interconnect).
• 23:11 Ausführungsmodi für RL-Workloads: Gegenüberstellung von Colocated-Ausführung für ressourcenbeschränkte Hardware und Disaggregated-Ausführung zur Entkopplung von Training und Rollouts auf separaten TPU-Knoten.
• 25:02 vLLM-Funktionen für RL-Anforderungen: Implementierung von Datenparallelität für Rollouts, temporärem Löschen des KV-Caches vor Gewichts-Synchronisierungen zur HBM-Entlastung sowie Expert-Replay für stabiles Routing.
• 27:51 RL-Benchmark-Leistung auf Ironwood: Ein GRPO-Trainingstestlauf mit Qwen2.5-35B auf 128 Ironwood-Chips erzielt 35.000 Tokens/s Sampler-Durchsatz bei einer globalen Schrittzeit von 6 Minuten.
• 28:45 Ausblick und Ankündigung von TorchTPU: Ausrichtung auf Multimodalität, lange Kontexte und Rack-Scale-Systeme; Ankündigung des TorchTPU-Starts und neuer vLLM-/SGLang-Backends im Oktober 2026.

Glossar

• TPU (Tensor Processing Unit): Von Google entwickelter, anwendungsspezifischer Integrierter Schaltkreis (ASIC) zur Beschleunigung von Arbeitslasten des maschinellen Lernens.
• vLLM / SGLang: Hochoptimierte Open-Source-Software-Bibliotheken zur effizienten Bereitstellung und Inferenz großer Sprachmodelle.
• MoE (Mixture of Experts): Eine Architektur neuronaler Netze, bei der Token dynamisch an spezialisierte Teilnetzwerke (Experts) geroutet werden, um die Parameterkapazität ohne proportionalen Anstieg der Rechenkosten zu erhöhen.
• Ironwood (Trillium): Spezifische Google TPU-Hardware-Generationen, die für hohe Rechenleistung pro Flop sowie optimierte Speicherbandbreiten ausgelegt sind.
• EP (Expert Parallelism): Eine Verteilungsstrategie für MoE-Modelle, bei der unterschiedliche Experten auf verschiedenen Beschleunigerchips platziert werden.
• TP (Tensor Parallelism): Ein Aufteilungsverfahren, bei dem einzelne Gewichtsmatrizen innerhalb einer Modellschicht über mehrere Beschleuniger hinweg berechnet werden.
• Roofline-Modell: Ein visuelles Leistungsmodell zur Bestimmung, ob eine Arbeitslast durch die maximale Rechenleistung (Flops) oder die Speicherbandbreite (Byte/s) der Hardware begrenzt ist.
• GEMM (General Matrix Multiply): Standardisierte Operation der linearen Algebra für allgemeine Matrix-Matrix-Multiplikationen, die die Hauptrechenlast in tiefen Netzen bildet.
• VMEM (Vector Memory) vs. HBM (High Bandwidth Memory): VMEM bezeichnet den extrem schnellen, lokalen On-Chip-Speicher der TPU-Kerne; HBM ist der große, externe Hauptspeicher mit hoher Bandbreite.
• Kernel-Fusion: Ein Optimierungsverfahren von Compilern, bei dem mehrere aufeinanderfolgende mathematische Operationen in einem einzigen Speicher-Ablauf zusammengefasst werden, um Lese- und Schreibzugriffe auf den Hauptspeicher zu reduzieren.
• ICI (Inter-Core Interconnect): Googles proprietäre, latenzarme Interconnect-Technologie zur direkten Kopplung mehrerer TPU-Chips innerhalb eines Systems.
• Pathways: Googles verteilte Laufzeitumgebung zur transparenten Orchestrierung paralleler Rechenoperationen über Tausende von Beschleunigerchips.
• GRPO (Group Relative Policy Optimization): Ein effizienter Algorithmus des Reinforcement Learnings zur Ausrichtung (Alignment) von Sprachmodellen.
• TorchTPU: Eine native Integrationsschicht, die es ermöglicht, PyTorch-basierte Modelle direkt auf Google TPUs auszuführen.

Abstract

Dieser Vortrag von Kevin Gleason und Peter Gavin (Google) bietet eine tiefgehende architektonische Übersicht über das XLA-Compiler-System (Accelerated Linear Algebra) und dessen Zwischendarstellungen (Intermediate Representations, IR). Nachgezeichnet wird die Evolution der IR-Schichten von der ursprünglichen HLO (2017) über MHLO und CHLO bis hin zum standardisierten StableHLO und dessen versionierter Form VHLO innerhalb des OpenXLA-Ökosystems. Neben der geräte- und framework-agnostischen Entkopplung wird die C-Schnittstelle PJRT für Laufzeit-, Kompilierungs- und Puffer-Management erläutert. Im zweiten Teil stehen die Compiler-Interna im Fokus: XLA nutzt rekursionsfreie, datenflussbasierte Graphen, um eine vollständig statische Speicherallokation zur Laufzeit zu garantieren. Durch Techniken wie minor-to-major Layout-Transformationen, Vektor-Tiling und primär die Instruktions-Fusion (Loop Fusion) werden Bandbreitenengpässe beim DRAM-Zugriff minimiert. Abschließend werden Mechanismen zur Steuerung numerischer Präzision (z. B. BFloat16-Emulation) und Ursachen hoher Kompilierungszeiten adressiert.

Wichtigste Punkte & Zeitstempel

• 0:05 Einführung und Agenda: Vorstellung des XLA-Compiler-Stacks durch Kevin Gleason (StableHLO, PJRT) und Peter Gavin (XLA TPU Compiler) von Google.
• 0:54 Entstehung von HLO: HLO (High Level Optimizer) wurde 2017 als framework- und hardware-unabhängige Zwischendarstellung mit ca. 120 Basis-Operationen entwickelt, um TensorFlow von der TPU-Hardware zu entkoppeln.
• 2:07 Einführung von MHLO: MHLO (Meta HLO) integrierte HLO 2019 in das MLIR-Ökosystem, um domänenspezifische Features wie dynamische Shapes und Quantisierung abzubilden.
• 3:31 StableHLO & OpenXLA: 2022 als stabiles Kern-IR für das OpenXLA-Projekt eingeführt (~100 Ops), um Kompatibilität zwischen heterogenen Frameworks (JAX, PyTorch) und Hardware-Backends (TPU, AWS Neuron, Apple Metal) zu sichern.
• 5:22 VHLO & Kompatibilitätsmanagement: VHLO (Versioned StableHLO) nutzt MLIR-Bytecode sowie In-Memory-Upgrades und -Downgrades, um eine zweijährige Vorwärts- und Rückwärtskompatibilität zu gewährleisten.
• 6:35 Client HLO (CHLO): High-Level-Op-Set zur Erhaltung mathematischer Abstraktionen; erlaubt wahlweise direkte Backend-Abbildung oder gezielte Dekposition in StableHLO für einheitliche Numerik.
• 7:42 Lowering & Custom Kernels: Frameworks lowern Primitive zu StableHLO; benutzerdefinierte Kernels (z. B. JAX Palace) werden über custom_call-Ops als opake MLIR-Blobs an backend-spezifische Compiler übergeben.
• 9:21 PJRT-API-Schnittstelle: Abstraktionsschicht mit standardisierten C-APIs für Kompilierung, Programmausführung und Host-Device-Speichertransfers.
• 10:31 HLO-Modulstruktur & Grapheneigenschaften: HLO-Module enthalten datenflussbasierte Instruktionsgraphen (Computations). Rekursion ist strikt verboten, um statische Speichergrenzen vorab zu berechnen.
• 12:05 Mehrdimensionale Arrays, Layouts & Tiling: Speicherlayouts werden von minor-to-major definiert. Tiling strukturiert Daten in mehrdimensionalen Blöcken (z. B. $8 \times 8$), angepasst auf Vektorregister der Zielhardware.
• 15:12 HLO-Instruktionssatz: Einbindung sämtlicher Operationen inklusive Kontrollfluss (conditional, while) als Instruktionen.
• 18:26 Instruktions-Fusion: Kernoptimierung von XLA. Führt Untergraphen (elementweise Operationen) in einheitliche Kernel zusammen, um Zwischenergebnisse direkt in Registern zu halten und DRAM-Lese-/Schreibzugriffe zu eliminieren.
• 19:45 Compiler-Frontend vs. Backend: Das Frontend führt geräteunabhängige Optimierungen (CSE, Fusionsentscheidungen) auf HLO-Ebene durch; das Backend übersetzt gefuste Graphen in Maschinencode (z. B. via LLVM).
• 24:00 Q&A – Custom Ops & Fusion: Custom Ops agieren standardmäßig als Blackboxes und werden vom generischen Fusion-Pass nicht automatisch mit anderen Operationen verschmolzen.
• 25:50 Q&A – Statische Speicherallokation & Kompilierungszeit: Das Fehlende dynamischer Speicherallokation erzwingt vollständiges Unrolling von Schleifen/Graphen, was bei tiefen Netzen zu langen Kompilierungszeiten führt.
• 27:00 Q&A – Numerische Präzision & Flag-Steuerung: Steuerung von Rundungsverhalten und Emulation niedriger Präzision (z. B. BFloat16 via F32) über XLA_FLAGS sowie precision_config bei Matrixmultiplikationen.

Glossar

• XLA (Accelerated Linear Algebra): Domänenspezifischer Compiler für lineare Algebra, der Graphstrukturen aus Machine-Learning-Frameworks in effizienten Maschinencode für Beschleuniger übersetzt.
• HLO (High Level Optimizer): Die primäre Graphen-Zwischendarstellung (IR) innerhalb des XLA-Compilers, in der geräteunabhängige Optimierungen durchgeführt werden.
• MHLO (Meta HLO): Ein auf MLIR (Multi-Level Intermediate Representation) basierender Dialekt von HLO, der erweiterte Sprachfeatures wie dynamische Dimensionen unterstützt.
• StableHLO: Ein durch das OpenXLA-Konsortium standardisierter, hochkompatibler IR-Op-Set-Standard, der als Schnittstelle zwischen ML-Frameworks und Compilern dient.
• VHLO (Versioned StableHLO): Versionierte Repräsentation von StableHLO, die Bytecode-Stabilität und Konvertierungen zwischen verschiedenen Dialektversionen ermöglicht.
• CHLO (Client HLO): High-Level-Dialekt auf Framework-Ebene, der komplexe Operationen vor der Dekposition in elementare StableHLO-Ops kapselt.
• PJRT (Plugin Joint RunTime): Einheitliche C-API zur Anbindung von Hardware-Backends an ML-Frameworks zur Steuerung von Kompilierung, Execution und Speicherverwaltung.
• Instruction Fusion (Instruktions-Fusion): Compiler-Pass, der mehrere aufeinanderfolgende Operationen in einer einzigen Kernel-Schleife zusammenfasst, um Zugriffe auf den Hauptspeicher (DRAM) zu vermeiden.
• Tiling: Verfahren zur Umstrukturierung und Ausrichtung von Datenarrays in feste Speicherblöcke (Tiles), um die Auslastung von Vektor- und Matrix-Auszuführungseinheiten zu maximieren.
• TPU (Tensor Processing Unit): Anwendungspezifischer Integrierter Schaltkreis (ASIC) von Google, optimiert für Vektor- und Matrixberechnungen im Deep Learning.

Abstract

Dieses Video demonstriert die Einbettung trainierter neuronaler Netze in CasADi-Optimierungsgraphen zur Lösung von Problemen der optimalen Steuerung (Optimal Control Problems, OCP). Am Beispiel eines Zwei-Zustands-Shuttle-Systems mit Mehrziel-Schiess-Formulierung (Multiple Shooting) wird gezeigt, wie externe Kennfelder oder Modelle im ONNX-Format (Open Neural Network Exchange) integriert werden.

Die Ausführung erfolgt primär über die C-API der Microsoft ONNX Runtime. Da Roh-ONNX-Graphen für den Solver zunächst als Black-Box erscheinen, erfordert der Standardansatz finite Differenzen zur Gradientenberechnung. Um diesen Rechenaufwand zu reduzieren, stellt das Hilfspaket torch2casadi eine Lösung bereit: Es führt in PyTorch eine symbolische automatische Differentiation (AD) durch und exportiert adjungierte ONNX-Graphen für exakte Ableitungen erster und zweiter Ordnung. Abschließend werden die C-Code-Generierung für parametrisches MPC (Model Predictive Control) sowie das symbolische Tracing von ONNX-Graphen direkt in native CasADi-MX-Ausdrücke behandelt, was die Abhängigkeit von externen Laufzeitbibliotheken bei kleineren Netzen eliminiert.

Wichtigste Punkte & Zeitstempel

• 0:00 Einbettung von Neuronalen Netzen in CasADi: Vorstellung der Funktion zur Integration neuronaler Netze in CasADi-Optimierungsgraphen am Beispiel eines Zwei-Zustands-Shuttle-Systems mit Vibrationsbeschränkung und Wettermesswert als exogenem Parameter ($\tau$).
• 1:18 Problemformulierung & Mehrziel-Schiessen: Abbildung des Mehrziel-Schiess-Verfahrens (Multiple Shooting) in der CasADi-Opti-Schnittstelle unter Berücksichtigung von Systemdynamik, Zustands- und Steuerungsbeschränkungen; Unterstützung von Python, MATLAB, Octave, Julia und JavaScript.
• 4:09 Automatische dünnbesetzte Differenzierung & Solver: Automatische Erkennung der Dünnbesetztheit (Sparsity) des Constraints-Jacobians durch vorwärts-/rückwärtsgerichtete AD-Sprints sowie Lösung des NLPs mittels IPOPT.
• 5:55 Export von Ausdrucksgraphen: Erzeugung interaktiver HTML-Visualisierungen des Rechengraphen inklusive Unterdrückung gemeinsamer Unterausdrücke (Common Subexpression Elimination).
• 7:46 Export neuronaler Netze via ONNX: Export trainierter Machine-Learning-Modelle in das herstellerneutrale ONNX-Inferenzformat als Schnittstelle zu CasADi.
• 9:07 Einbindung der ONNX Runtime & Finite Differenzen: Einbindung von ONNX-Dateien über den graph_builder und die Microsoft ONNX Runtime (ONNXRUNTIME_LIB); Nutzung finiter Differenzen (enable_fd=True) zur Gradientenberechnung bei Black-Box-Modellen.
• 13:13 Exakte AD mit torch2casadi: Nutzung des Pakets torch2casadi zur Erzeugung symbolisch differenzierter ONNX-Adjoint-Graphen in PyTorch, wodurch exakte Ableitungen ohne finite Differenzen in CasADi bereitstehen.
• 16:51 C-Code-Generierung für Parametrisches MPC: Export des NLP-Solvers als eigenständige C-Datei mittels opti.to_function() zur Ausführung parametrischer Optimierungen im Kontext modellprädiktiver Regelungen.
• 19:22 Symbolisches Tracing in Native CasADi MX: Übersetzung des ONNX-Graphen in native CasADi-MX-Ausdrücke (symbolic=True) zur Eliminierung externer Bibliotheksabhängigkeiten und Performance-Steigerung bei kleinen bis mittleren Netzen.
• 21:10 CasADi-Schulungsankündigung: Informationen zum mehrwöchigen interaktiven CasADi-Kurs ab dem 13. Oktober mit Schwerpunkten auf Optimierungs-Primitiven und Modellprädiktiver Regelung (MPC).

Glossar

• CasADi: Eine Open-Source-Softwarebibliothek zur symbolischen Datenverarbeitung und automatischen Differenzierung, entwickelt für die numerische Optimierung und optimale Steuerung.
• ONNX (Open Neural Network Exchange): Ein offenes Standardformat zur Darwertungs- und Austauschbarkeit von Machine-Learning-Modellen zwischen unterschiedlichen Frameworks (z. B. PyTorch, TensorFlow).
• ONNX Runtime: Eine von Microsoft entwickelte, plattformübergreifende Ausführungsumgebung zur performanten Evaluierung (Inferenz) von ONNX-Modellen.
• Multiple Shooting (Mehrziel-Schiess-Verfahren): Eine direkte Methode der optimalen Steuerung, bei der das Zeitintervall in mehrere Abschnitte unterteilt wird und die Systemdynamik durch Gleichungsnebenbedingungen zwischen den Abschnitten erzwungen wird.
• IPOPT (Interior Point Optimizer): Ein Softwaresystem zur Lösung großdimensionierter, nichtlinearer Optimierungsprobleme (NLPs) mittels Innere-Punkte-Verfahren.
• Automatische Differentiation (AD): Eine mathematisch exakte Methode zur numerischen Berechnung der Ableitungen von in Code ausgedrückten Funktionen mittels Kettenregel, im Gegensatz zu näherungsweisen finiten Differenzen.
• Finite Differenzen: Ein numerisches Verfahren zur näherungsweisen Berechnung von Ableitungen durch differenzielle Abtastung der Funktion an leicht verschobenen Stützstellen.
• Common Subexpression Elimination (CSE): Eine Compiler-Optimierungstechnik, die identische Teilausdrücke innerhalb eines Rechengraphen identifiziert und wiederholte Berechnungen vermeidet.
• Model Predictive Control (MPC / Modellprädiktive Regelung): Ein Regelungsverfahren, das ein mathematisches Prozessmodell nutzt, um das künftige Systemverhalten über einen Horizont vorausjuberechnen und online ein OCP zu lösen.
• MX-Ausdruck: Eine fundamentale Symbolik-Datenstruktur in CasADi zur effizienten Repräsentation spärlich besetzter Matrizen und allgemeiner Vektor-Rechengraphen.

Zusammenfassung

Diese Dokumentation beleuchtet den Bau eines luxuriösen, ganzjährig nutzbaren Baumhauses in Kärnten durch den Holzbauexperten Johannes Schelle und sein Team. Das Projekt verbindet CAD- und 3D-Scannungstechnologie zur präzisen Erfassung des Baumwachstums mit traditionellem Zimmerhandwerk. Als statisches Fundament dienen über 100 Jahre alte, langsam gewachsene Buchen und Eichen mit Stammdurchmessern von 90 cm bzw. 65 cm. Die Konstruktion stützt sich auf maßgefertigte Lärchenholz-Wendeltreppen, Hängebrücken mit flexibler Seilgeometrie sowie massive, bis zu 4 Tonnen belastbare Spezial-Baumschrauben. Distanzringe und baumschonende Montagemethoden gewährleisten, dass das natürliche Dickenwachstum und die Winddynamik der Bäume nicht beeinträchtigt werden.

Wichtigste Punkte & Zeitstempel

• 0:01 3D-Baumvermessung: Einsatz einer 3D-Scanner-App zur exakten Erfassung von Stammdurchmessern, Unregelmäßigkeiten und Astansätzen als CAD-Planungsgrundlage.
• 1:48 Werkstattfertigung: Vormontage von rund 200 millimetergenau berechneten Einzelteilen in der Werkstatt, darunter eine 18-stufige Wendeltreppe aus witterungsbeständigem Lärchenholz mit 285 Grad Bogenmaß.
• 7:00 Holzschutz bei Lärche: Verwendung harzreicher Lärchenbohlen für Plattformen; die Verlegung erfolgt mit der Kernseite nach oben, um konstruktiven Holzschutz durch optimale Wasserableitung zu gewährleisten.
• 8:41 Bodenschonende Logistik: Nutzung von Flaschenzügen und einem Teleskoplader (zur Umfahrung des Kronenbereichs) anstelle schwerer Kettenfahrzeuge, um Bodenverdichtung und Wurzelschäden zu verhindern.
• 9:02 Baumschrauben-Installation: Einbohren (19 cm Tiefe ins aktive Splintholz) von massiven, bis zu 4 Tonnen belastbaren Baumschrauben mit Doppelgewinde und konischem Einlass zur Aufnahme von Kraftdreiecken.
• 12:20 Statische Basis: Auswahl einer 90 cm dicken Buche und einer 65 cm dicken Eiche als primäre Trägerbäume für die in 4 Metern Höhe befindliche Luxus-Wohnplattform.
• 14:47 Spezial-Befestigungstechnik: Nutzung von Vitus Wahlländers Eigenkreation von Baumschrauben und Distanzringen, die sicherstellen, dass die Tragbalken permanent Abstand zum Stamm halten.
• 18:35 Interdisziplinäres Team: Zusammenwirken von Höhenkletterern, Zimmerern, Ingenieuren und Elektrikern, die trotz winterlicher Witterung (gefrorene Seile) präzise Anpassungen vornehmen.
• 25:00 Flexible Hängebrücke: Errichtung einer Hängebrücke mit stahlseilbasierten Seilgeometrien und Seilelementen, die die gegenseitigen Bewegungen und Schwingungen der verankerten Bäume elastisch ausgleicht.

Glossar

• Splintholz: Der äußere, junge und wasserführende Bereich des Baumstamms, der für den Nährstofftransport zuständig ist und bei punktuellen Verletzungen aktive Abwehr- und Kapselungsreaktionen zeigt.
• Kraftdreieck: Eine statische Dreiecksanordnung in der Holzkonstruktion, die auftretende Gewichts- und Windkräfte optimal auf den zentralen Befestigungspunkt (die Baumschraube) verteilt.
• Baumschraube: Eine massive Spezialschraube mit starkem Doppelgewinde, die direkt in den Baum eingedreht wird und als hochbelastbarer Anker (mit einer Tragkraft von bis zu 4 Tonnen) für schwere Baumhausplattformen dient.
• Distanzringe: Metall- oder Kunststoffringe zwischen dem Tragbalken und dem Baumstamm, die sicherstellen, dass die Konstruktion den Stamm nicht einengt und das natürliche Dickenwachstum ungehindert stattfinden kann.
• Teleskoplader (Telehandler): Ein schmales, geländegängiges Hubfahrzeug mit ausfahrbarem Teleskoparm, das schwere Bauteile in große Höhen manövriert, ohne nahegelegene Baumwurzeln zu überfahren.
• Konstruktiver Holzschutz: Bauliche Maßnahmen (wie Faseung der Schnittkanten, richtige Jahrringausrichtung), die das Eindringen von Feuchtigkeit in das Holz mechanisch verhindern und dessen Langlebigkeit ohne chemische Holzschutzmittel erhöhen.
• Sparstich: Ein spezieller, traditioneller Knoten in der Seiltechnik, der Lasten sicher fixiert und ein Verrutschen von Handläufen oder Schutznetzen verhindert.

Zusammenfassung

Dieses Video bietet ein saisonales Update zu verschiedenen handwerklichen Projekten, experimenteller Bienenzucht und Outdoor-Unternehmungen des Vloggers (MaxiGorov). Zu den Hauptthemen gehören der erfolgreiche Fünfjahres-Langzeittest unterirdischer Geothermie-Bienenstöcke, die Bewältigung technischer Herausforderungen bei hohem Grundwasser, die Instandsetzung eines frostgehobenen Fundaments sowie der Bau eines traditionellen japanischen Torii-Tors aus Windwurf-Holz mittels präziser Kettensägetechniken. Ergänzend werden Offroad-Wettbewerbe, Erholungsaufenthalte im Tver-Gebiet und bevorstehende Reisepläne zu den Kurilen-Inseln (Kunashir und Shikotan) im September vorgestellt.

Wichtigste Punkte & Zeitstempel

• 0:00 Geothermie-Bienen: Die unterirdischen Bienenstöcke haben den ganzjährigen Betrieb im fünften Jahr erfolgreich überstanden und demonstrieren die Wirksamkeit der Erdwärme als Puffer gegen extreme Witterungsbedingungen.
• 0:57 Grundwasserabdichtung: Hohe Grundwasserspiegel erforderten die Abdichtung eines fast 300 kg schweren, schwimmfähigen Verschlussstopfens durch maßgeschneiderte Nutfräsungen und selbstgebaute Werkzeuge.
• 1:58 Fundament-Sanierung: Fortlaufende Arbeiten zur Korrektur eines frostgehobenen Saunafundaments durch Untergrabung, um Setzungen ohne Abriss der Hauptstruktur zu steuern.
• 2:53 Druckimprägniertes Holz: Verwendung von autoklaviertem, chemisch konserviertem Bauholz für ein langlebiges Zaunprojekt mit einem zweistufigen, geschwungenen Dach.
• 3:24 Torii-Tor: Errichtung eines traditionellen Shinto-Myojin-Tors aus einem umgestürzten Baum in 4 Metern Höhe, inklusive präziser und passgenauer Kettensägenschnitte für den Querbalken.
• 6:02 Offroad-Wettbewerb: Erfolgreiche Teilnahme und Sieg mit dem Team beim ATV-Wettbewerb „Grizzly Fun Starts“ für Content Creator.
• 6:54 Erholung an der Echo-Farm: Entspannung und kulinarische Erholung auf der Echo-Farm in der Region Tver am See Vselug nach intensiven handwerklichen Bauphasen.
• 7:44 Kurilen-Exkursion: Geplante herbstliche Reise im September zu den Kurilen-Inseln Kunashir und Shikotan zur Dokumentation der Region.

Glossar

• Geothermie-Bienen: Ein experimenteller Ansatz zur Nutzung natürlicher Erdbodeneigenschaften (Temperaturkonstanz), um Bienenstöcke vor extremem Winterfrost und Sommerhitze zu schützen.
• Frosthebung: Eine physikalische Bodenverformung durch gefrierendes Wasser im Untergrund, die Fundamente oder Bauwerke ungleichmäßig anhebt und beschädigt.
• Autoklavierte Druckimprägnierung: Ein industrielles Verfahren, bei dem Holzschutzmittel unter hohem Druck tief in die Poren des Holzes gepresst werden, um die Witterungsbeständigkeit im Außenbereich massiv zu erhöhen.
• Torii: Ein traditionelles japanisches, symbolisches Eingangstor zu einem Shinto-Schrein oder einem heiligen Bezirk, typischerweise bestehend aus zwei Säulen und zwei Querbalken.
• Myojin-Torii: Eine klassische Unterform des japanischen Torii-Tors, die sich durch einen nach oben gebogenen oberen Querbalken (Kasagi) und leicht nach innen geneigte Steher auszeichnet.
• ATV (All-Terrain Vehicle): Ein geländegängiges vierrädriges Offroad-Fahrzeug (Quad), das für Freizeit- und Expeditionszwecke in unwegsamem Gelände genutzt wird.
• Windwurf-Holz: Durch Stürme oder starken Wind entwurzelte oder umgebrochene Bäume, die oft als kostenloses oder alternatives Rohmaterial für handwerkliche Bauprojekte vor Ort dienen.

Zusammenfassung

Diese Dokumentation begleitet den Holzbau-Experten Johannes Schelle und sein Team bei der Planung und Errichtung eines luxuriösen, ganzjährig nutzbaren Baumhauses in den Kronen alter Buchen und Eichen. Der Schwerpunkt liegt auf der Kombination von hochpräziser Werkstattvorfertigung (rund 200 passgenaue Komponenten, darunter eine komplexe Lärchenholz-Spiraltreppe) mit baumschonenden Befestigungsmethoden. Um die Vitalität der über 100 Jahre alten Bäume zu schützen, kommen speziell entwickelte Baumschrauben (mit einer Tragkraft von bis zu 4 Tonnen) und Flaschenzüge statt schwerer Baumaschinen zum Einsatz. Das Projekt verbindet ingenieurtechnische Präzision mit den natürlichen Bewegungen und dem organischen Wachstum der Bäume.

Wichtigste Punkte & Zeitstempel

• 0:00 3D-Scannung der Bäume: Einsatz einer 3D-Scanner-App zur exakten digitalen Erfassung von Baumstrukturen, Abständen und Astansätzen als geometrische Grundlage für die CAD-Planung.
• 0:29 Holzarten-Auswahl: Verwendung langsam wachsender Harthölzer (Buche, Eiche, Linde) von nordsituierten Standorten, die aufgrund dichterer Zellstrukturen widerstandsfähiger gegen Fäulnis sind.
• 0:52 Workshop-Vorfertigung: Vorab-Fertigung von rund 200 millimetergenauen Bauteilen in der Werkstatt, um Passgenauigkeit vor Ort zu gewährleisten und Montagezeiten im Baum zu minimieren.
• 1:52 Lärchenholz-Spiraltreppe: Konstruktion einer 19-stufigen, ungeträumten Spiraltreppe aus witterungsbeständigem Lärchenholz, berechnet über eine eigens entwickelte Software zur Wahrung der Faserrichtung.
• 7:20 Struktureller Holzschutz: Verlegung von Lärchenholz-Dielen mit nach oben gerichteter Kernseite, damit austretendes Regenwasser durch die natürliche Holzkrümmung seitlich abfließt.
• 8:41 Bodenschonende Logistik: Einsatz von Hand-Faschenzügen und Seilwinden anstelle schwerer Baumaschinen, um eine Verdichtung des Waldbodens und eine Beschädigung des oberflächennahen Wurzelsystems zu verhindern.
• 9:02 Patentierte Baumschrauben: Verschraubung von massiven, doppelt-gewindeten Baumschrauben (ca. 19 cm tief) in den aktiven Splintholzbereich; der Baum schottet die Wunde ab und bildet Reaktionsholz.
• 12:37 Ganzjährige Architektur: Konzeption des Innenraums von Innen nach Außen durch Architekt Christopher Richter; integriert sind Fußbodenheizung, Isolierung, Kochnische, Dusche und ein wassergespültes WC.
• 16:14 Teleskoplader-Einsatz: Nutzung eines Teleskopladers bei winterlichen Minusgraden, um schwere Bauteile unter strenger Schonung der Wurzeln in die Baumkronen zu heben.
• 25:53 Flexible Hängebrücke: Installation einer Hängebrücke aus Drahtseilen mit definiertem Durchhang, um die gegenseitigen, unvorhersehbaren Bewegungen der miteinander verbundenen Bäume elastisch auszugleichen.

Glossar

• Splintholz: Der äußerste, noch lebende und wasserleitende Ringbereich des Baumstamms, der bei Baumhausverschraubungen gezielt genutzt wird, da er aktiv auf Verletzungen reagieren und das Gewebe abkapseln kann.
• Reaktionsholz: Vom Baum gebildetes Spezialholzgewebe, das zur mechanischen Stabilisierung und zur Kompensation von Verletzungen oder einwirkenden Kräften dient.
• Baumschraube: Ein massives, hochbelastbares Befestigungselement mit Grobgewinde und konischem Flansch, das bis zu 4 Tonnen tragen kann und dem Baum Raum zum Weiterwachsen lässt.
• Kernseite: Die dem Baumstamm zugewandte Seite eines gesägten Brettes; sie wölbt sich bei natürlicher Holztrocknung oder Feuchtigkeitsaufnahme konvex, was beim konstruktiven Holzschutz zur Entwässerung genutzt wird.
• Faserrichtung: Der natürliche Verlauf der Holzfäden; durch das passgenaue Zusammensetzen hintereinander geschnittener Bauteile bleibt die optische und strukturelle Maserung erhalten.
• Teleskoplader: Ein schweres Hubfahrzeug mit ausfahrbarem Teleskoparm, das Lasten in große Höhen heben kann, ohne dass das Fahrzeug direkt an den empfindlichen Stamm heranfahren muss.

Zusammenfassung

Das Video analysiert den historischen Wandel des Zerspanungs- und Maschinenbauhandwerks durch die Einführung von numerischer Steuerung (NC) und computergestützter numerischer Steuerung (CNC) sowie die Parallelen zur aktuellen Automatisierung durch KI-Programmierung. Es untersucht die langjährige Debatte über den angeblichen Verlust von Handwerkskompetenz („De-skilling“), vergleicht historische Lohndaten und beleuchtet die Verlagerung von physischem Feingefühl hin zu Systemüberwachung, logischer Fehlersuche und Programmierung.

Wichtigste Punkte & Zeitstempel

• 0:05 Traditionelles Handwerk: Die Zerspanung von Metall verbindet Kunst und Wissenschaft und erfordert fundierte Kenntnisse in Geometrie, Trigonometrie sowie ein physisches „Gefühl“ für Schnittgeschwindigkeiten und Materialreaktionen.
• 2:43 Ausbildung und Kultur: Die traditionelle Lehre zum Maschinisten dauerte 4 bis 5 Jahre (8.000 bis 10.000 Arbeitsstunden) und prägte eine körperlich anstrengende, männerdominiert geprägte Werkstattkultur.
• 7:41 Aufkommen der NC-Technologie: Numerische Steuerung nutzt vorprogrammierte Befehle (traditionell auf Papier- oder Plastikbändern), die von Büroprogrammierern erstellt werden, um Werkzeugmaschinen ohne direkte manuelle Eingriffe zu steuern.
• 9:14 Produktivitätsvorteile: NC-Maschinen erhöhten die Produktivität um das Vier- bis Fünffache, ermöglichten wirtschaftliche Kleinserien (Batch-Produktion) und steigerten die Maßgenauigkeit komplexer Werkstücke.
• 11:19 Einsparung und Schulung von Arbeitskräften: Die Einführung von NC-Maschinen reduzierte den Bedarf an erfahrenen Drehern (z. B. Ersetzung von 44 durch 22 Arbeiter oder von 63 durch 21 Fachkräfte) und verkürzte die Einarbeitungszeit auf 6 bis 12 Monate.
• 13:10 Einführung von CNC: Die Integration von Mikroprozessoren in den 1970er Jahren schuf CNC-Systeme, die Maschinenbedienern über Tastaturen und Bildschirme ermöglichten, Programme direkt zu editieren und Designfehler vor Ort zu korrigieren.
• 14:59 Lohnvergleich und Qualifikation: Daten des US Bureau of Labor Statistics (BLS) von 1981 zeigen geringe Lohnunterschiede zwischen Class-A-Machinisten ($9.72/Std.) und NC-Operateuren ($9.51/Std.), was widerlegt, dass NC-Bediener pauschal unqualifiziert sind.
• 16:37 Wandel der Kompetenzen: Der moderne Bediener verlagert seinen Schwerpunkt von manueller Geschicklichkeit auf Systemverständnis, Fehlersuche im Prozessverlauf und die Überwachung vernetzter industrieller Zellen.
• 19:36 Parallelen zur KI-Programmierung: Der technologische Wandel in der Zerspanung spiegelt sich in der modernen Softwareentwicklung wider (unter anderem durch agentische KI-Systeme im Februar 2026), bei der sich Programmieraufgaben von manueller Codierung zur Steuerung von KI-Agenten verschieben.

Glossar

• Numerische Steuerung (NC): Ein automatisiertes Fertigungsverfahren, bei dem Werkzeugmaschinen durch vordefinierte digitale oder lochstreifenbasierte Befehle ohne manuelle Führung gesteuert werden.
• Computergestützte numerische Steuerung (CNC): Eine Weiterentwicklung der NC-Technologie, bei der ein integrierter Mikrocomputer die Steuerung übernimmt und die direkte Eingabe, Bearbeitung und Erstellung von Programmen an der Maschine erlaubt.
• Zerspanung: Ein spanendes Fertigungsverfahren (wie Drehen, Fräsen oder Bohren), bei dem Material in Form von Spänen mechanisch von einem Werkstück abgetragen wird, um die gewünschte Geometrie zu erzeugen.
• Batch-Produktion (Chargenfertigung): Die wirtschaftliche Herstellung von Produkten in definierten Losgrößen oder Chargen, die über die Einzelfertigung hinausgehen, jedoch kein Massenprodukt darstellen.
• Industrielle Zellen (Industrial Cells): Fertigungsstrukturen, in denen mehrere CNC-Maschinen durch Robotersysteme und Förderbänder miteinander verknüpft sind, um automatisierte Werkstückhandhabung und flexible Massenfertigung zu ermöglichen.
• BLS (Bureau of Labor Statistics): Das statistische Arbeitsmarktamt der US-Regierung, das regelmäßig Erhebungen zu Löhnen, Beschäftigungszahlen und Qualifikationsstrukturen durchführt.
• Agentische KI (Agentic AI): Künstliche Intelligenz, die in der Lage ist, komplexe Aufgaben und Arbeitsabläufe eigenständig und zielorientiert (als Agenten) zu planen, auszuführen und zu überwachen.