Diese Aufzeichnung des siebten „Dev Labs“-Events beleuchtet die historische und technologische Entwicklung der Google-Tensor Processing Units (TPUs), der KI-Infrastruktur sowie der Co-Design-Strategien für Hard- und Software. Die Google-Experten Jeff Dean und Bill diskutieren Meilensteine von den Anfängen der Websuche im Jahr 1999 über die Entstehung der TPUv1 im Jahr 2015 bis hin zu modernen Groß-Pods mit über 9.600 Chips. Im Fokus stehen Skalierbarkeit, die Pathways-Architektur, optische rekonfigurierbare Netzwerke (OCS), die Steigerung der Systemzuverlässigkeit (Goodput) auf bis zu 98 %, Open-Source-Initiativen (JAX, Stable HLO, PyTorch-TPU) sowie zukünftige Anforderungen an agentenbasierte Inferenz-Workloads und automatisierte Chip-Entwürfe mittels Reinforcement Learning.
Wichtigste Punkte & Zeitstempel
0:00 Skalierung der Anfänge: Jeff Dean beschreibt die Anfänge von Google im Jahr 1999 in einem kleinen Büro über einem T-Mobile-Store in Palo Alto bei einem wöchentlichen Traffic-Wachstum von 7 %.
2:01 In-Memory-Suchindex (2001): Verlagerung des gesamten Web-Suchindexes in den Arbeitsspeicher von 1.200 Maschinen, wodurch die Suchgeschwindigkeit innerhalb von drei Tagen vervierfacht wurde.
3:44 Aufstieg des Deep Learnings (2013): Training großer Sprach- und Bildmodelle auf 16.000 CPU-Kernen; die Erkenntnis, dass eine sprachgesteuerte Inferenz für 100 Millionen Nutzer die gesamte damalige Rechenleistung von Google verdoppeln würde, führte zur Entwicklung der TPUs.
6:34 TPUv1 und Architektur-Meilenstein: Einführung der ersten TPU im Jahr 2015 als reiner Inferenzbeschleuniger mit einer 30- bis 80-fach besseren Leistung pro Watt im Vergleich zu damaligen CPUs und GPUs.
9:01 Evolution der TPU-Generationen: Übergang von TPUv2 (Training mit 2D-Torus) und TPUv3 (Einführung von Flüssigkühlung) zu TPUv4 (optische rekonfigurierbare Netzwerke mit mikro-einstellbaren Spiegeln) sowie den Generationen v5, v6 und v7 mit niedrigeren Präzisionsformaten (16-bit, 8-bit, 4-bit).
11:15 Pathways-Architektur (2018): Entwicklung von Pathways zur Steuerung unregelmäßiger, sparsamer Modelle und Bereitstellung einer einheitlichen Programmierabstraktion für zehntausende verteilte Geräte über Pod-Grenzen hinweg.
15:58 Goodput-Optimierung: Steigerung der Systemzuverlässigkeit ("Goodput") von anfänglich 50–60 % auf 95–98 % bei Clustern mit fast 10.000 Chips durch Flotten-Zustandsüberwachung, automatisches Gewichts-Averaging und Fehlertoleranz.
24:37 Open-Source-Strategie: Engagement bei Open-Source-Frameworks wie TensorFlow, JAX, Stable HLO und der Einführung von PyTorch-TPU zur Vermeidung geschlossener Ökosysteme (Walled Gardens).
28:01 Automatisiertes Chip-Design: Nutzung von Reinforcement Learning zur Automatisierung des Hardware-Designprozesses, um Entwicklungszyklen von 2 Jahren (150 Personen) auf 3 Monate (10 Personen) zu verkürzen.
30:57 Inferenz und Agenten-Workloads: Anpassung der Hardwarearchitekturen für Inferenz (Minimierung von Datenbewegungen für Modellgewichte und KV-Caches) sowie Beschleunigung interner Tools für agentenbasierte Workflows (z. B. automatisierte Code-Übersetzung wie Project Turn).
45:12 Netzwerkskalierung (OCS und DCN): Kombination aus internen ICI-Verbindungen (Inter-Core Interconnect), optischen Schaltern (OCS) für Pods mit knapp 9.600 Chips und Rechenzentrumsnetzwerken (Data Center Networks) für synchrone Trainingsläufe über mehrere Rechenzentren hinweg.
Glossar
TPU (Tensor Processing Unit): Ein von Google entwickelter, hochspezialisierter Prozessor (ASIC), der gezielt für die rechenintensiven Matrizenoperationen des maschinellen Lernens optimiert ist.
Goodput (Nutzleistung): Das Verhältnis der tatsächlich für das effektive Modelltraining nutzbaren Rechenzeit zur Gesamtrechenzeit unter Ausschluss von Ausfällen, Kommunikationspausen und Reparaturen.
Shard (Daten-Shard): Ein logisches Teilfragment einer großen Datenbank oder eines Suchindexes, das auf mehrere Server aufgeteilt wird, um Anfragen parallel zu verarbeiten.
Inferenz (Inference): Die Phase, in der ein fertig trainiertes KI-Modell auf neue Daten angewendet wird, um Vorhersagen, Antworten oder Entscheidungen zu generieren.
Pathway: Eine Softwareinfrastruktur und Programmierumgebung von Google, die es einem einzigen Python-Prozess ermöglicht, zehntausende verteilte Rechenchips nahtlos als ein einheitliches System anzusteuern.
OCS (Optical Circuit Switch): Ein optischer Netzwerkschalter, der mithilfe mikro-mechanischer Spiegel dynamische und rekonfigurierbare Lichtleiterverbindungen zwischen Rechenzentrums-Racks herstellt.
ICI (Inter-Core Interconnect): Ein extrem schnelles proprietäres Netzwerk, das TPU-Kerne direkt miteinander verbindet, um die Kommunikation innerhalb eines Racks oder Pods zu maximieren.
Stable HLO: Eine standardisierte Zwischenrepräsentation (Intermediate Representation) für den XLA-Compiler, die die Kompatibilität zwischen verschiedenen KI-Frameworks und Hardware-Beschleunigern gewährleistet.
JAX: Ein von Google entwickeltes Programmier-Framework für Hochleistungs-Numerik und automatisches Differenzieren, das vor allem in der modernen KI-Forschung genutzt wird.
KV-Cache (Key-Value Cache): Ein temporärer Zwischenspeicher bei der Textgenerierung von Sprachmodellen, der berechnete Schlüssel- und Wertvektoren früherer Wörter sichert, um doppelte Rechenschritte zu verhindern.
PyTorch-TPU: Eine Software-Integration, die es Entwicklern ermöglicht, das populäre ML-Framework PyTorch direkt auf Google-TPUs auszuführen.
Project Turn: Ein internes Google-Projekt zur automatisierten Übersetzung von TensorFlow-Modellen und Codedateien in das JAX-Framework inklusive automatisierter Tests und Verifikation.