Diese Arbeit analysiert das Paradigma des Self-Play Pretraining with Zero Data (Cowsik et al., arXiv:2609.30063, September 2026), bei dem zwei zufällig initialisierte Decoder-only-Transformer (Generator und Lerner) ohne externe natürliche Trainingsdaten koevolutionär trainiert werden. Der Generator entwirft Programme in einer erweiterten, turing-vollständigen Brainfuck-Syntax, die auf einer universellen Turing-Maschine (UTM) mit stochastischem Eingabeband deterministische Byte-Sequenzen generieren. Der Lerner wird per Standard-Kreuzentropie auf Next-Byte-Prädiktion trainiert, während der Generator über einen modifizierten Group Relative Policy Optimization (GRPO)-Algorithmus optimiert wird.
Als Belohnungsfunktion dient ein vorkonditionierter Gradient Alignment Score, der quantifiziert, wie stark die Gradienten einer Sequenz mit der bisherigen Optimierungstrajektorie des Lerners über ein wachsendes Lookback-Fenster entlang der AdamW-Präkonditionierung übereinstimmen. Die empirischen Ergebnisse belegen berechnungsoptimale Potenzgesetz-Skalierungen (Power-Law Scaling) über diverse Modalitäten hinweg (Text, CIFAR-10, Audio, Sprache, Melodie, DNA und Metamath). Zudem entstehen emergente Fähigkeiten wie In-Context-Learning (ICL) und die autonome Entdeckung deterministischer mathematischer Folgen (u. a. Fibonacci ab Runde 512). Das Verfahren isoliert universelle prädiktive Strukturen von kontingentem Weltwissen und fungiert als recheneffizienter Warmstart für nachgelagertes Vortraining.
Wichtigste Punkte & Zeitstempel
7:17 Einführung und theoretische Basis: Analyse des Papers von Tel Aviv University und Stanford. Das Paradigma erweitert Suttons Bitter Lesson auf Daten: Modelle erzeugen ihr eigenes Curriculum, inspiriert von Solomonoff-Induktion und dem Prinzip It from Bit.
11:06 Tabula-Rasa-Evaluierung: Experimenteller Aufbau ohne Datentransfer vorab. Beide Netzwerke starten mit zufälliger Initialisierung; getestet wird die Zero-Shot-Generalisierung auf ungesehene Modalitäten (Text, Bild, Audio, Melodie, DNA, mathematische Sequenzen).
12:39 Duales Systemdesign: Entkoppelte Architektur aus Generator $g_\phi$ und Lerner $\pi_\theta$. Programme werden auf einer universellen Turing-Maschine (UTM) ausgeführt; der erzeugte Byte-Strom dient dem Lerner als Zielsequenz.
18:38 Iterativer Trainingszyklus: Abtasten von $N$ Programmen pro Runde, Ausführung mit stochastischem Eingabeband $\omega$, Aktualisierung des Lerners via Next-Token-Prediction und anschließendes Policy-Gradient-Update des Generators.
21:56 Programmiersprache und Fehlertoleranz: Verwendung einer modifizierten Brainfuck-Syntax (8 Kernbefehle, 10 Makro-Instruktionen, Halt-Befehl). Semantik garantiert totale Ausführbarkeit: Zirkulärer Speicher, Modulo-256-Arithmetik und feste Schrittbudgets verhindern Halteproblem-Abstürze und Syntaxfehler.
26:40 Programm-Pool-Architektur: Dreiteilung des Trainingspools pro Runde in frische Samples (globale Exploration), MAP-Elites-Mutationen (lokale Verfeinerung struktureller Nischen) und Replay-Puffer (Prävention katastrophalen Vergessens).
33:41 Vorkonditionierte Gradienten-Ausrichtung: Zurückweisung trivialer Schwierigkeitsmetriken zugunsten des Gradient-Alignment-Scores $r_i = |\langle\nabla_\theta L(y_i; \theta_e), P_e \odot (\theta_{\lfloor e/2 \rfloor} - \theta_e)\rangle|$. Belohnt werden Programme an der Leistungsgrenze des Lerners, berechnet via Vorwärtsmodus-Autodifferenzierung.
43:57 Generator-Optimierung via GRPO und Expert Iteration: Kombination aus GRPO mit relativer Gruppen-Vorteilsfunktion, KL-Divergenz-Strafen bezüglich eines uniformen Solomonoff-Priors und belohnungsgewichtetem Supervised Fine-Tuning (Expert Iteration).
51:38 Leistungsvergleich mit PCFG und Universal Prior: Probabilistische kontextfreie Grammatiken (PCFG) zeigen Vorteile bei Text und Code, scheitern jedoch bei kontinuierlichen und perzeptiven Daten. Der adaptive Self-Play-Ansatz übertrifft statische Priors auf Bildern, Audio und Sprache signifikant.
1:01:36 Hyperparameter-Optimierung und Skalierungsmetrik: Lokale Koordinatenoptimierung über geometrische Raster; Validierungsverlust auf DCLM und DNA steuert Modellselektion bei einem Budget von 34,36 Milliarden Token und 4096 Token Kontextlänge.
1:06:49 Emergenz mathematischer Strukturen: Autonome Synthese von arithmetischen (Runde 0), geometrischen (Runde 256), quadratischen, kubischen und Fibonacci-Folgen (Runde 512). Bei rein uniformem Sampling liegt der Erwartungswert für Fibonacci bei über 53.000 Runden.
1:09:40 Epiplexität als Qualitätsmetrik: Nachweis wachsender Informationsdichte im Zeitverlauf ($T$). Spätere Checkpoints weisen höhere Epiplexität auf und reduzieren die Out-of-Distribution-Validierungs-Bits-per-Byte (BPB) eines frischen 1M-Lerners.
1:18:17 Universeller Datenansatz: Zerlegung des Chinchilla-Skalierungsgesetzes in kontingente Information ($D_c$) und universelle prädiktive Struktur ($D_u$). Self-Play generiert $D_u$ bei konstantem $D_c = 0$ mit Skalierungsexponenten, die dem Training auf natürlichen Daten entsprechen.
1:26:01 Beschleunigung des nachgelagerten Trainings: Pre-Pretraining mit Self-Play verkürzt die Konvergenzzeit auf realen Datensätzen massiv (DCLM, CIFAR-10, ESC-50) im Vergleich zur Zufallsinitialisierung.
Diskussions-Highlights
Reine Intelligenz vs. Faktenwissen: Die Entkopplung von universeller Struktur ($D_u$) und kontingentem Faktenwissen ($D_c$) validiert die Hypothese, dass fundamentale prädiktive Abstraktionen (Indizierung, Rekursion, Hierarchie) vollständig synthetisch aus Rechenzeit abgeleitet werden können.
Widerlegung des Modellkollapses bei synthetischen Daten: Die Annahme, rekursives Training auf synthetischen Daten führe zwangsläufig zu Degeneration („Autophagie“), wird für berechnungsbasierte Systeme falsifiziert, da deterministische Berechnung neue algorithmische Information generiert.
Erweiterung der Platonischen Repräsentationshypothese: Konvergierende latente Repräsentationen entstehen nicht primär durch geteilte physikalische Realität, sondern bereits durch die mathematische Grundstruktur des berechenbaren Raumes.
Praktische Compute-Limitationen: Trotz theoretischer Universalität bleibt die Stichproben-Effizienz im Vergleich zu kuratierten natürlichen Datensätzen gering, weshalb der primäre praktische Nutzen aktuell im Pre-Pretraining zur Beschleunigung von Basismodellen liegt.
Glossar
AdamW-Präkonditionierer ($P_e$): Eine aus den quadrierten Gradienten-Schätzern des AdamW-Optimierers abgeleitete Diagonalmatrix, die Gradientenschritte über Parameter hinweg skaliert und als Metrik für den inneren Produktraum der Parameteränderung dient.
Autoregressives Sprachmodell: Ein neuronales Netzwerk, das Sequenzen Schritt für Schritt generiert, indem es die Wahrscheinlichkeitsverteilung des nächsten Tokens ausschließlich basierend auf den vorhergehenden Tokens vorhersagt.
Bits per Byte (BPB): Eine informationstheoretische logarithmische Verlustmetrik zur Messung der Vorhersagegüte bei Byte-Level-Modellen. Niedrigere Werte bedeuten eine geringere Kompression bzw. bessere Vorhersage.
Brainfuck: Eine minimalistische, turing-vollständige esoterische Programmiersprache mit extrem kleinem Befehlssatz, die Speicherzellen direkt über Zeiger und Schleifen manipuliert.
Compute-Optimal Frontier: Die Pareto-Grenze, die für ein gegebenes Budget an Gleitkommaoperationen (FLOPs) die optimale Kombination aus Modellgröße, Datensatzgröße und Trainingsschritten zur Minimierung des Verlusts darstellt.
Epiplexität (Epiplexity): Ein Maß für die Menge an strukturierter, lernbarer Information in Daten relativ zu einem Beobachter mit begrenzten Rechenressourcen (im Gegensatz zur asymptotischen Kolmogorov-Komplexität).
Expert Iteration: Ein Trainingsverfahren, bei dem ein Modell durch Verstärkungslernen generierte hochqualitative Lösungen über überwachtes Lernen (Supervised Fine-Tuning) wieder in die eigene Verteilung destilliert.
Forward Mode Automatic Differentiation (JVP): Ein Verfahren zur effizienten exakten Berechnung von Richtungsableitungen (Jakobi-Vektor-Produkten) in einem einzigen Vorwärtsdurchlauf, ohne den Speicherbedarf des Rückwärtsmodus (Backpropagation).
Group Relative Policy Optimization (GRPO): Eine Variante des Policy-Gradient-Verfahrens, die auf ein separates Critic-Netzwerk verzichtet und stattdessen den relativen Vorteil einer Aktion innerhalb einer Gruppe parallel generierter Sequenzen normalisiert.
In-Context Learning (ICL): Die Fähigkeit eines Modells, eine neue Aufgabe ausschließlich anhand von Demonstrationen im Prompt während der Inferenz zu erfassen, ohne dass Modellgewichte aktualisiert werden.
Katastrophales Vergessen (Catastrophic Forgetting): Der drastische Verlust zuvor gelernter Fähigkeiten oder Repräsentationen bei einem neuronalen Netz, wenn es auf neuen Datenverteilungen trainiert wird.
KL-Divergenz (Kullback-Leibler): Ein statistisches Maß für die Distanz bzw. den Informationsverlust zwischen zwei Wahrscheinlichkeitsverteilungen; dient hier als Strafterm gegen das Abdriften der Policy.
Kolmogorov-Komplexität: Die Länge des kürzesten Computerprogramms, das eine bestimmte Zeichenkette deterministisch erzeugen kann.
MAP-Elites: Ein evolutionärer Algorithmus (Multi-dimensional Archive of Phenotypic Elites), der Lösungen basierend auf Leistung innerhalb vordefinierter Verhaltens- und Strukturmerkmale archiviert, um Diversität zu sichern.
Pre-Pretraining: Eine Trainingsphase vor dem eigentlichen Vortraining auf Domänendaten, die grundlegende universelle Berechnungs- und Aufmerksamkeitsmuster in den Gewichten verankert.
Probabilistic Context-Free Grammar (PCFG): Eine formale Grammatik, deren Produktionsregeln mit Wahrscheinlichkeiten belegt sind, wodurch hierarchische, baumartige Syntaxstrukturen modelliert werden.
Solomonoff-Induktion: Ein mathematisch idealisiertes, nicht berechenbares Rahmenwerk für maschinelles Lernen, das die Wahrscheinlichkeit zukünftiger Beobachtungen a priori invers proportional zur Programmlänge ihrer Erzeuger auf einer Turing-Maschine gewichtet.
Universelle Turing-Maschine (UTM): Ein abstraktes Berechnungsmodell, das die Ausführung jedes beliebigen Algorithmus simulieren kann, sofern dieser formal definiert ist.