Die vorgestellte Forschungsarbeit (Self-Play Pretraining with Zero Data, arXiv:2609.30063) demonstriert ein Verfahren zum Vortraining autoregressiver Transformer-Modelle gänzlich ohne natürliche Trainingsdaten (Tabula Rasa). Das Framework modelliert die Generierung synthetischer Daten als explorative Suche über den Raum aller berechenbaren Strukturen auf Basis einer universellen Turing-Maschine (UTM).
Zwei separat parametrisierte LLaMA-basierte Transformer interagieren in einer geschlossenen Selbstspiel-Schleife: Ein Generator ($g_\phi$) erzeugt Programme in einer minimalen, Turing-vollständigen Sprache (Brainf*ck-Dialekt). Diese Programme werden auf einer UTM mit zufälligen Eingabebändern ausgeführt und erzeugen Byte-Sequenzen. Ein Learner ($\pi_\theta$) wird per Next-Token-Prediction (Cross-Entropy-Loss) auf diesen Sequenzen trainiert. Der Generator wird mittels Reinforcement Learning (GRPO) optimiert; als Belohnungssignal dient ein vorkonditionierter Gradienten-Alignment-Score (Learning-Progress Reward), der misst, wie stark der Gradient einer Sequenz mit der bisherigen Lerntrajektorie des Learners (über ein gleitendes Lookback-Fenster) übereinstimmt. Zur Vermeidung von Catastrophic Forgetting und zur gezielten Exploration nutzt das System einen MAP-Elites-Pool aus frischen Samples, Mutationen und Replay-Puffern.
Die empirischen Ergebnisse belegen universelle Zero-Shot-Power-Law-Skalierungsgesetze auf gänzlich ungesehenen multimodalen Datensätzen (Text, Bild/CIFAR-10, Audio, DNA, C/Python-Code) sowie das emergente Entstehen von In-Context-Learning (ICL) und die autonome Entdeckung mathematischer Regularitäten (z. B. Fibonacci-Folgen).
Wichtigste Punkte & Zeitstempel
10:14 Tabula-Rasa-Selbstspiel ohne reale Daten: Generator und Learner starten vollständig zufällig initialisiert; es fließen während des Gradientenabstiegs keinerlei reale Daten ein.
12:39 Zwei-Agenten-Architektur: Ein Generator ($g_\phi$) erzeugt Quellcode, der auf einer universellen Turing-Maschine ausgeführt wird; die resultierenden Byte-Streams dienen dem Learner ($\pi_\theta$) als Trainingskorpus für die Next-Token-Prädiktion.
16:28 Modelltopologie und Tokenisierung: Beide Modelle basieren auf Decoder-Only-LLaMA-Architekturen mit Byte-Level-Tokenisierung (Vokabulargröße 256 für den Learner; 19 Instruktionstoken inklusive 10 Makro-Befehlen für den Generator).
21:49 Brainf*ck als minimales Substrat: Nutzung einer instruktionsarmen, Turing-vollständigen Sprache zur Vermeidung menschlicher induktiver Verzerrungen (Inductive Biases); fehlerfreie Ausführungssemantik durch Modulo-Arithmetik und begrenzte Ausführungsbudgets.
26:40 Struktur des Programm-Pools: Kombination aus drei Quellen in jeder Runde $e$: frische Stichproben ($B^{\text{fresh}}$) für globale Exploration, MAP-Elites-Mutationen ($B^{\text{mut}}$) zur lokalen Optimierung und Replay-Puffer ($B^{\text{replay}}$) gegen katastrophales Vergessen.
33:41 Preconditioned Gradient-Alignment Reward: Belohnung des Generators basierend auf dem inneren Produkt zwischen dem aktuellen Sequenzgradienten des Learners und dessen historischer Parameterverschiebung ($\delta\theta_e = \theta_{\lfloor e/2 \rfloor} - \theta_e$), vorkonditioniert über den AdamW-Zustand.
43:57 RL-Optimierung via GRPO & Expert Iteration: Kombination von Group Relative Policy Optimization (GRPO) mit KL-Divergenz-Regularisierung gegen einen uniformen Solomonoff-Prior ($g_0$) und einer Supervised-Fine-Tuning-Verlustfunktion ($L_{\text{EI}}$) zur Destillation hoch belohnter Programme.
52:10 Vergleich mit PCFG & Universal-Prior-Baselines: Selbstspiel übertrifft probabilistische kontextfreie Grammatiken (PCFG) deutlich auf Nicht-Text-Modalitäten (Bilder, Audio, Melodien) und skaliert signifikant schneller als statisches Sampling aus einem universellen Prior.
1:06:49 Autonome Entdeckung mathematischer Strukturen: Der Generator entdeckt komplexe Sequenzen wie arithmetische, geometrische, quadratische, kubische sowie Fibonacci-Muster bereits nach 256 bis 512 Runden (statisch erst nach $>53.000$ Runden zu erwarten).
1:09:40 Epiplexität und Informationsgehalt: Die von späteren Generator-Checkpoints erzeugten Daten weisen eine kontinuierlich steigende Epiplexität (extrahierbare Struktur für rechenzeitbeschränkte Beobachter) auf.
1:10:17 Emergentes In-Context-Learning (ICL): Der Learner entwickelt ohne Feintuning Fähigkeiten zur Inferenz latenter Regeln (z. B. Reverse String, Stack Simulation, Associative Recall, Modulare Addition).
1:20:59 Universal Data Ansatz: Theoretische Dekomposition von Skalierungsgesetzen in kontingente Weltinformationen ($D_c$) und universelle prädiktive Strukturen ($D_u$), wodurch Power-Law-Transfers auf reale Datensätze mathematisch begründet werden.
Diskussions-Highlights
Platonische Repräsentationshypothese auf Primordialebene: Konvergenz von Repräsentationen entsteht nicht erst durch menschlich kuratierte Daten der realen Welt, sondern bereits durch die inhärente mathematische Struktur des Berechnungsraums.
Computation Produces Information (CPI): Widerlegung der Annahme, dass Modelle beim Training auf synthetischen Daten zwingend degenerieren („Model Autophagy“), sofern adaptive Rechenprozesse neue prädiktive Strukturen freilegen.
Hardware- und Skalierungslimits: Die Studie validiert das Prinzip bei Modellen bis 24,4 Mio. Parametern und 4096 Kontextlänge; praktische Anwendungen erfordern künftig expressivere Programmiersprachen und massiven Compute-Einsatz.
Glossar
AdamW-Präkonditionierer ($P_e$): Eine aus den quadrierten Gradientenmomenten des AdamW-Optimierers gebildete diagonale Matrix, die Gradientenschritte über Parameter hinweg skaliert und normalisiert.
Associative Recall: Eine Evaluierungsaufgabe, bei der ein Modell Schlüssel-Wert-Paare im Kontext puffern und bei Abfrage des Schlüssels den korrekten Wert reproduzieren muss.
Autoregressives Sprachmodell: Ein neuronales Netz, das Sequenzen schrittweise generiert, indem es die Wahrscheinlichkeitsverteilung des nächsten Tokens basierend auf allen vorherigen vorhersagt.
Bits Per Byte (BPB): Eine informationstheoretische Metrik für die Kompressions- und Vorhersagegüte bei Byte-Level-Modellen; niedrigere Werte entsprechen besserer Vorhersagegenauigkeit.
Brainf*ck: Eine extrem minimalistische, esoterische Programmiersprache mit lediglich acht Befehlen, die trotz ihrer Einfachheit Turing-vollständig ist.
Catastrophic Forgetting (Katastrophales Vergessen): Das Phänomen, dass neuronale Netze bei der Anpassung an neue Daten zuvor erlernte Muster und Fähigkeiten überschreiben und verlieren.
Epiplexität (Epiplexity): Ein formales informationstheoretisches Maß für den strukturellen Informationsgehalt von Daten, der von einem rechenzeit- und kapazitätsbeschränkten Lernmodell tatsächlich extrahiert werden kann.
Expert Iteration ($L_{\text{EI}}$): Ein Trainingsverfahren, bei dem besonders erfolgreiche, hoch belohnte Programmentwürfe mittels überwachter Feinabstimmung (Supervised Fine-Tuning) erneut in den Generator eintrainiert werden.
Group Relative Policy Optimization (GRPO): Ein RL-Algorithmus, der auf ein separates Kritikernetz (Critic) verzichtet und stattdessen die relative Vorteilswertung (Advantage) einer Aktion bezogen auf den Mittelwert und die Standardabweichung einer Gruppe parallel gezogener Stichproben berechnet.
Halteproblem (Halting Problem): Das grundlegende theoretische Problem der Informatik, dass nicht allgemeingültig entschieden werden kann, ob ein beliebiges Programm jemals terminiert oder endlos läuft.
In-Context-Learning (ICL): Die Fähigkeit eines Modells, neue Aufgaben allein anhand von Demonstrationsbeispielen im Eingabeprompt ohne Aktualisierung der Modellgewichte zu lösen.
KL-Divergenz (Kullback-Leibler-Divergenz): Ein statistisches Maß für die Distanz bzw. den Informationsverlust zwischen zwei Wahrscheinlichkeitsverteilungen.
Kolmogorov-Komplexität: Die Länge des kürzesten Computerprogramms, das eine bestimmte Zeichenkette generieren kann; dient als theoretisches Maß für algorithmische Komplexität.
MAP-Elites (Multi-dimensional Archive of Phenotypic Elites): Ein evolutionärer Qualitäts-Diversitäts-Algorithmus, der Lösungen in vordefinierte Merkmalsnischen (z. B. Schleifentiefe, Programmlänge) einteilt und pro Nische nur die besten Varianten behält.
Probabilistic Context-Free Grammar (PCFG): Eine kontextfreie Grammatik, bei der jeder Produktionsregel eine Wahrscheinlichkeit zugeordnet ist; dient zur probabilistischen Erzeugung hierarchischer Syntaxstrukturen.
Solomonoff-Induktion / Solomonoff-Prior ($g_0$): Eine mathematische Theorie der Induktion, die allen berechenbaren Prozessen eine a-priori-Wahrscheinlichkeit proportional zu $2^{-\text{Programmlänge}}$ zuweist (kürzere Erklärungen werden bevorzugt; Ockhams Rasiermesser).
Tabula Rasa: Vollständiger Verzicht auf Vorwissen oder vortrainierte Gewichte; alle Modelle starten mit rein zufälligen Parametern.
Universelle Turing-Maschine (UTM): Ein abstraktes Berechnungsmodell, das in der Lage ist, jedes beliebige andere Computerprogramm und jeden berechenbaren Algorithmus zu simulieren.
Universal Data Ansatz: Eine Modellgleichung zur Aufteilung von Datenverlusten in weltabhängiges Faktenwissen ($D_c$, contingent information) und transferierbare prädiktive Berechnungsstrukturen ($D_u$, universal structure).
Zero-Shot-Transfer: Die Fähigkeit eines Modells, eine Aufgabe oder Modalität ohne spezifisches Vortraining auf diesen Zieldaten direkt erfolgreich zu bearbeiten.