Hugo Vergnes trainierte ein Decoders-only-Sprachmodell (little-lm) mit 3,8 Milliarden Parametern von Grund auf auf ein CORE-Benchmark-Ergebnis von 0,384. Unter Einsatz von 8× Nvidia B200-GPUs wurden 65,3 Milliarden Token in 43 Stunden für insgesamt 998 USD verarbeitet. Durch gezielte Architektur- und Trainingsoptimierungen – darunter der Muon-Optimizer, ein trapezförmiger Lernratenscheduler, FP8-Präzision, das ClimbMix-Dataset und Value Embeddings – übertrifft das Modell historische Frontier-Modelle wie GPT-2 (1,5B, CORE 0,2565) bei weitem. Das Projekt demonstriert, dass konkurrenzfähige Modellentwicklung außerhalb von Großlaboren mit überschaubarem Rechenbudget möglich ist.
Wichtigste Punkte
Modellarchitektur: Llama-Struktur mit 28 Decoder-Layern, RMSNorm, RoPE, Grouped-Query Attention (24 Query-Heads, 8 KV-Heads), relu² MLPs (non-gated, 4× Intermediate Ratio), QK-Norm, Logit Softcapping (15.0) und Value Embeddings (14 Tabellen, 721M Parameter bzw. 19 % des Gesamtmodells).
Hardware & Effizienz: Das finale Training auf 8× Nvidia B200 erzielt ca. 480.000 Token/s (bei 1024 Kontext) bzw. 437.000 Token/s (bei 2048 Kontext) mit 25 % FP8 MFU (~1.047 TFLOP/s sustained pro GPU) und 92 % SM-Aktivität.
Optimizer & Schedulers: Kombinierter Einsatz von Muon für Matrixparameter (Newton-Schulz-Orthogonalisierung) und AdamW für Embeddings/Skalare. Ein trapezförmiges Lernratenschema (5 % Warmup, 45 % konstant, 50 % linearer Cooldown auf 5 % Peak-LR) verhinderte frühzeitiges Stagnieren des Modells.
Durchsatzoptimierungen: FP8-Präzision via torch._scaled_mm (+25 % Durchsatz), Auffüllen der Vokabulargröße von 50.257 auf 50.304 (+33 % kumulativ) zur Anpassung an Tensor Cores, Liger Fused Linear Cross-Entropy Loss (Spart 8 GB VRAM auf RTX 5090) und bf16 Master-Gewichte (2,2× Geschwindigkeitsgewinn bei minimalem Qualitätsverlust).
Kontextlängeneinfluss: Die Erweiterung des Kontextfensters von 1024 auf 2048 Token erhöhte den CORE-Score drastisch von 0,3384 auf 0,3840. Grund dafür war das Abschneiden von Few-Shot-Beispielen in Benchmarks wie SQuAD und BoolQ bei kürzerem Kontext.
Verworfene Ansätze: Maskierung von Dokumentengrenzen mittels Flex Attention brachte gegenüber simplem Best-fit Packing (BOS-aligned) keinen Vorteil. Liger-Implementierungen von RoPE und RMSNorm zeigten keine Leistungssteigerung gegenüber den Standardfunktionen von PyTorch 2.9.
Diskussions-Highlights
Anwendungsorientierte KI-Architektur: Kommentatoren betonen den Wandel von monolithischen Modellen hin zu maßgeschneiderten Mini-Modellen. Leistungsfähige Closed-Source-LLMs (wie Claude) werden zunehmend zur Erstellung synthetischer Datensätze genutzt, um anschließend extrem günstige, hochspezialisierte Lokalkonstrukte für spezifische Aufgaben (z. B. Parsing von Steuer- und Immobiliendaten) zu trainieren.
Wunsch nach Standard-Frameworks: Es besteht starke Nachfrage nach schlüsselfertigen Open-Source-Trainings-Frameworks, die es Entwicklern ermöglichen, beliebige Architekturkomponenten (Qwen, DeepSeek) und Parametergrößen modular auf gemieteter Hardware abzuwickeln.
Architektur-Vorschläge: Für zukünftige Experimente im 1B-Parameterbereich werden Techniken wie Gated Delta Nets, n-Gramm-Embeddings sowie Gated Residuals als vielversprechende Optimierungspfade genannt.
Debatte über KI-Autorenschaft: Ein Teil der Diskussion dreht sich um den Schreibstil des Artikels. Während einige Nutzer vermuten, der Text sei von Claude verfasst worden, weisen andere darauf hin, dass präzise, gut strukturierte technische Dokumentation nicht automatisch fälschlicherweise als KI-Generat klassifiziert werden sollte.
Glossar
CORE (COmprehensive Reasoning Evaluation): Ein Benchmark-Standard zur Bewertung der allgemeinen Sprachverstehens- und Schlussfolgerungsfähigkeiten von Sprachmodellen über mehrere Teilaufgaben hinweg.
Muon: Ein spezialisierter Optimierungsalgorithmus (Optimizer) für neuronale Netze, der Matrixgewichte mittels Newton-Schulz-Orthogonalisierung effizienter aktualisiert als Standard-AdamW.
Grouped-Query Attention (GQA): Eine Aufmerksamkeitsvariante in Transformer-Modellen, die den Speicherbedarf und Rechenaufwand reduziert, indem sich mehrere Query-Köpfe dieselben Key- und Value-Köpfe teilen.
Value Embeddings: Zusätzliche Einbettungstabellen in den Aufmerksamkeits-Layern eines Modells, die die Informationskapazität erhöhen, ohne die FLOP-Rechenkomplexität signifikant zu steigern.
FP8 (Floating Point 8): Ein 8-Bit-Fließkommaformat zur Zahlendarstellung, das das Training beschleunigt und den Grafikspeicherverbrauch auf modernen GPUs (wie Nvidia Blackwell/B200) halbiert.
MFU (Model FLOPs Utilization): Ein Prozentwert für die Hardware-Effizienz, der angibt, wie viel der theoretischen maximalen Fließkomma-Rechenleistung einer GPU tatsächlich vom Trainingsprozess genutzt wird.
QK-Norm: Die Normalisierung von Query- und Key-Vektoren vor der Berechnung der Aufmerksamkeitsmatrix zur Stabilisierung des Trainings bei hohen Lernraten.
Liger Fused Linear Cross-Entropy: Eine speichereffiziente Fusionierung von Ausgabe-Matrixmultiplikation und Verlustfunktion, die verhindert, dass große Logit-Tensoren im VRAM angelegt werden müssen.
DDP (DistributedDataParallel): Eine Standard-Technik in PyTorch zur Verteilung des Trainings auf mehrere GPUs, bei der jede GPU eine vollständige Modellkopie hält und die Gradienten synchronisiert.