Dieser Bericht beschreibt die Architektur, das Trainingsverfahren und die Evaluierung von Kolibri, einem offenen Mixture-of-Experts (MoE) Sprachmodell von Aleph Alpha unter Apache-2.0-Lizenz mit 78,1 Mrd. Gesamtparametern und 3,46 Mrd. aktiven Parametern pro Token (4,4 % Sparsity). Kolibri wurde für regulierte europäische Schlüsselbereiche (öffentliche Verwaltung, Industrie, Luft- und Raumfahrt) entwickelt und stützt sich auf einen dreistufigen Trainingsprozess über 24 Billionen (T) Tokens mit einem Deutschanteil von über 20 %: Pre-Training (20T Tokens @ 16k Kontext), Mid-Training (3,4T Tokens @ 64k) und Kontextverlängerung (200B Tokens @ 256k), erweiterbar auf bis zu 1 Million Tokens.
Die Modellarchitektur kombiniert Hybrid Sliding-Window Attention (40 SWA-Blöcke mit RoPE, 10 Full-Attention-Blöcke ohne Positionskodierung), 384 geroutete SiLU-Experten (Top-6) plus einen geteilten Experten sowie neuartige Lastausgleichsverfahren (Exact Quantile Balancing und Load-Error Injection). Der neu entwickelte UniBPE-Tokenisierer (128k Vokabular) reduziert den Tokenbedarf im Deutschen um 11,2 % gegenüber GPT-5. Das Post-Training umfasst Supervised Fine-Tuning (SFT) mittels MergeMix und Model Souping sowie Reinforcement Learning (RL) über 38 multi-turn Umgebungen mit Binary Total Variation (B-TV) Trust Regions, per-Token-Gradientenbegrenzung, On-Policy Self-Distillation (OPSD) und dem Merlin-Arthur-Protokoll zur Halluzinationsvermeidung. Kolibri liegt auf der Pareto-Frontier für Modellqualität und Inferenz-Dekodierdurchsatz in Deutsch und Englisch, schlägt offene Baselines seiner Gewichtsklasse in Mathematik, Coding und agentischem RAG und erfüllt die Vorgaben des EU AI Act sowie der DSGVO.
Wichtigste Punkte
Modellarchitektur & Sparsity: Decoder-Only MoE Transformer mit 78,1 Mrd. Parametern gesamt und 3,46 Mrd. aktiven Parametern pro Token (4,4 % Aktivierungsrate). Die 50 Transformer-Blöcke nutzen Sandwich-RMSNorm (Normalisierung vor und nach Attention/MoE). 40 Blöcke nutzen Sliding-Window Attention (SWA) mit Fenstergröße $w=512$ und Rotary Position Embeddings (RoPE, $\theta=10,000$), während jeder fünfte Block (10 Blöcke) Full Attention ohne Positionskodierung (NoPE) nutzt. Attention verwendet Grouped-Query Attention (GQA) mit 48 Query-Heads, 4 KV-Heads, Head-Dimension 128 und QK-RMSNorm.
MoE-Topologie & Lastausgleich: Jede MoE-Schicht enthält 384 geroutete SiLU-gated FFN-Experten (Hidden-Dimension 512) und einen festen geteilten Experten. Pro Token werden 6 Experten über unnormierte Sigmoid-Router-Logits ausgewählt. Der globale Lastausgleich erfolgt parameterfrei über Exact Quantile Balancing (EQB) mittels 2-Pass-Radix-Selektion über verteilte Ranks; die lokale Microbatch-Balance wird über Load-Error Injection (LEI) ($\lambda=1\times 10^{-5}, \tau=1$) direkt in die Score-Gradienten injiziert.
UniBPE-Tokenisierer: 128.000 Vokabeln, trainiert nach dem UniBPE-Verfahren (Bottom-up BPE-Mergeauswahl optimiert nach Unigram-Loss). Erreicht 4,90 Bytes pro Token auf deutschem Webtext (11,2 % effizientere Kompression als GPT-5) und 4,58 Bytes pro Token auf Englisch. Weist eine Morphem-Grenzgenauigkeit von 65,2 % im Deutschen auf (BPE: 60,2 %, externe Tokenisierer: $\le$ 48,7 %).
Pre-Training & Optimierung (20T Tokens): Trainiert auf 768 NVIDIA B200 GPUs (96 Nodes, NVLink 5, ConnectX-7 InfiniBand, EP 8, FSDP 16, DP 6) bei 16k Sequenzlänge. Verwendet ein Warmup-Stable-Merge (WSM)-Schema mit konstantem Learning-Rate-Plateau und Mittelung der letzten Checkpoints (M20). Optimierung der Matrixgewichte via Muon (spektrale Skalierung $\sqrt{d_{out}/d_{in}}$, Peak-LR $1\times 10^{-3}$), Embeddings/Norms via Adam und Router/LM-Head via AdamW. Hyperparametertransfer erfolgt faktorisiert über Maximal Update Parametrisation ($\mu$P) für Modellbreiten und Verlustextrapolation für Tokenhorizonte.
Pre-Training-Datenpool: 29,3T materialisierte Tokens über 78 Datensätze in 9 Domänen. Der deutsche Anteil beträgt 21,3 % (>4T Trainings-Tokens), gespeist aus 0,8T organischen Common-Crawl-Tokens, 1,1T paraphrasierten Daten (via Mistral-Nemo-Instruct-2407) und synthetischen Texten. Web-Daten filtriert via Resiliparse, Heuristik-Filtern, MinHash-Fuzzy- und Substring-Deduplizierung sowie Simplex-optimierter Klassifikator-Annotation (Luxical/fastText). PII-Redaktion verwirft Dokumente mit >15 % redigierten Bytes.
Mid-Training & Dekontamination (3,4T Tokens): Trainiert bei 64k Kontext auf 87 kuratierten Datensätzen (12,3T Tokens) mit Fokus auf Mathematik, Code, Reasoning und Instruction-Following. Der finale Mix (S5-basiert: 31,4 % EN Instr., 25,4 % STEM-QA, 16,3 % Code, 15,4 % Agentic, 1,9 % DE Instr., 2,1 % DE Web) wurde via MergeMix über Experten-Modell-Merges optimiert. Rigide Dekontamination gegen 226 Evaluationsbenchmarks entfernte 1,5 Mio. Dokumente (0,06 % der Tokens) mittels IDF-gewichteten $n$-Gramm-Matchings.
Kontextverlängerung auf 256k & 1M-Inferenz: 200B Tokens bei 256k Sequenzlänge mit einem Mix aus 1/3 natürlich langen Dokumenten (8k–256k), 1/3 längengewichtetem Mid-Training-Pool ($s=1/3$) und 1/3 unverändertem Mid-Training. Ermöglicht Inferenz-Extrapolation auf bis zu 1M Tokens (RULER-Benchmark) ohne positionsbezogene Neuskalierung.
Supervised Fine-Tuning (SFT): 4000 Schritte (~268B Tokens @ 256k Kontext) auf 256 GPUs. Batch-Zusammenstellung via Next-$k$-Fit ($k=256$) und rank-lokaler Sortierung nach quadratischen Aufmerksamkeitskosten ($b=256$, Durchsatzsteigerung um +84 % auf 15.850 Tokens/s/GPU). SFT-Pool umfasst 57 Datensätze (22 Mio. Konversationen, 335,8B Tokens). Finale Gewichte wurden durch Model Souping der besten MergeMix-Kandidaten (C1 und C2) gebildet.
Reasoning-Steuerung & Deutsches CoT: Unterstützt vier Denkstufen (none, low, medium, high), gesteuert über standardisierte Textabschnitte im System-Prompt. SFT-Daten wurden post-hoc über prompt-spezifische Schwierigkeitsgrade (GLM-5.2 destilliert in Poacher-2B) und Längenperzentile ($\ell_g^{30}, \ell_g^{70}$) annotiert. Reasoning-Prefill-Distillation (deutsche Initialphrasen im <think>-Block) erhöht den Anteil konsistenter deutscher Denkpfade von 67 % auf 97 %.
Reinforcement Learning (RL) Infrastruktur: 1000 Schritte auf 256 NVIDIA B300 GPUs (96 FSDP-Trainer, 144 FP8-vLLM-Inferenz-Replicas, 16 Judge-Replicas). Asynchrones Training mit In-Flight-Gewichtsaktualisierungen via einseitigem RDMA-Transfer (~17 s) und Intranode-NVLink-Broadcast. Trainer nutzt FP8 Quantization-Aware Training (QAT) und repliziert die Inferenz-Expertenauswahl (Routed-Expert Replay).
RL-Algorithmus & OPSD: Token-basiertes gruppenrelatives Policy-Gradient-Verfahren mit Binary Total Variation (B-TV) Trust Region ($\epsilon_+=\epsilon_-=0,2$), per-Token-Logit-Gradientennormschranke ($G_{max}=2$), quadratischem Log-Ratio-Regularisierer ($\tau_{KL}=10^{-3}$) und zielgerichteter On-Policy Self-Distillation (OPSD) mit 24 Fehlerklassen zur Fehlerkorrektur in Tool- und Terminal-Aufgaben.
RL-Umgebungen & Halluzinationsreduktion: 38 Umgebungen (31 EN, 7 DE) mit dynamischem 3-Bucket-Curriculum (hard, trainable, solved) und multiplikativer $p$-Norm-Formatreduktion ($p=2, m_{min}=0,5$). Integration des Merlin-Arthur-Spiels, bei dem eine kooperative Maske (Merlin) und eine gegnerische Maske (Morgana) Sätze manipulieren, um das Modell auf wissensbasierte Enthaltung bei fehlendem Kontext zu trainieren. Bis zu 25.000 parallele, unprivilegierte CPU-Apptainer-Sandboxes für Tool- und SWE-Aufgaben.
Evaluierungsergebnisse: Kolibri definiert die Pareto-Grenze bezüglich Ausgabequalität vs. Dekodierdurchsatz (Bytes/s pro GPU) unter offenen Modellen. Übertrifft in der Basis- und Post-Training-Variante alle verglichenen 3B-aktiven MoE-Modelle und erreicht 96,9 % / 96,0 % auf AIME 2025/2026 (EN), 87,5 % / 90,0 % auf AIME DE, 85,9 % auf LiveCodeBench v6 und 78,1 % auf IFBench. Auf internen Kunden-Proxy-RAG-Benchmarks erzielt Kolibri 89,7 % (EN) bzw. 67,5 % (DE). Die Nicht-Halluzinationsrate auf AA-Omniscience steigt auf 44,0 % (Origin: 15,0 %); der zertifizierte Merlin-Arthur Grounding-Score erreicht 23,4 %.
Model Factory (Savanna) & Rechtliche Konformität: Automatisierung des gesamten Entwicklungszyklus als Model Training as Code (MTaC) via TOML-Dateien, Kubernetes/Kueue, Flyte und kontinuierliche CI-Trainingsläufe. Konformität mit dem EU AI Act (Art. 53), der DSGVO und der DSM-Richtlinie (Art. 4(3) TDM-Ausnahme) durch systematische Due-Diligence-Prüfungen von Drittanbieter-Datensätzen (robots.txt-Respektierung, Lizenzanalysen, Scraping-Verhalten).
Glossar
MoE (Mixture of Experts): Eine neuronale Netzwerkarchitektur, bei der die Standard-Feed-Forward-Schichten durch mehrere parallele Sub-Netzwerke (Experten) ersetzt werden. Ein dynamischer Router leitet jedes Token nur an eine kleine Teilmenge weiter, wodurch die Modellkapazität ohne proportionalen Anstieg der Rechenkosten pro Token skaliert wird.
Sparsity (Sparsität): Der prozentuale Anteil der nicht aktivierten Parameter während eines Vorwärtsdurchlaufs. Bei Kolibri werden pro Token nur 3,46 Mrd. von 78,1 Mrd. Parametern genutzt (4,4 % aktive Parameter, 95,6 % Sparsität).
SWA (Sliding-Window Attention): Ein Aufmerksamkeitsmechanismus, bei dem ein Token nur auf eine feste Anzahl unmittelbar vorangehender Tokens achtet ($w=512$), anstatt auf die gesamte Sequenz. Dies reduziert den Speicher- und Rechenaufwand von quadratisch auf linear.
GQA (Grouped-Query Attention): Eine Variante der Multi-Head Attention, bei der sich mehrere Query-Heads gemeinsame Key- und Value-Heads teilen (bei Kolibri 48 Query- und 4 KV-Heads), was die Größe des KV-Caches während der Inferenz drastisch verkleinert.
RoPE (Rotary Position Embedding) & NoPE (No Positional Encoding): RoPE kodiert relative Positionsinformationen durch Rotationsmatrizen im komplexen Raum auf Queries und Keys. NoPE verzichtet vollständig auf Positionskodierungen und verlässt sich auf die inhärente relationale Struktur der Aufmerksamkeitsmatrix.
QK-Normalisierung: Das Anwenden von RMSNorm auf die Query- und Key-Vektoren vor der Aufmerksamkeitsberechnung. Dies verhindert das unkontrollierte Anwachsen der Aufmerksamkeits-Logits und stabilisiert das Training bei hohen Lernraten.
EQB (Exact Quantile Balancing): Ein von Aleph Alpha entwickeltes Verfahren für den globalen MoE-Lastausgleich, das über einen 2-Pass-Radix-Algorithmus exakte Quantile der Router-Logits über alle Daten- und Pipeline-Ranks berechnet, um Expertenbiases ohne Verlust-Hyperparameter anzupassen.
LEI (Load-Error Injection): Ein Mechanismus für den lokalen MoE-Lastausgleich auf Microbatch-Ebene, der die relative Abweichung der Expertenauslastung direkt als Korrekturterm in die Gradienten der Router-Scores einspeist.
UniBPE: Ein hybrides Tokenisierungsverfahren, das den inkrementellen Bottom-up-Zusammenbau von BPE nutzt, die Zusammenführungsentscheidungen (Merges) jedoch anhand des Informationsgewinns nach dem Unigram-Sprachmodell-Kriterium bewertet.
WSM (Warmup-Stable-Merge): Ein Trainingsablauf, bei dem die Lernrate nach einem kurzen linearen Anstieg über die gesamte Trainingsdauer konstant gehalten wird und das finale Modell durch das arithmetische Mitteln (Merging) der letzten Checkpoints erzeugt wird.
$\mu$P (Maximal Update Parametrisation): Ein mathematisches Parametrisierungsschema für neuronale Netze, das sicherstellt, dass die optimalen Lernraten und Initialisierungsskalen über verschiedene Modellbreiten hinweg konstant bleiben und verlustfrei übertragen werden können.
Muon-Optimierer: Ein spezialisierter Optimierer für zweidimensionale Gewichtsmatrizen, der Parameterupdates über eine Newton-Schulz-Iteration orthogonalisiert und im spektralen Raum skaliert.
MergeMix / Model Souping: Methoden zur Modellfusion im Parameterraum. MergeMix trainiert Einzelexperten auf isolierten Datenclustern und ermittelt optimale Datenmischungen durch gewichtete Parameter-Mittelung. Model Souping mittelt die Gewichte separat trainierter Modelle desselben Ursprungs zur Steigerung der Gesamtleistung ohne zusätzlichen Inferenzaufwand.
B-TV (Binary Total Variation) Mask: Eine binäre Maskierungsfunktion für Policy-Gradient-Verfahren (aus dem DPPO-Framework), die Aktualisierungen unterdrückt, sobald die Wahrscheinlichkeitsänderung eines Tokens eine definierte Schranke ($\epsilon_+, \epsilon_-$) gegenüber der Inferenz-Policy überschreitet.
OPSD (On-Policy Self-Distillation): Ein Trainingsverfahren, bei dem fehlgeschlagene Ausführungen (z. B. fehlerhafte Tool-Calls) durch das Einfügen gezielter Texthinweise modifiziert werden. Die Verteilung der Lehrergenerierung auf diesen Hinweisen dient der Schüler-Policy als direktes Destillationsziel.
Merlin-Arthur-Protokoll: Ein spieltheoretisches Framework zur Halluzinationsvermeidung. Das Modell (Arthur) beantwortet Fragen basierend auf Kontexten, die von zwei Akteuren manipuliert wurden: Merlin maskiert unwichtige Sätze (Arthur muss antworten), Morgana maskiert essentielle Fakten (Arthur muss sich enthalten / abstaining).
MTaC (Model Training as Code): Ein Software-Engineering-Paradigma für Machine Learning, bei dem alle Schritte von Datenaufbereitung, Modellarchitektur, Training, Merging bis hin zur Evaluierung als versionierter, deklarativer Code definiert und in CI/CD-Pipelines ausgeführt werden.
BPB (Bits Per Byte): Eine sprach- und tokenisiererunabhängige Metrik für die Kompressions- und Modellierungsqualität von Sprachmodellen; berechnet als Kreuzentropieverlust geteilt durch $\ln(2)$ und normalisiert auf die Anzahl der UTF-8-Bytes des Zieltextes (niedrigere Werte sind besser).
Pareto-Frontier (Pareto-Grenze): Die Menge aller Lösungen, bei denen kein Kriterium (hier: Benchmark-Genauigkeit) verbessert werden kann, ohne ein anderes (hier: Dekodierdurchsatz / Inferenzkosten) zu verschlechtern.
TDM-Ausnahme (Text and Data Mining): Gesetzliche Regelung nach Artikel 4(3) der EU-Richtlinie 2019/790 (DSM-Richtlinie) und Artikel 53 des EU AI Act, die das automatisierte Auswerten von urheberrechtlich geschützten Online-Inhalten für KI-Trainingszwecke erlaubt, sofern die Rechteinhaber keinen expliziten Nutzungsvorbehalt (z. B. via robots.txt) erklärt haben.