Der vorliegende Bericht dokumentiert die Entwicklung von Kolibri, einem in Deutschland und Finnland von Aleph Alpha entwickelten, zweisprachigen (Englisch–Deutsch) Mixture-of-Experts (MoE) Transformer-Modell mit 78,1 Milliarden Gesamtparametern und 3,46 Milliarden aktiven Parametern pro Token. Kolibri wurde als Open-Weights-Modell unter der Apache-2.0-Lizenz für souveräne und regulierte Anwendungsbereiche (wie öffentliche Verwaltung, Industrie und Luft- und Raumfahrt) konzipiert. Das Modell verarbeitet Kontexte von bis zu 1 Million Token und deckt 24 Billionen Token im Vor-, Mittel- und Langkontext-Training ab (mit einem deutschen Sprachanteil von über 20 %). Durch die Kombination aus einer effizienten hybriden Attention-Architektur, einem speziell optimierten UniBPE-Tokenisierer und hochentwickelten Nachbearbeitungsverfahren (Supervised Fine-Tuning und Reinforcement Learning) positioniert sich Kolibri in seiner Gewichtsklasse an der Pareto-Front von Qualität und Inferenzkosten. Das Modell erfüllt strikt europäische Regulierungen wie den EU AI Act, die DSGVO und die DSM-Richtlinie.
Wichtigste Punkte
Modellarchitektur & Sparsamkeit: Kolibri ist ein decoder-only MoE-Transformer mit 78,1 Mrd. Gesamten und 3,46 Mrd. aktiven Parametern pro Token (aktiviert werden 4,4 % der Parameter). Jede der 50 Schichten verwendet 384 geroutete Experten (Top-6-Auswahl) sowie einen geteilten Experten.
Hybride Attention-Struktur: Das Modell verwendet in 40 von 50 Blöcken eine Sliding-Window-Attention (Fenstergröße 512) mit Rotary Position Embeddings (RoPE) und in jedem fünften Block (10 Blöcke) Full-Attention ohne Positionskodierung. Dies senkt den Rechenaufwand bei langen Sequenzen drastisch.
UniBPE-Tokenisierer: Ein neuartiger Vokabular-Ansatz mit 128 000 Token, der Greedy-BPE-Merges mit Unigram-Verlust verbindet. Er erreicht auf deutschem Webtext eine Kompression von 4,90 Bytes pro Token (11,2 % effizienter als GPT-5) und eine morphologische Alignment-Präzision von 65 % im Deutschen.
Vor-Training (Pre-Training): Trainiert auf 24 Billionen Token in neun Domänen. Der deutsche Anteil (>20 %) wird durch über 2 Billionen deutsche Token aus einer eigenen Web-Pipeline und synthetischen Rephrasierungen (Enzyklopädie- und Q&A-Formate) gestützt.
Optimierung & Lastenausgleich: Einsatz des Muon-Optimizers für Attention- und Experten-Gewichte sowie Adam/AdamW. Der Lastenausgleich der MoE-Experten erfolgt über Exact Quantile Balancing (EQB) und Load-Error Injection (LEI) zur Vermeidung inaktiver Experten ("Dead Experts").
Post-Training (SFT & RL):
Supervised Fine-Tuning (SFT): Trainiert auf 335,8 Mrd. Token in 57 Datensätzen; die optimale Datenmischung wurde durch MergeMix ermittelt. Die Argumentationstoken (Reasoning) wurden für deutsche Prompts gezielt auf Deutsch vorgefiltert und generiert.
Reinforcement Learning (RL): Optimiert über 1.000 Optimierungsschritte in 38 Umgebungen (Mathematik, Code, Agenten, Tool-Nutzung, RAG) unter Verwendung von Gruppen-relativen Vorteilen, B-TV-Vertrauensregionen, Gradienten-Norm-Begrenzungen und On-Policy-Selbst-Destillation (OPSD).
Leistungsfähigkeit: Kolibri übertrifft in seiner Gewichtsklasse (< 5 Mrd. aktive Parameter) alle vergleichbaren Open-Source-MoE-Modelle in Englisch und Deutsch und konkurriert erfolgreich mit Modellen, die ein Vielfaches an aktiven Parametern aufweisen (insbesondere bei Mathematik, Code und agentischem RAG).
Rechtliche Konformität (Legal Due Diligence): Umfassende Überprüfung von Trainingsdaten zur Einhaltung der DSGVO, der EU-KI-Verordnung (EU AI Act) und der DSM-Richtlinie (insbesondere Text- und Data-Mining-Ausnahmen sowie Roboter-Ausschluss-Protokolle, robots.txt).
Glossar
Mixture-of-Experts (MoE): Eine neuronale Netzwerkaritektur, bei der ein Eingangssignal (Token) nur an einen Bruchteil der verfügbaren Teilnetzwerke (Experten) weitergeleitet wird. Dies erlaubt eine riesige Gesamtkapazität bei geringem Rechenaufwand pro Token.
Token: Eine Zeichenkette oder ein Teil eines Wortes, die bzw. das von einem Sprachmodell als Grundeinheit für Textverarbeitung und -generierung genutzt wird.
Transformer: Die technologische Grundlage moderner Sprachmodelle, die auf dem sogenannten Attention-Mechanismus (Aufmerksamkeitsmechanismus) basiert, um kontextuelle Beziehungen zwischen Wörtern über weite Textdistanzen hinweg zu berechnen.
UniBPE (Unigram Byte-Pair Encoding): Ein Tokenisierungsverfahren, das Wortzerlegungen nicht nur rein frequenzbasiert, sondern über statistische Unigramm-Verluste optimiert. Dadurch werden Sprachgrenzen (wie deutsche zusammengesetzte Wörter) präziser erkannt.
Rotary Position Embedding (RoPE): Eine mathematische Methode zur Positionierung von Wörtern in einem Text, bei der Vektoren im Raum rotiert werden, um dem Modell den genauen Abstand zwischen Token zu vermitteln.
Muon-Optimizer: Ein mathematisches Optimierungsverfahren, das speziell für das effiziente und stabile Training der versteckten Gewichtsschichten in großen Transformer-Modellen entwickelt wurde.
Supervised Fine-Tuning (SFT): Die überwachte Feinabstimmung eines Sprachmodells anhand von Beispielen (Prompts und korrekten Antworten), um dem Modell das gewünschte Frage-Antwort-Verhalten und Instruktionsfolgen beizubringen.
Reinforcement Learning (RL): Ein maschinelles Lernverfahren, bei dem ein Modell durch Belohnungen und Bestrafungen in interaktiven Umgebungen (z. B. Programmierumgebungen, Such-Tools) autonom Problemlösungskompetenzen erlernt.
On-Policy Self-Destillation (OPSD): Ein Lernverfahren im Reinforcement Learning, bei dem das Modell von den Wahrscheinlichkeitsverteilungen und zielgerichteten Hinweisen (Hints) seiner eigenen aktuellen Version lernt, um Fehler bei komplexen Aufgaben (wie Tool-Aufrufen) zu korrigieren.
DSM-Richtlinie (Richtlinie (EU) 2019/790): Die europäische Richtlinie über das Urheberrecht und die verwandten Schutzrechte im digitalen Binnenmarkt, die unter anderem gesetzliche Regelungen und Ausnahmen für das Text- und Data-Mining (TDM) beim KI-Training enthält.