Kolibri ist ein am 3. Oktober 2026 unter Apache-2.0-Lizenz veröffentlichtes Open-Weight-Großsprachmodell von Aleph Alpha mit 78,1 Milliarden Gesamtparametern, das pro Token nur 3,46 Milliarden aktive Parameter nutzt. Es wurde für Deutsch und Englisch konzipiert, unterstützt nativ Kontexte von 262.144 Token (getestet bis über eine Million) und wurde auf europäischer Infrastruktur trainiert. Das Modell zielt auf souveräne, datenschutzkonforme Unternehmens- und Behördenanwendungen ab, die eine hohe Zuverlässigkeit und eine ausgeprägte Fähigkeit zur Wissensabstinenz erfordern.
Wichtigste Punkte
Modellarchitektur (MoE): 78,1 Milliarden Gesamtparameter in 50 Schichten mit 384 Experten plus 1 gemeinsamen Experten; pro Token werden 6 Experten aktiviert, was einem aktiven Rechenaufwand von 3,46 Milliarden Parametern entspricht.
Tokenisierung (UniBPE): UniBPE-Algorithmus reduziert den Token-Bedarf für deutschen juristischen Text im Vergleich zu GPT-5 um 15 %, wodurch mehr Informationen in das Kontextfenster passen.
Kontextfenster: 1.048.576 Token maximale Kontextlänge (nativ 262.144 Token), ermöglicht durch eine Kombination aus Sliding-Window-Attention (40 von 50 Schichten betrachten nur 512 vorherige Token) und periodischer Full-Attention.
Trainingsgrundlage: 24 Billionen Token (über 20 % Deutsch), trainiert auf 768 NVIDIA B200 GPUs in Deutschland und Finnland.
Abstimmung & Halluzination: Merlin-Arthur-Protocol trainiert das Modell darauf, bei fehlender Evidenz in 44 % der Fälle ehrlich mit „Ich weiß es nicht“ zu antworten.
Hardware-Anforderungen: Ca. 78 GB VRAM (FP8-Quantisierung); erfordert mindestens 2 NVIDIA A100/H100 (80GB) oder 1 NVIDIA H200/B200/B300.
Mathematische Leistung: 87,5 Punkte im AIME 2025 (Deutsch), womit es vergleichbare Mixture-of-Experts-Modelle seiner Klasse übertrifft.
Diskussions-Highlights
Offenheit und Transparenz: Ausgezeichnete Dokumentation; der 189-seitige technische Bericht und die detaillierte Offenlegung der Trainingsdatensätze werden von der Community als vorbildlich und lehrreich bewertet.
Unternehmensfusion: Geplante Fusion mit Cohere kritisiert, da die Marketingkommunikation zur europäischen Souveränität die geplante Verschmelzung mit dem kanadischen Unternehmen unerwähnt ließ.
Souveränitätsdebatte: Kontroverse um den Begriff „Souveränität“, da Kritiker auf die Abhängigkeit von US-amerikanischer Hardware (NVIDIA) und globaler Infrastruktur verweisen, während Befürworter die lokale Datenkontrolle und DSGVO-Konformität im Betrieb hervorheben.
Einsatz als Prüfinstanz: Modell als Trust Adapter vorgeschlagen; es könnte als günstige und kontrollierbare Zweitinstanz dienen, um die Ergebnisse größerer, nicht vertrauenswürdiger Modelle bei Behördenanwendungen zu auditieren.
Benchmark-Kritik: Auswahl der Vergleichsmodelle bemängelt, da primär ältere Modelle (wie Qwen3.5 35B-A3B) herangezogen wurden, während neuere Dense- oder Flash-Modelle in vielen Benchmarks besser abschneiden.
Inferenz und Überdenken: Praxiserfahrungen zeigen eine Inferenzgeschwindigkeit von rund 170 Token/Sekunde im FP8-Format, allerdings mit der Einschränkung, dass das Modell in hohen Reasoning-Modi zu stark „überdenkt“ und viele Token verbraucht.
Glossar
Mixture of Experts (MoE): Eine Maschinenlernarchitektur, bei der ein großes neuronales Netz in viele spezialisierte Teinzelnetzwerke (Experten) aufgeteilt wird, von denen ein Router pro Token nur einen Bruchteil aktiviert.
FP8 (8-bit Floating Point): Ein datenkomprimiertes Format mit einfacher Gleitkomma-Genauigkeit (8 Bit), das den Speicherbedarf von Modellgewichten halbiert und die Inferenzgeschwindigkeit erhöht.
Tokenisierung: Der mathematische Prozess der Zerlegung von Rohtext in kleinere Einheiten (Token) anhand eines festen Vokabulars.
UniBPE (Unigram Byte-Pair Encoding): Ein von Aleph Alpha entwickelter Tokenisierungs-Algorithmus, der besonders auf die Struktur deutscher Komposita optimiert ist.
Sliding-Window-Attention: Ein Aufmerksamkeitsmechanismus, bei dem Transformer-Schichten nur ein begrenztes, unmittelbar vorhergehendes Textfenster betrachten, um den Rechenaufwand bei Millionen-Kontexten zu senken.
Rotary Position Embeddings (RoPE): Eine Methode zur Kodierung von Token-Positionen im Kontext durch Vektorrotation, um die Beibehaltung der relativen Distanzen bei langen Sequenzen zu sichern.
RAG (Retrieval-Augmented Generation): Eine Methode, bei der einem Sprachmodell vor der Antwortgenerierung externe Dokumente übergeben werden, um faktenbasierte und aktuelle Antworten zu ermöglichen.
AIME (American Invitational Mathematics Examination): Ein anspruchsvoller mathematischer Wettbewerb, der als Standard-Benchmark zur Bewertung des logischen Schließens von KI-Modellen dient.
vLLM: Eine optimierte Inferenz-Engine für Large Language Models, die durch effizientes Speicher-Management (PagedAttention) hohen Durchsatz ermöglicht.