Aleph Alpha hat mit „Kolibri“ ein souveränes Open-Weight-Sprachmodell mit 78 Milliarden Gesamtparametern und 3,46 Milliarden aktiven Parametern (Mixture-of-Experts) veröffentlicht, das unter der Apache-2.0-Lizenz auf Hugging Face verfügbar ist. Das Modell unterstützt Kontextfenster von bis zu 1 Million Token und wurde auf rund 24 Billionen Token trainiert, wobei ein Anteil von 21,3 % (ca. 4,3 Billionen Token) speziell auf die deutsche Sprache ausgerichtet ist. Kolibri zielt auf kritische Regulierungsbereiche wie die öffentliche Verwaltung, Industrie und Luft- und Raumfahrt ab und erzielt durch einen effizienten Ansatz mit dem Merlin-Arthur-Protokoll eine hohe Halluzinationsresistenz sowie eine Positionierung an der Pareto-Grenze für Betriebskosten und Qualität.
Wichtigste Punkte
Modellarchitektur:MoE-Architektur mit 78,1B Gesamtparametern, 3,46B aktiven Parametern pro Token, 50 Schichten und Hybrid-Attention (Sliding-Window mit 512 Token plus vollständige Attention in jeder 5. Schicht).
Training & Datensatz: Gesamtes Trainingsvolumen von ca. 24 Billionen Token (20T Pre-Training, 3,44T Mid-Training, 200B Long-Context-Adaptation) auf 768 B200-GPUs; 21,3 % deutschsprachige Daten, wobei 80 % durch eigene Kuration und LLM-basiertes Rephrasing erzeugt wurden.
Kontextfenster: Nativ trainiert auf 16k Token, erweitert auf 64k im Mid-Training und 256k im Long-Context, skalierbar bis zu 1 Million Token (--max-model-len 1048576).
Tokenizer:UniBPE-Tokenizer mit 128k Vokabular, optimiert für deutsche Komposita und Morphologie zur Reduzierung der Token-Anzahl und Steigerung der Inferenz-Effizienz.
Halluzinationsschutz: Einsatz des Merlin-Arthur-Protokolls und gezielter Abstention-Daten, um bei fehlendem Kontext explizit „Ich weiß es nicht“ auszugeben und Falschaussagen zu minimieren.
Spezialisierung & Leistung: Positionierung an der Pareto-Grenze für Leistung versus Betriebskosten; stark in regulierten Branchen (z. B. Automobilzulieferung, Halbleiterindustrie, deutscher öffentlicher Sektor) im Vergleich zu Modellen mit bis zu vierfacher aktiver Parametergröße.
Diskussions-Highlights
Transparenz und Offenheit: Hacker-News-Nutzer lobten den außergewöhnlich detaillierten technischen Bericht, der Einblicke wie ein Leitfaden gewährt; gleichzeitig wurde die geplante Fusion von Aleph Alpha mit dem kanadischen Unternehmen Cohere kritisch im Hinblick auf den Anspruch der reinen „Souveränität“ diskutiert.
Leistungsvergleich: Mehrere Kommentatoren verwiesen darauf, dass dichtere Alternativen wie das Qwen3.8 27B-Modell in bestimmten deutschen Benchmarks teils besser abschneiden, obwohl Kolibri bei FP8-Quantisierung auf Hardware wie der RTX Pro 6000 mit ca. 170 Token/Sekunde eine hohe Verarbeitungsgeschwindigkeit erreicht.
Kritik an Praxistauglichkeit: Nutzer bemängelten bei praktischen Tests Mängel bei der Beantwortung deutscher Rechtsfragen (z. B. Referenzierung veralteter Gesetze wie des Telemediengesetzes anstelle des aktuellen DDG) sowie hohen Token-Verbrauch durch erweitertes „Denken“ (Reasoning).
Infrastruktur & Datenherkunft: Kritische Stimmen hinterfragten die Umweltbilanz des Trainings in Deutschland (unter Bezugnahme auf den Strommix laut ElectricityMaps) sowie die Methodik des LLM-basierten Rephrasings zur Generierung deutscher Trainingsdaten.
Glossar
Mixture-of-Experts (MoE): Eine neuronale Netzarchitektur, bei der für jedes Token nur eine kleine Teilmenge von Parametern („Experten“) aktiv ist, was die Rechenkosten bei hoher Gesamtkapazität stark senkt.
Pareto-Grenze (Pareto Frontier): Ein Konzept aus der Ökonomie, das die optimale Balance zwischen konkurrierenden Zielen (hier: Modellqualität versus Betriebskosten) markiert.
Token / Tokenisierung: Die Zerlegung von Text in kleinere sprachliche Einheiten (Wörter oder Wortteile), die das Sprachmodell verarbeitet.
Sliding-Window-Attention: Ein Mechanismus der Transformer-Architektur, bei dem die Aufmerksamkeit eines Tokens auf ein begrenztes lokales Nachbarschaftsfenster beschränkt wird, um Rechenaufwand und Speicher bei langen Texten zu sparen.
Supervised Fine-Tuning (SFT): Ein Trainingsschritt, bei dem ein vortrainiertes Modell anhand von Beispielen und korrekten Antworten auf spezifische Aufgaben und Chat-Interaktionen abgestimmt wird.
Reinforcement Learning (RL): Ein maschinelles Lernverfahren, bei dem ein Modell durch Belohnungen und Bestrafungen darauf trainiert wird, komplexe Handlungsabfolgen und Problemlösungen zu optimieren.
Abstention (Enthaltsamkeit): Die Fähigkeit eines KI-Modells, bei unzureichenden Informationen im Kontext keine Vermutung anzustellen, sondern transparent zu erklären, dass die Antwort nicht bekannt ist.
FP8 (8-Bit Floating Point): Ein verkürztes Gleitkommaformat mit 8 Bit Präzision, das den Speicherbedarf und die Rechenzeit von Modellen bei minimalem Qualitätsverlust stark reduziert.
Komposita: Zusammengesetzte Wörter (im Deutschen besonders häufig, z. B. „Bundesozialgericht“), die für Standard-Tokenizer eine Herausforderung darstellen.