Der Artikel beschreibt die Architektur, das Datenengineering, das Vortraining, das Supervised Fine-Tuning (SFT) und die Reinforcement-Learning-Pipeline (RL) der dichten Decoder-Only-Sprachmodelle der Granite 4.1-Familie (3B, 8B und 30B von IBM). Die Modelle wurden auf ca. 15 Billionen Token trainiert, unterstützen Kontexte von bis zu 512.000 Token und werden unter der Apache-2.0-Lizenz veröffentlicht.
Wichtigste Punkte
Modellarchitektur: Dichte Decoder-Only-Modelle in den Größen 3B, 8B und 30B mit Grouped Query Attention (GQA), Rotary Position Embeddings (RoPE), SwiGLU-Aktivierungsfunktionen und RMSNorm.
5-Phasen-Vortraining: Training auf ca. 15 Billionen Token, unterteilt in allgemeines Vortraining (Phasen 1–2), hochwertiges Daten-Annealing (Phasen 3–4) und Long-Context-Training (Phase 5) mit einer Erweiterung des Kontextfensters auf bis zu 512K Token.
Supervised Fine-Tuning (SFT): Feinabstimmung auf ca. 4,1 Millionen kuratierten Beispielen, gefiltert und korrigiert über ein automatisiertes LLM-as-Judge-Framework sowie regelbasierte Validierung.
Multi-Stufen-RL-Pipeline: Einsatz von On-Policy GRPO mit DAPO-Verlust in vier sequenziellen Stufen: Multi-Domain-RL, RLHF, Identitäts-/Wissens-Kalibrierung und Math-RL zur Minimierung katastrophalen Vergessens.
Leistungsvergleich: Das dichte 8-Milliarden-Parameter-Modell Granite 4.1-8B erreicht oder übertrifft das Vorgängermodell Granite 4.0-H-Small (ein 32B-Mixture-of-Experts-Modell mit 9B aktiven Parametern) trotz geringerer Gesamtparameterzahl.
Infrastruktur & Quantisierung: Training auf einem NVIDIA GB200 NVL72-Cluster auf CoreWeave; Bereitstellung von FP8-quantisierten Varianten via LLM Compressor für vLLM-Inferenz zur Reduzierung des Fußabdrucks um 50%.
Glossar
Decoder-Only-Modell: Eine Architektur für Sprachmodelle, die ausschließlich den Decoder-Teil eines Transformers nutzt, um Text sequenziell vorherzusagen (Standard bei modernen LLMs wie GPT oder Llama).
Grouped Query Attention (GQA): Eine Optimierung der Aufmerksamkeitsmechanik (Attention), bei der sich mehrere Abfragen (Queries) weniger Schlüssel-Wert-Paare (Key-Value Pairs) teilen, was Rechenzeit und Speicher spart.
Rotary Position Embeddings (RoPE): Eine mathematische Methode, um Positionsinformationen in Token-Einbettungen zu integrieren, indem die Vektoren im mehrdimensionalen Raum rotiert werden.
SwiGLU: Eine nicht-lineare Aktivierungsfunktion in neuronalen Netzen, die häufig zu besseren Trainingsergebnissen und höherer Modellgenauigkeit bei großen Sprachmodellen führt.
RMSNorm: Eine vereinfachte und recheneffiziente Variante der Schichtnormalisierung (Layer Normalization), die die numerische Stabilität des Trainings erhöht.
Token: Die kleinste Texteinheit (Wörter, Wortteile oder Zeichen), die von Sprachmodellen verarbeitet und generiert wird.
Supervised Fine-Tuning (SFT): Das beaufsichtigte Feintuning eines vortrainierten Modells anhand von Beispielen aus Eingabe und korrekter Antwort, um zielgerichtetes Instruktionsverhalten zu trainieren.
LLM-as-Judge: Ein Ansatz, bei dem ein leistungsstarkes Sprachmodell als automatisierter Prüfer eingesetzt wird, um die semantische und strukturelle Qualität von Texten anderer Modelle zu bewerten.
GRPO (Group Relative Policy Optimization): Ein Reinforcement-Learning-Algorithmus zur Optimierung von Sprachmodellen, der ohne ein separates Wertnetzwerk (Critic) auskommt und dadurch Rechenressourcen spart.
DAPO (Decoupled Clip and Dynamic sAmpling Policy Optimization): Eine erweiterte Verlustfunktion für das Reinforcement Learning, die stabilere Trainingssignale als Standardmethoden liefert.
RLHF (Reinforcement Learning from Human Feedback): Eine Methode zur Ausrichtung von KI-Modellen an menschlichen Präferenzen (Hilfsbereitschaft, Höflichkeit, Sicherheit) durch verstärkendes Lernen.
FP8-Quantisierung: Eine Methode zur Reduzierung der numerischen Präzision von Modellgewichten auf 8-Bit-Gleitkommazahlen, um den Speicherbedarf und die Ausführungsgeschwindigkeit bei der Inferenz zu optimieren.
MoE (Mixture of Experts): Eine Modellarchitektur, bei der pro Token nur ein Teilkonzern von Parametern (Experten) aktiviert wird, wodurch die Modellkapazität bei geringem Rechenaufwand skaliert.