Der Text dokumentiert die Veröffentlichung der IBM Granite-4.2-Modellfamilie, einer Serie von dichten Decoder-only-Transformator-Modellen in den Größen 3B, 8B und 30B Parametern, die primär auf logisches Schließen (Reasoning) und agentische Workflows ausgelegt sind. Die Modelle integrieren native Chain-of-Thought-Fähigkeiten (<think>...</think>) mit flexiblen Denkmodi und unterstützen native Tool-Calls. Die technische Dokumentation beschreibt die Architektur (Grouped Query Attention, Rotary Position Embeddings, SwiGLU), einen dreistufigen Trainingsprozess bestehend aus Pre-Training auf Basis von Granite-4.1, Supervised Fine-Tuning (SFT) mit 7,2 Millionen Proben sowie ein mehrstufiges Reinforcement-Learning-Verfahren (GRPO) via NeMo-RL und NeMo-Gym. Zudem werden Benchmarking-Ergebnisse, Quantisierungsformate (FP8, NVFP4, MXFP4, GGUF) und die Bereitstellung über Inferenz-Engines wie vLLM und SGLang auf einer NVIDIA GB200 NVL72-Infrastruktur detailliert aufgeschlüsselt.
Wichtigste Punkte
Architektur und Modellgrößen: Die Granite-4.2-Serie umfasst dichte Decoder-only-Modelle mit 3B, 8B und 30B Parametern. Sie nutzen Grouped Query Attention (GQA), Rotary Position Embedding (RoPE) mit $\theta = 10.000.000$, RMSNorm und SwiGLU-Aktivierungsfunktionen bei bfloat16-Präzision.
Integriertes Reasoning (Denk-Modi): Alle Modelle unterstützen natives Chain-of-Thought-Reasoning in den Modi „Vollständiges Denken“ (Standard), „Nicht-Denken“ und einem ressourcensparenden Low-Effort-Modus, steuerbar über Chat-Template-Parameter.
Mehrstufiges Supervised Fine-Tuning (SFT): Das SFT basiert auf ca. 7,2 Millionen Proben (~100B Token), aufgeteilt in agentische (31,6 %) und nicht-agentische Daten (68,4 %). Die 30B-Variante durchläuft zusätzlich eine auf agentisches Codieren spezialisierte zweite SFT-Phase.
Reinforcement Learning mit GRPO: Nach dem SFT erfolgt ein mehrstufiges Training mittels Group Relative Policy Optimization (GRPO) über Verifiable Reward RL (RLVR), Skill-Booster, agentisches RL (SWE, Terminal, Suche) und abschließendes RLHF für Präferenz und Sicherheit.
High-Performance-Infrastruktur: Das Training wurde auf einem NVIDIA GB200 NVL72-Cluster bei CoreWeave mit 72-GPU-NVLink-Domains und einem non-blocking 400 Gb/s InfiniBand-Netzwerk unter Einsatz von NeMo-RL und NeMo-Gym durchgeführt.
Quantisierung und Bereitstellung: Es werden optimierte Quantisierungsformate in FP8, NVFP4, MXFP4 und GGUF bereitgestellt. Die Inferenz wird nativ durch vLLM (mit individuellem Reasoning-Parser) und SGLang unterstützt.
Diskussions-Highlights
Agentische Ausführung in echten Umgebungen: Die Modelle 8B und 30B wurden durch ein spezielles agentisches RL-Training befähigt, in realen Sandboxes und Terminals (z. B. via OpenHands und Terminus-2) autonom Werkzeuge aufzurufen, Code zu modifizieren und komplexe Aufgaben zu lösen (erreicht 57,00 % auf SWE-bench Verified).
Kontextfenster und Effizienz: Die Modelle besitzen ein natives Kontextfenster von 131.072 (128K) Token, das im Pre-Training auf bis zu 512K Token erweitert wurde, wodurch die Verarbeitung großer Codebasen und umfangreicher Dokumentationen ermöglicht wird.
Glossar
Decoder-only Dense Transformer: Eine klassische und dichte Architektur von künstlichen neuronalen Netzen zur Textgenerierung, bei der alle Modellparameter bei jedem Rechenschritt aktiv sind.
Grouped Query Attention (GQA): Eine optimierte Rechentechnik für die Aufmerksamkeitsschaltung in Transformator-Modellen, die den Speicherbedarf und die Rechenlast bei langen Texten verringert.
Rotary Position Embedding (RoPE): Ein mathematischer Mechanismus, der die relative Position von Wörtern im Text durch Rotationsmatrizen im Vektorraum kodiert.
SwiGLU: Eine spezielle nicht-lineare Aktivierungsfunktion in neuronalen Netzen, die die Lernfähigkeit und Genauigkeit von Sprachmodellen verbessert.
Supervised Fine-Tuning (SFT): Das überwachte Feintuning eines vortrainierten Modells mithilfe kuratierter Frage-Antwort-Beispiele und Handlungsanweisungen.
Group Relative Policy Optimization (GRPO): Ein fortschrittliches Verstärkungslernverfahren (Reinforcement Learning), das mehrere Modellantworten vergleicht und optimiert, ohne ein separates Bewertungsnetzwerk (Value Network) zu benötigen.
NeMo-RL / NeMo-Gym: Ein von NVIDIA entwickeltes Software-Ökosystem zur Durchführung von skalierbarem Reinforcement Learning in simulierten und realen Programmier- oder Agentenumgebungen.
GGUF: Ein standardisiertes Dateiformat, das komprimierte (quantisierte) KI-Modelle speichert, damit sie ressourcenschonend auf Standard-Computern ausgeführt werden können.
Quantisierung (FP8, NVFP4, MXFP4): Ein Verfahren zur Reduzierung der Datengenauigkeit von Modellgewichten (z. B. von 16-Bit auf 4- oder 8-Bit-Zahlen), wodurch der Speicherbedarf und die Ausführungsgeschwindigkeit drastisch optimiert werden.