Reflection AI hat „Beam“ vorgestellt, ein Open-Weight-Modell mit 501 Milliarden Gesamtemetern (23 Milliarden aktiven Parametern) in einer Sparse-Mixture-of-Experts-Architektur (MoE). Das Modell wurde auf 23,8 Billionen Tokens vortrainiert und durchlief ein intensives Reinforcement-Learning (RL) mit über 100 Millionen Rollouts auf 10.500 NVIDIA GB300 GPUs. Beam fokussiert sich auf Coding-, Reasoning- und Agenten-Workloads und soll noch diesen Monat unter einer Apache-2.0-Lizenz veröffentlicht werden.
Wichtigste Punkte
Architektur & Parameter: Sparse-Mixture-of-Experts (MoE) mit 501 Milliarden Gesamtemetern und 23 Milliarden aktiven Parametern pro Token.
Vortraining: Trainiert auf 23,8 Billionen diversen, kuratierten Tokens aus Web- und proprietären lizenzierten Datensätzen auf einem Cluster aus 6.144 NVIDIA GB300 NVL72 GPUs in unter vier Wochen.
Reinforcement Learning (RL): Hochleistungs-RL-Lauf mit über 100 Millionen Rollouts auf 10.500 NVIDIA GB300 GPUs über vier Wochen bei Kontextlängen von bis zu 256K Tokens (erweiterbar auf 1M Tokens im Midtraining).
Inferenz-Effizienz: Erreicht wettbewerbsfähige Reasoning-Werte (z.B. vergleichbar mit GLM-5.2), benötigt jedoch 3–4x weniger Inferenz-Compute und übertrifft Modelle der 2T+-Parameter-Klasse an Effizienz.
Infrastruktur & Stabilität: Nutzt asynchrone Policy-Gradients mit Toleranz gegenüber Policy-Staleness von über einem Tag, dynamisches Batch-Packing (99,99 % Auslastung) und eine RoCE/NVLink-Hierarchie, die den Rack-übergreifenden Traffic um 75 % senkte.
Lizenzierung & Release: Veröffentlichung der Gewichte unter Apache 2.0 sowie technischer Berichte und Entwickler-Artefakte ist für diesen Monat geplant.
Diskussions-Highlights
Geopolitische Positionierung: Beam wird von der Community als US-Antwort auf chinesische Labore (z.B. DeepSeek, Qwen) wahrgenommen, gestützt durch eine Finanzierung von 2 Milliarden US-Dollar von Investoren wie NVIDIA, Eric Schmidt und Sequoia.
Leistungsdebatte: Mehrere Kommentatoren kritisieren, dass Beam trotz massiver Parameter- und Rechenressourcen auf Standard-Benchmarks hinter kleineren Open-Source-Modellen (wie DeepSeek V4.1 Flash oder Qwen) zurückbleibt.
Marketingfehler / Veraltete Daten: Nutzer entlarven Reflection AIs Behauptung, ein verwendetes Testrätsel sei „wenige Tage alt“, als fehlerhaft; das Rätsel stammt nachweislich bereits aus August 2025 (veröffentlicht auf LessWrong).
Fehlende sofortige Verfügbarkeit: Kritisiert wird, dass zum Zeitpunkt der Ankündigung noch keine Gewichte oder APIs öffentlich verfügbar sind und lediglich eine Warteliste für den Frühzugang existiert.
Glossar
Mixture-of-Experts (MoE): Eine Deep-Learning-Architektur, bei der das Modell in viele spezialisierte Untermodelle („Experten“) aufgeteilt wird, von denen bei jedem Rechenschritt (Token) nur ein kleiner Teil aktiv geschaltet wird, was enorme Modellgrößen bei geringem Rechenaufwand pro Token ermöglicht.
Open-Weight-Modell: Ein KI-Modell, dessen vortrainierte Modellgewichte und Konfigurationen öffentlich zugänglich gemacht werden, sodass Entwickler sie lokal ausführen oder anpassen können.
Reinforcement Learning (RL): Ein maschinelles Lernverfahren, bei dem ein Modell durch Belohnungen und Bestrafungen (Feedback aus seiner Umwelt oder Simulationen) optimiert wird, um komplexe Problemlösungsstrategien zu erlernen.
Rollout: Ein einzelner Simulations- oder Generierungslauf eines KI-Modells in einer Umgebung, um Daten oder Handlungssequenzen für das Training zu erzeugen.
RoCE (RDMA over Converged Ethernet): Eine Netzwerktechnologie, die Remote Direct Memory Access über Ethernet-Netzwerke ermöglicht und extrem niedrige Latenzen bei der Datenübertragung zwischen Servern bietet.
NVLink: Eine proprietäre, ultraschnelle Verbindungstechnologie von NVIDIA zur direkten Kommunikation zwischen GPUs untereinander, die den Datenaustausch massiv beschleunigt.
Sparse Model: Ein Modell, bei dem nur ein Bruchteil der gesamten Parameter (aktive Parameter) für die Vorhersage eines einzelnen Tokens berechnet wird.
SFT (Supervised Fine-Tuning): Ein Trainingsverfahren, bei dem ein vortrainiertes Basismodell anhand von kuratierten Frage-Antwort-Paaren feinabgestimmt wird, um gewünschte Verhaltensweisen zu verstärken.
Analyst Notes
The source article claims the "Land or Water" grid puzzle is a few days old and thus excluded from pretraining data. However, as documented on LessWrong, this puzzle dates back to at least August 2025, meaning it could potentially have been present in the training corpora or web scrapes, rendering the strict out-of-distribution (OOD) novelty claim factually inaccurate.