Artificial Analysis hat den Intelligence Index v4.2 als vorgezogenes Zwischenupdate veröffentlicht, um aktuelle Spitzenmodelle anhand realitätsnäherer Aufgaben zu evaluieren und Benchmark-Gaming durch einen auf 40 % verdoppelten Anteil privater Testsets (Held-out Sets) zu unterbinden. Das Update integriert die agentische Wissensarbeitsevaluation AA-Briefcase sowie den Dokumenten-Benchmark GDP.pdf, während das saturierte GPQA Diamond gestrichen wurde. In den Gesamtergebnissen führt Anthropic mit Claude Fable 5.1 knapp vor OpenAIs GPT-6 Astra (+4 Punkte gegenüber GPT-5.6 Sol), wobei GPT-6 Astra insbesondere bei der Token-Effizienz und im Langkontext-Reasoning dominiert. Die Pareto-Front für Kosten pro Aufgabe teilen sich Anthropic, OpenAI, Meta und Z.AI.
Wichtigste Punkte
AA-Briefcase-Benchmark: Testet autonome Agenten in komplexen, mehrwöchigen Wissensarbeitsszenarien mit tausenden Quelldateien anhand von Rubriken- und Paarvergleichsbewertungen (Pairwise Grading) bezüglich Aufgabenerfolg, Analyse- und Präsentationsqualität.
GDP.pdf für Langkontext-Reasoning: Bewertet die Informationssynthese über 100 PDFs (4.592 Seiten über zehn Fachdomänen) hinweg anhand von 1.275 atomaren Expertenkriterien unter strikter All-pass Rate-Wertung.
Prävention von Benchmark-Gaming: Der Anteil nicht-öffentlicher Testdaten (Held-out Sets wie AA-Briefcase, AA-Omniscience, CritPt-Lösungen) wurde auf 40 % verdoppelt; vollständig saturierte Benchmarks wie GPQA Diamond wurden entfernt.
Infrastruktur-Upgrades: Implementierung von System-Prompts für AA-LCR v1.1, Neukalibrierung der Elo-Skala für GDPval-AA v2 und AA-Briefcase sowie robustere Sandboxes für SciCode, um korrekte, aber rechenintensive Codeausführungen nicht fälschlich abzuwerten.
Ranglisten-Platzierungen: Claude Fable 5.1 belegt den Spitzenplatz, gefolgt von GPT-6 Astra. Meta belegt Rang 3, gefolgt von SpaceXAI, Moonshot/Kimi, Z.AI und Google.
Modellspezifische Spitzenwerte: Claude Fable 5.1 und Opus 5 führen AA-Briefcase an, während GPT-6 Astra (~85 Elo-Punkte Zuwachs gegenüber Sol) GDP.pdf mit 33,2 % vor GPT-5.6 Sol (28,2 %) und Claude Fable 5.1 (26,2 %) dominiert.
Effizienz-Metriken: GPT-6 Astra besetzt die Effizienzspitze bei Ausgabetokens; die Pareto-Grenze für Aufgabenkosten wird von Anthropic, OpenAI, Meta (u. a. Muse Spark 1.3) und Z.AI gebildet.
Diskussions-Highlights
Vorwurf des Ergebnis-Tunings vs. empirische Iteration: Mehrere Diskussionsteilnehmer äußern den Verdacht, das Update sei vorgezogen worden, um das empirisch unplausible Gleichziehen von Astra und Sol nachträglich an die Markterwartungen anzupassen. Andere verteidigen dies als normalen methodischen Feedback-Prozess in der empirischen Wissenschaft, fordern jedoch vorab festgelegte Evaluierungszeitpläne.
Kritik an wissenschaftlicher Validität: Es wird bemängelt, dass AI-Benchmarks oft wissenschaftliche Sprache (wie enge 95%-Konfidenzintervalle) nutzen, ohne Peer-Review-Standards, Veröffentlichung von Rohdaten oder hinreichend transparente Testmethodiken vorzuweisen.
Relevanz des Omniscience-Index: Die Metrik AA-Omniscience wird gelobt, da sie Halluzinationen rigoros abstraft und Unsicherheitsbekundungen neutral wertet. Widerspruch regt sich daran, ob rein wissensbasierte Abfragen noch zeitgemäß sind oder ob primär die Fehlerfreiheit bei Tool-Aufrufen und Kontextverarbeitung gemessen werden sollte.
Praxistauglichkeit in Produktions-Pipelines: Entwickler betonen, dass aggregierte Benchmark-Punkte wenig Aussagekraft für produktive Softwarearchitekturen haben; entscheidend sei, dass Modelle bei Randfällen (Edge Cases) Unsicherheit signalisieren, anstatt selbstbewusste Fehlentscheidungen unbemerkt durch automatisierte Pipelines laufen zu lassen.
Architektur-Debatte zur Token-Effizienz: Die hohe Token-Effizienz von GPT-6 Astra wird teils auf methodische Testartefakte (Evaluation über sechs verschiedene Effort-Stufen hinweg), teils auf neuartige Modellarchitekturen (wie Looped Transformers / rekurrente Tiefe mit internen Denkschritten ohne Token-Ausgabe) zurückgeführt.
Auslassung von Abstraktions-Benchmarks: Es wird hinterfragt, warum ARC-AGI-3 nicht im Index vertreten ist; dies wird kontrovers diskutiert, da unklar sei, wie stark spiel- und musterbasierte Tests mit realer Unternehmensproduktivität korrelieren.
Glossar
AA-Briefcase: Ein herstellereigener Benchmark zur standardisierten Bewertung von KI-Agenten bei komplexen, arbeitsteiligen Wissensprojekten über längere Zeiträume.
AA-Omniscience: Ein Evaluierungsindex, der die Zuverlässigkeit von Modellantworten misst, indem korrekte Fakten belohnt, Halluzinationen bestraft und das Eingestehen von Unwissen neutral gewertet werden.
All-pass Rate: Ein Bewertungskriterium, bei dem eine Aufgabe nur dann als bestanden gilt, wenn ausnahmslos jedes einzelne Teilkriterium vollständig erfüllt wurde.
ARC-AGI-3 (Abstraction and Reasoning Corpus 3): Ein Benchmark zur Messung der Fähigkeit von Systemen, neuartige logische Muster und visuelle Abstraktionsaufgaben ohne spezifisches Vortraining zu lösen.
CritPt: Ein spezifischer Testdatensatz zur Evaluierung kritischer analytischer Argumentationsketten in Modellen.
DeepSWE: Ein Benchmark zur quantitativen Messung der Fähigkeiten von Sprachmodellen bei der autonomen Bearbeitung von Software-Engineering-Aufgaben.
Elo-Skala: Ein relatives Wertungssystem zur Bestimmung der Leistungsstärke von Systemen durch direkte Paarvergleiche.
GDP.pdf: Ein Benchmark von Surge AI zur Prüfung des logischen Textverständnisses und der Informationssynthese über hunderte Seiten komplexer PDF-Dokumente.
GPQA Diamond: Eine Auswahl hochgradig anspruchsvoller, wissenschaftlicher Multiple-Choice-Fragen auf Expertenniveau, die gegen einfaches Nachschlagen im Internet abgesichert sind.
Held-out Test Set (Nicht-öffentlicher Testdatensatz): Geheime Validierungsdaten, die vor Modellentwicklern verborgen bleiben, um eine gezielte Optimierung (Gaming/Overfitting) auf den Benchmark zu verhindern.
Looped Transformer / Recurrent Depth: Eine neuronale Netzarchitektur, die Rechenschichten mehrfach rekursiv durchläuft, wodurch das Modell zusätzliche interne Rechenzeit für logische Schritte aufwenden kann, ohne Ausgabetokens zu erzeugen.
Pareto-Frontier (Pareto-Grenze): Die Menge optimaler Zustände, bei denen ein Parameter (z. B. Intelligenzscore) nicht weiter verbessert werden kann, ohne einen anderen Parameter (z. B. Kosten oder Latenz) zu verschlechtern.
Token-Effizienz: Das Verhältnis zwischen der investierten Menge an Ausgabe-Einheiten (Tokens) und der erreichten Qualität bzw. Lösungsrichtigkeit der Antwort.