Der Oktober 2026-Bericht zu SlopCodeBench bewertet führende KI-Codierungsagenten anhand von 36 Problemen und 196 Prüfpunkten (Checkpoints) unter sich entwickelnden Anforderungen. GPT-6 Astra erzielte mit 16,33% die höchste strenge Erfolgsquote (Strict Pass Rate) bei geschätzten Kosten von 758,62 USD. Überraschenderweise übertraf die Einstellung „Medium“ bei einigen Modellen (wie Opus 5.5) die teurere „XHigh“-Stufe, die das 2,11- bis 4,22-Fache kostet, ohne verlässlich mehr strenge Erfolge zu liefern.
Wichtigste Punkte
Strenge Erfolgsquote (Strict Pass Rate): GPT-6 Astra XHigh führt das Feld mit 16,33% (32/196 Checkpoints) an, dicht gefolgt von GPT-6 SOL Medium (15,31%) und Astra Medium (14,80%). Die Gesamtrate aller getesteten Modelle liegt zwischen 12,24% und 16,33%.
Kern-Erfolgsquote (Core Pass Rate): Die weniger strengen Core-Erfolgsraten bewegen sich zwischen 65,82% und 73,98%, wobei Opus 5.5 Medium mit 145/196 Erfolgen führt, obwohl es nur 28 strenge Pässe erreicht.
Ineffizienz höherer Aufwandsstufen: XHigh-Einstellungen verursachen 2,11- bis 4,22-fache Kosten gegenüber Medium, steigern jedoch die strengen Erfolgsraten nicht verlässlich (Opus 5.5 sinkt von 28 auf 25 strenge Erfolge bei XHigh).
Kosten-Bandbreite: Die Kampagnenkosten variieren massiv zwischen 178,51 USD (GPT-6.1 Medium, 14,80% strict) und 1.550,07 USD (Fable 5.1 XHigh, 13,27% strict).
Code-Qualität und Slop-Muster: Opus XHigh weist mit 77,75% den geringsten Anteil an Slop-Mustern im verbleibenden Code auf, während Opus Medium mit 94,25% am höchsten abschneidet. Fable hat die niedrigste mittlere Komplexität (3,57), GPT-6 SOL Medium die höchste (11,70).
Testumgebung: Die Benchmarks wurden mit dem fixierten v1.0-Katalog, dem Standard-Just-Solve-Prompt, Seed 42, dem Any-Case-Runner-Pass-Policy sowie Docker mit Python 3.12 und uv durchgeführt.
Diskussions-Highlights
Lesbarkeitsprobleme bei Astra: Kommentatoren weisen darauf hin, dass Astra zwar funktional starke Ergebnisse liefert, aber zu extremem „Code Golf“ neigt (z. B. vollständiges Weglassen von Zeilenumbrüchen, verwiesen auf Armin Ronachers Artikel „astra-why“).
Menschlicher Engpass: Mehrere Nutzer argumentieren, dass die kognitive Aufmerksamkeitsspanne („cognitive broadband“) von Entwicklern den tatsächlichen Engpass darstellt, weshalb extrem hohe Agenten-Aktivität oder der parallele Betrieb mehrerer Chat-Fenster in der Praxis oft unbrauchbar sind.
Code-Müll und Regressionen: Diskutiert wird, dass selbst die besten Modelle am Ende Tausende fehlgeschlagene Tests und Regressionen in den Codebasen hinterlassen, was herkömmliche Benchmarks nur unzureichend erfassen.
Reproduzierbarkeit: Das GitHub-Repository gabeorlanski/scb-problems wurde von der Community als maßgebliche Ressource zur Replikation der Testergebnisse genannt.
Glossar
SlopCodeBench (SCB): Ein Benchmark für KI-Codierungsagenten, der Probleme in iterativen Phasen mit sich ändernden Anforderungen testet, um die reale Softwareentwicklung abzubilden.
Strict Pass Rate (Strenge Erfolgsquote): Der prozentuale Anteil von Prüfpunkten, bei denen ein Modell alle neuen Testfälle sowie sämtliche bestehenden Regressionstests fehlerfrei besteht.
Core Pass Rate (Kern-Erfolgsquote): Eine weniger strenge Metrik, bei der Modelle gewertet werden, sobald Kernkategorien eines Prüfpunkts bestanden sind, selbst wenn frühere Fehler ungelöst bleiben.
Code Golf: Eine Programmierdisziplin, bei der Code auf die absolut minimale Anzahl von Zeichen reduziert wird, was häufig auf Kosten der Lesbarkeit geht.
Regressionstests: Automatisierte Softwaretests, die überprüfen, ob bestehende Funktionen nach Codeänderungen weiterhin fehlerfrei funktionieren.
Checkpoints: Einzelne Verifizierungsschritte innerhalb des Benchmarks, an denen der Stand des Codes nach dem Hinzufügen neuer Anforderungen gemessen wird.
Slop: Bezeichnung für redundanten, minderwertigen oder unnötigen Code (sowie temporäre Artefakte), der von KI-Modellen generiert und im Repository hinterlassen wird.