livenerf ist ein deterministischer Open-Source-Benchmark zur Messung von Leistungsabfällen ("Nerfs") von Frontier-KI-Modellen nach deren Veröffentlichung, speziell validiert für Claude Opus 5.5 (gelauncht am 22.09.2026). Das Tool nutzt das Inspect-Framework des UK AI Security Institute, um tägliche automatisierte Testläufe über ein vorregistriertes Panel aus 78 kalibrierten Fragen (aus GPQA Diamond, MMLU-Pro und Wettbewerbsmathematik) durchzuführen. Durch das Pinnen der CLI-Version, feste Systemprompts und die Verfolgung von Ausgabetoken-Zählungen als sekundärem Indikator minimiert das System Rauschen und erfasst statistisch signifikante Abweichungen über gleitende 10-Tage-Fenster.
Wichtigste Punkte
Zielsetzung: System Erfassung von unangekündigten Modellverschlechterungen ("Nerfs") nach dem Launch durch Quantisierung, Routing-Änderungen oder verringerten Rechenaufwand über das GitHub-Repository ninjahawk/livenerf.
Evaluierungs-Framework: Basiert auf dem Open-Source-Framework Inspect des UK AI Security Institute und nutzt den zustandslosen Headless-Modus (claude -p) im Rahmen eines Claude Max-Abonnements.
Kalibriertes Fragenpanel: Screening von 2.336 Fragen aus GPQA Diamond, MMLU-Pro, Competition Math und AIME 2025–26; Filterung auf 78 Fragen mit einer Ausgangserfolgsquote im mittleren Bereich (ca. 50–60 %), um maximale statistische Trennschärfe zu erzielen.
Kontrollarm und Validierung: Einsatz eines Kontrollmodells (Claude-Opus-5) zur Unterscheidung zwischen Infrastrukturänderungen und echten Modellverschlechterungen; Vorvalidierungen zeigten, dass Token-Zählungen (−23 %) deutlich sensibler auf Aufwandsänderungen reagieren als reine Genauigkeitsmetriken.
Statistisches Design: Paarteilige Leistungsvergleiche pro Testitem gegen die Launch-Baseline über zwei aufeinanderfolgende 10-Tage-Fenster, statistisch abgesichert durch geclusterte Standardfehler gemäß Miller 2024 / Anthropic-Methodik.
Reproduzierbarkeit und Härtung: Strenges Pinnen der CLI-Version (CLAUDE_CLI_VERSION), Deaktivierung von Auto-Upgrades und hermetische Ausführung ohne externe Werkzeuge, MCP-Server oder Memory-Hooks.
Diskussions-Highlights
Existenz von Nerfs und Alternativ-Benchmarks: Diskussionsteilnehmer verweisen auf ähnliche Tracking-Projekte wie Nerf Bench (bridgebench.ai/nerf-bench) und MarginLab (marginlab.ai/trackers/claude-code/), wobei Nerf Bench angeblich frühere Leistungsabfälle bei Opus 4.6 nachgewiesen hat.
Phänomenologie vs. Realität: Kritiker argumentieren, dass vermeintliche "Nerfs" oft auf den psychologischen „Honeymoon-Effekt“, kognitive Anpassung der Nutzer oder das Erreichen der absoluten Komplexitätsgrenze neuer Modelle zurückzuführen sind.
Infrastrukturelle Belastung und Routing: Kommentatoren vermuten, dass Cloud-Anbieter unter Lastspitzen dynamisch routen, Token-Optimierungen vornehmen oder günstigere quantisierte Varianten einsetzen, um Serverkapazitäten zu schonen.
Komput-Umlenkung: Mehrere Beiträge spekulieren, dass Anbieter Rechenleistung dynamisch abziehen, um unangekündigte Flaggschiffmodelle (wie das erwähnte "Astra" oder interne "Grandparent"-Modelle) zu trainieren.
Stellungnahme des Autors:ninjahawk1 präzisiert, dass das Ziel nicht der pauschale Nachweis von Manipulationen ist, sondern die objektive Messung von Verteilungen über statistisch strenge 10-Tage-Fenster, wobei auch Nullergebnisse transparent veröffentlicht werden.
Glossar
Frontier-Modell (Frontier Model): Ein hochmodernes KI-Modell an der Grenze der aktuell machbaren technologischen Leistungsfähigkeit.
Inspect: Ein vom UK AI Security Institute entwickeltes Open-Source-Framework zur standardisierten Evaluierung von KI-Sicherheit und Modellfähigkeiten.
GPQA Diamond: Ein extrem anspruchsvoller naturwissenschaftlicher Benchmark (Graduate-Level Google-Proof Q&A) zur Prüfung von Expertenwissen auf Universitätsniveau.
MMLU-Pro: Eine erweiterte und komplexere Version des MMLU-Benchmarks (Massive Multitask Language Understanding) zur Messung breiten akademischen und professionellen Wissens.
AIME: American Invitational Mathematics Examination; ein hochgradig anspruchsvoller Mathematikwettbewerb für fortgeschrittene Schüler.
Quantisierung (Quantization): Ein Komprimierungsverfahren für neuronale Netze, bei dem die Genauigkeit der Modellgewichte reduziert wird, um Speicherbedarf und Rechenzeit zu senken.
Headless-Modus (claude -p): Die Ausführung der Claude Code-CLI ohne interaktive Benutzeroberfläche zur direkten skriptbasierten Abfrage über das Terminal.
Geclusterte Standardfehler (Clustered Standard Errors): Eine statistische Methode zur Korrektur von Fehlermetriken, wenn Beobachtungen innerhalb spezifischer Gruppen (hier: Testfragen) miteinander korreliert sind.
MCP (Model Context Protocol): Ein offener Standard zur sicheren Verbindung von KI-Modellen mit externen Datenquellen, APIs und Entwicklungswerkzeugen.
A/A-Check: Ein statistischer Validierungstest, bei dem zwei identische Systeme verglichen werden, um zu prüfen, ob die Fehlergrenzen und Testinstrumente fehlerfrei und unverzerrt arbeiten.