Pac-Bench evaluiert, wie effektiv Sprachmodelle ein Pac-Man-Spiel in einer einzigen HTML-Seite aus einem minimalistischen Prompt im Zero-Shot-Verfahren ohne Korrekturschleifen generieren können. Das Projekt dient als praxisnaher Test zur Modellbewertung hinsichtlich Spielmechaniken, Mustererkennung und Code-Vollständigkeit.
Wichtigste Punkte
Zielsetzung: Evaluierung der Zero-Shot-Generierungsfähigkeit von KI-Modellen zur Erstellung eines funktionierenden Pac-Man-Spiels in einer einzigen HTML-Datei aus einem Prompt.
Testbedingung: Jedes Modell erhält exakt einen Versuch ohne iterative Folge-Prompts, Korrekturen oder Fehlerbehebungen.
Eignung des Benchmarks: Pac-Man eignet sich laut dem Ersteller aufgrund sofort erkennbarer visueller Ergebnisse und schneller Spielbarkeit innerhalb von fünf Sekunden zur Qualitätsprüfung.
Diskussions-Highlights
Modell-Leistung und Unterschiede: Modelle wie Opus 5.5 wurden als herausragend eingestuft, da sie gepufferte Steuerungen, spezifische Ghost-Pathfinding-Algorithmen und Levelübergänge fehlerfrei umsetzten. Andere Modelle wie GPT-6 oder Astra implementierten laut Kommentaren unnötiges visuelles "Cringe"-Beiwerk oder unvollständige Labyrinthe.
Prompt-Qualität: Einige Teilnehmer kritisierten den extrem kurzen Prompt als zu vage, wodurch der Benchmark im Wesentlichen misst, wie gut Modelle fehlenden Kontext aus ihren Trainingsdaten (Isomorphe Plagiatserkennung von Open-Source-Code) interpretieren statt gezielte Logik zu lösen.
Geistige Anforderung & Spielmechanik: Die Kommentatoren diskutierten intensiv, ob Modelle die komplexen Ghost-Muster von Pac-Man tatsächlich algorithmisch begreifen oder lediglich auswendig gelernten Code regurgitieren.
Externe Ressourcen: Ein Kommentator verlinkte eine spielbare Demo von GLM-5.2 unter http://show.ahnfelt.net/demos/glm5.2-pacman.html.
Auswirkungen auf die Softwareentwicklung: Während einige Entwickler die sofortigen Ergebnisse (z. B. bei Three.js-Projekten mit Opus 5/5.5) als starke Motivationshilfe loben, äußern andere Besorgnis über sinkende Programmiermotivation und die Abwertung traditioneller Programmierkompetenzen.