In diesem Benchmark vergleicht der Entwickler 10 Kombinationen aus Sprachmodellen und Agenten-Frameworks (Harnesses) – darunter GLM 5.3, Qwen 3.8 27B, Astra 6.0, Luna 5.6 und SOL 5.6 über Codex, OMP, OpenCode und DSH – bei einer identischen /goal-Aufgabe. Die Anforderung bestand im Erstellen einer einzelnen, vollfunktionalen HTML-Datei mit einer komplexen Three.js-3D-Szene. Die Ergebnisse zeigen massive Unterschiede in Effizienz und Ausführungslogik: Die Gesamtdauer variierte von 8:48 Minuten bis 41:25 Minuten bei einem Tokenverbrauch zwischen 475.143 und 4.355.915 Tokens.
Wichtigste Punkte
Testaufbau & Prompt: Ziel war die Generierung einer eigenständigen WebGL-Seite mit schwebenden Drohnen, Warnlichtern, emissiven Landebahnstreifen, volumetrischem Nebel, Formations-Umschalter und kinematischer Kamerafahrt.
Effizienzspitzenreiter: Qwen 3.8 27B x-high auf OpenCode erzielte die schnellste Ausführungszeit von 8m 48s bei 707.307 Total Tokens und nur 13 Tool-Aufrufen. GLM 5.3 Flash Max auf Codex folgte dicht mit 9m 0s und dem geringsten Tokenverbrauch (475.143 Tokens, 14 Tool Calls).
Höchster Ressourcenverbrauch: GLM 5.3 Flash Max auf OpenCode erzeugte mit 4.355.915 Total Tokens den höchsten Token-Overhead (20m 28s Laufzeit, 67 Tool Calls). Die längste Ausführungsdauer benötigte Qwen 3.8 27B x-high auf OMP mit 41m 25s und 89 Tool Calls.
Latenz und Caching: Die Time to First Token (TTFT) lag zwischen 3,589s (Astra 6.0/Codex) und 15,275s (Qwen 3.8/OMP). Die Prompt-Cache-Effizienz war durchgehend hoch und lag zwischen 78,54 % (GLM 5.3/OMP) und 96,89 % (GLM 5.3/OpenCode).
Visuelle Qualitätskontrolle: Harnesses wie Codex (bei Luna und Astra), OMP und OpenCode öffneten das Ergebnis eigenständig im Browser und werteten Screenshots zur Überprüfung aus; SOL 5.6 und DSH verzichteten auf visuelle Inspektion.
Diskussions-Highlights
Mangelhafte Three.js-Standards: Experten bemängeln, dass Modelle veraltete Bibliotheksversionen einbinden (z. B. Astra nutzt Three.js r170 aus Okt. 2024; Qwen nutzt r160 via jsdelivr). Den Ergebnissen fehlten professionelle Grafikelemente wie Tone Mapping (AgX oder ACES zur Vermeidung des sRGB-Standards), Node Materials, post-processing Effekt-Pipelines oder gebackene Schatten.
Harness-Vergleiche und Tool-Zuverlässigkeit: OMP (OhMyPi) schnitt bei visuellen Aufgaben stabiler ab als OpenCode, welches bei großen Kontexten zu unzuverlässigen Tool Calls neigt. Als Benutzeroberflächen für Open-Source-Modelle wurden OpenChamber (gekoppelt via omp-openchamber-server) und Paseo als Alternativen zu Codex/Claude herausgestellt.
Reproduzierbarkeit und Modell-Muster: Mehrfachdurchläufe mit Qwen 3.8 27B (Q8-Quantisierung) zeigten qualitativ sehr ähnliche Resultate. Dass mehrere unabhängige Modellläufe die Szene autonom "Hangar 07" tauften, deutet auf dominante Muster in den zugrunde liegenden Trainingsdaten oder Vorlagen hin.
Transkripte und Benchmarks: Die vollständigen Interaktionsprotokolle aller 10 Testreihen wurden im GitHub-Repository hangar-harness-model-tests veröffentlicht.
Glossar
Harness: Eine Software-Laufzeitumgebung (Agenten-Framework), die dem KI-Modell Werkzeuge (Browser, Dateisystem, Screenshot-Tools) zur Verfügung stellt und dessen Interaktionen steuert.
TTFT (Time to First Token): Die Dauer in Sekunden von der Absendung der Anfrage bis zum Erhalt des ersten Antwort-Tokens vom Sprachmodell.
Three.js: Eine populäre JavaScript-3D-Bibliothek, die auf WebGL basiert und das Rendering von 3D-Grafiken im Browser vereinfacht.
Tone Mapping: Verfahren der Computergrafik zur Umrechnung von Bildern mit hohem Dynamikumfang (HDR) in den darstellbaren Farbraum eines Monitors (z. B. sRGB via ACES oder AgX).
Tool Call / Tool Error: Ein vom Modell veranlasster Funktionsaufruf an das Harness (z. B. Dateischreiben oder Screenshot auswerten) sowie bei der Ausführung aufgetretene Fehler.
Cached Input %: Der prozentuale Anteil der Prompt-Tokens, die aus dem Arbeitsspeicher der KI-Infrastruktur wiederverwendet werden konnten, was Rechenzeit und Kosten spart.
OMP / OpenCode / DSH / Codex: Spezifische Agenten-Harnesses und Server-Schnittstellen zur Automatisierung komplexer Softwareentwicklungs-Aufgaben.