Ein interaktives Web-Tool visualisiert den Aufmerksamkeitsmechanismus (Attention Mechanism) von Transformer-basierten Sprachmodellen während der Textgenerierung direkt im Browser. Das System berechnet Aufmerksamkeitsgewichte skaliert mit der Magnitude des Value-Vektors, aggregiert über alle Attention Heads und Layer, um die Einflussstärke vergangener Token visuell darzustellen. Trotz starker Vereinfachung verdeutlicht das Tool Phänomene wie das präzise Kopieren von Quelldaten oder die semantische Synthese mehrerer Satzteile. Für die Implementierung wurde ein modifiziertes ONNX-Modell (Qwen3-0.6B) über Transformers.js und WebAssembly eingebunden.
Wichtigste Punkte
Aufmerksamkeitsberechnung: Die Visualisierung berechnet pro erzeugtem Token ein gewichtetes Skalar aus dem Dot-Produkt der Query- und Key-Vektoren (QK) multipliziert mit der Magnitude des Value-Vektors, aggregiert über sämtliche Attention Heads und Layer.
Mustererkennung: Das Modell zeigt hohe Aufmerksamkeit bei der exakten Reproduktion (z. B. Adressen, Daten) sowie bei der Verknüpfung verstreuter Begriffe (z. B. Synthese von „work“ und „stay the same“ zu „remain“).
ONNX-Instrumentierung: Da WASM-basierte Ausführungen in Transformers.js interne Berechnungsgraphen kapseln, musste die .onnx-Datei per Skript angepasst werden, um interne Aufmerksamkeitswerte nach außen zu exponieren.
Modellarchitektur: Verwendet wird ein kompaktes Modell mit 600 Millionen Parametern (Qwen3-0.6B-ONNX-Instrumented), das auf Hugging Face gehostet wird; vorgefertigte Prompts vermeiden lange Downloadzeiten beim Erstaufruf.
Frontend-Integration: Die Benutzeroberfläche basiert auf React mit einer benutzerdefinierten Generierungsschleife zur Steuerung der Token-Transparenz (Opacity) anhand der berechneten Aufmerksamkeitswerte.
Diskussions-Highlights
Methodenkritik und Nutzen: Community-Mitglieder heben den hohen Lehrwert für die Intuition von Attention hervor, während Kritiker (sva_) betonen, dass hohe Vektormagnituden nicht zwingend reale kausale Einflussnahme bedeuten. Der Autor (ifz) räumt dies als vereinfachende Heuristik ein und plant Layer-Filter.
Inferenz-Komplexität & KV-Cache: In der Diskussion wird die Rechenkomplexität analysiert. Trotz Einsatz eines KV-Caches skaliert der Rechen- und Speicherleseaufwand pro generiertem Token im Decode-Schritt mit $O(N)$, was für die Erzeugung einer Sequenz der Länge $N$ zu einer Gesamtaufwandsklasse von $O(N^2)$ führt (ohne Cache $O(N^3)$).
UX-Optimierung: Nutzer bemängeln das Verhalten der Steuerungselemente; die Pause-Funktion setzt die Animation aktuell auf den Startzustand zurück. Gefordert werden Schritt-für-Schritt-Navigation (Single-Stepping) sowie verlangsamte Wiedergabeoptionen (0,25x).
Ressourcen zu Interpretierbarkeit: Für tiefergehende Interpretierbarkeitsanalysen abseits vereinfachter Visualisierungen wird auf wissenschaftliche Arbeiten zu Transformer-Schaltkreisen unter transformer-circuits.pub/2025/attention-qk/ verwiesen.
Glossar
Attention Mechanism (Aufmerksamkeitsmechanismus): Kernelement von Transformer-Architekturen, das berechnet, wie stark sich ein neu zu erzeugendes Token auf jedes einzelne der vorherigen Token bezieht.
Query, Key, Value (QKV): Vektorielle Darstellungen in Attention-Schichten; das Skalarprodukt aus Query und Key bestimmt die Aufmerksamkeitsgewichtung, mit der der Value-Vektor skaliert wird.
Attention Head: Parallele Aufmerksamkeits-Einheit innerhalb einer Transformer-Schicht, die unterschiedliche relationale Aspekte zwischen Token lernt.
ONNX (Open Neural Network Exchange): Ein offenes Format zur Schnittstellendarstellung von Machine-Learning-Modellen für plattformübergreifende Inferenz.
Transformers.js: Eine JavaScript-Bibliothek zur Ausführung von Hugging-Face-Transformermodellen direkt im Webbrowser ohne Serverinfrastruktur.
WASM (WebAssembly): Ein kompilierter Bytecode-Standard zur schnellen Ausführung von C/C++/Rust-Code in modernen Webbrowsern.
KV-Cache (Key-Value-Cache): Speichertechnik bei LLM-Inferenz, die Schlüssel- und Wert-Vektoren vergangener Token im RAM hält, um redundante Neuberechnungen im Dekodierschritt zu vermeiden.
Opacity (Deckkraft): Der Grad der visuellen Undurchsichtigkeit in der Benutzeroberfläche zur Darstellung der relativen Signalstärke.