PSSA (Plastic State-Space Architecture) ist ein benutzerdefiniertes, transformerfreies kleines Sprachmodell, das komplett in Rust ohne Frameworks wie PyTorch oder TensorFlow entwickelt wurde. Es verarbeitet Text über eine rekursive Zustandsraumschicht, eine episodische Speicherbank im hyperbolischen Raum sowie schnelle plastische Gewichtungsupdates mittels Ridge-Regression. Bei gleichen Parametern und demselben Korpus erreicht das Modell eine höhere Lern- und Inferenzgeschwindigkeit als ein Standard-Transformer.
Wichtigste Punkte
Architektur-Kern: Kombiniert eine selektive diagonale Zustandsraum-Rekurrenz ($d_m = 256$ Kanäle, $d_s = 16$ Zustände) mit HiPPO-initialisierten Zeitschalen von 1,5 bis 200 Token.
Hyperbolischer Speicher: Integriert eine episodische Speicherbank mit 512 Slots in einem Poincaré-Ball, wobei der Zugriff über eine Top-4-Suche und Softmax-Gewichtung nach hyperbolischem Abstand erfolgt.
Plastische Gewichte: Nutzt geschlossene Ridge-Regression ($A_{base} \leftarrow A_{base} + (H^T H + \lambda I)^{-1} H^T dH$), um schnelle Gewichtsaktualisierungen in die Basis-Übergangsmatrix zu überführen, geschützt durch einen refraktären Ratenbegrenzer.
Trainingsleistung: Erreichte auf 12,7 Millionen Token von WikiText-103 einen Cross-Entropy-Trainingsverlust von 3,98 (Perplexität 53,7) gegenüber dem Transformer mit 4,43 (Perplexität 83,7) bei exakt gleichen Trainingsbedingungen.
Inferenz-Geschwindigkeit: Generiert 200 Token auf einer CPU in 226 ms (ca. 12x schneller als der Transformer mit 2.735 ms) und erreicht im reinen CPU-Durchsatzvergleich 1.716 Token/Sekunde im Vergleich zu 415 des Baselines (4,1x schneller).
Implementierung: Handgeschriebene lineare Algebra in Rust mit CUDA- und WebGPU-Unterstützung sowie einer Skalar-Referenzpfad-Validierung, die Gradientenfehler von maximal $\approx 3e-8$ sicherstellt.
Diskussions-Highlights
Kritik am Tech-Stack: Mehrere Kommentatoren bewerteten die Implementierung in Rust als reinen „Clickbait“-Marketing-Gag, da Tensor-Operationen primär aus Fließkomma-Arrays bestehen und Python/PyTorch den etablierten Standard für ML-Forschung darstellt.
Fairness des Vergleichs: Diskutiert wurde, dass die identische Lernraten-Planung den Transformer möglicherweise benachteiligt, da unterschiedliche Architekturen spezifische Hyperparameter-Optimierungen erfordern.
Architektonische Einordnung: Kritiker merkten an, dass das Modell konzeptuell stark an klassische rekurrente neuronale Netze (RNNs) und Neural Turing Machines erinnert, und forderten Vergleiche mit modernen State-Space-Modellen wie Kimi Delta Attention.
Ressourcenbeschränkungen: Nutzer wiesen darauf hin, dass das Training aufgrund von Rechenzeitlimits auf kostenlosen Notebooks stattfand, weshalb Skalierbarkeitstests auf High-End-GPUs über längere Zeiträume notwendig sind, um die Tragfähigkeit bei größeren Parameterzahlen nachzuweisen.
Glossar
PSSA (Plastic State-Space Architecture): Ein vom Autor entwickeltes, transformerfreies Sprachmodell, das rekurrente Zustandsräume mit modifizierbaren (plastischen) Gewichten und einem hyperbolischen Speicher verbindet.
Transformer: Die dominante Deep-Learning-Architektur in der modernen KI (bekannt aus GPT-Modellen), die auf Selbstaufmerksamkeitsmechanismen („Self-Attention“) basiert.
Rust: Eine systemnahe Programmiersprache, die auf hohe Ausführungsgeschwindigkeit und Speichersicherheit ausgelegt ist.
Zustandsraummodell (SSM - State-Space Model): Eine mathematische Modellierungsklasse für Sequenzdaten, die lineare dynamische Systeme nutzt, um Langzeitkontexte effizienter als Transformer zu verarbeiten.
HiPPO (High-order Polynomial Projection Operators): Ein mathematisches Initialisierungsverfahren für rekurrente Netze, das historische Daten über kontinuierliche Zeitskalen optimal abbildet.
Poincaré-Ball: Ein geometrisches Modell des hyperbolischen Raumes, das hier für den episodischen Speicher verwendet wird, um hierarchische Distanzen kompakt zu repräsentieren.
Ridge-Regression: Eine statistische Regularisierungsmethode in der Regression, die hier zur mathematischen Konsolidierung schneller Gewichtsänderungen eingesetzt wird.
Perplexität (Perplexity): Ein Standardmaß in der Sprachmodellierung zur Bewertung der Vorhersagegüte eines Modells; niedrigere Werte signalisieren eine bessere Leistung.
Cross-Entropy (Kreuzentropie): Eine in der Informationstheorie und im maschinellen Lernen genutzte Verlustfunktion, welche die Abweichung zwischen vorhergesagten und echten Wahrscheinlichkeiten quantifiziert.
SiLU (Sigmoid Linear Unit): Eine in neuronalen Netzen eingesetzte Aktivierungsfunktion, die Eingangswerte nichtlinear transformiert.
BPE (Byte-Pair Encoding): Ein Algorithmus zur Tokenisierung, der häufig auftretende Zeichensequenzen zu kompakten Vokabular-Token zusammenfasst.