Deltafin ist ein natives Binärprogramm (ein Fork von gavamedia/deltafin mit ARGODRIVE-Speicheroptimierungen), das das ungeschnittene, 2,8 Billionen Parameter umfassende MoE-Modell Kimi K3 auf Apple-Silicon-Consumer-Hardware (M5 Max mit 128 GB RAM und vier über Thunderbolt 5 angebundenen SSDs) ausführt, indem Experten-Gewichte direkt von externen Datenträgern gestreamt werden. Das System erreicht eine stabile Dekodiergeschwindigkeit von ca. 1 Token/s ohne Qualitätsverlust durch Gewichtskompression. Dennoch stellt die hohe Read-Amplification beim Prefill (ca. 6,2x) eine erhebliche hardwaretechnische Herausforderung dar.
Wichtigste Punkte
Modell-Architektur & Hardware: Ausführung des vollständigen, unbeschnittenen Kimi K3 (2.8T MoE) Modells auf einem Apple Silicon M5 Max (128 GB RAM) unter Verwendung von einem internen Gen4- und drei externen Gen5-SSDs in Thunderbolt-5-Gehäusen.
Leistungskennzahlen (Benchmarks): Konstante Dekodierungsraten von 0,92 bis 1,13 Token/s (z. B. 1,0015 Token/s bei 512 generierten Token mit aktivem Drafter; 1,1252 Token/s bei 128 Token). Die 17-Token-Referenz (Issue #15) erreicht einen Median von 0,9631 Token/s.
Speicher- und Streaming-Strategie: Experten-Gewichte werden im originalen MXFP4-Präzisionsformat direkt von der Festplatte gestreamt; der resident Attention-Trunk nutzt int8. Kein Modell-Pruning (alle 16 gerouteten Experten pro Token aktiv).
Skalierungsleiter der Laufwerke: Der Einsatz von 1, 2, 3 und 4 SSDs liefert ca. 52%, 73%, 90% bzw. 100% der maximalen Vier-Laufwerks-Dekodiergeschwindigkeit.
Optionale Add-ons & Server: Inferacts Kimi-K3-DSpark (6,635 GiB auf Datenträger) wird automatisch für Chat-Anfragen herangezogen; das optionale Qwen3-1.7B-Base (4,337 GiB) beschleunigt Roh-Text-Fortsetzungen um das 2,7-Fache. Ein integrierter, OpenAI-kompatibler Server wird über deltafin serve auf Port 8000 bereitgestellt.
Diskussions-Highlights
Sinnhaftigkeit & Exploration (But Why?): Kritiker bemängeln die geringe Geschwindigkeit und hohe Hardware-Kosten für eine derartige lokale Ausführung, während Befürworter betonen, dass Grundlagenforschung und das Ausreizen von Consumer-Hardware essenziell für künftige technologische Sprünge sind.
Praktische Anwendungsfälle: Der Autor (Argonautlabs) setzt das System für automatisierte Hintergrundaufgaben ein (z. B. nächtliche Berichte, Dokumentenprüfung), bei denen lokaler Datenschutz und uneingeschränkte Modellgüte Vorrang vor Echtzeit-Interaktivität haben.
Hardware-Engpässe: Diskutiert wird die Bandbreite der Thunderbolt-5-Anbindung, die Notwendigkeit schneller SSDs sowie die extreme Read-Amplification von ca. 6,2x während der Prefill-Phase als größtes verbleibendes Performance-Hindernis.
Vergleich mit Alternativen: Teilnehmer erwähnen aggressive Gewichtsreduktionen (z. B. Quantisierung auf ~3 Bit in anderen Projekten) sowie dedizierte Hardware-Beschleuniger wie Taalas-ASICs (übernommen von AMD, bis zu 14k Token/s) als künftige Gegenpole zur lokalen SSD-Stream-Inferenz.
Glossar
MoE (Mixture of Experts): Eine Transformer-Architektur, bei der nur eine kleine Teilmenge neuronaler Netzwerke („Experten“) pro Token aktiviert wird, wodurch Rechenleistung gespart, aber ein massiver Speicherbedarf erzeugt wird.
Token/s (Token pro Sekunde): Maßeinheit für die Generierungsgeschwindigkeit eines Sprachmodells.
Read-Amplification (Leseverstärkung): Das Verhältnis zwischen den tatsächlich von der Festplatte gelesenen Daten und den theoretisch benötigten Nutzdaten; hohe Werte verlängern die Verarbeitungszeit.
MXFP4: Ein komprimiertes 4-Bit-Fließkomma-Datenformat zur Speicherung von Modellgewichten.
Prefill: Die initiale Verarbeitungsphase eines Sprachmodells, in der der gesamte Eingabetext (Prompt) eingelesen und parallel verarbeitet wird, bevor die sequenzielle Token-Generierung beginnt.
Thunderbolt 5: Eine High-Speed-Schnittstelle zur Datenübertragung zwischen Computer und externen Peripheriegeräten mit Bandbreiten von bis zu 80–120 Gbps.
Drafter: Ein kleineres, zusätzliches Modell (Hilfsmodell), das Tokens vorausschätzt, während das Hauptmodell diese vorausschauenden Schritte verifiziert.