Argonautlabs hat einen Fork des deltafin-Projekts veröffentlicht, der es ermöglicht, das vollständige, ungekürzte MoE-Modell Kimi K3 (2,8 Billionen Parameter, ca. 1,45 TB Expertengewichte im MXFP4-Format) auf einem MacBook Pro M5 Max mit 128 GB einheitlichem Speicher lokal auszuführen. Die Gewichte werden hierbei dynamisch von vier externen, über Thunderbolt 5 angebundenen SSDs gestreamt. Das System erreicht eine stabile Dekodiergeschwindigkeit von ca. 1,0 Token pro Sekunde bei 512 generierten Tokens, leidet jedoch unter einer extrem langen Prefill-Zeit von ca. 6,3 Minuten für einen 512-Token-Prompt aufgrund einer 6,2-fachen Read-Amplification-Ineffizienz.
Wichtigste Punkte
Modell- und Hardwarespezifikationen: Der Betrieb erfolgt auf einem M5 Max MacBook Pro (128 GB) unter Einbindung von drei Thunderbolt-5-Gehäusen und der internen SSD (insgesamt 4 SSDs). Der Aufmerksamkeittrunk (50 GB) nutzt int8-Präzision, während die Expertengewichte im originalen MXFP4-Format verbleiben.
Leistungskennzahlen: Die stabile Dekodierleistung liegt bei 1,00 Tok/s über 512 Tokens, 1,13 Tok/s über 128 Tokens und 0,96 Tok/s Median bei einem kurzen 17-Token-Prompt. Die Time-to-First-Token für einen 512-Token-Prompt beträgt ca. 376 Sekunden (~6,3 Minuten).
Laufwerksskalierung: Die gemessene Leistung skaliert sublinear mit der Anzahl der SSDs: 1 Laufwerk erreicht 52%, 2 Laufwerke 73%, 3 Laufwerke 90% und 4 Laufwerke 100% der Vier-Laufwerk-Geschwindigkeit. Da Schichten parallel 16 Experten lesen, bestimmt stets das langsamste Laufwerk den Takt.
Architektonische Integrität: Keine Gewichts-Prunings oder Shortcuts: Alle 16 gerouteten Experten werden für jeden Token ausgewertet. Optional kann ein kleineres Qwen-Modell als Entwurfsmodell (Drafter) eingebunden werden, um Rohtext-Fortsetzungen um das 2,7-Fache zu beschleunigen.
Identifizierte Engpässe: Die Prefill-Phase ist durch eine 6,2-fache Leseverstärkung blockiert, da Expertenschichten derzeit mehrmals pro Durchlauf eingelesen werden; ein entsprechender Optimierungs-Fix ist geplant. Klassisches RAID-0 versagt, da streifenförmige Zugriffe das langsamste Laufwerk zum Flaschenhals für die gesamte Schichtbarriere machen.
Diskussions-Highlights
Sinnhaftigkeit für Hintergrund-Workloads: Während Echtzeit-Chatanwendungen bei 1 Tok/s unpraktikabel sind, sehen Kommentatoren den Nutzen in unbeaufsichtigten Hintergrundaufgaben (z. B. automatisierte Morgenberichte, Code-Reviews, Dokumentenprüfungen über Nacht), bei denen lokale Datensouveränität und die volle Leistungsfähigkeit eines 2.8T-Modells im Vordergrund stehen.
Technische Feinabstimmung durch den Autor: Der Autor (Argonautlabs) erläuterte implementierte Optimierungen, wie die Entkopplung von Demand- und Prefetch-Thread-Pools (+14%), das Aufteilen heißer Experten auf zwei Replikate (+10%) und die Einführung eines lastverteilten Prefetch-Dispatchers (+11%). RAM-Caches (-4% bis -48%) erwiesen sich hingegen als kontraproduktiv.
Physikalische Bandbreitengrenzen: Die Thunderbolt-5-Schnittstelle limitiert jedes Laufwerk auf ca. 7 GB/s. Es wurde diskutiert, ob Desktop-Plattformen mit direkten PCIe-Lanes (wie AMD Epyc Multi-Channel-Server) bessere Ergebnisse erzielen könnten, wenngleich auch dort Speicherkosten und Bandbreiten physikalisch limitiert sind.
Effizienz und Perspektiven: Kritiker bemängelten die langen Wartezeiten bei langen Prompts, während Befürworter betonen, dass solche Experimente den Weg ebnen, um fortschrittliche Frontier-Modelle künftig ohne millionenschwere Cloud-Infrastrukturen auf potenzieller Consumer- oder Workstation-Hardware lauffähig zu machen.
Glossar
MoE (Mixture of Experts): Eine Transformer-Architektur, bei der nur eine kleine Teilmenge von neuronalen Netzwerken ("Experten") pro Token aktiviert wird, um enorme Modellgrößen bei handhabbarer Rechenlast zu ermöglichen.
MXFP4: Ein 4-Bit-Mikrokalibrierungs-Quantisierungsformat für Modellgewichte, das den Speicherbedarf drastisch reduziert, ohne die ursprüngliche Struktur der Gewichte grundlegend zu verändern.
Prefill: Die initiale Rechenphase eines Sprachmodells, in der der gesamte Eingabe-Prompt verarbeitet und der Attention-Cache aufgebaut wird; diese Phase ist extrem I/O- und bandbreitenintensiv.
Thunderbolt 5: Eine Hochgeschwindigkeits-Schnittstellentechnologie von Intel, die bidirektionale Datenübertragungsraten von bis zu 80 Gbps (und bis zu 120 Gbps für Displays) unterstützt.
RAID-0: Ein Speicherverbund, bei dem Daten ohne Redundanz auf mehrere Festplatten verteilt werden (Striping), um die Durchsatzrate zu maximieren; anfällig für Leistungseinbrüche, wenn ein einzelnes Laufwerk verzögert antwortet.
Read Amplification (Leseverstärkung): Ein Ineffizienzphänomen, bei dem physisch mehr Daten von einem Speichermedium gelesen werden müssen, als logisch für die Aufgabe erforderlich sind.