Der Vortrag stellt „FastFD“ (Fast Feed-Forward-Attention Disaggregation) vor, ein Open-Source-System zur Entkopplung von Attention- und Feed-Forward-Netzwerken (FFN/MLP) zur Optimierung großer Large Language Model (LLM)-Serving-Infrastrukturen. Vorgestellt von Yujia Zhang (UC San Diego und Google-Intern). Das Kernproblem in traditionellen, ko-lozierten Systemen (wie vLLM) besteht darin, dass bei langen Dekodierungskontexten die Attention-Batch-Größe schrumpft, wodurch die Rechenauslastung (MFU) der FFN-Knoten drastisch von 28 % auf 0,5 % einbricht. FastFD entkoppelt Attention-Server (mit KV-Cache-Verwaltung) und MLP-Server (für Expertenberechnungen) räumlich und nutzt modifizierte M2N-Dispatch- sowie N2M-Kombinationsmuster. Um die durch die Entkopplung drohende Latenzverdopplung zu verhindern, setzt das System auf Microbatch-Overlapping über Schichten hinweg, One-Step-Ahead-Scheduling auf der CPU sowie angepasste, fusionierte M2N/M2M-Mega-Kerne. In Benchmarks mit Qwen (35B) und MiniMax (229B) in FP8 auf H100/H200-Clustern erzielt das System einen Durchsatz-Speedup von 1,35x bis 1,45x gegenüber ko-lozierten Systemen bei konstanter Latenz.
Wichtigste Punkte & Zeitstempel
0:00 Architektur von Transformern: Transformer-Schichten bestehen aus stateful Attention (mit einem mit der Kontextlänge wachsenden KV-Cache) und stateless Feed-Forward-Netzwerken (FFN/MLP) (abhängig von Batch-Größe und Hidden-Dimension).
0:37 Underutilization bei langen Kontexten: In ko-lozierten Systemen führt eine lange Dekodierung zu schrumpfenden Attention-Batches, wodurch die Modell-Rechenleistungs-Auslastung (MFU) der FFNs von 28 % auf 0,5 % abfällt.
0:52 Konzept der Disaggregation: Räumliche Trennung in Attention-Server (für KV-Cache und Routing) und MLP-Server (für Expertenberechnungen) unter Verwendung angepasster M2N-Dispatch- und N2M-Kombinationsmuster zur Aggregation größerer Batches.
4:17 Herausforderung des Space-Sharing: Die reine Entkopplung zwingt zu sequenzieller Ausführung und verdoppelt im Worst-Case die Gesamtlatenz im Vergleich zur herkömmlichen Time-Sharing-Ko-lokation.
5:32 Microbatch-Overlapping: Aufteilung des Dekodierungsschritts in Microbatches, sodass Attention- und FFN-Server auf unterschiedlichen Microbatches gleichzeitig arbeiten und Rechenzeiten überlappen.
6:35 Erweiterte Scheduling- und Kernel-Optimierungen: Einsatz von One-Step-Ahead-Scheduling durch die CPU während der GPU-Ausführung sowie angepasster M2N/M2M-Mega-Kernels (abgeleitet von DeepSeek-Architekturen) zur Beschleunigung geräteübergreifender Kommunikation.
8:09 Leistungssteigerung und Benchmarks: Tests mit dem Qwen-35B- und MiniMax-229B-Modell (FP8) demonstrieren einen Durchsatz-Speedup von 1,35x bis 1,45x gegenüber Standard-vLLM-Konfigurationen.
9:55 Zukunftsaussichten für Hardware: Zukünftige Hardware-Trends mit verdreifachtem SRAM in modernen Beschleunigern versprechen eine noch stärkere Beschleunigung von FFN-Berechnungen und grössere Attention-zu-FFN-Ausnutzungsverhältnisse.
Glossar
Attention (Aufmerksamkeitsmechanismus): Ein rechenintensiver Kernbestandteil von Transformern, der berechnet, welche Teile eines Textes beim Generieren des nächsten Wortes relevant sind. Speichert den sogenannten KV-Cache.
KV-Cache (Key-Value Cache): Ein Speicherbereich in LLM-Infrastrukturen, der die berechneten Schlüssel- und Wert-Vektoren vergangener Token zwischenspeichert, um die Generierung neuer Token zu beschleunigen.
Feed-Forward Network (FFN) / MLP (Multi-Layer Perceptron): Ein standardmäßiger neuronaler Netzwerkblock innerhalb von Transformer-Schichten, der die Daten nach dem Attention-Schritt verarbeitet; arbeitet zustandslos (stateless).
Disaggregation (Entkopplung): Die räumliche Trennung verschiedener Rechenaufgaben (hier: Attention und FFN) auf unterschiedliche physische Server oder Hardware-Knoten, anstatt sie auf denselben GPUs auszuführen.
MFU (Model FLOPs Utilization / Modell-Rechenleistungs-Auslastung): Eine Metrik, die misst, wie nah eine KI-Hardware (wie eine GPU) an ihrer maximal theoretischen Rechenleistung (FLOPs) betrieben wird.
Microbatch (Mikro-Charge): Die Aufteilung einer großen Datenmenge (Batch) in kleinere Teilmengen, um Berechnungen parallel oder in Pipelines verschachtelt auszuführen.
FP8 (8-Bit Floating Point): Ein datenarmes, komprimiertes Gleitkommaformat mit 8 Bit Präzision, das in modernen KI-Prozessoren eingesetzt wird, um den Speicherbedarf und die Übertragungszeiten zu halbieren.
Mega-Kernel (Fusionierter Kernel): Ein speziell optimierter Software-Baustein für GPUs, der mehrere aufeinanderfolgende Rechen- und Kommunikationsschritte zu einer einzigen Operation zusammenfasst, um Overhead zu reduzieren.
NVLink: Eine proprietäre Hochgeschwindigkeits-Verbindungstechnologie von NVIDIA, um mehrere GPUs innerhalb eines Knotens direkt und mit maximaler Bandbreite zu vernetzen.