Dieser Vortrag von Liu Jiang (UC San Diego / Google) stellt FastFD vor, ein Open-Source-Framework zur disaggregierten Bereitstellung von Large Language Models (LLMs) durch die physische Entkopplung von Attention- und Feed-Forward-Netzwerk-Komponenten (FFN/MoE). In herkömmlichen, kollozierten Inferenzsystemen (wie vLLM) führt die Bindung von Attention- und FFN-Batchgrößen bei langen Kontexten zu massiver Unterauslastung: Da der wachsende KV-Cache die Batch-Größe der Attention limitiert, sinkt die Model FLOPs Utilization (MFU) des FFN auf einer NVIDIA GB200 von 28 % auf 0,5 %. FastFD löst diesen Engpass durch die Trennung in zustandsbehaftete Attention-Knoten und zustandslose MLP-Knoten. Durch schichtübergreifendes Microbatch-Overlapping, ein asymmetrisches M:N-Dispatch / N:M-Combine-Kommunikationsmuster, CPU-basiertes One-Step-Ahead-Scheduling und angepasste Fused Mega-Kernels wird die Rechen- und Transferzeit der FFN-Knoten vollständig hinter der Attention-Laufzeit verborgen. In Benchmarks mit FP8-quantisierten Modellen (MiniMax ~229B, Qwen ~235B) erzielt FastFD bei 8k- und 16k-Kontexten eine Durchsatzsteigerung von 1,35× bis 1,45× pro GPU gegenüber vLLM.
Wichtigste Punkte & Zeitstempel
00:11 FastFD-Systemarchitektur: Liu Jiang und Yichao (H-Lab, UC San Diego) präsentieren FastFD zur Trennung von Attention und FFN für hochskalierbare LLM-Inferenz-Engines.
00:51 Zustandsbehaftung vs. Zustandslosigkeit: Transformer-Schichten trennen sich fundamental in zustandsbehaftete Attention (Speicherbedarf skaliert über den KV-Cache mit der Kontextlänge) und zustandslose FFN/MLPs (rechengebunden, Effizienz hängt primär von Batch-Größe und Modellgewichten ab).
01:37 MFU-Zusammenbruch bei Kolokation: Bei geteilter Hardware (Time-Sharing wie in vLLM) erzwingt die Attention-Berechnung kleine Batch-Größen für FFNs; Simulationen auf NVIDIA GB200 belegen einen MFU-Absturz des FFN von 28 % auf 0,5 % bei steigender Kontextlänge.
02:52 Disaggregationsprinzip & M:N-Kommunikation: Attention-Server verwalten Router sowie KV-Cache; MLP-Server führen Experten-Berechnungen durch. Ein aggregiertes M:N-Dispatch- und N:M-Combine-Muster bündelt Requests mehrerer Attention-Server für hohe FFN-Batch-Größen.
04:17 Latenzüberhang beim Space-Sharing: Die Aufteilung auf getrennte GPU-Pools ohne Überlappung verdoppelt die Ausführungszeit gegenüber sequenziellem Time-Sharing auf Einzel-GPUs, was eine strikte Parallelisierung erzwingt.
05:32 Schichtübergreifendes Microbatch-Overlapping: Ein Dekodierungsschritt wird in Microbatches partitioniert; während der MLP-Server Schicht $k$ rechnet, führt der Attention-Server Schicht $k+1$ aus. Die FFN-Latenz und Kommunikation werden vollständig durch die Attention-Zeit maskiert.
06:35 One-Step-Ahead-Scheduling: Zur Vermeidung von Pipeline-Blasen zwischen generierten Tokens plant die CPU den Folge-Dekodierschritt asynchron voraus, während GPU/TPU den aktuellen Schritt verarbeitet.
07:07 Asymmetrischer Fused Mega-Kernel: Modifikation des DeepSeek-Mega-Kernels zur Fusion von Dispatch, Experten-GEMMs und Combine-Operationen für ungleiche Sender- (M) und Empfänger-Ränge (N).
08:09 Durchsatzgewinn von 1,35× bis 1,45×: Evaluierung auf FP8-quantisierten Modellen (~235B und ~229B Parameter) demonstriert bei 8k- und 16k-Workloads eine Durchsatzsteigerung von ca. 40 % gegenüber kolloziertem Serving.
08:54 Latenzsättigung im MiniMax-Benchmark: Mit steigendem Attention-zu-FFN-Verhältnis saturiert der Durchsatzgewinn bei flacher Inferenzlatenz, da die MLP-Ausführung vollständig hinter der dominanten Attention-Dauer verschwindet.
09:55 Hardware-Skalierung durch SRAM-Wachstum: Zukünftige Beschleunigerarchitekturen mit verdreifachtem On-Chip-SRAM werden FFN-Rechen- und Transferzeiten weiter minimieren, wodurch noch extremere Disaggregationsverhältnisse realisierbar werden.
Diskussions-Highlights
11:07 Einschränkung auf Decoding vs. Prefill: Das Evaluierungssetup misst ausschließlich den Steady-State-Decoding-Durchsatz. Eine Beschleunigung der Prefill-Phase ist gegenwärtig nicht implementiert, da der Codebasis Optimierungen wie CUDA-Piecewise-Graphs fehlen.
11:54 Physische Knotendisaggregation via NVL72: Die Disaggregation erfolgt auf Node-Ebene mit Expertenparallelismus 8 (EP8). Ein vollständiger Rechenknoten hostet Attention und KV-Cache, während ein separater Knoten als FFN/MoE-Pool dient; der Datenaustausch basiert auf High-Speed-NVLink-Interconnects.
Glossar
FastFD: Open-Source-Serving-Architektur zur Entkopplung (Disaggregation) von Attention- und FFN-Berechnungen in Transformer-Inferenzsystemen.
Attention-Mechanismus (zustandsbehaftet / stateful): Kernalgorithmus von Transformern zur Gewichtung von Token-Zusammenhängen; erfordert zur Vermeidung von Redundanz das Vorhalten historischer Zustände im Arbeitsspeicher.
Feed-Forward-Netzwerk / FFN / MLP (zustandslos / stateless): Schicht aus dichten Matrixmultiplikationen, die Tokens isoliert transformiert und keinen Verlaufsspeicher über vergangene Tokens benötigt.
KV-Cache (Key-Value Cache): Im GPU-VRAM allozierter Zwischenspeicher für Schlüssel- und Wertetensoren aller bisher generierten Tokens innerhalb einer Inferenzsequenz.
Model FLOPs Utilization (MFU): Prozentualer Anteil der theoretisch maximalen Gleitkomma-Rechenleistung eines Hardware-Beschleunigers, der real für Modellberechnungen genutzt wird.
vLLM: Industriestandard-Software zur LLM-Inferenz, die standardmäßig Attention und FFN auf denselben Beschleunigern ausführt (Kollokation).
Disaggregation: Trennung traditionell integrierter Rechenschritte auf spezialisierte, physisch getrennte Hardware-Knoten.
Microbatch Overlapping: Parallelisierungstechnik, bei der Anfragen in Mikro-Teilpakete zerlegt werden, um Ausführungsphasen unterschiedlicher Modellschichten hardwareübergreifend zeitlich zu verschränken.
One-Step-Ahead Scheduling: Pipelining-Methode, bei der Host-Prozessoren (CPUs) Steuerbefehle für den Folgeschritt vorbereiten, während Beschleuniger noch den aktuellen Schritt ausführen, um Leerlaufzeiten zu eliminieren.
Mega-Kernel: Hochoptimierter GPU-Kernel, der mehrere Einzelschritte (Datenversand, Matrixmultiplikation, Aggregation) ohne Zwischenspeichern im globalen Speicher direkt in Rechenregistern verschmilzt.
M:N-Dispatch / N:M-Combine: Kommunikationsmuster zur asynchronen Datenverteilung von $M$ Attention-Knoten an $N$ Experten-Knoten und anschließender Rückführung.
FP8 (8-Bit Floating Point): Numerisches Gleitkommaformat mit 8 Bit Datenbreite zur Halbierung des Speicherbedarfs und Erhöhung des Rechendurchsatzes gegenüber FP16/BF16.
Expertenparallelismus (EP / Expert Parallelism, hier EP8): Verteilung der disjunkten neuronalen Netze ("Experten") eines Mixture-of-Experts-Modells (MoE) auf 8 getrennte GPUs oder Knoten.
NVLink / NVL72: Proprietärer Hochgeschwindigkeits-Bus von NVIDIA zur direkten Kopplung von Beschleunigern mit extrem hoher Bandbreite (z. B. 72 GPUs in einer NVLink-Domain).
Prefilling vs. Decoding: Die zwei Betriebsmodi der LLM-Inferenz; Prefilling verarbeitet den Eingabetext hochgradig parallel, während Decoding neue Tokens iterativ, Schritt für Schritt generiert.