DeepSeek hat sein proprietäres Inferenz-Framework DeepInfer unter der Apache-2.0-Lizenz open-source veröffentlicht, um groß angelegte Produktionsdienste für das Modell DeepSeek-V4.1-Flash bereitzustellen. Das Framework unterstützt sowohl NVIDIA SM100 GPUs als auch Huawei Ascend 950 NPUs und bietet hochoptimierte Kernel sowie fortschrittliche Scheduling-Mechanismen. Die Veröffentlichung fällt zeitlich mit einer US-Verordnung (DHS-Ausschluss) zusammen und setzt westliche Frontier-Labore sowie Hardware-Monopole massiv unter wirtschaftlichen und wettbewerbstechnischen Druck.
Wichtigste Punkte
Kern-Framework (DeepInfer): Entwickelt für die skalierbare Offline-Inferenz von DeepSeek-Modellen (speziell DeepSeek-V4.1-Flash-1017) mit Fokus auf hohen Durchsatz und niedrige Latenz.
Hardware-Unterstützung: Native Ausrichtung auf NVIDIA SM100 GPUs (CUDA 13) und Huawei Ascend 950 NPUs (CANN 9.2).
Optimierte Kernel: Integriert hochspezialisierte Rechenkern-Bibliotheken wie FlashMLA, DeepGEMM, DeepEP, TileKernels, DeepSelect und TileLang-Ops.
Parallelsysteme & Scheduling: Unterstützt Attention-Parallelismus (Attention DP / balanced CP), MoE EP + EPLB, asynchrones Batch-Scheduling sowie DSpark-Prädiktion mit konfidenzbasierter Verifizierung.
Speicher- und Sampling-Steuerung: Implementiert Decoder SWA Bounded Replay zur Reduzierung des Prefill-Aufwands, batch-invariante Inferenz sowie deterministisches Sampling.
Strukturierte Ausgaben: Ermöglicht die deterministische Generierung von Antworten anhand von regulären Ausdrücken, JSON-Schemata oder EBNF-Grammatiken.
Ausgelassene Komponenten: Ein vollständiges KV-Cache-System sowie Load-Balancing für Prefill- und Decode-Phasen sind in diesem Release explizit nicht enthalten.
Diskussions-Highlights
Ökonomische Metriken: Laut begleitender Dokumentation erreicht das Inferenzsystem einen Durchsatz von 155 Billionen Token pro Tag bei Einnahmen von 38 US-Dollar pro Grafikkarte und Stunde zu Schwachlastzeiten (off-peak).
Geopolitisches Timing: Beobachter werten das Timing der Veröffentlichung – unmittelbar zeitgleich mit dem Inkrafttreten einer Anordnung des US-Heimatschutzministeriums (DHS), DeepSeek aus US-Bundesbehörden zu verbannen – als gezielten strategischen Schachzug.
Hardware-Marktdynamik: Die Unterstützung von Huawei Ascend 950 NPUs wird als potenzieller Hebel gewertet, um Nvidias Marktdominanz zu brechen, wobei Export- und Zollbeschränkungen in den USA und der EU eine breite westliche Nutzung erschweren.
Fehlender KV-Cache: Mehrere Kommentatoren bemängeln das Fehlen des proprietären KV-Cache-Systems, welches für den produktiven Betrieb von Drittanbietern essenziell ist.
Leistungsvergleich mit US-Diensten: Drittanbieter auf Plattformen wie OpenRouter (z. B. Together.ai, Baseten) erzielen teilweise bereits höhere Durchsätze und niedrigere E2E-Latenzen für das V4.1-Flash-Modell als DeepSeeks eigener Dienst.
Druck auf westliche Bewertungen: Kritiker betonen, dass extrem niedrige Inferenzkosten ($38/Card/Hour) und Open-Source-Frameworks die Rechtfertigung für Billionen-Bewertungen westlicher Closed-Source-Labore (OpenAI, Anthropic) fundamental in Frage stellen.
Glossar
Inferenz-Framework (Inference Framework): Eine Softwarebibliothek, die optimiert ist, um bereits trainierte KI-Modelle auszuführen und Anfragen von Nutzern effizient zu berechnen.
MoE EP + EPLB (Mixture of Experts Expert Parallelism + Expert Parallelism Load Balancer): Eine Technik zur Verteilung von Teilmodellen (Experten) auf verschiedene Hardware-Einheiten inklusive automatisierter Lastausgleichsmechanismen.
NPU (Neural Processing Unit): Ein spezialisierter Mikroprozessor, der im Gegensatz zu klassischen CPUs oder GPUs gezielt für die rechenintensiven Matrizenoperationen neuronaler Netze optimiert ist.
KV-Cache (Key-Value Cache): Ein Zwischenspeicher für bereits berechnete Schlüssel-Wert-Paare im Aufmerksamkeitsmechanismus (Attention) von Transformern, der redundante Berechnungen bei der Textgenerierung verhindert.
SWA (Sliding Window Attention): Ein Mechanismus, bei dem die Aufmerksamkeitsspanne eines Tokens auf ein begrenztes, gleitendes Fenster vorheriger Token beschränkt wird, um Rechenaufwand und Speicherbedarf zu senken.
DSpark / MTP (Multi-Token Prediction): Verfahren zur Beschleunigung der Textgenerierung, bei denen das Modell mehrere zukünftige Token gleichzeitig vorausberechnet und verifiziert.
EBNF (Extended Backus-Naur Form): Eine formale Metasprache zur präzisen Definition von Syntaxregeln, hier verwendet, um die exakte Textstruktur (z. B. JSON) von KI-Antworten zu erzwingen.
TileLang / FlashMLA: Hochspezialisierte Programmier- und Optimierungsstrukturen für Grafikprozessoren, um speicherintensive Attention- und Matrix-Operationen maximal performant auszuführen.