Am 24. Februar letzte Woche kündigte DeepSeek an, dass diese Woche die Open-Source-Woche sein würde und dass fünf Softwarebibliotheken nacheinander als Open-Source-Lösung angeboten würden. Heute gegen 9:30 Uhr gab DeepSeek bekannt, dass es die erste Codebibliothek dieser Open-Source-Woche als Open Source bereitgestellt hat – FlashMLA, einen effizienten MLA-Dekodierungskern, der für die Hopper-GPU optimiert ist.


Auf GitHub hat das Projekt mehr als 5.000 Star-Sammlungen gewonnen und verfügt über 188 Forks (Kopien erstellt), 6 Stunden nachdem es als Open Source veröffentlicht wurde. Nachdem er von DeepSeeks Open-Source-FlashMLA und dem schnellen Wachstum der Star-Sammlung und Fork-Daten erfahren hatte, sagte der CTO eines in Hongkong notierten Unternehmens in einer Kommunikation mit Sina Technology: „Es ist zu mächtig.“

Ein anderer Investor, der sich auf KI-Hardware-Forschung und -Investitionen konzentriert, sagte Sina Technology nach der Überprüfung von FlashMLA, dass diese Open Source einen großen Vorteil für inländische GPUs darstellt. „Die vorherigen inländischen GPU-Karten waren sehr schwach. Jetzt können wir die von FlashMLA bereitgestellten Optimierungsideen und -methoden nutzen, um zu versuchen, die Leistung inländischer Karten deutlich zu verbessern. Auch wenn die Architektur anders ist, wird es eine Selbstverständlichkeit sein, dass die Inferenzleistung inländischer Karten später verbessert wird.“


Laut der offiziellen Einführung von DeepSeek basiert FlashMLA auf dem effektiven MLA-Dekodierungskern von HopperGPUs und kann für Sequenzen variabler Länge optimiert werden.

Auf dem gesamten technischen Weg von DeepSeek ist MLA (Multiple Latent Attention Mechanism) eine der wichtigsten Technologien in den V2- und V3-Modellen, die das Unternehmen veröffentlicht hat. Es wird verwendet, um Leistungsengpässe bei der Recheneffizienz und der Speichernutzung zu beheben, wodurch das Modelltraining und die Inferenzeffizienz erheblich verbessert werden können, während gleichzeitig die Modellleistung erhalten oder sogar verbessert wird.

Zuvor erwähnte Zheng Weimin, Akademiker der Chinesischen Akademie für Ingenieurwissenschaften und Professor der Fakultät für Informatik an der Tsinghua-Universität, in einer Kommunikation mit Sina Technology: „Die selbst entwickelte MLA-Architektur von DeepSeek hat eine Schlüsselrolle bei der Reduzierung der eigenen Modellschulungskosten gespielt.“ Er wies darauf hin: „MLA komprimiert KV durch Transformation der Aufmerksamkeitsoperator-Cache-Größe, sodass mehr KVCache mit der gleichen Kapazität gespeichert werden kann. Diese Architektur, kombiniert mit der Transformation der FFN-Schicht im DeepSeek-V3-Modell, erreicht eine sehr große, spärliche MoE-Schicht, die der wichtigste Grund für die niedrigen Schulungskosten von DeepSeek wird.“

Dieses Mal öffnet DeepSeek direkt den MLA-Dekodierungskern – FlashMLA, was bedeutet, dass DeepSeek den zugrunde liegenden Kern-MLA-Code direkt und kostenlos öffnet. Dadurch können die meisten Entwicklungsgruppen die FlashMLA-Codebasis direkt wiederverwenden, um dieselbe Aufgabe mit weniger GPU-Servern auszuführen, was die Inferenzkosten direkt senkt. Dies ist zweifellos ein großer Vorteil für mehr Gruppen, die eine zugrunde liegende Optimierung und KI-Anwendungsentwicklung auf Basis der Open-Source-Funktionen von DeepSeek durchführen möchten.

Interessanterweise ist der von DeepSeek geöffnete MLA-Dekodierungskern dieses Mal hauptsächlich für die Hopper-GPU optimiert. Im Allgemeinen bezieht sich Hopper GPU auf die GPU-Produkte der H-Serie, die auf der Grundlage der Hopper-Architektur von NVIDIA entwickelt wurden. Derzeit hat NVIDIA eine Reihe von Chips dieser Chipserie herausgebracht, darunter H100, H800 und H20.

Laut DeepSeek kann FlashMLA im Hinblick auf die Benchmark-Leistung eine Speichergeschwindigkeit von 3000 GB/s und eine Rechenobergrenze von 580 TFLOPS auf der NVIDIA H800SXM5-GPU erreichen.


Aus öffentlichen Informationen geht hervor, dass die Bandbreitenbeschränkung des H800 gemäß den US-Exportkontrollbestimmungen auf 600 GB/s festgelegt ist, was niedriger ist als bei einigen Flaggschiffprodukten. Dies bedeutet, dass nach der Optimierung mit FlashMLA die Speicherbandbreitennutzung des H800 voraussichtlich weiter verbessert wird oder sogar die theoretische Obergrenze der H800-GPU übersteigt und den ultimativen Speicherzugriff erreicht, was es der Entwicklergemeinschaft ermöglicht, die Fähigkeiten der NVIDIA H-Serie-Chips vollständig „auszuquetschen“, eine stärkere Modellleistung mit weniger Chips zu erzielen und den Wert der GPU zu maximieren.

Ein Investor, der sich auf KI-Hardware-Forschung und -Investitionen konzentriert, sagte nach der Betrachtung von FlashMLA: „FlashMLA ist eine Optimierungslösung, mit der LLM auf H800 schneller und effizienter ausgeführt werden kann verbessert.“

Obwohl FlashMLA eine optimierte Codebibliothek für HopperGPU ist, ist diese Open Source auch für inländische GPUs von Vorteil. Nach der Überprüfung von FlashMLA sagten die oben genannten Investoren, dass diese Open Source für inländische GPUs ein großer Vorteil sei. „Die vorherigen inländischen GPU-Karten waren sehr schwach. Jetzt können wir die von FlashMLA bereitgestellten Optimierungsideen und -methoden nutzen, um zu versuchen, die Leistung inländischer Karten deutlich zu verbessern. Auch wenn die Architektur anders ist, wird es eine Selbstverständlichkeit sein, dass die Inferenzleistung inländischer Karten später verbessert wird.“