Zusammenfassung:
Nachdem die Argumentations-, Code- und Agentenfähigkeiten kontinuierlich gestärkt wurden, fügte DeepSeek V4 schließlich visuelle Eingaben hinzu. Am Morgen des 31. August war DeepSeek in Hugging Face hat die Modellgewichte DeepSeek-V4-Flash-Vision-Exp geöffnet, und Entwickler können die Modellgewichte direkt herunterladen und selbst bereitstellen. Neben Modelldateien enthält das offizielle Lager auch Referenzinferenzimplementierungen von Komponenten wie Visual Encoder und Aligner und deckt DFlash ab Achtung, MoE, Hyper-Connections und DSpark und andere Teile.
Erst vor 10 Tagen hat DeepSeek offiziell das V4-Flash-Vision-Exp-Modell mit einer Skala von etwa 305 Milliarden Parametern angekündigt. An dem „Exp“ im Namen lässt sich leicht erkennen, dass es sich um das erste experimentelle multimodale Modell der V4-Serie handelt. Es basiert auf der V4-Flash-Architektur. Durch das Hinzufügen eines visuellen Moduls und kontinuierliches Training erhält das Modell die Fähigkeit, Bilder zu verarbeiten.
In Bezug auf Klartextaufgaben sagte der Beamte, dass V4-Flash-Vision-Exp und V4-Flash im Allgemeinen auf einem ähnlichen Niveau seien. Der Hauptunterschied besteht darin, dass das neue Modell den Inhalt von Fotos erkennen, Texte in Screenshots lesen, Diagramme analysieren und auch Bilder als Teil des Agenten-Workflows verwenden kann, anstatt sich ausschließlich auf Textbeschreibungen zu verlassen.
Zu den von DeepSeek demonstrierten Fällen gehören das Erstellen von PPT entsprechend den Anforderungen, das Lesen und Ändern von Webseiten sowie das Generieren von Front-End-Seiten mit dynamischen Effekten.
Was diese Aufgaben gemeinsam haben, ist nicht die Bilderkennung im herkömmlichen Sinne, sondern dass das Modell zunächst den visuellen Inhalt verstehen und dann Code, Argumentation und Toolaufrufe kombinieren muss, um nachfolgende Vorgänge abzuschließen. Dem von DeepSeek veröffentlichten Benchmark-Test zufolge ist V4 nach der Hinzufügung visueller Funktionen in einigen multimodalen Agentenaufgaben bereits nahe am multimodalen Großmodell Claude Opus 4.8 von Anthropic, das es zum Vergleich ausgewählt hat.
Konkret lag der Pass@1-Score von V4-Flash-Vision-Exp im ApexBench-Test bei 36,5, was niedriger war als der 39,4 von Opus-4.8. Die Chartographie beträgt 64,3 bzw. 65,0, der Abstand ist gering. Bei der letzten Prüfung der Agenten erreichte DeepSeek 27,3 und lag damit über den 25,7 von Opus-4.8. Der Pass@5-Score von ZeroBench beträgt 35,0 und ist damit ebenfalls höher als der 34,0 von Opus-4.8.
Von den vier multimodalen Testdaten übertrafen zwei Opus-4.8
Es ist erwähnenswert, dass das neu hinzugefügte visuelle Modul die ursprünglichen Textagentenfunktionen von V4-Flash nicht wesentlich beeinträchtigt.
Zum Beispiel erreichte die Vision-Version in Terminal Bench 2.1 83,9 Punkte, während V4-Flash-0731 zuvor 82,7 Punkte erzielte; DeepSWE stieg von 54,4 auf 59,3 und übertraf damit den offiziell gelisteten Opus-4.8-Wert von 58,0. Allerdings liegt NL2Repo nur bei 57,7, was deutlich niedriger ist als die 69,7 von Opus-4.8, und CyberGym ist von zuvor 76,7 auf 75,3 gesunken. Daher fasst DeepSeek seine Klartextfähigkeiten als „auf Augenhöhe“ mit V4-Flash zusammen.
Andererseits hat die visuelle Fähigkeit selbst Grenzen. Es handelt sich nicht um ein visuelles System, das hochauflösende Details unendlich lesen kann.
Laut der DeepSeek-API-Dokumentation unterstützt das Modell JPEG-, PNG-, GIF- und WebP-Bilder und kann einzelne oder mehrere Bilder empfangen. Allerdings wird das Bild vor der Eingabe in das Modell entsprechend der Größe skaliert. Größere Bilder werden schließlich auf ein Gesamtpixelvolumen von etwa 800 x 800 komprimiert, und jedes Bild belegt bis zu 384 Token.
Der Grund für die Wahl dieses Ansatzes besteht darin, den durch visuelle Eingaben verursachten Rechenaufwand zu kontrollieren. Allerdings kann die Bildskalierung auch eine Einschränkung bei Aufgaben darstellen, die speziell auf kleinen Text, lokale Texturen oder native Auflösung angewiesen sind.
Aber egal was passierte, DeepSeek machte endlich die Augen von V4 wett.
Kommentare