Zusammenfassung:
Da Prozessoren für künstliche Intelligenz immer beliebter werden, werden immer mehr PCs mit neuronalen Netzwerkverarbeitungseinheiten (NPUs) ausgestattet, die speziell für KI-Computing verwendet werden. Allerdings wird diese Art von Hardware derzeit hauptsächlich für die Inferenz lokaler KI-Modelle und die Bildverarbeitung verwendet, und tägliche Windows-Desktops sind immer noch hauptsächlich auf integrierte Grafikkarten oder unabhängige Grafikkarten angewiesen, um das Grafikrendering abzuschließen.
Kürzlich hat ein Entwicklungsteam namens labscommunity das Open-Source-Projekt npu-driver gestartet und damit ein ganz besonderes Experiment erfolgreich umgesetzt: Es ermöglicht Windows 11, die Desktop-Grafiksynthese vollständig über die NPU durchzuführen, anstatt sich auf die herkömmliche GPU zu verlassen. Obwohl die aktuelle Laufgeschwindigkeit extrem langsam ist, beweist dieses Ergebnis, dass die NPU, die ursprünglich hauptsächlich für Berechnungen der künstlichen Intelligenz verwendet wurde, auch einige traditionelle Grafikverarbeitungsaufgaben übernehmen kann.
Das Projekt ist unter der Open-Source-Lizenz Apache 2.0 lizenziert und der Quellcode wurde öffentlich auf GitHub veröffentlicht. Das Ziel des Entwicklungsteams besteht darin, einer Frage nachzugehen: Kann die ursprünglich von der GPU durchgeführte Desktop-Rendering-Arbeit vollständig auf die NPU übertragen werden, ohne die Windows-Anwendung und den Desktop-Compositor zu ändern?
Um dieses Ziel zu erreichen, haben Entwickler einen speziellen Anzeigetreiber entwickelt, der die ursprünglich vom Windows Desktop Window Manager (DWM) an die Grafikkarte gesendeten Grafikoperationen abfängt und diese Operationen dann in Rechenaufgaben umwandelt, die die NPU verarbeiten kann.
Windows-Anwendungen werden immer noch auf herkömmliche Weise ausgeführt. Notepad, Datei-Explorer, Startmenü, Microsoft Edge und andere Fenster erfordern keine besondere Anpassung an die NPU. Was sich wirklich geändert hat, ist der zugrunde liegende Grafikverarbeitungspfad: Desktop-Compositing-Aufgaben, die ursprünglich von der GPU ausgeführt wurden, wurden der NPU neu zugewiesen.
Im Hinblick auf die spezifische Implementierung verwendet npu-driver einen benutzerdefinierten Direct3D 10-Benutzermodustreiber, um Grafikvorgänge als Stapel von Frame-Daten aufzuzeichnen, die dann zur Verarbeitung durch OpenVINO und einen dedizierten SHAVE-Rechenkern an die Intel NPU übergeben werden. Das System implementiert außerdem ein eigenes Rasterisierungsverarbeitungsmodul, das für traditionelle Grafikoperationen wie Scheitelpunktverarbeitung, Texturabtastung und Ebenenmischung verantwortlich ist.
Derzeit wurde diese Lösung auf Laptops getestet, die mit Intel Panther Lake-Prozessoren ausgestattet sind. Panther Lake verwendet die NPU-Architektur der fünften Generation und die NPU-Rechenleistung verwandter Prozessoren erreicht 45 bis 50 TOPS.
Die experimentellen Ergebnisse zeigten jedoch auch ein sehr offensichtliches Problem: die Leistung.
Die aktuelle Desktop-Aktualisierungsgeschwindigkeit des NPU-Treibers beträgt nur 2 bis 3 Bilder pro Sekunde, und einige Tests liegen sogar bei nur 0,6 Bildern. Im Vergleich dazu läuft ein Standard-Windows-Desktop normalerweise mit 60 Bildern pro Sekunde oder mehr. Selbst wenn keine Spiele beteiligt sind, kann das bloße Verschieben von Fenstern, das Öffnen des Datei-Explorers oder das Bedienen der Taskleiste extrem langsam werden.
Mit anderen Worten: Diese Lösung beweist derzeit, dass die NPU vollständige Desktop-Grafiksyntheseaufgaben übernehmen kann, aber sie ist weit von dem Leistungsniveau entfernt, das für den täglichen Gebrauch erforderlich ist.
Ziel der Entwickler ist es, die Bildwiederholfrequenz auf 30 Bilder pro Sekunde zu erhöhen, von diesem Ziel sind sie aber noch weit entfernt.
Um schwerwiegende Fehler während des Experiments zu vermeiden, hat das Entwicklungsteam außerdem einen automatischen Rollback-Mechanismus entwickelt. Wenn im NPU-Treiber ein Fehler auftritt oder der Benutzer aktiv einen Wechsel anfordert, kann das System die integrierte Grafikkarte oder die unabhängige Grafikkarte wiederverwenden, um das Grafikrendering abzuschließen. Allerdings gibt es bei diesem Wiederherstellungsmechanismus noch einige Einschränkungen. In einigen Tests konnten die Positionen aller Anwendungsfenster nicht vollständig wiederhergestellt werden.
Der Projektentwickler betonte, dass es sich beim NPU-Treiber derzeit nur um einen Forschungsprototyp und nicht um ein ausgereiftes Produkt für Verbraucher handele. Es erfordert spezielle Intel Panther Lake-Hardware, kompatible NPU-Treiber und zusätzliche Entwicklungstools. Normale Benutzer können es nicht einfach installieren und ein Windows 11-System ohne GPU zum Laufen bringen.
Die Bedeutung dieses Experiments besteht nicht darin, zu beweisen, dass die NPU die Grafikkarte ersetzen kann, sondern darin, zu untersuchen, wie die Arbeit verschiedener Recheneinheiten innerhalb moderner Prozessoren neu verteilt werden kann.
Heutige CPUs, GPUs und NPUs verfolgen jeweils unterschiedliche Designziele. Die GPU eignet sich gut für groß angelegte parallele Grafikberechnungen, während die NPU speziell für Matrixoperationen und das Denken in neuronalen Netzwerken optimiert ist. Die Übernahme von Desktop-Rendering-Aufgaben durch die NPU bedeutet, dass Entwickler traditionelle Grafikverarbeitungsprozesse in Aufgaben umwandeln müssen, die für neuronale Netzwerk-Recheneinheiten geeignet sind, was an sich schon ein recht komplexes Projekt ist.
Wenn jedoch die Verarbeitungseffizienz in Zukunft deutlich verbessert werden kann, kann die NPU möglicherweise einige der leichten Desktop-Aufgaben übernehmen, die ursprünglich von der GPU ausgeführt wurden, und so die GPU-Ressourcen für Spiele, Videoverarbeitung oder lokale KI-Inferenz freisetzen.
Zum jetzigen Zeitpunkt ist der NPU-Treiber noch weit davon entfernt, wirklich praktisch zu sein, aber er hat einen interessanten technischen Nachweis erbracht: Der Windows 11-Desktop ist nicht nur in der Lage, synthetisches Rendering über herkömmliche GPUs durchzuführen. Auch die NPU in modernen Prozessoren kann diese Arbeit übernehmen, allerdings ist der dafür zu zahlende Leistungspreis zu diesem Zeitpunkt zu hoch.
Weitere Informationen:
https://github.com/labscommunity/npu-render
Kommentare