Zusammenfassung:
Eine neue von Community-Entwicklern durchgeführte Studie zeigt, dass die Grafikkarten der NVIDIA GeForce RTX 30-Serie und RTX 40-Serie ein Rechenpotenzial bergen, das weit über die offiziellen Spezifikationen hinausgeht. Durch die Freischaltung der zugrunde liegenden Firmware- und Hardwarekonfiguration haben Entwickler erfolgreich einen Teil der ursprünglich eingeschränkten Rechenleistung freigegeben, sodass einige Modelle in Szenarien mit künstlicher Intelligenz und Matrix-Computing eine bis zu fast doppelte Leistungssteigerung erzielen können.
Berichten zufolge besteht der in den Grafikkarten der RTX 30-Serie mit „Ampere“-Architektur verwendete Kern im Wesentlichen aus dem gleichen Silizium wie die Profi-GPUs von NVIDIA, allerdings sind einige der Rechenkapazitäten von Consumer-Produkten durch Software- und Firmware-Richtlinien eingeschränkt. Eine von einem Forscher entwickelte Entsperrlösung kann die Befehlsausgaberate von FP/BF16-FMA- bis FP32-Operationen erhöhen und ist für GA102-, GA103-, GA104- und GA106-Kerne geeignet.
In tatsächlichen Tests wurde die BF16-Matrixmultiplikationsleistung der RTX 3090 Ti um bis zu etwa 80 % verbessert. Da die Matrixmultiplikation eine wichtige Grundoperation für die Ausführung der meisten neuronalen Netzwerkmodelle ist, ist diese Verbesserung offensichtlich von Bedeutung für lokale KI-Schlussfolgerungen und maschinelle Lernaufgaben.
Gleichzeitig gelang auch einem weiteren Entsperrprojekt für die „Ada Lovelace“-Architektur der RTX 40-Serie ein Durchbruch. Diese Lösung erreicht etwa den doppelten Rechendurchsatz von FP16 und BF16 Tensor und behält gleichzeitig die FP32-Akkumulationsgenauigkeit bei.
Am Beispiel der RTX 4090 konnte die Grafikkarte im FP16-Tensor-Durchsatztest ursprünglich 165,6 TFLOPS erreichen, doch nach Aktivierung der Entsperrung stieg die Leistung auf 331,6 TFLOPS, was einer fast Verdoppelung entspricht. Dieses Niveau liegt nahe an der Rechenleistung einiger professioneller Produkte wie der RTX 6000 Ada oder erreicht diese sogar.
Die Forscher sind der Ansicht, dass dies darauf hindeutet, dass der AD102-Kern künstliche Recheneinschränkungen in Verbraucherprodukten aufweist, insbesondere in wichtigen KI-Berechnungsbereichen wie Matrixmultiplikation und -akkumulation. Diese Einschränkungen wirken sich direkt auf die Betriebseffizienz von KI-Anwendungen wie großen Sprachmodellen aus. Derzeit wurde bestätigt, dass das Entsperrprojekt die Kernmodelle AD102, AD103 und AD106 unterstützt.
Es ist erwähnenswert, dass fast gleichzeitig zwei Entsperrlösungen für die RTX 30-Serie und die RTX 40-Serie erschienen sind, die die beiden Generationen der GPU-Architekturen Ampere bzw. Ada Lovelace abdecken. Der Entwickler gab an, dass diese Modifikationen den vollständigen Überprüfungsmechanismus des NVIDIA-Treibers bestehen und die Einschränkungen des PCIe Function Level Reset (FLR) erfolgreich umgehen können. Daher kann weiterhin der offizielle Originaltreiber verwendet und CUDA-bezogene Testsoftware normal ausgeführt werden.
Testdaten zeigen, dass sowohl GA102- als auch AD102-Grafikkarten vor und nach dem Entsperren denselben Stromverbrauchsgrenzwert einhalten. Bei der Einstellung des Gesamtstromverbrauchs der Platine von 450 W ergibt sich die Leistungsverbesserung beispielsweise vollständig aus der freigesetzten Rechenleistung und nicht aus zusätzlichen Erhöhungen des Stromverbrauchs oder der Frequenz.
Für Benutzer, die lokale große Sprachmodelle, generative KI und andere hochintensive Rechenaufgaben verwenden, kann die zusätzlich freigegebene Tensor-Rechenleistung die Effizienz der Vorverarbeitung und Inferenzphasen von Prompt-Worten verbessern und dadurch einen höheren Token-Durchsatz und eine schnellere Reaktionsgeschwindigkeit erzielen.
Der Entwickler weist jedoch auch darauf hin, dass solche Änderungen inoffiziell sind und zum Erlöschen der Grafikkartengarantie führen können. Darüber hinaus müssen die entsprechenden Module während der Systemstartphase zuerst geladen werden, damit der Entsperrvorgang abgeschlossen werden kann, bevor der NVIDIA-Treiber die GPU übernimmt. Daher ist diese Art von Lösung eher für fortgeschrittene Benutzer geeignet, die über bestimmte technische Fähigkeiten verfügen und bereit sind, Risiken einzugehen.
Kommentare