NVIDIA gab bekannt, dass das TensorRT AI-Inferenzbeschleunigungs-Framework jetzt auf GeForce RTX-Grafikkarten verfügbar ist und die Leistung direkt doppelt so hoch ist wie die von DirectML.TensorRT ist ein von NVIDIA eingeführter Inferenzoptimierer, der die Betriebseffizienz von KI-Modellen erheblich verbessern kann. Dieses Mal führt NVIDIA TensorRT auf der RTX-Plattform ein, damit alle Benutzer von RTX-Grafikkarten in den Genuss einer schnelleren KI-Leistung kommen.
Laut NVIDIA unterstützt TensorRT nicht nur natives Windows ML, sondern kann auch automatisch die geeignete Hardware zum Ausführen jeder KI-Funktion auswählen und den entsprechenden Ausführungsanbieter herunterladen, was den Entwicklungsprozess erheblich vereinfacht.
Was die Leistung angeht,NVIDIA zeigte die Vergleichsdaten zwischen TensorRT und DirectML: In ComfyUI können Benutzer, die TensorRT verwenden, eine bis zu zweifache Leistungssteigerung erzielen; In DaVinci Resolve und Vegas Pro erreicht die Leistungssteigerung 60 %.
Darüber hinaus bietet TensorRT für RTX weitere Vorteile, wie etwa achtmal kleinere Bibliotheksdateigrößen und On-the-Fly-Optimierungen für jede GPU. Diese Verbesserungen verbessern nicht nur die Leistung, sondern optimieren auch die Speicherung und Verwaltung der Software.
TensorRT für RTX wird im Juni offiziell eingeführt. NVIDIA baut außerdem seine KI-SDKs weiter aus und bietet derzeit Unterstützung für mehr als 150 KI-SDKs. In diesem Monat werden fünf neue ISV-Integrationen eingeführt, darunter LM Studio, Topaz Video AI, Bilibili, AutoDesk VRED und Chaos Enscape.
