Zusammenfassung:
Laut Projektentwicklern wurde die GPU-beschleunigte Frame-Interpolationsfunktion von Nvidia über die Vulkan-API in FFmpeg integriert. FFmpeg ist ein weit verbreiteter Satz von Softwaretools, der eine große Anzahl moderner Multimedia-Verarbeitungsplattformen, Dienste und Anwendungen, einschließlich YouTube, unterstützt.
Mit dieser neuen Funktion kann FFmpeg die NVIDIA GeForce RTX-Grafikkarte aufrufen, um den nächsten Frame vorherzusagen und zu generieren, ohne den herkömmlichen Grafik-Rendering-Prozess durchlaufen zu müssen. NVIDIA erweitert diese Funktion auf die Videokodierung und ermöglicht es Benutzern, die Videobildraten durch die Bilderzeugungstechnologie zu erhöhen. Der Optical Flow Accelerator (NVOFA) in NVIDIA-Grafikkarten wendet die beim Rendern von Grafiken verwendete optische Flusslogik auf das Video an, sagt das nächste Bild voraus und verbessert die Videobildrate durch durch künstliche Intelligenz generierte Zwischenbilder. NVIDIA nennt diesen Prozess „Engine-assisted Frame-rate Up Conversion (FRUC)“.
FRUC ist nicht nur ein Bildglättungsalgorithmus im herkömmlichen Sinne. Es nutzt den speziellen optischen Flussbeschleuniger von NVIDIA, um Bewegungsinformationen zwischen aufeinanderfolgenden Quellbildern zu berechnen. NVENC ist für die Bereitstellung von Bilddaten auf der Kodierungsseite verantwortlich, und die optische Flusshardware generiert Bewegungsvektoren, die die Bewegung von Objekten im Bild beschreiben. FFmpeg kann dann Zwischenbilder basierend auf diesen Bewegungsinformationen synthetisieren und so die Videobildrate effektiv erhöhen, ohne den ursprünglichen Inhalt neu zu rendern.
Dieses Schema ist auch effizienter als die softwareimplementierte Frame-Interpolation. Reine Software-Interpolation stellt typischerweise deutlich höhere Rechenanforderungen an die CPU. Die neue Vulkan-Implementierung ermöglicht FFmpeg den direkten Zugriff auf NVIDIA-Hardware und vermeidet gleichzeitig proprietäre Softwareabhängigkeiten, die dazu führten, dass frühere im Jahr 2023 eingereichte Patches nicht in das Projekt integriert werden konnten.
NVIDIA brachte den optischen Flussbeschleuniger ursprünglich in der Ära der „Turing“-Architektur der GeForce RTX 20-Serie auf den Markt. Allerdings unterstützt die aktuelle Implementierung auf Basis der Vulkan-API offiziell nur die GeForce RTX 30-Serie „Ampere“ und neuere Modelle. Daher steht diese neue Funktion Benutzern von Grafikkarten der Serien GeForce RTX 30, RTX 40 und RTX 50 zur Verfügung.
Durch die GPU-unterstützte Bildinterpolation kann die Videobildrate verdoppelt werden: 30-Bilder-Videos können mit 60 Bildern angezeigt werden, und das in Filmen übliche 24-Bilder-Video kann auf 48 Bilder erhöht werden. Benutzer müssen das FFmpeg-Tool nur lokal ausführen, um diese Funktion zu nutzen.
Kommentare