Zusammenfassung:
Sony hat kürzlich ein neues Patent für künstliche Intelligenz eingereicht, das vorschlägt, mithilfe von KI den nächsten Frame des Spiels vorherzusagen, bevor die Grafikkarte mit dem Rendern fertig ist. Dadurch wird die Bildschirmverzögerung verringert und versucht, die zusätzlichen Verzögerungsprobleme zu vermeiden, die durch einige bestehende Frame-Generierungstechnologien verursacht werden. Laut Patentbeschreibung kann das System im Voraus ein vorhergesagtes Bild basierend auf dem zuletzt gerenderten Frame und den neuesten Controller-Eingabeinformationen des Spielers generieren und es dem Spieler anzeigen, bevor das nächste Frame offiziell gerendert wird.
Diese Technologie zielt hauptsächlich auf einen Fehler im aktuellen Teilbild-Erzeugungsschema ab. Viele bestehende Lösungen erfordern den Erhalt zweier abgeschlossener Frames, bevor sie den dazwischen liegenden interpolierten Frame berechnen und generieren können, und das Warten auf die Fertigstellung des zweiten Frames führt zu zusätzlichen Verzögerungen. Die neue Methode von Sony versucht, diese Wartephase zu überspringen und vorhandene Bilder direkt zur Vorhersage zukünftiger Bilder zu verwenden, anstatt zwischen zwei Bildern zu interpolieren.
Theoretisch dürfte diese Methode eine flüssigere Bildausgabe gewährleisten, wenn die Rendering-Last zunimmt und die Bildrate sinkt. Allerdings liefert das Patentdokument keine konkreten Leistungstestergebnisse, sodass die tatsächlichen Auswirkungen auf die Latenzverbesserung und die endgültige Bildqualität noch überprüft werden müssen.
Aus Sicht der technischen Umsetzung hat Sony eine gemeinsam trainierte Encoder- und Decoder-Architektur entworfen. Der Encoder ist für die Umwandlung des gerenderten Bildes in eine kompakte numerische Darstellung, einen Einbettungsvektor, verantwortlich. Der Decoder generiert dann auf Grundlage dieser Daten ein vorhergesagtes Bild.
Während das Spiel läuft, arbeitet das System synchron mit der Grafik-Rendering-Pipeline. Wenn die Hardware den nächsten Frame rendert, verarbeitet die KI gleichzeitig den vorherigen Frame und sendet die Vorhersageergebnisse in den Anzeigepuffer. Auf diese Weise kann der vorhergesagte Frame angezeigt werden, bevor der tatsächlich gerenderte Frame abgeschlossen ist, wodurch die Renderlücke geschlossen wird.
Das Patent erwähnt außerdem, dass das Modell Bewegungsvektoren und die neuesten Controller-Eingabedaten verwenden kann, um die Vorhersagegenauigkeit zu verbessern. Bewegungsvektoren können die Bewegungsrichtung und -geschwindigkeit von Objekten im Bild widerspiegeln, während Tastenoperationen die neuesten Verhaltensabsichten des Spielers widerspiegeln können. Beide können der KI mehr Informationen liefern als der vorherige Frame allein.
Die Trainingsphase verwendet fortlaufende Videobilder als Datenquelle. Das neuronale Netzwerk beginnt zunächst mit dem Training mit zufälligen Gewichten, empfängt ein Bild als Eingabe und versucht, das nächste Bild vorherzusagen. Anschließend vergleicht es die Vorhersageergebnisse mit den tatsächlichen nachfolgenden Bildern, misst den Fehler anhand des Verlustwerts und optimiert das Modell kontinuierlich.
Laut Patentbeschreibung erkennt das System während des Trainingsprozesses kontinuierlich, ob der Verlustwert den eingestellten Schwellenwert erreicht. Da das kontinuierliche Video selbst echte Referenzbilder liefern kann, ist für den gesamten Trainingsprozess keine manuelle Datenanmerkung erforderlich. Darüber hinaus gibt der Decoder mehr Farbkanäle aus, als der Encoder empfängt, was bedeutet, dass das System in Zukunft in der Lage sein wird, mehrere vorhergesagte Frames gleichzeitig zu generieren.
Zusätzlich zur KI-Lösung schlug Sony auch eine Alternative ohne künstliche Intelligenz vor. Dieses Schema generiert synthetische Frames durch Verschieben von Pixelblöcken basierend auf Bewegungsinformationen, ohne trainierte Encoder- und Decodermodelle zu verwenden. In dem Patentdokument wird außerdem behauptet, dass diese Technologien voraussichtlich keine Verschlechterung der Bildqualität bei gleichzeitiger Beibehaltung einer festen Bildausgaberate ermöglichen sollen. Es ist jedoch noch nicht bekannt, ob mit den erzeugten Bildern tatsächlich visuelle Effekte erzielt werden können, die dem nativen Rendering ähneln.
Brancheninsider glauben, dass der entscheidende Test dieser Technologie darin besteht, ob die KI präzise und schnell genug vorhergesagte Bilder erzeugen und die freien Stellen in der Anzeige rechtzeitig füllen kann, wenn die Rendering-Leistung nachlässt. Das Patent zeigt eine realisierbare Idee, ihre tatsächliche Wirkung muss jedoch noch durch zukünftige Produkt- oder Technologiedemonstrationen überprüft werden.
Kommentare