KI-generierte Videos haben in den letzten zehn Monaten rasante Fortschritte gemacht, und Googles bemerkenswertes neues räumlich-zeitliches Diffusionsmodell Lumiere hat die Zielvorgaben erneut verändert. Lumiere kann sehr realistische oder hochwertige surreale Videoclips mit einer Länge von bis zu 5 Sekunden erstellen. Es kann auch statische Bilder oder Bildteile basierend auf Textansagen in natürlicher Sprache animieren, um Ihnen mitzuteilen, was Sie sehen möchten.

Es kann ein Foto aufnehmen, den Stil dieses Bildes klonen und diesen Stil dann verwenden, um eine Reihe von Videos zu anderen Themen zu erstellen, die so ähnlich aussehen und sich anfühlen, als hätten sie von einer Markenagentur produziert werden können.

Es kann Ihr eigenes Quellvideo verwenden, um alles in Lego, Origami oder Blumen zu verwandeln – Sie sagen es einfach.

Wie Sie der Demo oben entnehmen können, verfügt Lumiere über die fortschrittlichste In-Video-Funktion, die wir bisher gesehen haben. Sie malen einfach die Teile des Bildes aus, die Ihnen nicht gefallen, und Lumiere füllt diesen Bereich automatisch mit einem wunderschönen Effekt aus, den Sie vielleicht gar nicht bemerken, wenn Sie nicht genau hinsehen. Ex-Freund taucht in deinem Lieblingsvideo auf? Es wird nicht lange dauern.

Das entsprechende Forschungsteam gab an, dass die „räumlich-zeitliche U-förmige Netzwerkarchitektur“ von Lumiere die gesamte Länge des Videos auf einmal konstruieren kann – während frühere Modelle normalerweise zuerst das Startbild und das Endbild generieren und dann erraten, was in der Mitte passieren wird.

Egal wie Sie es machen, die Ergebnisse sprechen für sich – das ist der neue Stand der Technik bei generativen KI-Videos.

Die Inpainting-Funktion ist unglaublich; Blenden Sie einfach einen Teil des Bildschirms aus und dieser wird für Sie ausgefüllt.

Im Moment handelt es sich lediglich um ein Forschungsprojekt – damit Google das System nicht stark in Bezug auf Urheberrecht, Desinformation, Sicherheit, Hassrede, Nacktheit, Datenschutz und verschiedene andere Richtlinien entmannen muss – ein Prozess, der unweigerlich zu einer Verschlechterung der Qualität der Ausgabe dieser generativen Modelle führen wird.