Google hat gerade Lumiere auf den Markt gebracht, ein neues generatives KI-Tool, mit dem Sie mit textbasierten Befehlen realistischere Bilder und Videos erstellen können. Eines der großartigen Dinge an Lumiere ist seine Fähigkeit, realistisch aussehende Bewegungen ohne Ruckler zu erzeugen. Dies ist möglich, weil die Software alle Videobilder gleichzeitig erstellt, anstatt zunächst Schlüsselbilder zu verwenden und sie dann zu trainieren, um zu lernen, wie die Aktion ablaufen soll.

Das klingt vielleicht nicht beeindruckend, aber mit Hilfe der neuesten generativen künstlichen Intelligenz-Tools können wir noch weiter gehen und erstaunliche Werke schaffen.

Lumiere verwendet auch Diffusionswahrscheinlichkeitsmodelle, um bei der Generierung von Bildern zu helfen. Dies wird mit dem raumzeitlichen U-Net kombiniert. Für diejenigen, die es nicht wissen: U-Net ist eine Architektur, die zeitliches Vergrößern und Verkleinern ermöglicht und dem Bild Aufmerksamkeitsblockaden hinzufügt. Das Beste daran ist, dass dieses neue generative KI-Tool mit vielen anderen Modellen verwendet werden kann, wodurch Bilder und Videos erstellt werden können, die realistischer sind als alles, was wir bisher gesehen haben.

Mit Lumiere können Sie Folgendes erstellen:

  • Kinematografie animiert einen einzelnen Teil eines Bildes

  • Ein Objekt in einem animierten Video kann durch ein anderes Objekt ersetzt werden

  • Stilisierte Generierung: Jeder erstellte Kunststil kann in einen anderen Stil geändert werden

  • Bild zu Video: Hilft jedes gewünschte Bild zu animieren

  • Video zu Video: Ermöglicht Benutzern das Erstellen von Videos in verschiedenen künstlerischen Stilen

    • Zum jetzigen Zeitpunkt kann Lumiere nur Videos mit einer Länge von bis zu 5 Sekunden erstellen und verfügt nicht über die Möglichkeit, Videoübergänge und Kameraführungen aus mehreren Blickwinkeln zu erstellen. Es ist auch erwähnenswert, dass Sie Lumiere nicht mit einer Standard-GPU ausprobieren können. Der PC selbst muss über eine starke Grafikverarbeitung verfügen, sonst läuft das Tool überhaupt nicht.

    Testversion besuchen:

    https://lumiere-video.github.io/