Am 16. Dezember veröffentlichte das Tongyi Wanxiang-Team von Alibaba eine neue Generation von Modellen der Wanxiang 2.6-Serie. Diese Version gilt als das erste Videogenerierungsmodell in China, das Rollenspielfunktionen unterstützt. Es integriert außerdem Audio- und Videosynchronisation, Multi-Shot-Generierung und Soundtreiberfunktionen.
Es wird berichtet, dass Wanxiang 2.6 die Timing-Informationen, Themeneigenschaften und akustischen Elemente des Eingabevideos durch multimodale gemeinsame Modellierung auf technischer Ebene lernen kann, um die Gesamtkonsistenz des generierten Videos in Bezug auf Bild und Ton zu erreichen. Seine Storyboard-Steuerungsfunktion kann Originalmaterialien in professionelle Erzählabsätze umwandeln, einschließlich Mehrfach-Shot-Umschaltung basierend auf semantischem Verständnis.
Dieses Upgrade konzentriert sich auf die Verbesserung der Bildqualität, der Soundeffekte und der Befehlsverfolgungsfunktionen und unterstützt die Videogenerierung von maximal 15 Sekunden gleichzeitig. Die neue Rollenspielfunktion ermöglicht es Nutzern, persönliche Videos hochzuladen und diese mit Schlagwörtern zu kombinieren. Das Modell kann automatisch das Storyboard-Design, die Rolleninterpretation und die Synchronisation durchführen, um einen Kurzfilm mit filmischem Flair zu erstellen. Diese Fähigkeit ist hauptsächlich auf professionelle Szenarien wie Werbedesign und Kurzspielproduktion ausgerichtet.
Derzeit verfügt die Wanxiang Model-Familie über mehr als zehn Arten von visuellen Erstellungsfunktionen, wie z. B. Vincent-Bilder, Bildbearbeitung und Vincent-Videos. Von nun an können Benutzer Wanxiang 2.6 über die offizielle Website erleben, und Unternehmensbenutzer können die Modell-API auch über die Alibaba Cloud Bailian-Plattform aufrufen.
