Zusammenfassung:
Ob es sich um einen Fernseher, einen Monitor oder ein Smartphone handelt, Bilder und Töne stammen oft von unterschiedlichen Orten. Zuschauer sehen Charaktere auf dem Bildschirm sprechen, aber der Ton kommt normalerweise von Lautsprechern unter dem Bildschirm oder von externen Tongeräten. Um dieses Problem vollständig zu lösen, hat ein koreanisches Forscherteam nun eine neue Anzeigetechnologie entwickelt, die es ermöglicht, den Ton direkt von der Tonposition im Bild auszugeben und so ein noch intensiveres audiovisuelles Erlebnis zu ermöglichen.
Forscher am Korea Institute of Mechanical and Materials (KIMM) haben kürzlich eine „audiovisuelle Fusionsanzeigetechnologie“ angekündigt, die auf einer modularen Gitterstruktur basiert. Diese Technologie installiert mehrere Vibrationsaktuatoren auf der Rückseite des Anzeigefelds, wodurch der Bildschirm selbst zu einem großen Lautsprecher wird und die Tonausgabe aus bestimmten Bereichen des Bildschirms präzise gesteuert werden kann.
Das heißt, wenn jemand in der oberen linken Ecke des Bildschirms spricht, wird seine Stimme auch synchron aus dem entsprechenden Bereich übertragen, als käme sie direkt aus der Mundposition der Figur. Wenn sich der Bildinhalt ändert, kann sich auch der Schallemissionsbereich in Echtzeit bewegen. Wenn beispielsweise eine Kugel schnell von einer Seite des Bildschirms zur anderen fliegt, bewegt sich auch der Ton entlang derselben Flugbahn, wodurch das Gefühl von Räumlichkeit und Realismus verstärkt wird.
Forscher weisen darauf hin, dass Menschen Schallquellen auf natürliche Weise mit visuellen Zielen in der realen Welt assoziieren. Menschen können die Position fallengelassener Gegenstände bestimmen und erkennen, wer mit geschlossenen Augen spricht, da der Ton selbst gerichtet ist. Allerdings sind die visuellen Informationen und Tonquellen vorhandener Anzeigegeräte in der Regel voneinander getrennt, und diese Inkonsistenz wirkt sich immer auf das immersive Erlebnis aus.
Obwohl Stereo- und Surround-Sound-Systeme in der Lage sind, über mehrere Lautsprecher einen Orientierungssinn zu erzeugen, kommt der Ton immer noch hauptsächlich von den Geräten, die um den Bildschirm herum angeordnet sind, und es ist schwierig, die spezifische Position im Bild auf großen Monitoren vollständig zu entsprechen. Es gab einige frühere Lösungen, die eine direkte Tonausgabe über das Anzeigefeld ermöglichten, der Tonausgabepunkt ist jedoch normalerweise festgelegt und kann leicht durch die Bildschirmgröße und den Frequenzbereich eingeschränkt werden.
Die neue Lösung des KIMM-Teams erreicht eine dynamische Steuerung der Schallemissionsposition und ein skalierbares Design. Der von den Forschern erstellte Prototyp ist etwa 100 Zoll groß und besteht aus einer transparenten LED-Folie und einer Aluminiumplatte, hinter der 80 Schwingspulenmotoren (VCMs) installiert sind. Diese Motoren bewegen sich nach dem Empfang elektrischer Signale hin und her, wodurch das Panel vibriert und die Luft drückt, um Schallwellen zu erzeugen. Das Prinzip ähnelt dem einer herkömmlichen Lautsprechermembran.
Es ist jedoch nicht einfach, einen bestimmten Bereich des Bildschirms zum Klingen zu bringen. Da sich Vibrationen im gesamten Panel ausbreiten und andere Vibrationen verstärken oder aufheben, ist es schwierig, genau zu kontrollieren, woher der Ton kommt. Um dieses Problem zu lösen, analysierte das Forschungsteam zunächst die Reaktionseigenschaften jedes Bereichs des Panels auf Vibrationen und verwendete dann einen mathematischen Algorithmus namens „Moore-Penrose-Pseudoinverse-Methode“, um die für jeden Motor erforderliche Antriebsspannung zu berechnen und so die Vibrationsenergie genau auf den Zielbereich zu fokussieren.
Bei dieser Methode wird nicht einfach der nächstgelegene Motor gestartet, sondern mehrere Motoren arbeiten zusammen, um ein lokales Vibrationsfeld auf dem Bildschirm zu erzeugen. Wenn sich die Tonquelle im Video bewegt, bewegt sich auch das Vibrationsfeld synchron, um einen dynamischen Tracking-Effekt zu erzielen.
Die Echtzeit-Lokalisierung von Schall steht noch vor einer weiteren Herausforderung. Die Vibrationswellen im Panel beeinflussen sich gegenseitig und auch die Übertragungseffizienz verschiedener Motoren auf verschiedene Bereiche ist unterschiedlich. Wenn das System die Position eines sich bewegenden Ziels ständig neu berechnet, kann der Steuerungsprozess instabil werden.
In diesem Zusammenhang entwickelte das Forschungsteam eine Reihe selektiver Anregungsalgorithmen, um Motoren mit geringer Vibrationsübertragungseffizienz von der Berechnung auszuschließen, und entwarf außerdem eine Technologie, die kontinuierliche akustische Signale reibungslos verbinden kann, um Geräusche und Unterbrechungen während der Schallbewegung zu reduzieren.
Um den Automatisierungsgrad weiter zu verbessern, führten die Forscher außerdem eine auf künstlicher Intelligenz basierende Technologie zur Schallquellentrennung und -lokalisierung ein. KI kann das Tonziel auf dem Videobildschirm automatisch identifizieren, den entsprechenden Ton aus dem komplexen Audiosignal extrahieren und ihn dann ohne manuellen Eingriff präzise an die entsprechende Position auf dem Bildschirm projizieren.
Testergebnisse zeigen, dass das Prototypsystem eine Genauigkeit von 99,9 % bei der Auswahl des Zielschallbereichs aufweist. Der Unterschied in der Vibrationsamplitude zwischen dem aktiven und dem inaktiven Bereich beträgt bis zu 35 Dezibel, was beweist, dass das System Vibrationen in bestimmten Bereichen stark konzentrieren und Vibrationen in anderen Bereichen wirksam unterdrücken kann. Tests mit einer akustischen Kamera bestätigten außerdem, dass die Tonausgabeposition kontinuierlich einem sich bewegenden Ziel auf dem Bildschirm folgen kann.
Relevante Forschungsergebnisse wurden im Journal of Mechanical Science and Technology veröffentlicht. Derzeit hat diese Technologie gute Fähigkeiten zur Vibrationsfeldpositionierung im niedrigen und mittleren Frequenzbereich unter 500 Hz gezeigt.
Um sich an Anzeigegeräte unterschiedlicher Größe anzupassen, wählte das Forschungsteam ein modulares Rasterdesign. Mehrere Anzeigemodule können je nach Bedarf frei kombiniert oder geteilt werden, sodass sie theoretisch für Heimfernseher verwendet werden können und auch auf kommerzielle Anzeigeszenarien wie große LED-Anzeigewände und Digital Signage erweitert werden können. Die Forscher sagten außerdem, dass das System bei gleichzeitiger Arbeit mehrerer Module einen Tieffrequenzeffekt erzeugen kann, der dem eines großen Tieftöners ähnelt.
Das Forschungsteam ist davon überzeugt, dass die Vereinigung von Ton und Bildern auf derselben Oberfläche das immersive Erlebnis des Publikums erheblich verbessern kann. Neben dem Fernsehbereich soll diese Technologie künftig auch in Szenarien wie Medienkunst, Bühnenaufführungen, Ausstellungsdisplays und fahrzeugmontierten Anzeigesystemen eingesetzt werden.
Dr. Jin Dongjun, der Leiter des Forschungsprojekts, sagte, dass das Team plant, diese Technologie auf modulare LED-Spleißanzeigesysteme weiter auszubauen und ihre Entwicklung zu einer neuen Generation von Kerntechnologie voranzutreiben, die für eine breite Palette von Anzeigegeräten geeignet ist.
Die Forscher gaben jedoch auch zu, dass das System zwar einige der Effekte einer großen Basseinheit simulieren kann, es jedoch immer noch schwierig ist, ein professionelles unabhängiges Soundsystem im Hinblick auf Gesamtklangqualität, Schalldruckleistung und Vollbandabdeckungsfähigkeiten vollständig zu ersetzen. Dennoch löst diese Technologie erfolgreich das seit langem bestehende Problem der räumlichen Fehlausrichtung „Bilder an einem Ort und Ton an einem anderen“ und sorgt dafür, dass alles auf dem Bildschirm realistischer und natürlicher aussieht und klingt.
Kommentare