Das Team der University of Washington entwickelt Kamera-Headsets VueBuds, um alles, was Sie sehen, in Echtzeit zu beschreiben

According to news on April 21, a team from the University of Washington in the United States demonstrated a new prototype headset called VueBuds. Es bettet eine Miniaturkamera in ein herkömmliches echtes drahtloses Headset ein und kombiniert sie mit einem visuellen Sprachmodell (VLM). Es kann die Szene im Sichtfeld des Trägers in Echtzeit beschreiben, Objekte identifizieren und durch Sprachinteraktion übersetzen. Es wird von Forschern als „eine mobile, reine Sprachversion der umgekehrten Bildsuche“ beschrieben.

Der Prototyp von VueBuds basiert auf dem kabellosen Noise-Cancelling-Kopfhörer WF-1000XM3 von Sony. In der Kopfhörerschale ist eine Schwarz-Weiß-Kamera in der Größe eines Reiskorns eingebettet. Die lokale Verarbeitung oder Verarbeitung mit geringer Bandbreite wird über das integrierte visuelle Sprachmodell durchgeführt. Benutzer müssen lediglich Fragen stellen, um Erklärungen und Übersetzungen von Sprachbeschreibungen, Objektnamen oder Textinhalten der Szene vor ihnen zu erhalten. Das Forschungsteam veröffentlichte auf der CHI 2026, einer wichtigen Konferenz im Bereich der Mensch-Computer-Interaktion, einen Artikel, in dem das Design und die experimentellen Ergebnisse dieses Systems detailliert beschrieben werden.

Einer der Projektleiter, Shyam Gollakota, Professor an der Paul G. Allen School of Computer Science and Engineering der University of Washington, sagte, dass das Team beim Entwerfen vollständig aus den Lehren von Google Glass gelernt habe – letzteres wurde von der Öffentlichkeit aufgrund seines abrupten Auftretens und der großen Kontroverse um den Datenschutz als „Glaslöcher“ verspottet und scheiterte letztendlich. Gollakota wies darauf hin, dass viele Menschen im Vergleich zu Brillen keine sichtbaren Geräte im Gesicht tragen möchten und dass Kopfhörer bereits eine sehr beliebte und gesellschaftlich akzeptierte Form des Tragens seien. Daher wird erwartet, dass durch das „Verstecken“ visueller Funktionen in Kopfhörern ein besseres Gleichgewicht zwischen Benutzerfreundlichkeit und Privatsphäre erreicht wird.

Auf Hardwareebene nutzt VueBuds eine Schwarzweißkamera mit niedriger Auflösung und eine Übertragung mit geringer Bandbreite, um den Stromverbrauch unter 5 mW zu kontrollieren, und schaltet sich automatisch ab, wenn es nicht verwendet wird, um Strom zu sparen. Forscher sagten, dass in einem Test mit 90 Benutzern und 17 visuellen Frage- und Antwortaufgaben die Antwortqualität von VueBuds mit der von Ray-Ban Meta-Smart-Brillen mit eingebauten Kameras und großen Modellen vergleichbar war, was das Potenzial zeigt, sich schnell entwickelnde visuelle Sprachmodellfunktionen in die beliebte Geräteform von Kopfhörern zu integrieren.

In dem Demonstrationsvideo stand ein Mann mit VueBuds in der Küche einer Wohnung und stellte die Bitte: „Bitte beschreiben Sie die Szene vor mir.“ Ungefähr eine Sekunde später kam eine KI mit entspanntem Ton und imitierter menschlicher Frauenstimme aus dem Headset und antwortete: „Ich sehe einen Küchenbereich mit einem Fenster, das viel Licht hereinlässt. Auf der Arbeitsplatte stehen einige Flaschen und ein Buch. Das Fenster hat Jalousien und links ein Waschbecken.“ Als er sich später ein Plattencover ansah und nach dem Albumnamen fragte, erkannte das System schnell, dass es sich um „Abbey“ von den Beatles handelte. Road“-Albumcover.

Den in der Arbeit offengelegten experimentellen Daten zufolge erreichte VueBuds in einem Test mit 16 Teilnehmern eine Genauigkeit von etwa 83 % bei Objekterkennungs- und Übersetzungsaufgaben und eine Genauigkeit von etwa 93 % bei Aufgaben wie der Identifizierung von Buchtiteln und Autoren. Das Forschungsteam sagte beispielsweise, dass von Benutzern in Zukunft erwartet wird, dass sie dieses System verwenden, um koreanische Comics zu lesen, die noch nicht übersetzt wurden, oder versteckte Gerichte zu bestellen, die „nur auf der chinesischen Speisekarte“ in einem chinesischen Restaurant verfügbar sind, ohne durch ihre eigenen Sprachkenntnisse eingeschränkt zu sein.

Als Antwort auf die häufig gestellte Frage: „Wenn sich die Headset-Kameras auf beiden Seiten des Gesichts befinden, wird die Sicht dann durch den eigenen Kopf des Trägers blockiert?“ Die Forscher erklärten, dass VueBuds auf dem Prinzip der binokularen Parallaxe des Menschen basiert und die unterschiedlichen Blickwinkel der beiden Kameras nutzt, um eine Fusion des „stereoskopischen Sehens“ durchzuführen und dadurch die Fähigkeit zu erlangen, die Szene vor ihnen zu verstehen. Da VueBuds derzeit jedoch nur Schwarzweißbilder unterstützt, können keine Fragen zu Farben beantwortet werden. Navigation und hochpräzise Übersetzung in komplexen Szenen erfordern immer noch höher auflösende Farbkameras und eine stärkere Rechenleistung.

Leistungs- und Rechenleistungsbeschränkungen führen außerdem dazu, dass VueBuds derzeit nicht in der Lage ist, Videostreams kontinuierlich und mit hoher Bandbreite zu sammeln und zu verarbeiten, und sich nur für den intermittierenden Einsatz von „Fotografie + Frage und Antwort“ eignet. Dennoch ist das Forschungsteam davon überzeugt, dass das Gleichgewicht zwischen Energieverbrauch, Lautstärke und Reaktionsgeschwindigkeit ausreicht, um die Machbarkeit dieser Form als „Plattform für visuelle Intelligenz“ zu beweisen und eine neue Richtung für die Funktionserweiterung zukünftiger Headset-Geräte vorzugeben.

Gleichzeitig sind auch Datenschutz- und Sicherheitsrisiken zu unvermeidbaren Themen geworden. In dem Artikel wurde darauf hingewiesen, dass ein Unternehmen vor einigen Jahren eine Anwendung vorgeschlagen habe, mit der „durch das Aufnehmen eines Fotos die Namen von Fremden identifiziert werden könnten“. Damals lautete die populäre ironische Antwort im Internet: „Dann werden Frauen daran sterben.“ VueBuds bietet zu diesem Zeitpunkt nur begrenzte Sicherheitsmaßnahmen, wie etwa die kleine „Arbeitskontrollleuchte“ am Kopfhörer, doch Beobachter merken oft nicht, dass ein Kopfhörer Bilder aufnimmt. In Kombination mit Audiosammlung, Bluetooth-Verbindung und Gesichtserkennungsdiensten von Drittanbietern kann ein Missbrauch dieser Art von Gerät eine ernsthafte Bedrohung für die Privatsphäre darstellen, da „niedrige Auflösung immer noch tödlich ist“.

Der Artikel weist darauf hin, dass, wenn Regulierungsbehörden wirksame Regeln formulieren und umsetzen können, um sicherzustellen, dass die öffentliche Sicherheit und die Privatsphäre nicht verletzt werden, solche „Lese“-Kopfhörer voraussichtlich einen erheblichen Komfort für Sehbehinderte und andere Gruppen bringen und ihre Lebensqualität und Freiheit beim Reisen, Lernen, bei der Unterhaltung usw. erheblich verbessern werden. Die University of Washington betonte in einer offiziellen Pressemitteilung, dass sich VueBuds noch im Prototypenstadium der wissenschaftlichen Forschung befinde, aber es habe die Aussicht auf die Integration visueller Sprachmodelle in alltägliche tragbare Geräte gezeigt. In Zukunft könnte daraus eine neue Generation „hörbarer und sichtbarer“ Produktformen für intelligente Kopfhörer entstehen.