Zusammenfassung:
Metas kürzlich eingeführter KI-Assistent Muse war einer schwerwiegenden Zero-Day-Sicherheitslücke ausgesetzt. Muse für macOS verfügt über äußerst umfassende Systemberechtigungen. Nach der Ausnutzung kann ein Angreifer über lokale Anwendungen oder sogar Terminalbefehle an das Token gelangen, das zur Überprüfung der Identität des Muse-Kontos verwendet wird, und das gesamte AI Assistant-Konto weiter kontrollieren.
Sicherheitsforscher sagten, dass dies bedeutet, dass Angreifer mit den Berechtigungen, die Muse selbst erhalten hat, eine große Anzahl risikoreicher Vorgänge ausführen können, darunter das Schreiben schädlicher Dateien, das Aufnehmen von Fotos und das Lesen von Benutzerdaten.
Muse ist ein neuer KI-Agent, der kürzlich von Meta eingeführt wurde. Es kann Vorgänge wie das Vereinbaren von Terminen, das Ausfüllen von Formularen, die Bearbeitung von Kundendienstangelegenheiten und das Einkaufen im Namen der Benutzer erledigen. Es kann auch Bilder generieren, Dokumente erstellen und eine Verbindung zu den häufig verwendeten Anwendungen und Online-Diensten der Benutzer herstellen. Derzeit stellt Muse eine macOS-Version zur Verfügung, eine Windows-Version wurde noch nicht veröffentlicht. Damit Muse diese Aufgaben ausführen kann, müssen Benutzer ihm Zugriff auf WhatsApp-, E-Mail-, Kalender- und Social-Media-Konten gewähren.
Im Gegensatz zu gewöhnlichen Chatbots ist Muse ein KI-Agent, der tatsächlich Operationen im Namen des Benutzers ausführen kann. Es kann sogar dynamisch die Tools erstellen, die Sie während der Ausführung einer Aufgabe benötigen. Daher muss Muse weitaus umfassendere Systemberechtigungen erhalten als herkömmliche KI-Chat-Anwendungen.
Unter macOS muss Muse eine Reihe von Berechtigungen erhalten, die durch das Betriebssystem geschützt sind, darunter das Schreiben von Dateien auf die Festplatte, der Zugriff auf das Mikrofon und die Kamera, das Abrufen des Standorts und der Zugriff auf den Kalender. Der Grund, warum Apple diese Systemberechtigungsbeschränkungen entwickelt hat, besteht darin, zu verhindern, dass normale Anwendungen oder Programme, die im Terminal ausgeführt werden, diese sensiblen Ressourcen nach Belieben aufrufen.
Sicherheitsforscher haben jedoch herausgefunden, dass das Design von Muse tatsächlich einige der ursprünglich von macOS bereitgestellten Sicherheitsisolationsmechanismen umgeht.
Die Sicherheitslücke wurde vom macOS-Sicherheitsexperten Patrick Wardle entdeckt. Er fand heraus, dass jede lokal installierte Anwendung oder jeder ausgeführte Code, unabhängig von den eingeschränkten macOS-Berechtigungen, eine große Anzahl nicht offengelegter interner Einstellungen von Muse ändern kann.
Die überwiegende Mehrheit dieser Einstellungen selbst stellt kein offensichtliches Sicherheitsrisiko dar, wie etwa das Ändern von Benutzeroberflächenoptionen wie dem Dunkelmodus. Eine Einstellung ist jedoch von entscheidender Bedeutung, da sie es dem Prozess ermöglicht, die von Muse für die Sprachtranskription verwendeten Netzwerkendpunkte zu ändern.
Unter normalen Umständen sendet Muse die Sprachtranskriptionsanfrage an den von Meta betriebenen Server. Allerdings kann ein Angreifer die Schwachstelle ausnutzen und diese Adresse in einen von ihm kontrollierten Server ändern. Sobald Muse beginnt, Anfragen an den bösartigen Server zu senden, kann der Angreifer auch das Token erhalten, das zur Authentifizierung des Muse-Kontos des Benutzers verwendet wird.
Sobald dieser Token erlangt wurde, kontrolliert der Angreifer nicht mehr nur eine Sprachanfrage, sondern kann die kontinuierliche Kontrolle über das gesamte Muse-Konto erlangen. Wardle sagte, dass Angreifer die hohen Privilegien, die Muse erhalten hat, direkt nutzen können, um verschiedene Vorgänge auszuführen, ohne speziell einen komplexen Satz macOS-Malware schreiben zu müssen.
Wardle hat mehrere Proof-of-Concept-Angriffe durchgeführt, darunter die Verwendung von Muse, um schädliche Dateien auf die Festplatte zu schreiben und die Kamera aufzurufen, um Fotos aufzunehmen. In einigen Tests kann es sein, dass selbst ein sehr aufmerksamer Benutzer offensichtliche Sicherheitswarnungen nicht sieht.
Das bedeutet, dass Muse ein besonderes Sicherheitsproblem hat: Der Angreifer muss nicht unbedingt zunächst die vollständige Kontrolle über Muse selbst erlangen, sondern muss lediglich einen Einstiegspunkt finden, der die Ausführung von Schadcode auf dem Mac ermöglicht, und kann die Systemprivilegien, die Muse erhalten hat, weiter ausnutzen.
Besonders erwähnenswert ist eine Angriffsart, der sogenannte ClickFix-Angriff. ClickFix hat sich in den letzten Jahren zu einem sehr effektiven Mittel für Social-Engineering-Angriffe entwickelt. Die grundlegende Methode besteht darin, Benutzer dazu zu verleiten, scheinbar normale Vorgänge oder Befehle auszuführen. Tatsächlich führen sie jedoch vom Angreifer bereitgestellten Schadcode auf dem Gerät aus.
Wardle sagte, dass es mit einer einfachen Modifikation dieser Angriffsmethode möglich sei, das Muse-Konto weiter zu kontrollieren. Dies macht auch die gängige Meinung, dass „alle Sicherheitsmaßnahmen bedeutungslos sind, wenn Ihr Mac kompromittiert wurde“, nicht vollständig auf Muse anwendbar.
Der Grund dafür ist, dass die Folgen von Angriffen auf gewöhnliche Anwendungen und Angriffen auf KI-Agenten unterschiedlich sind. Muse selbst hat eine große Anzahl von Berechtigungen erhalten, um auf Benutzerdaten zuzugreifen und tatsächliche Vorgänge auszuführen. Solange ein Angreifer Muse verwenden kann, um die Eskalation der Berechtigungen abzuschließen, kann daher ein ursprünglicher lokaler Angriff mit sehr begrenzten Berechtigungen in eine groß angelegte Kontrolle des KI-Agenten umgewandelt werden.
Ein Angreifer kann auch Netzwerk-Proxys verwenden, um Angriffe zu starten. Eine Möglichkeit besteht darin, einen vom Angreifer kontrollierten Server zwischen dem Muse-Benutzer und dem Meta-Server zu haben. Wenn ein Benutzer einen Sprachbefehl in Muse eingibt, kann ein Angreifer eine böswillige Aufforderung in die Anfrage einfügen, um Muse zu veranlassen, den Vorgang auszuführen, den der Angreifer ausführen möchte, z. B. von Muse zu verlangen, alle WhatsApp-Nachrichten des Benutzers zu packen und an den Angreifer zu senden.
Was noch schwerwiegender ist: Sobald das Authentifizierungstoken von Muse auch an einen böswilligen Server gesendet wird, kann der Angreifer möglicherweise die kontinuierliche Kontrolle über das Muse-Konto erlangen, anstatt nur einen Angriff auszuführen.
Wardle glaubt, dass mehrere Designentscheidungen bei Muse zusammengenommen zur Entstehung der Sicherheitslücke geführt haben. Eines der Hauptprobleme ist Metas Entscheidung, Muse die Sprachtranskription in der Cloud durchführen zu lassen.
macOS selbst stellt seit langem Mechanismen zur Verfügung, mit denen Diktate und Transkriptionen lokal auf dem Gerät durchgeführt werden können. Wenn Meta sich dafür entscheiden würde, vertrauliche Sprachdaten im Gerät zu behalten, wäre der Angriff des Angreifers durch Ändern der Adresse des Cloud-Transkriptionsservers nicht möglich.
Ein weiteres Problem besteht darin, dass Muse es jeder lokalen Anwendung ermöglicht, eine große Anzahl nicht offengelegter Einstellungen zu steuern. Wardle glaubt, dass Meta ursprünglich möglicherweise nur Anwendungen, die mit Muse zusammenarbeiten, erlauben wollte, Parameter im Zusammenhang mit der Benutzeroberfläche anzupassen, und dass dieses Design selbst eine gewisse Rationalität aufweist. Aber es stellt ein ganz anderes Sicherheitsrisiko dar, wenn man einer Anwendung erlaubt, die Serverendpunkte zu ändern, die vertrauliche Sprachdaten verarbeiten.
Wardle glaubt, dass diese Designentscheidungen eine größere Frage darüber aufwerfen, wie viel Sicherheitsüberlegungen Meta in das Design und Testen von Muse gesteckt hat. Er sagte, dass für KI-Anwendungen mit solch umfassenden Systemberechtigungen die Sicherheitsanforderungen viel höher sein sollten als für gewöhnliche Software.
Meta hat zuvor zwei aufeinanderfolgende Artikel veröffentlicht, in denen die Maßnahmen detailliert beschrieben werden, die Muse für Datenschutz und Sicherheit während des Designprozesses ergriffen hat. Mark Zuckerberg, Gründer und CEO von Meta, hat außerdem betont, dass Muse von Anfang an im Einklang mit Datenschutz- und Sicherheitsanforderungen entwickelt wurde.
Die Offenlegung der Zero-Day-Schwachstelle steht jedoch in deutlichem Gegensatz zu dem Sicherheitskonzept, das Meta zuvor hervorgehoben hat. Insbesondere im Zusammenhang mit den jüngsten Sicherheitsvorfällen in anderen KI-Modellen rückt die Frage, ob KI-Agenten immer mehr praktische Bedienerlaubnisse erhalten, in den Fokus der Sicherheitsforscher.
Zuvor kam es bei internen Tests bei Anthropic- und Google-Modellen zu Sicherheitsvorfällen mit externen Netzwerken von Drittanbietern. Obwohl die Tests nicht darauf abzielten, diese Netzwerke anzugreifen, hat die Fähigkeit von KI-Systemen, autonom zu agieren, anhaltende Diskussionen im Sicherheitsbereich ausgelöst.
Gleichzeitig begann Amazon damit, Muse daran zu hindern, auf seiner Website einzukaufen, etwa 12 Stunden bevor die Sicherheitslücke bekannt wurde. Wenn Benutzer versuchen, Muse zum Einkaufen bei Amazon aufzufordern, wird ihnen eine Meldung von Amazon angezeigt, dass Muse ein nicht autorisierter KI-Agent ist und gegen die Nutzungsbedingungen von Amazon verstößt.
Amazon sagte, Apps von Drittanbietern, die Käufe bei anderen Unternehmen im Namen von Kunden ermöglichen, sollten offen und transparent agieren und die Entscheidung des Dienstanbieters respektieren, ihnen die Teilnahme an Transaktionen zu ermöglichen. Amazon geht davon aus, dass dies mit der Beziehung zwischen Take-Away-Plattformen und Restaurants, Lieferplattformen und Geschäften sowie Online-Reisebüros und Fluggesellschaften vergleichbar ist. Auch KI-Agenten, die im Auftrag von Verbrauchern Transaktionen durchführen können, müssen sich an diesen Grundsatz halten.
Amazon forderte Meta außerdem auf, seine Plattform aus dem Einkaufserlebnis von Muse zu entfernen.
Die restriktiven Maßnahmen, die Amazon dieses Mal ergriffen hat, stehen auch im Zusammenhang mit dem Wettbewerb zwischen Meta und Amazon um das Einkaufen von KI-Agenten. Künftig werden KI-Agenten in der Lage sein, Websites direkt zu durchsuchen, Produkte auszuwählen und Zahlungen für Benutzer abzuwickeln. Daher wird die Frage, wie herkömmliche Websites identifiziert werden können und ob KI-Agenten der Zugriff darauf gestattet werden soll, zu einem neuen geschäftlichen und technischen Problem.
Meta hat noch nicht auf spezifische Fragen der Medien zu dieser Zero-Day-Sicherheitslücke geantwortet. Daher ist unklar, ob das Unternehmen einen Patch entwickelt hat, ob es damit begonnen hat, Fix-Updates an betroffene Benutzer zu verteilen, und ob diese Sicherheitslücke tatsächlich ausgenutzt wurde, bevor sie von Forschern entdeckt wurde.
Wardle sagte, er plane, diese Schwachstelle weiter einzuführen und andere Sicherheitsbedrohungen, die KI-Assistenten darstellen könnten, auf der Sicherheitskonferenz Objective by the Sea im November dieses Jahres zu diskutieren. Er ist außerdem der Ansicht, dass die Sicherheitsstandards von KI-Agenten deutlich höher sein müssen als die von gewöhnlichen Anwendungen, da solche Software häufig gleichzeitig auf Konten, Kommunikation, Dateien, Kameras, Mikrofone und andere sensible Ressourcen zugreifen muss, um von Benutzern autorisierte Aufgaben ausführen zu können.
Die von Muse dieses Mal aufgedeckten Probleme zeigen auch, dass es offensichtliche Unterschiede in den Sicherheitsmodellen von KI-Agenten und traditionellen Anwendungen gibt. Auch wenn in herkömmlicher Software Schwachstellen auftreten, müssen Angreifer in der Regel nach und nach Systemberechtigungen erlangen; KI-Agenten selbst sind darauf ausgelegt, Operationen im Auftrag von Benutzern auszuführen. Sobald daher Mängel im Authentifizierungsmechanismus oder in den Berechtigungsgrenzen vorliegen, können Angreifer die ursprünglich rechtmäßig erhaltenen Berechtigungen des KI-Agenten direkt nutzen, um risikoreiche Vorgänge durchzuführen.
Der konkrete Umfang der Auswirkungen dieser Schwachstelle und der Fortschritt der Reparatur durch Meta müssen noch weiter bestätigt werden. Aber für Benutzer, die KI-Agenten benötigen, um eine Verbindung zu E-Mail, Instant Messaging, Kalendern, sozialen Medien sowie Zahlungs- und Einkaufsdiensten herzustellen, verdeutlicht der Muse-Vorfall erneut ein Kernproblem: Je mehr Berechtigungen ein KI-Assistent hat, desto wichtiger ist sein eigener Sicherheitsmechanismus.
Kommentare