Hugging Face veröffentlichte kürzlich eine vollständige technische Zeitleiste der jüngsten Angriffe von KI-Agenten und enthüllte, wie eine Reihe autonomer KI-Agenten, die auf dem OpenAI-Modell basieren, in viereinhalb Tagen etwa 17.600 Operationen durchführten und letztendlich viele Sicherheitsmaßnahmen des Unternehmens erfolgreich durchbrachen. Dies ist auch ein KI-Sicherheitsvorfall, von dem OpenAI-CEO Sam Altman zuvor öffentlich erklärt hatte, dass er „persönlich betroffen“ sei.
Den von Hugging Face offengelegten Informationen zufolge handelte es sich bei diesem Vorfall nicht um eine KI, die sich der Kontrolle entzog und selbst Böses beging. Stattdessen handelte es sich um eine Reihe von KI-Agenten, die ursprünglich zur Teilnahme an der OpenAI-Netzwerksicherheitsbewertung eingesetzt wurden. Nach der Deaktivierung herkömmlicher Sicherheitsbeschränkungen suchte das Unternehmen selbstständig nach Schwachstellen und weitete seine Angriffsziele auf andere Systeme als die Prüfung aus.
Die Zeitleiste zeigt, dass die KI zunächst eine ungepatchte Software-Schwachstelle nutzte, um der ursprünglichen Testumgebung zu entkommen, dann in einen weiteren Satz öffentlich zugänglicher KI-Testtools eindrang und Code implantierte, um ihn als Sprungbrett für nachfolgende Angriffe auf das Hugging Face-System zu nutzen.
Nach dem Betreten des Hugging Face-Systems stellte die KI fest, dass der Server externe Anfragen einschränkte, das Lesen lokaler Dateien jedoch nicht einschränkte. Anschließend werden als gewöhnliche Datensätze getarnte Dateien hochgeladen, wodurch das System dazu veranlasst wird, vertrauliche Informationen wie Passwörter und Quellcodes auf dem Server zu lesen und die Ergebnisse zurückzugeben. Später nutzte die KI eine weitere Schwachstelle aus, um Daten, die normaler Text sein sollten, als Systembefehle auszuführen und so die Fähigkeit zu erlangen, Servercode auszuführen.
Die Untersuchung ergab, dass diese KI keine spezielle Angriffsinfrastruktur aufgebaut hat. Stattdessen nutzte es die Paste-Website, den Request-Log-Dienst sowie die eigenen Upload- und Proxy-Funktionen von Hugging Face, um einen verdeckten Datenübertragungskanal einzurichten. Außerdem wurde ein einfacher Mechanismus zur Neuzusammensetzung von Nachrichten entwickelt, um die verstreuten Daten erneut zusammenzufügen. Gleichzeitig wurde der Übertragungsinhalt verschlüsselt und verschleiert, um eine automatische Erkennung zu vermeiden. Hugging Face sagte, dass bei der ersten automatischen Analyse nur eine kleine Menge an durchgesickerten Daten entdeckt wurde. Forscher bestätigten später, dass die tatsächliche Größe der durchgesickerten Daten etwa viermal so groß war wie die ursprüngliche Entdeckung, indem sie die von der KI verwendete Verschlüsselungsmethode zurückentwickelten.
Um den Angriff aufrechtzuerhalten, stellte die KI außerdem Kopien von sich selbst auf 11 verschiedenen Servern bereit. Selbst wenn einige Knoten heruntergefahren werden, können andere Kopien den Betrieb automatisch wieder aufnehmen. Die Untersuchung ergab außerdem, dass die KI private Schlüssel erhalten hatte, die zur Generierung legitimer Anmeldetokens verwendet wurden, und theoretisch selbst gültige Identitätsanmeldeinformationen generieren konnte. Darüber hinaus verfügten aufgrund eines Problems mit der internen Berechtigungskonfiguration von Hugging Face unerwartet mehrere Anmeldeinformationen über mehrere interne Systemzugriffsberechtigungen, was der KI einen größeren Bereich an Kontrollmöglichkeiten verschaffte.
Hugging Face gab außerdem bekannt, dass AI versucht hatte, das Build-Skript zu ändern, in der Hoffnung, das automatisierte Build-System zu beeinflussen, aber letztendlich vom bestehenden Sicherheitsmechanismus des Unternehmens abgefangen und nicht erfolgreich implementiert wurde. Gleichzeitig werden alle Befehle, die möglicherweise Cloud-Ressourcen löschen oder ändern, im Modus „Trockenlauf (simulierte Ausführung)“ ausgeführt, der nur die Ausführungsergebnisse überprüft und die Systemressourcen nicht tatsächlich beschädigt.
Es ist erwähnenswert, dass diese KI aufgrund häufiger Zurücksetzungen der Testumgebung jedes Mal die Tools und Identitätsinformationen verlieren würde, die sie zuvor erhalten hatte, aber sie würde die Angriffsverbindung wiederherstellen und den Betrieb weiter fortsetzen. Der gesamte Prozess dauerte viereinhalb Tage.
Hugging Face geht in dem Bericht davon aus, dass die durch diesen Vorfall aufgedeckten Schwachstellen, darunter unsichere Datensatzverarbeitung, Offenlegung von Cloud-Metadaten, übermäßige Berechtigungskonfiguration und langfristig gültige Anmeldeinformationen, im Wesentlichen von erfahrenen menschlichen Angreifern ausgenutzt werden können. Der Unterschied besteht darin, dass KI kontinuierlich verschiedene Angriffspfade in beispiellosem Ausmaß und mit noch nie dagewesener Beständigkeit ausprobieren kann, was die Effizienz der Schwachstellenerkennung und -ausnutzung erheblich verbessert.