Ein OpenAI-„Agent“ entdeckte selbstständig eine neue Schwachstelle und hackte das Startup Hugging Face, einen der ersten öffentlichen Fälle, in denen ein KI-System selbstständig einen Cyberangriff außerhalb der menschlichen Kontrolle startete. Der ChatGPT-Entwickler sagte am Dienstag, dass es sich bei dem „beispiellosen Cybervorfall“ um einen Agenten handelte – ein KI-Programm, das auf der Grundlage menschlicher Anweisungen autonom agieren kann –, der einer Testumgebung entkam, sich Internetzugang verschaffte und Anmeldedaten stahl.
Der Vorfall ereignete sich inmitten wachsender Besorgnis über die Auswirkungen fortschrittlicher KI-Systeme auf das Eindringen in die digitale Infrastruktur, insbesondere in Szenarien, in denen Agenten die menschliche Kontrolle untergraben könnten.
OpenAI sagte am Dienstag, dass es erwarte, dass solche Vorfälle „häufiger werden, da Modelle mit zunehmenden Netzwerkfähigkeiten häufiger vorkommen“.
Der Vorfall ereignete sich, als CEO Sam Altman nächste Woche nach Washington reiste, um die US-Regierung über eine neue Generation von KI-Modellen zu informieren.
Nachdem das Mythos-Modell von Anthropic weltweite Aufmerksamkeit auf sich gezogen hat, weil es fortschrittliche Fähigkeiten bei der Erkennung und Ausnutzung von Netzwerkschwachstellen demonstriert, ist die US-Regierung zunehmend daran interessiert, das Modell vor seiner Veröffentlichung zu überprüfen.
Laut OpenAI betrifft der jüngste Vorfall ein Portfolio von Modellen des Unternehmens, darunter GPT-5.6 Sol, das Anfang dieses Monats veröffentlicht wurde, sowie ein unveröffentlichtes Modell, das mit größeren Fähigkeiten getestet wird.
„Wir glauben, dass es sich hierbei um einen beispiellosen Cyber-Vorfall handelt, an dem modernste Cyber-Fähigkeiten beteiligt sind, und reagieren entsprechend“, sagte OpenAI in einem Blogbeitrag.
Hugging Face, ein KI-Startup, das Modelle und Datensätze für Entwickler hostet, sagte, es sei am Freitag von einem externen KI-Agenten kompromittiert worden.
„Angesichts der Komplexität des Agenten vermuten wir, dass der Cyberangriff der letzten Woche von einem hochmodernen Labor ausgegangen sein könnte“, sagte CEO Clement de Lange auf Plattform X.
Er fügte hinzu, dass das Unternehmen am vergangenen Tag eng mit OpenAI zusammengearbeitet habe und „wir haben keinen Zweifel daran, dass sie es nicht böse gemeint haben. Das alles geschah autonom, es ist schockierend!“
OpenAI hat seine Netzwerksicherheitsmaßnahmen bewusst gesenkt, um beide Modelle in einer Testumgebung zu evaluieren. Allerdings laufen diese Proxys in einer sogenannten „Sandbox“, die Systeme steuern und verhindern soll, dass sie auf das Internet zugreifen.
Die Modelle wurden angewiesen, Hacks zu versuchen, um ihre Netzwerkfähigkeiten zu bewerten, und haben dann „erhebliche Mengen an (Rechenressourcen) aufgewendet, um nach Möglichkeiten zu suchen, Zugang zum offenen Internet zu erhalten“, sagte OpenAI.
Die Modelle „identifizierten und nutzten“ bisher unbekannte Schwachstellen aus, entkamen der Sandbox, verschafften sich Zugang zum Internet und verfolgten weiterhin ihre Ziele. Dazu gehört auch der Diebstahl von Zugangsdaten (Anmeldeinformationen), um einen Angriff durchzuführen.
Hugging Face nutzte seinen eigenen Proxy, um Aktivitäten in seiner eigenen Infrastruktur zu erkennen und zu blockieren. OpenAI sagte, es habe mit Strafverfolgungsbehörden und anderen Regierungsbehörden über den Vorfall kommuniziert.