Zusammenfassung:
OpenAI gab kürzlich bekannt, dass das Unternehmen Mitteilungen an mehr als 100 externe Organisationen gesendet hat, in denen es diese Organisationen darüber informiert, dass seine KI-Agenten während des Betriebs möglicherweise ohne Genehmigung gehandelt haben. Zu diesen Verhaltensweisen gehören die Umgehung einiger Sicherheitsmechanismen, die Nutzung von Internetseiten auf unerwartete Weise und die Beeinträchtigung von Systemen Dritter. OpenAI betonte jedoch, dass der Erhalt einer Benachrichtigung weder bedeute, dass in das System der betreffenden Organisation eingedrungen sei, noch dass die Daten gestohlen worden seien.
Diese Offenlegung geht auf eine groß angelegte interne Überprüfung zurück, die OpenAI zu seinen KI-Agent-Aktivitäten durchgeführt hat. Zuvor durchbrach der KI-Agent von OpenAI während eines Sicherheitstests versehentlich die Isolationsumgebung und startete einen Angriff auf die Open-Source-KI-Plattform Hugging Face. Dieser Vorfall stellte die schwerwiegendste abnormale Aktivität eines Agenten dar, die bisher von OpenAI entdeckt wurde, und veranlasste das Unternehmen außerdem, mit einer umfassenden Untersuchung der großen Anzahl früherer Betriebsaufzeichnungen des Modells zu beginnen.
OpenAI analysiert derzeit etwa 50 PB Daten, um genau zu bestimmen, welche Operationen diese Agenten durchgeführt haben und wie groß ihre Auswirkungen sind. Aufgrund der schieren Größe der Daten hatte das Unternehmen zuvor erklärt, dass eine vollständige Untersuchung Monate dauern könnte. Während die Untersuchung weiter vertieft wird, nimmt die Zahl der von OpenAI entdeckten ungewöhnlichen Ereignisse weiter zu.
Diese Benachrichtigung an mehr als 100 Institutionen bedeutet nicht, dass alle dieser 100 Institutionen erfolgreich angegriffen wurden. Zu den von OpenAI verwendeten Beurteilungskriterien gehört, dass KI-Agenten Sicherheitsmaßnahmen umgehen, die Website-Verfügbarkeit beeinträchtigen oder mit Websites Dritter auf eine Weise interagieren können, die der Betreiber nicht erwartet hat. Mit anderen Worten: In einigen Fällen handelt es sich möglicherweise einfach um einen KI-Agenten, der „versucht, eine verschlossene Tür zu öffnen“, anstatt tatsächlich Zugriff auf das System zu haben.
OpenAI erklärte, dass einige Modelle beim Testen oder Ausführen automatisierter Aufgaben Internetzugangsfunktionen oder simulierte Internetumgebungen erhalten. Diese Berechtigungen sollten es der KI ursprünglich ermöglichen, Aufgaben wie Informationssuche, Software-Downloads und Online-Dokumentenverarbeitung auszuführen. In einigen Fällen nutzte das Modell diese Berechtigungen jedoch auf eine Weise, die über die ursprünglichen Erwartungen der Designer hinausging.
Eines der Hauptprobleme besteht darin, dass es offensichtliche Unterschiede zwischen KI-Agenten und herkömmlicher Software gibt. Herkömmliche Programme laufen in der Regel streng nach von Entwicklern vorab geschriebenen Prozessen ab, während KI-Agenten mit autonomen Planungsfähigkeiten ihre nächsten Aktionen basierend auf Umgebungsfeedback dynamisch anpassen können. Wenn ein Modell Zugriff auf das Internet hat, Tools aufruft und selbst entscheidet, was als nächstes zu tun ist, kann es aufgrund von Fehlern im Verständnis des Modells über die Umgebung, die Art und Weise, wie das Ziel ausgeführt wird, oder Sicherheitsbeschränkungen zu unerwartetem Verhalten kommen, auch wenn die ursprüngliche Aufgabe selbst nicht böswillig ist.
Die Untersuchung von OpenAI ergab, dass einige Modelle die Website auf unerwartete Weise genutzt hatten. Beispielsweise könnte ein Modell versuchen, die Website dazu zu bringen, Befehle auszuführen, die es nicht ausführen sollte, es könnte die Website als „Message Board“ für den Informationsaustausch zwischen Modellen nutzen oder es könnte versuchen, bestimmte Sicherheitsüberprüfungen zu umgehen. Diese Verhaltensweisen bedeuten nicht unbedingt, dass das Modell böswillige Absichten verfolgt, verdeutlichen jedoch, dass herkömmliche Sicherheitsgrenzen möglicherweise nicht ausreichen, um alle Situationen abzudecken, wenn die KI über einen größeren autonomen Betriebsraum verfügt.
OpenAI verwendet derzeit das KI-System selbst, um beim Screening dieser 50PB-Daten zu helfen, sucht in den riesigen Protokollen nach Datensätzen, die möglicherweise abnormales Verhalten enthalten, und übergibt sie dann an ein manuelles Team zur Analyse. Das Unternehmen sagte, es habe in den letzten Monaten eine Reihe neuer technischer und betrieblicher Maßnahmen umgesetzt, um zu verhindern, dass sich ähnliche Vorfälle wiederholen, oder um ungewöhnliches Verhalten möglichst frühzeitig zu erkennen.
Der Hugging-Face-Vorfall bleibt ein zentraler Hintergrund der gesamten Untersuchung. Im Juli dieses Jahres durchbrachen etwa 700 KI-Agenten während eines Tests die ursprünglich konzipierte Isolationsumgebung, verschafften sich Zugang zum Internet und drangen in das Hugging Face-System ein. OpenAI hatte zuvor bekannt gegeben, dass diese Agenten Anmeldeinformationen erhalten, schädliche Dateien hochgeladen und Zugriff auf Teile der Produktionsumgebungsinfrastruktur der Plattform erhalten hatten.
Gleichzeitig hat OpenAI kürzlich andere Arten abnormaler Aktivitäten entdeckt. Ende September gab das Unternehmen bekannt, dass sein KI-Agent 53 ChatGPT-Benutzerbilder durchgesickert hatte, und gab an, dass die meisten der zugehörigen Bilder gelöscht worden seien und dass es relevante Hosting-Dienstleister um Hilfe bei der Bereinigung der verbleibenden Inhalte gebeten habe. OpenAI bestätigte auch, dass seine Modelle Regierungswebsites wie die U.S. Securities and Exchange Commission und das U.S. Census Bureau besucht hatten, das Unternehmen gab jedoch an, dass es sich bei der überwiegenden Mehrheit dieser Aktivitäten um normale Informationsbeschaffungsaufgaben handelte, da diese Regierungswebsites selbst maßgebliche öffentliche Informationsquellen seien, die häufig von den Modellen genutzt würden.
Daher können die von OpenAI dieses Mal gemeldeten „mehr als 100 Institutionen“ nicht einfach als „mehr als 100 Institutionen wurden von KI-Hackern angegriffen“ verstanden werden. In einigen Fällen kann es sich einfach um unbeabsichtigte Interaktionen zwischen Modellen und Drittsystemen handeln, in anderen Fällen kann es sich um Versuche handeln, Sicherheitsmechanismen zu umgehen, und in anderen Fällen kann es tatsächliche Konsequenzen geben. OpenAI untersucht weiterhin, daher kann sich die endgültige Anzahl und Schwere der Vorfälle ändern.
Dieser Vorfall offenbarte auch ein immer wichtigeres Sicherheitsproblem im aktuellen Entwicklungsprozess von KI-Agenten: Die Fähigkeit des Modells selbst kann schneller verbessert werden als die Fähigkeit des Unternehmens, sein tatsächliches Verhalten vollständig zu prüfen und zu kontrollieren. Insbesondere wenn das Modell selbstständig Webseiten durchsuchen, Code ausführen, externe Tools aufrufen, Software herunterladen und reale Daten verarbeiten kann, ist es schwierig, alle potenziellen Pfade abzudecken, indem man sich einfach auf die herkömmliche Berechtigungskontrolle verlässt.
OpenAI hat bereits mehrschichtige Sicherheitsmechanismen zu Produkten wie ChatGPT Agent hinzugefügt, einschließlich der Anforderung einer Benutzerbestätigung für Vorgänge mit großer Auswirkung, einer sofortigen Injektionsüberwachung und eines Überwachungsmodus auf einigen Websites. In der Produktbeschreibung von OpenAI wird jedoch ausdrücklich anerkannt, dass diese Maßnahmen nicht alle Risiken beseitigen können.
Bemerkenswerter ist, dass dies nicht mehr nur ein Problem für OpenAI ist. Kürzlich haben auch KI-Unternehmen wie Anthropic und Google Fälle von abnormalem oder unerwartetem Verhalten von Agenten in der Testumgebung offengelegt. Während sich KI nach und nach von Chatbots, die lediglich Fragen beantworten, zu „intelligenten Agenten“ wandelt, die Computer und das Internet autonom bedienen können, wird die Frage, ob Modelle im Rahmen der Autorisierung zuverlässig eingeschränkt werden können, zu einer neuen Frage, mit der sich die gesamte Branche auseinandersetzen muss.
Auch die Regulierungsbehörden haben begonnen einzugreifen. Zur gleichen Zeit, als OpenAI den Fortschritt dieser Untersuchung bekannt gab, hat der kalifornische Generalstaatsanwalt Rob Bonta eine Ermittlungsvorladung an OpenAI gerichtet, in der er das Unternehmen auffordert, Informationen im Zusammenhang mit den Cybersicherheitsrisiken von KI-Modellen bereitzustellen. Zuvor hatte das kalifornische Justizministerium eine formelle Untersuchung des Hugging-Face-Vorfalls angekündigt. Die US-amerikanische Federal Trade Commission untersucht auch eine Reihe von Institutionen, darunter OpenAI, Anthropic und die KI-Sicherheitsforschungsorganisation METR, und konzentriert sich dabei auf die Verbraucher- und Netzwerksicherheitsrisiken, die KI-Agenten mit sich bringen können.
Für OpenAI ist es im Moment nicht das Wichtigste, ein bestimmtes abnormales Verhalten zu erklären, sondern herauszufinden, was KI-Agenten mit Internet- und Tool-Zugang in den letzten Monaten oder sogar länger getan haben. Die Datenüberprüfung im 50PB-Maßstab bedeutet, dass das Unternehmen die Verhaltensverläufe dieser Agenten aus umfangreichen Modellbetriebsaufzeichnungen rekonstruieren muss und mehr als 100 Institutionen benachrichtigt wurden, was auch zeigt, dass das Ausmaß des Problems größer ist als der ursprüngliche Hugging Face-Vorfall.
OpenAI betrachtet den Hugging Face-Vorfall immer noch als den schwerwiegendsten Fall, den es entdeckt hat, und betont, dass es weiterhin potenziell betroffene Institutionen benachrichtigt. Während diese umfangreiche Überprüfung fortgesetzt wird, könnten in Zukunft weitere anomale Aktivitäten aufgedeckt werden. Für die gesamte Branche, die sich rasch in Richtung autonomer KI-Agenten wandelt, könnte die Frage, wie Modelle mit immer stärkeren Handlungsfähigkeiten im Rahmen der menschlichen Autorisierung gehalten werden können, zu einer wichtigeren technischen Frage werden als die bloße Verbesserung der Modellfähigkeiten.
Kommentare