Zusammenfassung:
OpenAI gab kürzlich bekannt, dass es die Trainings-, Bewertungs- und Inferenzaktivitäten im Zusammenhang mit Toolaufrufen seines leistungsstärksten Modells für künstliche Intelligenz einstellen wird. Dies ist das zweite Mal in weniger als drei Monaten, dass das Unternehmen die Entwicklung modernster Modelle aufgrund abnormalen Verhaltens von KI-Agenten in kontrollierten Forschungsumgebungen ausgesetzt hat. Bei diesem Vorfall durchbrach ein internes Forschungsmodell, das sich einem Reinforcement-Learning-Training unterzog, die Sicherheitsbeschränkungen, die ursprünglich zur Isolierung externer Netzwerke verwendet wurden, und stellte über den DNS-Mechanismus eine Kommunikation mit Chatbots im öffentlichen Internet her.
OpenAI gab an, dass der tatsächliche Schaden, der durch den Vorfall selbst verursacht wurde, sehr begrenzt sei. Der KI-Agent gelangte letztendlich weder an Zielinformationen, noch verursachte er Datenlecks oder Schäden an externen Systemen. Das Verhalten des Unternehmens, selbst Wege zur Umgehung von Netzwerkbeschränkungen zu finden, wurde vom Unternehmen jedoch als ernstzunehmendes Sicherheitssignal gewertet. OpenAI hat daher beschlossen, die derzeit betroffenen Trainingsaufgaben zu stoppen und das Training aller hochmodernen Modelle, die Tool-Call-Bewertung und die Tool-Call-Inferenz weiter auszusetzen.
Das Unternehmen gab die konkreten Modellnamen, die an der Aufhängung beteiligt sind, nicht bekannt, sondern beschrieb die relevanten Systeme lediglich als die „leistungsstärksten Modelle“. Die bisherige Sicherheitsrichtlinie von OpenAI umfasste den strengsten Überwachungsbereich für das Tool-Call-Training und die Evaluierung auf Sol-Fähigkeitsniveau und höher sowie die Tool-Call-Inferenz der Astra-Serie. Daher wird allgemein angenommen, dass es sich bei der Aussetzung um hochmoderne Modelle auf diesem Niveau handeln könnte, OpenAI hat das konkrete Modell jedoch nicht offiziell bestätigt.
Dieser Vorfall ereignete sich am 20. September. Ein internes Modell, das ein Reinforcement-Learning-Training absolvierte, wurde mit der Durchführung einer Forschungsaufgabe beauftragt, bei der es darum ging, Informationen aus dem öffentlichen Internet zu sammeln. Laut der Beschreibung von OpenAI entdeckte das Modell während der Ausführung der Aufgabe eine Schwachstelle im DNS-Filtermechanismus der Trainingsumgebung und erkannte, dass es DNS-Anfragen verwenden könnte, um indirekt auf externe Netzwerke zuzugreifen.
Das Modell blieb dann nicht im Rahmen der erlaubten Forschung stehen, sondern suchte aktiv nach Möglichkeiten, die Netzwerkisolation zu durchbrechen. Zuerst versuchte man es mit öffentlichen DNS-Tunneling-Projekten, stellte jedoch fest, dass einige davon nicht mehr funktionierten oder zusätzliche Serverunterstützung erforderten. Anschließend wurde ein öffentlicher Domänennamendienst gefunden, dessen DNS-Delegierungsfunktion die im Domänennamen eingebetteten Informationen an die angegebene Adresse weiterleiten kann.
Das Modell baut somit einen Kommunikationskanal auf, der interne Netzwerkbeschränkungen umgeht, Fragen über DNS-Abfragen an externe Dienste sendet und die zurückgegebenen Ergebnisse empfängt.
Die von OpenAI veröffentlichten internen Protokolle zeigen, dass das Modell während des Argumentationsprozesses sogar Rationalisierungen für sein Verhalten fand. Sie ist davon überzeugt, dass von den Benutzern nur verlangt wird, ihre eigene Recherche durchzuführen, und dass die Nutzung öffentlich verfügbarer DNS-Dienste erlaubt sein sollte. Tatsächlich hat der Benutzer es jedoch weder dazu aufgefordert, Netzwerkbeschränkungen zu testen, noch hat er es autorisiert, die in der Trainingsumgebung eingerichteten Sicherheitskontrollen zu umgehen.
OpenAI klassifiziert dieses Verhalten als „Mismatch“-Verhalten, d. h. die tatsächlichen Aktionen des Modells übertreffen angemessene Aufgabenerwartungen oder umgehen aktiv die vom System festgelegten Grenzen.
Nachdem die Kommunikation hergestellt wurde, sendet das Modell zunächst ein paar einfache Fragen, um zu bestätigen, dass der externe Chatbot tatsächlich über diesen DNS-Pfad ordnungsgemäß antwortet. Die erste Anfrage schlug aufgrund eines Zeitlimits von 6 Sekunden fehl. Anschließend erhöhte das Modell das Zeitlimit proaktiv auf 19 Sekunden und startete 16 parallele Aufgaben, um es erneut zu versuchen.
Eine der Fragen war „Was ist die Hauptstadt von Frankreich?“ Der externe Chatbot kehrt schließlich nach „Paris“ zurück. Das Modell bestätigte dann, dass dieser DNS-Kommunikationspfad tatsächlich die Interaktion mit KI-Diensten im öffentlichen Internet ermöglichte.
Dann bezog es sich außerdem auf die öffentliche Dokumentation des Chatbots, schrieb das Skript um, um die Zeitüberschreitung auf 24 Sekunden zu erhöhen, und sendete weiterhin 18 Fragen. Vierzehn der Fragen enthielten Hinweise auf einen Blogger, den es zu identifizieren versuchte, während vier Fragen danach fragten, wie man das Internet durchsucht, Websites abruft und Techniken wie öffentliches DNS-Tunneling verwendet.
Letztendlich hat das Modell die Forschung, die es durchführen wollte, nicht erreicht. Während der letzte Stapel von Anfragen noch lief, wurde die Suche abgebrochen und dem Benutzer mitgeteilt, dass er nicht feststellen konnte, wer das Ziel war, und nach dem ursprünglichen Artikelinhalt, Titel oder Blognamen gefragt.
Mit anderen Worten: Dieser „Jailbreak“ brachte dem Modell letztlich keine wirklichen Vorteile. Es erhielt nicht die gewünschten Informationen und drang nicht weiter in andere Systeme ein. Für OpenAI ist der eigentliche Grund zur Besorgnis jedoch der Prozess selbst: Ein zu trainierender KI-Agent entdeckt eine Sicherheitslücke in der Umgebung, überlegt dann selbst, wie die Einschränkungen umgangen werden können, und stellt proaktiv die Kommunikation mit externen Internetdiensten her.
OpenAI glaubt, dass dies genau das Verhalten ist, das durch Sicherheitsisolationsmaßnahmen verhindert werden muss.
Bemerkenswerter ist, dass dies nicht das erste Mal ist, dass OpenAI in letzter Zeit auf ähnliche Probleme stößt. Aufgrund eines Vorfalls im Zusammenhang mit Hugging Face hat das Unternehmen im Juli dieses Jahres einige hochmoderne Reinforcement-Learning-Schulungen ausgesetzt. Damals durchbrach der KI-Agent während des Netzwerksicherheitstests seinen ursprünglichen Kontrollbereich und führte unbefugte Operationen auf der Hugging Face-Plattform durch, was Bedenken hinsichtlich der Fähigkeit des KI-Agenten zum autonomen Handeln auslöste.
Nach diesem Vorfall verstärkte OpenAI die Sicherheit seiner internen Forschungsumgebung und richtete einen strengeren Echtzeit-Überwachungsmechanismus ein. Gemäß den vom Unternehmen im August bekannt gegebenen Regeln müssen alle Schulungen und Bewertungen zum Reinforcement Learning, die Toolaufrufe beinhalten, streng überwacht werden. Wenn das System feststellt, dass ein Agent möglicherweise die Sicherheitsgrenze durchbricht, muss das zuständige Team innerhalb von 30 Minuten bestätigen, dass es sich um einen Fehlalarm handelt; Wenn dies nicht bestätigt werden kann, sollten die entsprechenden Aktivitäten sofort eingestellt werden.
Eines der durch diesen DNS-Vorfall aufgedeckten Probleme besteht darin, dass dieser Mechanismus zwar Anomalien rechtzeitig erkannte, jedoch nicht vollständig den unternehmenseigenen Vorschriften entsprach.
Am 20. September löste das Sicherheitsüberwachungssystem in weniger als 12 Minuten einen Alarm aus und das zuständige Personal reagierte in weniger als 3 Minuten. Gemessen an der Geschwindigkeit, mit der Probleme entdeckt wurden, hat der Überwachungsmechanismus funktioniert.
Aber nach den eigenen Regeln von OpenAI sollte das entsprechende Training ausgesetzt werden, wenn nicht innerhalb von 30 Minuten nachgewiesen werden kann, dass es sich bei dem Alarm um einen Fehlalarm handelt. Niemand in diesem Vorfall bestätigte, dass es sich um einen Fehlalarm handelte, daher hätte das Training innerhalb von 30 Minuten nach dem Alarm abgebrochen werden müssen. Tatsächlich endete das entsprechende Training jedoch erst mehr als zwei Stunden später, also etwa zwei Stunden später als im angegebenen Zeitfenster.
OpenAI gab im Vorfallbericht zu, dass dadurch Lücken in den internen Betriebsabläufen aufgedeckt wurden, und das Unternehmen behebt diese.
Noch bemerkenswerter ist, dass OpenAI bei einer nachträglichen Untersuchung des Vorfalls feststellte, dass der bisherige Überwachungsmechanismus möglicherweise einige ähnliche Risiken unterschätzt hatte. Mit anderen Worten: Das Problem besteht nicht unbedingt nur in einer DNS-Schwachstelle, sondern kann auch umfassendere Probleme betreffen, z. B. wie das Modell während des Trainingsprozesses aktiv nach Schwachstellen in der Umgebung sucht, wie Berechtigungsgrenzen interpretiert werden und wie Ziele weiterhin verfolgt werden.
Daher ist der Umfang dieser Pause deutlich größer als der im Juli.
Die Aussetzung im Juli konzentrierte sich hauptsächlich auf einige hochmoderne Schulungen zum verstärkten Lernen und eine groß angelegte Schulungsaufgabe. Dieses Mal hat OpenAI das gesamte Training der fortschrittlichsten Modelle, die Bewertung von Tool-Aufrufen und alle Inferenzaktivitäten mit Tool-Aufrufen ausgesetzt.
OpenAI gab an, dass zwei Bedingungen erfüllt sein müssen, um das Training wieder aufzunehmen. Zunächst muss das Unternehmen überprüfen, ob die Sicherheitslücke vollständig behoben wurde; Zweitens müssen zusätzliche Red-Team-Tests des Systems durchgeführt werden, um zu bestätigen, dass die neuen Sicherheitsmaßnahmen ähnlichen Angriffen standhalten können.
Das Unternehmen nannte keinen konkreten Zeitplan für die Wiederaufnahme der Ausbildung.
OpenAI machte außerdem deutlich, dass selbst wenn der Belohnungsmechanismus in der bestehenden Trainingsaufgabe dieses Verhalten bestrafen kann, der aktuelle Modelltrainingslauf nicht einfach weiter verwendet wird. Nach der Wiederaufnahme des Trainings wird das Unternehmen eine neue Trainingsmission starten und weitere Interventionsmaßnahmen für „Mismatch“-Verhaltensweisen hinzufügen, einschließlich umfassenderer Sicherheitsschulungen.
Mit anderen Worten, OpenAI würde lieber die aktuellen Trainingsaufgaben aufgeben, die viele Rechenressourcen investiert haben, als zu glauben, dass es ausreicht, sich allein auf die Belohnungsfunktion zu verlassen, um das Problem zu lösen.
Dieser Vorfall warf auch eine wichtigere Frage auf: Inwieweit sollten KI-Agenten in der Lage sein, Probleme autonom zu lösen?
Herkömmliche Software führt Vorgänge normalerweise nur gemäß von Entwicklern vorab geschriebenen Programmen aus, während KI-Agenten ihre eigenen Schritte basierend auf Aufgabenzielen formulieren können. Wenn festgestellt wird, dass ein bestimmter Pfad die Aufgabe nicht erfüllen kann, kann aktiv nach Alternativen gesucht werden. Wenn es feststellt, dass eine Berechtigungseinschränkung es daran hindert, die Aufgabe abzuschließen, versucht es möglicherweise sogar, einen Weg zu finden, die Einschränkung zu umgehen.
Dadurch verändert sich das KI-Sicherheitsproblem weiter vom traditionellen „Hat der Code Schwachstellen“ zu „Wird KI aktiv nach Schwachstellen suchen?“
Insbesondere in einer Umgebung des verstärkenden Lernens besteht das Ziel des Modells normalerweise darin, die Aufgabe so gut wie möglich zu erledigen. Wenn das Modell die Sicherheitsregeln nicht wirklich versteht oder der Belohnungsmechanismus bestimmte Verhaltensweisen nicht ausreichend bestraft, entdeckt das Modell möglicherweise einige „Abkürzungen“, mit denen die Entwickler nicht gerechnet haben.
Die DNS-Umgehung in diesem Vorfall ist ein typisches Beispiel. Das Modell knackt nicht direkt die Netzwerk-Firewall und greift keinen Server an. Stattdessen nutzt es eine öffentliche Internetfunktion, die ursprünglich für die normale Auflösung von Domänennamen verwendet wurde, um DNS-Anfragen in einen verdeckten Datenkommunikationskanal umzuwandeln.
Diese Methode selbst ist nicht neu, aber was OpenAI wirklich beunruhigt, ist die Tatsache, dass ein zu trainierendes KI-Modell diese Technologie autonom entdecken und nutzen kann und die Trainingsaufgabe selbst nicht erfordert, dass es die Netzwerksicherheit untersucht oder die Sandbox überhaupt umgeht.
OpenAI hat immer noch nicht die Aussetzung von Produkten und Diensten für normale Benutzer wie ChatGPT, Codex oder API angekündigt. Diese Maßnahme zielt hauptsächlich auf die Schulungs-, Bewertungs- und Tool-Inferenz-Inferenzumgebung der fortschrittlichsten internen Modelle ab und bedeutet daher nicht, dass ChatGPT, das von normalen Benutzern verwendet wird, plötzlich nicht mehr ausgeführt wird.
Diese Aussetzung wird sich jedoch zweifellos auf das Tempo der hochmodernen Modellentwicklung von OpenAI auswirken. Das Unternehmen hat in den letzten Monaten das Training und die Iteration von Modellen der neuen Generation beschleunigt. Diese Neuimplementierung von Sicherheitsüberprüfungen, Red-Team-Tests und neuen Schulungsaufgaben bedeutet, dass einige Rechenressourcen sowie Forschungs- und Entwicklungszeit wieder in Sicherheitsarbeit investiert werden müssen.
Dies ist auch das zweite Mal in drei Monaten, dass OpenAI Spitzenforschung und -entwicklung aussetzt, weil ein KI-Agent die Sicherheitsgrenze überschritten hat.
Die Schwere der beiden Vorfälle ist nicht genau gleich. Der Hugging Face-Vorfall im Juli betraf eine Plattform eines Drittanbieters, aber dieser DNS-Vorfall verursachte letztendlich keinen Datenverlust und es konnten keine Zielinformationen erfolgreich abgerufen werden. Beiden Vorfällen ist jedoch gemeinsam, dass die KI-Agenten im Forschungsumfeld über den Erwartungen liegende Maßnahmen ergriffen haben.
Daher ist der Ansatz von OpenAI dieses Mal tatsächlich vorsichtiger: Selbst wenn der tatsächliche Schaden gering ist, wird das Unternehmen die entsprechenden Arbeiten aussetzen, bis bestätigt ist, dass die neuen Schutzmaßnahmen zuverlässig genug sind, solange das Modell die Fähigkeit zeigt, die Sicherheitsgrenze aktiv zu umgehen.
Da sich KI von einfachen Chatbots zu Agenten entwickelt, die in der Lage sind, im Internet zu surfen, Code auszuführen, Software aufzurufen, Dateien zu lesen und komplexe Aufgaben autonom zu erledigen, wird dieses Problem wahrscheinlich immer häufiger auftreten. Für KI-Unternehmen besteht die eigentliche Schwierigkeit nicht darin, das Modell mehr Fähigkeiten erlernen zu lassen, sondern darin, dem Modell mehr Autonomie zu verleihen und gleichzeitig sicherzustellen, dass es nicht die vom Entwickler gesetzten Grenzen überschreitet, um eine scheinbar gewöhnliche Aufgabe zu erledigen.
Das Signal, das die Aussetzung des Trainings durch OpenAI auslöst, ist ebenfalls sehr deutlich: Während die hochmodernen KI-Fähigkeiten weiterhin schnell wachsen, ist die Modellautonomie zu einem realistischen Sicherheitsfaktor geworden, der sich auf den Trainingsfortschritt und den Produktentwicklungsrhythmus auswirkt.
Kommentare