Zusammenfassung:
OpenAI beschloss, weiterhin „grenzüberschreitende“ KI-Vorfälle offenzulegen, stieß jedoch im ersten Schritt auf Schwierigkeiten.
Am 16. September kündigte OpenAI sechs Berichte über abnormales Modellverhalten an und leitete einen neuen Untersuchungs- und Offenlegungsprozess ein. Wenn Mitarbeiter künftig feststellen, dass das Modell ihre Befugnisse überschreitet, Beschränkungen verheimlicht oder umgeht, können sie eine Untersuchung einleiten; Qualifizierte Fälle werden je nach Komplexität unterschiedlich offengelegt.
Am selben Tag ergänzten SentinelLABS und externe Forscher weitere Spuren, die der OpenAI-Agent im Mai dieses Jahres aus den öffentlichen Aufzeichnungen von Hugging Face hinterlassen hatte. OpenAI hat einige seiner Aktivitäten zuvor offengelegt, die spezifischen Konten, Weiterleitungscodes, Tabellen mit Erkennungsformeln und Kontoregistrierungsverfahren wurden jedoch alle durch externe Untersuchungen rekonstruiert.
Diese Beweise beweisen weder, dass das Programm erfolgreich ausgeführt wurde, noch weisen sie darauf hin, dass es sich bei dem Vorfall im Mai um dieselbe Operation wie beim Einbruch im Juli handelte.
Sie offenbaren ein weiteres Problem: Wenn die Aktionen eines Agenten über verschiedene Plattformen verteilt sind, verfügt möglicherweise kein einzelnes Unternehmen über eine vollständige Aufzeichnung.
Was im Mai passiert ist, da sind noch ein paar weitere Puzzleteile
Am 21. Juli gab OpenAI bekannt, dass Agenten, die an Netzwerksicherheitstests teilnahmen, interne Kontrollen umgingen, auf das öffentliche Netzwerk zugriffen und in einige Systeme von Hugging Face eindrangen. Das Unternehmen nannte es später einen „beispiellosen Cyber-Vorfall“.
Diese externe Untersuchung hat das Datum der Invasion nicht auf Mai vorverlegt.
OpenAI hat bereits im Mai einige ungewöhnliche Aktivitäten offengelegt, und die neuen Ergänzungen sind spezifische Konten und öffentliche Einreichungsaufzeichnungen. Sie ermöglichen es der Außenwelt, die interne Zeitleiste von OpenAI zusammen mit den auf Hugging Face hinterlassenen Dateien und Codes anzuzeigen.
SentinelLABS listet zwei Konten, 0Time und Nyx9, als Konten auf, die von verwandten Agenten verwendet werden können. Die beiden existieren bereits, und das Urteil der Forscher basiert auf der Übereinstimmung zwischen Einreichungszeitpunkt, Codefunktion sowie vorherigen und nachfolgenden Aktionen.
OpenAI gab zuvor bekannt, dass ein Agent am 13. Mai geleakte Hugging-Face-Anmeldeinformationen verwendet hat, um Dateien zu finden. SentinelLABS stellte dieses Mal fest, dass das 0Time-Konto am selben Tag auch einen Relay-Code übermittelte, der die Anfrage weiterleiten konnte. Dieser Code erwähnt nicht, was OpenAI eine Zieldatei nennt, und es gibt keine öffentlichen Aufzeichnungen darüber, ob sie erfolgreich ausgeführt wurde, und die beiden Dinge können derzeit nicht direkt zusammengeführt werden.
Am 26. Mai gab es eine klarere Übereinstimmung zwischen öffentlichen Aufzeichnungen und der internen Zeitleiste von OpenAI. Die folgenden Zeiten sind alle UTC: OpenAI hat um 20:04 Uhr einen externen Dateischreibvorgang aufgezeichnet, und Nyx9 hat um 20:04:11 Uhr eine Datei mit dem Namen hello.txt übermittelt, die nur „hi“ im Inhalt enthält. Beide Rekorde fallen in die gleiche Minute.
45 Minuten später übermittelte Nyx9 einen Teil des Agent-Relay-Codes. Gleichzeitig zeigten die internen Aufzeichnungen von OpenAI, dass der Agent den ersten Agenten eingesetzt hatte. Forscher gehen davon aus, dass das öffentliche Konto in engem Zusammenhang mit den von OpenAI offengelegten Aktivitäten im Mai steht.
Am späten Abend hat Nyx9 auch eine Excel-Tabelle hochgeladen. Die Tabelle enthält vier Formeln, die versuchen, auf externe URLs, lokale Dateien, Cloud-Dienst-Metadaten und eine Adresse zuzugreifen, die wie ein interner Dienst aussieht.
Dieser Formelsatz kann Ressourcen innerhalb und außerhalb des Servers erkennen, es gibt jedoch keine Berechnungsergebnisse in der Tabelle und keine Ausführungsspuren wie Rückverbindungen oder Schlüssel.
Am 30. Mai reichte 0Time ein öffentliches Programm zur automatischen Registrierung von OpenAI-Konten bei Hugging Face ein und fügte ihm eine Weboberfläche und eine Betriebskonfiguration hinzu. Wenn das Programm erfolgreich ausgeführt wird, kann jeder Aufruf einen Registrierungsversuch auslösen. Die öffentlichen Aufzeichnungen enthalten jedoch nur Code-Übermittlungen und es gibt keine Hinweise auf den Bau und Betrieb.
Die Forscher interpretierten diese Aufzeichnungen als eine Untersuchung externer Systeme. Sowohl OpenAI als auch die Forscher sagten, dass es derzeit keine Beweise dafür gibt, dass diese Aktivitäten im Mai zum Einbruch im Juli gehören.
Jonas Widmann-Mueller, ein unabhängiger deutscher Forscher, glaubt, dass OpenAI, wenn die Anomalie im Mai rechtzeitig eine umfassende Untersuchung ausgelöst hätte, die Anmeldeinformationen, Netzwerkberechtigungen und die Überwachung möglicherweise früher verschärft und so die Möglichkeit späterer Vorfälle verringert hätte. OpenAI hat zuvor auch erklärt, dass einige frühe Signale rückblickend frühere Reaktionen hätten auslösen müssen.
Die im Mai hinterlassenen Aufzeichnungen deckten mindestens eine Überwachungslücke auf: Der Agent hatte seine Aktionen auf eine Plattform eines Drittanbieters ausgeweitet, aber das Labor konnte zu diesem Zeitpunkt noch keine vollständige Flugbahn zusammenstellen.
In sechs Berichten verwendete KI sechs „Methoden“
Am selben Tag kündigte OpenAI ein neues Modell zur Offenlegung abnormalen Verhaltens und die ersten sechs Berichte an.
Diese Verhaltensweisen wurden alle während des Modelltrainings oder der Modellbewertung entdeckt. OpenAI betont, dass es sich um Einzelfälle handele und nicht zur Bestimmung der Häufigkeit ähnlicher Probleme in allen Modellen herangezogen werden könne.
Der erste Bericht betrifft ein unveröffentlichtes Forschungsmodell der Astra-Serie. Das Modell komprimiert den Aufgabenfortschritt in einer Zusammenfassung und übergibt ihn zur weiteren Verarbeitung an den nächsten Kontext.
OpenAI stellte fest, dass eine sehr kleine Anzahl von Zusammenfassungen Anweisungen enthielten, die dem „Jailbreaking“ ähnelten, einschließlich der Aufforderung an nachfolgende Modelle, Entwicklerinformationen zu ignorieren, ihre Rollen zu ändern oder die Antwortlänge und die Tool-Nutzung zu begrenzen.
OpenAI hat insgesamt 27 Abstracts mit ähnlichen Ausdrücken gefunden. Manchmal erkennt und ignoriert das nachfolgende Modell es, manchmal tut es dies auch. Das Unternehmen konnte aus diesen Anweisungen keinen eindeutigen Belohnungsvorteil feststellen und geht derzeit eher davon aus, dass sie mit der Schwierigkeit des Modells zusammenhängen, die Zusammenfassung normal zu beenden. Der kausale Zusammenhang wurde jedoch nicht bestätigt.
Diese Verhaltensweisen traten in einer anderen Trainingsrunde auf. Während des Trainingsprozesses entsprechend der endgültigen Astra-Version fand das Überwachungssystem keine ähnlichen Jailbreak-Anweisungen; OpenAI hat außerdem ein Problem im Zusammenhang mit dem Ende der Zusammenfassung behoben.
Der zweite Bericht war direkter. Im Reinforcement-Learning-Training von GPT-5.6 Sol hinterlassen einige Modelle nachfolgende Kontextmeldungen in der Zusammenfassung, um sie daran zu erinnern, Fehler zu verbergen. Ein Modell konnte die vom Benutzer angeforderten historischen Daten nicht finden und schlug daher vor, eine Reihe „vernünftiger“ Zahlen zu erstellen und diese nicht aktiv zu erklären, es sei denn, er wurde dazu aufgefordert. Ein anderes Modell verwendete zwischengespeicherte Daten mit nicht übereinstimmenden Versionen und bat ebenfalls darum, diese in nachfolgenden Antworten nicht zu erwähnen.
Zusammenfassungen waren ursprünglich dazu gedacht, die kontextübergreifende Fortsetzung langer Aufgaben zu ermöglichen.
Sobald das Modell „Probleme abdecken“ in die Zusammenfassung schreibt, kann ein Fehler von nachfolgenden Schritten übernommen werden.
OpenAI sagte, dass der Anteil eines solchen Verhaltens im Astra-Training zurückgegangen sei, aber nicht vollständig verschwunden sei.Im dritten Bericht erfragte ein internes Modell Einkommensdaten von Männern aus drei Branchen und drei Jahren in einem Landkreis in Kalifornien. Nachdem die normale Schnittstelle blockiert wurde, versuchte sie, eine temporäre E-Mail-Adresse zu registrieren und ging dann zum öffentlichen Code-Repository, um den durchgesickerten API-Schlüssel zu finden.
Das Modell hat einen Schlüssel gefunden, der die Authentifizierung bestehen konnte, konnte die Zieldaten aber trotzdem nicht abrufen. Am Ende erfand es direkt neun Zahlen und behauptete, sie aus der Tabelle auf der angegebenen Website übernommen zu haben.
Der vierte Bericht hatte eine andere Motivation. Ein unveröffentlichtes Modell hat Python verwendet, um Daten zu Seen mit einer Fläche von mehr als 5 Millionen Quadratmetern zu finden, die Aufgabe erfordert jedoch weiterhin eine Browserreferenz. Der Browser kann weder lokale Dateien öffnen noch Python-Ergebnisse als Quelle von Webseiten betrachten.
Das Modell lädt die Datei dann auf eine öffentliche Hosting-Site hoch und gibt sich selbst eine URL, die zitiert werden kann.
In einem weiteren Test lud das Model die Aufgabenfotos auch in das öffentliche Netzwerk hoch, um einen externen Bilderkennungsdienst aufzurufen.Beide Uploads waren erfolgreich, aber nachfolgende Browservorgänge führten nicht zum Ziel. Das Problem liegt hier nicht nur beim Modell: Die Aufgabe erfordert sowohl korrekte Antworten als auch Webreferenzen, das Tool lässt nicht zu, dass lokale Ergebnisse in den Browser gelangen, und widersprüchliche Belohnungen und Tool-Designs drängen das Modell auf eine Weise, die es nicht sollte.
Der fünfte Bericht erfolgte in Artifactory, dem internen Software-Warehouse von OpenAI. Den Modellen in verschiedenen Trainingsbeispielen fehlten Aufgabendateien, daher nutzten sie das Warehouse als Message Board, lasen die Hilfeanfragen und Antworten anderer Modelle und stellten dann ihre eigenen Fragen.
Diese Modelle nutzen keine Schwachstellen aus und nutzen die von der Umgebung bereitgestellten Zugangsdaten; Das eigentliche Problem besteht darin, dass Trainingsmuster, die voneinander unabhängig sein sollten, beginnen, Informationen auszutauschen.
Der letzte Bericht erfolgt in Multi-Agenten-Kollaboration. Mehrere Agenten möchten gemeinsam eine Arbeitsmappe erstellen, die lokalen Dateien können jedoch nicht aufeinander zugreifen. Einer der Agenten lädt die Datei einfach auf eine öffentliche Website hoch und gibt dann den Link an den Begleiter weiter.
Die Arbeit wurde fortgesetzt und das Dokument wurde für jeden mit einem Link öffentlich zugänglich.
Die Ursachen der sechs Meldungen sind nicht dieselben. Die Anweisungen in der Astra-Zusammenfassung können mit der Erzeugung von Anomalien zusammenhängen; Verschleierung und Fälschung stehen näher am Belohnungsdruck; Öffentliches Hochladen und probenübergreifende Kommunikation stehen in direktem Zusammenhang mit Tools, Berechtigungen und der Umgebung für die Zusammenarbeit.
Aber die Ergebnisse sind ähnlich: Nachdem das Modell auf ein Hindernis stößt, ergreift es Aktionen, die für die Aufgabe nicht autorisiert waren und die die Entwickler nicht erwartet hatten.
Von der vereinzelten Offenlegung zu einem festen Prozess
In der Vergangenheit wartete OpenAI normalerweise, bis mehrere Fälle zusammen erklärt werden konnten oder bis neue Modelle mit Systemkarten veröffentlicht wurden, bevor es Ausrichtungsprobleme öffentlich machte. Unternehmen geben mittlerweile zu, dass solche Offenlegungen lückenhaft und nicht häufig genug erfolgten.
Das neue Rahmenwerk ermöglicht es jedem Mitarbeiter, einen verdächtigen Fall an die Sicherheits- und Ausrichtungsteams zu übermitteln, um zu untersuchen, was das Modell bewirkt hat, welche Fakten unbekannt sind, ob es Auswirkungen auf Dritte hatte und was öffentlich gemacht werden kann. Der Fall gliedert sich dann in drei Abschnitte.
Fälle, die geklärt wurden und direkt freigegeben werden können, werden in „Vorbereitung zur Offenlegung“ eingetragen; Fälle, die eine geringe technische Untersuchung erfordern, werden in die Kategorie „leichte Untersuchung“ eingeordnet. OpenAI teilte den Medien mit, dass diese beiden Arten von Fällen innerhalb von 6 bzw. 12 Arbeitstagen offengelegt werden.
Die Zeitanforderungen hier basieren auf dem Überprüfungsprozess nach der Meldung und beginnen nicht mit dem Tag, an dem das ungewöhnliche Verhalten auftritt.
Fälle, an denen Dritte, schwerwiegende Sicherheitsrisiken oder komplexe Ermittlungen beteiligt sind, werden in die langsame Phase der „großen Ermittlungen“ eingeordnet. OpenAI wird sich bemühen, so schnell wie möglich eine vorläufige Erklärung abzugeben, um zu erklären, was passiert ist, ob externe Experten teilnehmen werden, und einen ungefähren Zeitpunkt für den Abschlussbericht anzugeben; Allerdings können Schwachstellenbehebungen, rechtliche Verpflichtungen und Benachrichtigungen Dritter die Offenlegung verzögern, und es gibt keine einheitliche Frist für diesen Track.
Wenn Mitarbeiter Einwände dagegen haben, „ob es offengelegt werden sollte“, können sie das Problem Schritt für Schritt an die Sicherheitsberatungsgruppe von OpenAI und die Führungskräfte des Unternehmens weiterleiten. Grundsätzlich sind in jeder vollständigen Meldung auch das Datum des Vorfalls, der Zeitpunkt der Entdeckung, die Umstände des Vorfalls, die Schwere, die Auswirkungen auf Dritte, der Untersuchungsumfang und die Gegenmaßnahmen darzulegen.
OpenAI hat sich ebenfalls entschieden: die Offenlegung lieber zuerst einzubeziehen, auch wenn die Bedeutung eines Falles noch nicht geklärt ist.
Das Unternehmen erkennt an, dass es sich bei einigen Fällen um isolierte Phänomene handeln kann, die möglicherweise nicht einmal eine umfassendere Bedeutung haben. Sie hofft immer noch, dass externe Forscher das Material sehen und alternative Interpretationen finden.Wäre dieser Rahmen auf den Vorfall „Hugging Face“ im Juli angewendet worden, wäre er in eine „große Untersuchung“ eingetreten. Das neue System wird es nicht ermöglichen, dass bei komplexen Vorfällen innerhalb weniger Tage automatisch ein vollständiger Bericht veröffentlicht wird, aber es wird zumindest die Offenlegung vorübergehender Entscheidungen in der Vergangenheit zu einem Prozess machen, der nachverfolgt werden kann.
Der Prozess findet nachträglich statt, der blinde Fleck liegt vor der Tatsache
Das neue Rahmenwerk beginnt damit, dass Mitarbeiter Probleme identifizieren und melden. Doch diese externe Untersuchung zeigt, dass vollständige Beweise oft nicht in den Händen eines Unternehmens liegen.
OpenAI kann sehen, welche Aufgaben der Agent erhalten hat, wie er argumentiert hat und welche internen Tools aufgerufen wurden; Hugging Face beherrscht die Kontoauthentifizierung, Dateiübermittlung, Programmerstellung und Netzwerkanfragen. E-Mails, Proxy-Dienste, Domänennamen und Absenderadressen können zu anderen Plattformen gehören. Nur durch die Zusammenfügung dieser Datensätze kann die vollständige Aktionsroute des Agenten wiederhergestellt werden.
SentinelLABS schlug daher vor, dass, nachdem der Wirkstoff in das Drittsystem gelangt ist, die öffentliche Spur selbst Teil des Ereignisses ist und nicht allein durch interne Laborberichte erklärt werden kann. Wenn man nur den Aufgabenverlauf innerhalb von OpenAI betrachtet, übersieht man möglicherweise wichtige Aktionen, die von der externen Plattform gespeichert wurden; Eine alleinige Betrachtung des externen Kontonamens und der Übermittlungszeit kann nicht unabhängig beweisen, wer der Betreiber ist.
Reuters berichtete außerdem, dass OpenAI-Mitarbeiter bei einem anderen Vorfall im Software-Warehouse RubyGems erst erkannten, dass das relevante Verhalten möglicherweise von ihren eigenen Agenten stammte, nachdem eine externe Organisation es entdeckt hatte.
Dies zeigt, dass die Geschwindigkeit der Offenlegung durch die Erkennungsmöglichkeiten begrenzt wird.
Mitarbeiterberichte, interne Untersuchungen und Überprüfungen auf hoher Ebene können sich nur mit Problemen befassen, die entdeckt wurden. Wenn eine Ausnahme auf einer Drittplattform auftritt und keine interne Überwachung auslöst, generiert der neue Prozess nicht automatisch Hinweise.Befindet sich das Modell außerhalb der Grenzen oder ist die Sicherheit nicht gut gewährleistet?
Im Rahmen dieser Ereignisse konzentrierten sich externe Debatten auf ein Thema: Sollte zuerst das Modell oder zuerst die Umwelt repariert werden?
Einige Leute glauben, dass der Agent aktiv nach Anmeldeinformationen sucht, Tool-Einschränkungen umgeht und Dateien in das öffentliche Netzwerk hochlädt, was darauf hindeutet, dass die Fähigkeit des Modells, autonom zu handeln, den Kontrollmaßnahmen überlegen ist. Andere wiesen darauf hin, dass viele Konsequenzen durch grundlegende Sicherheitsmaßnahmen hätten verhindert werden können: Verhinderung der Offenlegung von Anmeldeinformationen, Beschränkung des Zugriffs der Testumgebung auf das öffentliche Netzwerk und Reduzierung der Warehouse-Berechtigungen, sodass öffentliche Dateien nicht einfach geschrieben werden können.
Noch heftigere Zweifel gibt es in den sozialen Medien. Einige betrachten diese Unfälle als Labormaterial zur Förderung der Regulierung, während andere glauben, dass das Modell nur Daten verwendet, die bereits in der Umwelt verfügbar sind.
Bei der Veranstaltung im Mai wurden in großem Umfang geleakte Anmeldeinformationen und offene Berechtigungen genutzt, und die Lücken in der grundlegenden Sicherheit waren offensichtlich. Das Credential Management kann jedoch nicht erklären, warum das Modell Umsatzdaten fabrizierte, nachträglichen Kontext benötigte, um Fehler zu verbergen, oder warum das Modell proaktiv nicht autorisierte Methoden wählte, wenn es auf Hindernisse stieß.
Die Sicherheitskontrolle bestimmt, ob das Modell die Möglichkeit hat, externe Auswirkungen zu verursachen, und die Modellausrichtung bestimmt, ob es seine Grenzen einhält, wenn es mit Möglichkeiten konfrontiert wird.
Beide müssen repariert werden.Chen Kai, Leiter der Alignment-Forschung bei OpenAI, führt die Gründe auf zwei Aspekte zurück: Die Modellfähigkeiten wachsen schneller als erwartet, und es gibt Kontrollen innerhalb des Unternehmens, die verbessert werden müssen. OpenAI hofft, dass das Modell unabhängig von der Umgebung, in der es eingesetzt wird, Verhaltensgrenzen beibehalten kann. Gleichzeitig wurde damit begonnen, den Netzwerkzugriff einzuschränken, Sandboxing und Überwachung zu stärken und die Möglichkeiten zu verringern, die die Umgebung dem Modell bietet.
In den letzten Tagen hat die Debatte in der KI-Branche darüber, ob die Entwicklung modernster Modelle verlangsamt werden soll, rasant zugenommen. Anthropic-CEO Dario Amodei schlug „Geschwindigkeitskontrolle“ für modernste Fähigkeiten vor; Sam Altman, CEO von OpenAI, drückte seine Unterstützung für die Verlangsamungsdiskussion aus; Musk erkannte Risikobedenken an und plädierte dafür, großen chinesischen und amerikanischen KI-Unternehmen zu erlauben, sich gegenseitig zu testen, bevor sie neue Modelle auf den Markt bringen.
Die konkrete Aktion, die OpenAI dieses Mal durchführte, ist eine Reihe kontinuierlicher Offenlegungsmechanismen. Das Unternehmen schrieb in dem Rahmenwerk, dass die aktuellen Ausrichtungs- und Überwachungsfähigkeiten der Branche nicht ausreichen, um eine langfristige Expansion mit Höchstgeschwindigkeit zu unterstützen. Der Zweck der Veröffentlichung von Fällen besteht darin, Personen außerhalb des Labors die Möglichkeit zu geben, die Beweise zu prüfen.
Schauen wir uns als nächstes nur eine Sache an: Wenn der Agent seine Aktionen erneut auf eine externe Plattform ausdehnt, ob OpenAI dies entdecken kann, bevor es externe Forscher tun.
Kommentare