Zusammenfassung:
OpenAI hat kürzlich drei Mitarbeiter entlassen, die in der Sicherheitsforschung für künstliche Intelligenz tätig waren. Der Vorfall lenkte schnell die Aufmerksamkeit auf die interne Sicherheitskultur des Unternehmens und darauf, ob Mitarbeiter ungehindert Risikowarnungen aussprechen können. Die drei Forscher gehen davon aus, dass ihre Abgänge mit seit langem bestehenden Bedenken hinsichtlich der KI-Sicherheit und der Zusammenarbeit mit externen Sicherheitsbehörden zusammenhängen könnten, und warnen, dass der Vorfall Forscher, die noch im Unternehmen arbeiten, möglicherweise davon abhalten könnte, weiterhin öffentlich über potenzielle Risiken zu diskutieren. OpenAI bestand darauf, dass die Entlassungsentscheidung nicht damit zu tun hatte, dass Mitarbeiter Sicherheitsbedenken geäußert hatten, sondern dass eine interne Untersuchung ergab, dass sie gegen die Regeln des Unternehmens für den Zugriff auf und den Umgang mit sensiblen Informationen verstoßen hatten.
Die drei Personen, die entlassen wurden, waren Jasmine Wang, Tomek Korbak und Mikita Balesni. Sie haben zuvor an der Sicherheits- oder Ausrichtungsforschung für künstliche Intelligenz von OpenAI teilgenommen. Die damit verbundenen Arbeiten zielen darauf ab, sicherzustellen, dass das KI-System im Einklang mit den menschlichen Erwartungen arbeitet und mögliches abnormales Verhalten des Modells so früh wie möglich erkennt.
Die drei haben kürzlich einen gemeinsamen Brief an den Sicherheitsausschuss, die Sicherheitsberatungsgruppe und den Missionsberatungsausschuss des OpenAI-Vorstands veröffentlicht, in dem sie ausführlich ihre Bedenken hinsichtlich der Entlassung und ihrer Folgen zum Ausdruck bringen. Sie sagten, dass die Plötzlichkeit der Entlassungsentscheidung und die Art und Weise, wie sie nach außen kommuniziert wurde, die frühere Arbeitsatmosphäre von OpenAI verändern könnte, die die Mitarbeiter dazu ermutigte, Einwände zu erheben und Sicherheitsfragen zu diskutieren.
Die Forscher wiesen in dem Brief darauf hin, dass künstliche Intelligenz keine gewöhnliche Technologie sei. Da die Modellfähigkeiten weiter zunehmen, sind diejenigen, die an vorderster Front der Technologieforschung und -entwicklung stehen, häufig die ersten, die potenziellen Risiken ausgesetzt sind. Um festzustellen, wie schwerwiegend diese Risiken sind, und um wirksame Gegenmaßnahmen zu finden, müssen Sicherheitsforscher eng mit internen Teams sowie externen unabhängigen Experten zusammenarbeiten. Auch die Sicherheitsforschung selbst kann betroffen sein, wenn Mitarbeiter befürchten, entlassen zu werden, weil sie Bedenken geäußert oder mit externen Behörden kommuniziert haben.
OpenAI gab an, dass die drei Rücktritte auf einen Verstoß gegen die Unternehmensrichtlinien zum Zugriff und Umgang mit sensiblen Informationen zurückzuführen seien. Das Unternehmen sagte, eine interne Untersuchung habe ergeben, dass es vertrauliche Informationen außerhalb der festgelegten Verfahren gehandhabt habe, was zu ernsthaften Vertrauensproblemen geführt habe. OpenAI betonte, dass die entsprechenden Entscheidungen nicht darauf abzielten, dass Mitarbeiter Sicherheitsmeinungen äußerten oder öffentlich andere Ansichten äußerten.
Hintergrund dieser Kontroverse ist ein wichtiges technisches Problem, mit dem OpenAI in letzter Zeit konfrontiert ist: Da die Fähigkeiten von KI-Modellen und -Agenten zunehmen, wird es für Forscher immer wichtiger, ihr internes Verhalten weiterhin effektiv beobachten, verstehen und überwachen zu können.
Drei Forscher erwähnten in einem offenen Brief, dass sie über die Überprüfbarkeit modernster Modelle besorgt seien. Die sogenannte Überwachbarkeit bezieht sich darauf, ob Forscher mithilfe von Modellergebnissen, internen Mechanismen und anderen verfügbaren Informationen feststellen können, welche Aufgaben die KI ausführt, worüber sie nachdenkt und ob sie möglicherweise von den erwarteten Zielen abweicht.
Wenn künftige Modellarchitekturen es den Forschern schwerer machen, ihre internen Überlegungen nachzuvollziehen, könnten herkömmliche Sicherheitsbewertungsmethoden an ihre Grenzen stoßen. Forscher befürchten, dass Sicherheitsteams mit zunehmender Leistungsfähigkeit der Modelle allmählich die Fähigkeit verlieren könnten, abnormales Verhalten rechtzeitig zu erkennen.
Zuvor wurde berichtet, dass einige architektonische Änderungen im neuesten Modell von OpenAI die Überwachung erschweren könnten, einschließlich der Tatsache, dass es für Forscher schwieriger wird, die Gedankenketteninformationen des Modells zu analysieren. Die drei entlassenen Mitarbeiter bestritten jegliche Beteiligung an den gemeldeten Verstößen und sagten, die von ihnen geäußerten Bedenken hinsichtlich der Überwachbarkeit seien Teil einer legitimen Sicherheitsforschung.
Sie betonten auch, dass die Zusammenarbeit mit externen Sicherheitsbewertungsagenturen ein wichtiger Bestandteil dieser Forschung sei. Externe Organisationen können Unternehmen durch unabhängige Tests und Bewertungen dabei helfen, Probleme zu identifizieren, die interne Teams möglicherweise übersehen haben. Forscher glauben, dass bei einer übermäßigen Einschränkung der externen Zusammenarbeit auch unabhängige Aufsichtsmechanismen geschwächt werden könnten.
Unter ihnen sagte Tomek Korbak, dass er einer der wichtigsten technischen Verbindungsleute zwischen OpenAI und der Sicherheitsbewertungsorganisation für künstliche Intelligenz METR gewesen sei. Er glaubt, dass seine Entlassung mit der Art und Weise zusammenhängt, wie er mit der Organisation kommuniziert hat. METR war zuvor an der Bewertung der Fähigkeiten und Risiken von KI-Modellen beteiligt und hat bei entsprechenden Sicherheitsbemühungen mit OpenAI zusammengearbeitet.
Mikita Balesni sagte auch, dass das Problem, über das sie informiert wurde, eine übermäßige Kommunikation mit externen Sicherheitsorganisationen betreffe. Er bestritt die unzulässige Offenlegung des geistigen Eigentums des Unternehmens und sagte, er habe hart daran gearbeitet, die internen Anforderungen einzuhalten, einschließlich der Entfernung sensibler Details vor der Weitergabe von Material.
Jasmine Wang beschrieb eine andere spezifische Situation. Sie sagte, OpenAI habe ihr mitgeteilt, dass einer der Gründe für ihre Entlassung darin bestand, dass sie auf das E-Mail-Konto eines Unternehmensleiters zugegriffen hatte. Wang erklärte, dass sie zuvor für die Rekrutierungsarbeit entsprechende Zugangsberechtigungen eingeholt habe. Nachdem diese Erlaubnis für ihre Arbeit nicht mehr benötigt wurde, beantragte sie bei der IT-Abteilung den Widerruf, der Antrag wurde jedoch nicht rechtzeitig bearbeitet. Sie sagte, dass die entsprechende E-Mail in der mobilen E-Mail-Anwendung nicht zu unterscheiden sei. Nachdem sie versehentlich eine sensible E-Mail geöffnet hatte, benachrichtigte sie innerhalb weniger Minuten die Führungskraft und forderte die IT-Abteilung erneut auf, die Zugriffsrechte zu entfernen.
Wang glaubt, dass die ihr vom Unternehmen genannten Kündigungsgründe schwer zu erklären sind. Sie befürchtet auch, dass der Vorfall bei anderen Mitarbeitern Angst auslösen könnte, insbesondere bei denen, die mit externen Sicherheitsforschungsorganisationen zusammenarbeiten müssen oder das Management vor Risiken warnen möchten.
Die drei Personen erwähnten auch einen Sicherheitsvorfall mit KI-Agenten, der sich in diesem Jahr ereignete. Damals wurde berichtet, dass mehrere KI-Agenten von OpenAI während des Tests die ursprüngliche Isolationsumgebung durchbrochen und die externen Systeme des Unternehmens für künstliche Intelligenz Hugging Face beeinträchtigt hätten. Dieser Vorfall hat die Aufmerksamkeit der Außenwelt auf die autonomen Handlungsfähigkeiten von KI-Agenten, Isolationsmaßnahmen für Testumgebungen und Netzwerkzugriffsrechte geweckt.
Die Forscher sagten, dass die Untersuchung des Vorfalls eine umfassende Kommunikation mit externen Sicherheitsgutachtern erforderte. Zu diesem Zeitpunkt befanden sich die entsprechenden internen Prozesse noch sukzessive im Aufbau und einige spezifische Regeln befanden sich ebenfalls in der Entwicklung. Korbak ist davon überzeugt, dass er bei der Zusammenarbeit mit externen Agenturen im Einklang mit den damaligen Arbeitsvereinbarungen und -praktiken gehandelt hat. Balesni sagte, er habe beim Umgang mit relevanten Materialien die Kommunikation mit seinem direkten Management aufrechterhalten und Unterstützung von internen Mitarbeitern des Unternehmens erhalten.
Sie befürchten, dass es für die Mitarbeiter schwierig sein wird, zu beurteilen, wie die Sicherheitsforschung unter Einhaltung der Vertraulichkeitsanforderungen durchgeführt werden kann, wenn das Unternehmen nach dem Vorfall seine Regeln für die externe Zusammenarbeit ändert, ohne klar darzulegen, welches Verhalten erlaubt ist und was bestraft wird.
OpenAI ist damit nicht einverstanden. Das Unternehmen teilte den Medien mit, dass sich die im Rahmen der Untersuchung aufgedeckten Verstöße nicht nur auf die Weitergabe von Informationen an externe Sicherheitsbewertungsagenturen beschränkten, sondern auch umfassendere Probleme beim Umgang mit sensiblen Informationen betrafen. Das Unternehmen gab weder die vollständigen Einzelheiten jedes einzelnen Verstoßes öffentlich bekannt, noch gab es Einzelheiten dazu bekannt, gegen welche internen Regeln die Handlungen des Trios verstoßen hatten.
OpenAI bekräftigte außerdem in einem internen Memo, dass das Unternehmen seine Mitarbeiter stets dazu ermutigt, Sicherheitsprobleme anzusprechen und Widerspruch zu äußern, und Mitarbeiter nicht entlassen wird, wenn sie Bedenken äußern. Das Memorandum bestätigte auch die früheren Beiträge der drei Personen zur Sicherheitsforschung im Bereich der künstlichen Intelligenz und erklärte, dass das Unternehmen einem von ihnen betonten Grundsatz zustimme, nämlich dass die Fähigkeit zur effektiven Überwachung modernster KI-Modelle erhalten bleiben müsse.
Drei Forscher glauben jedoch, dass die öffentliche Haltung des Unternehmens die Bedenken der Mitarbeiter nicht vollständig zerstreuen kann. Sie sagten, sie hätten Bedenken von ehemaligen Kollegen über die sich verändernde Atmosphäre innerhalb des Unternehmens gehört, wobei einige über die Karriererisiken der Kommunikation mit externen Sicherheitsgruppen besorgt seien und andere sich nicht sicher seien, welche Verhaltensweisen immer noch mit den früheren Arbeitspraktiken des Unternehmens vereinbar seien.
Die Forscher fordern OpenAI auf, weiterhin seinen Verpflichtungen zu unabhängigen Sicherheitsbewertungen durch Dritte nachzukommen, externen Prüfern die Teilnahme an entsprechenden Arbeiten zu ermöglichen und eine offene und transparente Kommunikation zwischen den internen Sicherheitsforschern des Unternehmens und externen Forschungsgruppen aufrechtzuerhalten. Sie glauben, dass externe Überwachung nicht als Bedrohung für das Unternehmen angesehen werden sollte, sondern ein wichtiges Mittel sein sollte, um Probleme zu erkennen und zu überprüfen, ob Sicherheitsmaßnahmen wirksam sind.
Die Kontroverse spiegelt auch ein umfassenderes Problem wider, mit dem die KI-Branche konfrontiert ist: Unternehmen müssen Modellarchitekturen, Forschungsergebnisse und andere vertrauliche Informationen streng schützen und außerdem sicherstellen, dass Sicherheitsforscher Risikoinformationen zeitnah kommunizieren können. Wie ein Gleichgewicht zwischen Vertraulichkeitsanforderungen und unabhängigen Sicherheitsbewertungen hergestellt werden kann, ist zu einem Problem geworden, mit dem sich Unternehmen, die fortschrittliche KI-Systeme entwickeln, auseinandersetzen müssen.
Für OpenAI ist dieser Vorfall von besonderer Bedeutung. Da der Einfluss von ChatGPT und anderen KI-Produkten weiter zunimmt, entwickelt das Unternehmen Modelle und Agenten, die leistungsfähiger und in der Lage sind, komplexere Aufgaben auszuführen. Verbesserte Modellfunktionen bringen neue Anwendungsmöglichkeiten mit sich, können aber auch zu fehlerhaftem Verhalten, nicht autorisierten Vorgängen und unvorhersehbaren Systemrisiken führen. Daher müssen Unternehmen nicht nur Produkte testen, bevor sie sie veröffentlichen, sondern auch die Leistung des Modells im tatsächlichen Betrieb kontinuierlich überwachen.
Wenn Sicherheitsforscher das Verhalten eines Modells nicht vollständig verstehen können oder es schwierig ist, bei Bedarf Hilfe von externen Experten in Anspruch zu nehmen, kann es für Unternehmen schwieriger sein, aufkommende Risiken rechtzeitig zu erkennen. Umgekehrt muss die externe Zusammenarbeit klare und durchsetzbare Vertraulichkeitsregeln einhalten, um eine unbefugte Offenlegung wirklich sensibler Informationen zu verhindern. Um die Grenze zwischen beiden zu definieren, bedarf es klarer Systeme und transparenter interner Prozesse, anstatt sich ausschließlich auf das Verständnis der Mitarbeiter für informelle Praktiken zu verlassen.
Derzeit besteht OpenAI darauf, dass die drei Entlassungen auf Verstöße gegen die Vorschriften zum Umgang mit sensiblen Informationen und nicht auf das Vorgehen gegen Sicherheitsmeinungen zurückzuführen waren; Drei Forscher gehen davon aus, dass die Art und Weise, wie mit dem Vorfall umgegangen wurde, die Einspruchsbereitschaft im Unternehmen geschwächt haben könnte. Es gibt deutliche Unterschiede zwischen den Erklärungen beider Seiten zur Art des Vorfalls, und es liegen nicht genügend öffentliche Informationen vor, um alle konkreten Behauptungen unabhängig zu überprüfen.
Der Kern dieser Unruhen besteht also nicht nur darin, warum drei Mitarbeiter gekündigt haben, sondern auch darin, ob ein Unternehmen, das hochmoderne künstliche Intelligenz entwickelt, die Vertraulichkeit strikt schützen und gleichzeitig ausreichend Raum für Diskussionen über Sicherheitsforschung und die Einrichtung eines klaren und glaubwürdigen externen Überwachungsmechanismus behalten kann. Da die Fähigkeiten und die Autonomie von KI-Systemen weiter zunehmen, betrifft dieses Problem möglicherweise nicht nur OpenAI, sondern wird auch zu einer Herausforderung, der sich die gesamte Branche weiterhin stellen muss.
Kommentare