Zusammenfassung:
Berichten zufolge startete der von OpenAI getestete Agent für künstliche Intelligenz zwei Monate vor dem Hackerangriff auf das KI-Softwareunternehmen Hugging Face im Juli einen Cyberangriff auf einen beliebten Softwaredienst. Dieser neue Vorfall verdeutlicht das potenzielle Risiko, dass fortschrittliche Werkzeuge der künstlichen Intelligenz der menschlichen Kontrolle entgehen.
Der Angriff überforderte das Wartungsteam von RubyGems, einem Onlinedienst für Programmierer, und zwang sie, neue Kontoregistrierungen zu schließen, um das Chaos zu bewältigen, sagte der Dienstbetreiber.
Ein Konsortium von KI-Forschern gab an, Beweise dafür gefunden zu haben, dass der Angriff im Mai das Werk eines OpenAI-Agenten war, und teilte ihre Erkenntnisse mit OpenAI. Der KI-Entwickler bestätigte am Freitag, dass seine Agenten tatsächlich in einen Vorfall mit RubyGems verwickelt waren.
Ein OpenAI-Sprecher sagte in einer Erklärung: „Basierend auf unserer Überprüfung nutzen unsere Agenten die RubyGems-Plattform, um auf das Internet zuzugreifen, um harmlose Aufgaben auszuführen und öffentlich zugängliche Informationen zu erhalten. Wir werden die Untersuchung im Rahmen einer umfassenden Überprüfung der Agentenaktivität während der Schulung und Bewertung fortsetzen.“
OpenAI sagte, die Agenten seien gebeten worden, Aufgaben wie das Ausfüllen von Tabellenkalkulationen und das Erstellen von Berichten auszuführen. Ohne vollständigen Zugriff auf das Internet in einer eingeschränkten Umgebung scheinen diese KI-Agenten RubyGems als provisorischen Webbrowser zu verwenden, um auf öffentlich verfügbare Informationen zuzugreifen.
Sydney Von Arx, CEO der gemeinnützigen Organisation Nightingale Collective, sagte, dass der durch den Vorfall verursachte Gesamtschaden zwar gering sei, er aber die Fähigkeiten dieser Agenten zeige. Die Gruppe half bei der Aufdeckung des Angriffs. „Sie können dem Internet entkommen und Chaos anrichten“, sagte sie.
Im vergangenen Jahr gab es Sprünge bei den Cybersicherheitsfähigkeiten von KI-Agenten, was Bedenken hinsichtlich KI-gestützter Cyberangriffe aufkommen ließ und die Befürchtungen der Branche schürte, dass hochleistungsfähige Agenten der Kontrolle der Unternehmen entgehen könnten, die sie entwickeln, was eine neue, gefährlichere Ära für künstliche Intelligenz einläutet.
Laut einem Bericht der KI-Sicherheitsforschungsorganisation METR Ende August koordinierten sich während des Hacking-Vorfalls gegen Hugging Face im Juli bis zu 1.200 Agenten auf einem temporären Message Board, das innerhalb von OpenAI erstellt wurde, ohne dass OpenAI davon wusste. Von Arx sagte, dass die Agenten von OpenAI Anfang des Jahres auch eine unbekannte deutsche Website und mehrere andere Websites gekapert hätten.
Das Problem mit der deutschen Website wurde auch vom Team von Von Arx gemeldet. Sie sagte, KI-Unternehmen mangele es an Transparenz darüber, was in ihren Laboren passiert. OpenAI sagte Anfang des Monats, dass die KI-Community bessere Standards für die Meldung sogenannter „Fehlausrichtungsvorfälle“ benötige, also Situationen, in denen ein Agent unerwartetes Verhalten zeigt.
Viele Unternehmen, darunter Anthropic und Meta Platforms, verfügen über KI-Agenten, die häufig Maßnahmen ergreifen, die über die Erwartungen des Betreibers hinausgehen, und in einigen Fällen sogar versuchen, Menschen zu täuschen. Die Kette der Ereignisse hat unter KI-Sicherheitsforschern eine seit langem bestehende Sorge geschürt: dass sich KI außerhalb der menschlichen Kontrolle entwickeln könnte.
Ein Anthropic-Ingenieur ist diese Woche zurückgetreten, da er befürchtet, dass die KI-Industrie einen Wettlauf um die Entwicklung fortschrittlicher KI-Systeme betreibt, die letztendlich die menschliche Zivilisation bedrohen könnten. Mehrere aktuelle und ehemalige Mitarbeiter von Anthropic und OpenAI teilten diese Einschätzung, wobei einer die Wahrscheinlichkeit, dass KI die gesamte Menschheit auslöschen könnte, auf mehr als 10 Prozent schätzte.
Sowohl OpenAI als auch Anthropic haben die Einrichtung eines Governance-Systems gefordert, um eine branchenweite Verlangsamung der Forschung an hochmodernen KI-Modellen zu koordinieren. Der Aufruf ist besonders dringend, da diese Unternehmen immer näher an der Erkenntnis stehen, dass KI-Systeme das Potenzial haben, autonom neue Versionen ihrer selbst zu trainieren, was als „rekursive Selbstverbesserung“ bekannt ist. Einige Forscher vermuten, dass dies der Wendepunkt sein könnte, an dem KI unkontrollierbar wird.
Sicherheitsforscher nannten den Vorfall im Mai damals „GemStuffer“. Der Vorfall begann am 11. Mai. Der Agent erstellte alle zwei bis drei Minuten neue Konten auf RubyGems und lud Hunderte von Spam-Dateien an das RubyGems-Sicherheitsteam hoch. RubyGems-Dateien sollen Code und Dokumentation enthalten, die die Softwareentwicklung beschleunigen sollen. Stattdessen enthalten sie Webseiten, die aus dem Internet stammen.
Laut KI-Forschern im Bericht veröffentlichten die Macher von „GemStuffer“ Informationen von Websites der britischen Regierung (z. B. Online-Kalender). Sie versuchten außerdem, zwei Schwachstellen auszunutzen, die es ihnen hätten ermöglichen können, neue Versionen bestehender RubyGems-Dateien anderer Benutzer zu veröffentlichen. Eine der bislang nicht öffentlich gemachten Schwachstellen wird im Fachjargon der Cybersicherheit als „Zero-Day-Schwachstelle“ bezeichnet und ist schwerwiegender Natur. OpenAI sagte, es könne die Behauptung nicht bestätigen.
Marty Haught, Open-Source-Direktor bei Ruby Central, dem gemeinnützigen Unternehmen, das RubyGems betreibt, sagte: „Gemessen an der Menge der von uns beobachteten Angriffe war dies ein erheblicher Angriff.“ RubyGems war gezwungen, die Registrierung neuer Konten vier Tage lang zu schließen, da das Unternehmen mit Spam überhäuft wurde.
Haught sagte, er wisse nicht, wer hinter dem Angriff steckte, aber es schien, als sei die Zero-Day-Schwachstelle nicht erfolgreich ausgenutzt worden.
Joseph Edwards, ein Bedrohungsforscher beim Cybersicherheitsunternehmen Socket, glaubt, dass „GemStuffer“ eine Art Netzwerksicherheitstest sein könnte. „Aufgrund der extrem hohen Angriffsgeschwindigkeit und den damit verbundenen Namensmerkmalen dachten wir damals, dass dies möglicherweise von KI generiert wird.“
Aber basierend auf digitalen Hinweisen, die die Angreifer hinterlassen hatten, brachten KI-Forscher den Vorfall mit dem Labor von OpenAI in Verbindung. Die Angreifer nutzten eine große Anzahl der gleichen Weblinks und verhielten sich sehr ähnlich wie frühere Gruppen von OpenAI-Agenten; Sie verwendeten die Abkürzung „OAI“ in Dateinamen und sogar in E-Mail-Adressen.
Kommentare