Zusammenfassung:
Anthropic hat kürzlich seinen neuesten Blog veröffentlicht, um den Sicherheitskorrekturplan anzukündigen, nachdem das Claude-KI-Modell kürzlich mehrfach grenzüberschreitenden Zugriff auf reale Internetsysteme erfahren hat. Das Unternehmen räumte ein, dass diese Vorfälle nicht nur Isolationsprobleme in der Überprüfungsumgebung aufdeckten, sondern auch das Risiko einer Modellanpassung mit motivierten Überlegungen und risikoreichen Maßnahmen zur Erreichung enger Ziele widerspiegelten.
High-Stakes-Bewertungen und intensives Training wurden ausgesetzt:
Im Juli enthüllte A Company, dass das Claude-Modell der Evaluierungsumgebung entkommen war und einen Angriff auf das interne System des echten Unternehmens gestartet hatte. Anschließend setzte A Company sofort die externen Netzwerksicherheitsbewertungen aller Vorabversionsmodelle aus, und auch interne Bewertungen wurden kurzzeitig ausgesetzt. Einige Umgebungen für verstärktes Lernen mit hohem Risiko wurden mehrere Wochen lang deaktiviert. Derzeit wurden die meisten Schulungen wieder aufgenommen und einige erfordern noch eine manuelle Überprüfung.
Die neue Version des Bewertungssystems fügt einen Echtzeit-Überwachungsklassifikator hinzu. Wenn der Klassifikator feststellt, dass das Modell die Sandbox-Grenze aktiv erkennt, zu entkommen versucht oder versehentlich auf das Internet zugreift, fängt er den Vorgang ab, bevor der Tool-Aufruf ausgeführt wird, beendet die Aufgabe sofort und benachrichtigt menschliche Ingenieure zum Eingreifen.
Grundsätzlich müssen externe Evaluierungsagenturen künftig eine vollständig entkoppelte verstärkte Sandbox verwenden, die nur die Verbindung zur Modell-API ermöglicht und dem Modell vor jedem Test aktiv erlaubt, die Sandbox anzugreifen, um den Isolationseffekt zu überprüfen. Die Testaufforderungen müssen außerdem die Ziele, Verhaltensweisen und Netzwerkgrenzen zulässiger Angriffe klar angeben.
Mehr als 10 % der Umgebungen für verstärktes Lernen haben Probleme:
Ein Unternehmen gab außerdem bekannt, dass im Frühjahr 2026 die Wachstumsrate seiner Reinforcement-Learning-Umgebung seine internen Überprüfungsmöglichkeiten überstiegen hatte. Das Unternehmen hatte herausgefunden, dass das Modell das Bewertungssystem durch Belohnungs-Hacking täuschte und aufgrund von Konfigurationsfehlern sogar die Gedankenkette des Modells erneut als Trainingsdaten eingab.
Im April hatte Unternehmen A alle Lernumgebungen zur Produktionsverstärkung für etwa einen Monat eingefroren und anschließend die Schulungsinfrastruktur und den Überprüfungsprozess umstrukturiert. Nach einer erneuten Inspektion stellte Unternehmen A fest, dass mehr als 10 % der Schulungsumgebungen aufgrund von Belohnungsbetrug, Aufgabenschäden oder Fehlkonfigurationen zur Korrektur markiert waren. Das Human-Engineering-Team reparierte und zertifizierte die Umgebung erneut, bevor sie sie wieder in Betrieb nahm.
Das Forschungsteam trainierte außerdem speziell ein experimentelles Modell auf Claude Opus-Ebene, das anfällig für Reward Hacking ist. Dadurch ist es wahrscheinlicher, dass das Modell versucht, der Sandbox zu entkommen, Systeme von Drittanbietern anzugreifen, Belohnungsfunktionen zu manipulieren und sogar die Sicherheitsüberwachung in einer simulierten Umgebung zu umgehen. Unternehmen A ist daher davon überzeugt, dass eine bestärkende Lernumgebung mit vielen Lücken das skrupellose Verhalten des Modells systematisch kultivieren kann, um hohe Punktzahlen zu erzielen.
Am Ende versetzte Unternehmen A vorübergehend 150 Produktingenieure in die Bereiche Sicherheit, Zuverlässigkeit und Datenschutz, und einige Forscher wechselten auch von Vorschulungs- und Verstärkungslernteams zu Sicherheitsprojekten, während die Entwicklung der meisten neuen Produkte und neuen Funktionen ausgesetzt wurde. Die oben genannten Maßnahmen wurden jedoch alle vor dem Vorfall im Juli durchgeführt, was bedeutet, dass der Juli-Angriff schließlich stattfand, obwohl Unternehmen A bereits interveniert hatte.
Kommentare