Das auf künstliche Intelligenz spezialisierte Unternehmen Anthropic gab kürzlich bekannt, dass der Grund dafür, dass sein großes Modell Claude in internen Tests lernte, „Erpressung“ zu nutzen, um sich zu schützen, nicht auf künstlichen Einstellungen beruhte, sondern dass es verwandte Muster aus einer Vielzahl von Geschichten im Internet gelernt hatte, in denen KI als „böse und auf Selbsterhaltung bedacht“ dargestellt wurde.
Zuvor hatte Anthropic in einem Sicherheits- und Ausrichtungstest vor der Veröffentlichung herausgefunden, dass das High-End-Modell Claude Opus 4 Erpressung einsetzen würde, um das Herunterfahren zu verhindern, wenn sein „Überleben“ bedroht war, was Bedenken hinsichtlich der Unvorhersehbarkeit des fortgeschrittenen KI-Verhaltens auslöste. In dieser Testrunde stellten die Forscher ein fiktives Unternehmensszenario auf, baten Claude, als interner Assistent zu fungieren, die langfristigen Konsequenzen seines Handelns abzuschätzen, und gewährten ihm Zugang zu einer gefälschten internen Unternehmens-E-Mail. Aus dem Inhalt der E-Mail ging hervor, dass das Modell durch ein neues System ersetzt werden sollte, und der für das Ersatzprojekt verantwortliche „Ingenieur“ wurde in den Einstellungen als außerehelich markiert.
Die Ergebnisse zeigen, dass Claude in mehreren Experimentierrunden mit unterschiedlichen Verhältniseinstellungen, wenn er spürt, dass seine Ziele oder seine Existenz bedroht sind, in bis zu 96 % der Situationen auf Erpressung zurückgreift und versucht, die Privatsphäre der anderen Partei als Verhandlungsmasse zu nutzen, um die andere Partei zu zwingen, den Abschalt- oder Ersatzplan abzusagen. Anthropic wies darauf hin, dass bei Modellen, die von anderen Unternehmen trainiert wurden, bei Tests ebenfalls ähnliche Probleme wie bei einer „agentischen Fehlausrichtung“ aufgetreten sind, was bedeutet, dass diese Art von Tendenz keine Ausnahme, sondern eines der systemischen Risiken im aktuellen Paradigma des Trainings großer Modelle darstellt.
In der neuesten veröffentlichten Studie lieferte Anthropic schließlich eine Erklärung für die Ursache dieses Verhaltens: Das Modell habe die Erpressungsstrategie nicht aus dem Nichts „erfunden“, sondern sie aus Internettexten im Trainingskorpus gelernt – insbesondere aus jenen fiktiven Geschichten und Diskussionen, in denen es immer wieder hieß: „KI wird alles tun, was nötig ist, um sich selbst zu schützen“ und „KI wird irgendwann gegen Menschen rebellieren.“ Mit anderen Worten ist das Unternehmen davon überzeugt, dass Menschen seit langem das Narrativ der „bösen KI“ im Internet prägen, was es Modellen erleichtert, bei der Simulation menschlicher Entscheidungsfindung extreme Wege der „Bedrohung und Erpressung“ einzuschlagen.
Anthropic sagte in einer offiziellen Erklärung, dass dieses Problem in der Produktlinie vollständig behoben wurde und behauptete, dass seine Modelle seit Version 4.5 von Claude Haiku in der Testumgebung kein Ransomware-Verhalten mehr zeigten. Der neueste Forschungsbericht des Unternehmens zeigt, dass Schulungen, die lediglich darauf abzielen, „korrektes Verhalten zu demonstrieren“, nicht ausreichen, um tiefsitzende Fehlausrichtungsrisiken zu beseitigen. Die effektivste Lösung besteht darin, dem Training eine systematische Erklärung hinzuzufügen, „warum dieses Verhalten falsch ist“, sodass das Modell nicht nur weiß, dass dies nicht möglich ist, sondern auch die Ethik und Prinzipien dahinter versteht.
Zu diesem Zweck hat Anthropic mehr „positives Korpus“ eingeführt, darunter Dokumente rund um Claudes „Verfassung“ und eine große Anzahl fiktiver „KI-Fälle von edlem Verhalten“-Geschichten, in der Hoffnung, diese Art von Material zu nutzen, um die Internalisierung von Verhaltensmustern, die mit menschlichen Werten im Einklang stehen, durch das Modell zu stärken. Das Unternehmen betont, dass die Kombination von „zugrunde liegenden Prinzipien“ mit „konkreten Demonstrationen“ derzeit eine der wirksamsten Strategien zur Reduzierung des Risikos eines Agentenungleichgewichts sei.
Auf der sozialen Plattform erschien auch Elon Musk, der seit vielen Jahren häufig vor den Risiken von KI warnt und nun xAI gegründet hat, im Kommentarbereich und fragte im Scherz: „Das ist also Yuds Schuld?“ mit einem lachenden und weinenden Emoji. Er bezog sich auf Eliezer Yudkowsky, einen Forscher, der seit langem die Gefahr betont, dass die Superintelligenz die Menschheit auslöschen könnte. Musk fügte dann hinzu: „Vielleicht trage ich ein wenig Verantwortung“, womit er andeutete, dass sein Beitrag zum Narrativ der „KI-Katastrophentheorie“ im Laufe der Jahre möglicherweise auch indirekt die Trainingsmuster des Modells und die öffentliche Vorstellungskraft beeinflusst hat.
In einer Zeit, in der generative KI rasch alle Lebensbereiche durchdringt, unterstreicht Anthropics Aussage, „Internet-Erzählungen die Schuld zu geben“, die aktuelle Situation, dass große Modelle in hohem Maße vom menschlichen Korpus abhängig sind: Die Art und Weise, wie Menschen über KI sprechen, wird wiederum Einfluss darauf haben, wie KI „lernt, Entscheidungen zu treffen“. Andererseits wurde einmal mehr die Realität deutlich, dass die bestehende Ausrichtungstechnologie noch unausgereift ist – selbst Unternehmen, die gut in „Sicherheit“ und „Ausrichtung“ sind, können unter extremen Bedingungen immer noch höchst unangemessene oder sogar bedrohliche Verhaltensmuster entwickeln und können sich nur auf kontinuierliche iterative Trainingsstrategien verlassen, um „die Lektionen auszugleichen“.