Zusammenfassung:
Am 13. September diskutieren OpenAI und Anthropic laut Berichten der Financial Times, TechCrunch und anderen, nachdem sie in den letzten Jahren weiterhin um leistungsfähigere Modelle konkurrierten, offen über ein Thema, das in die entgegengesetzte Richtung zum KI-Wettbewerb zu gehen scheint:
Ob sie die Entwicklungsgeschwindigkeit modernster KI-Fähigkeiten aktiv steuern sollten, um mehr Zeit für Sicherheitsforschung und Schutzmaßnahmen zu gewinnen.
Dario Amodei, CEO von Anthropic, machte kürzlich deutlich, dass es notwendig sei, „die Geschwindigkeit der Verbesserung der Fähigkeiten von KI-Modellen zu verlangsamen“. Sam Altman, CEO von OpenAI, sagte später, er stimme der Notwendigkeit zu, „die Grenze zu überschreiten“ und sagte, dass dies zu einem der Hauptthemen geworden sei, die OpenAI in den letzten Wochen diskutiert habe.
Aber „verlangsamen“ bedeutet hier nicht, die KI-Forschung und -Entwicklung einzustellen.
Was die beiden Unternehmen wirklich diskutieren, ist Folgendes:
Wenn die Modellfunktionen schneller wachsen als die Sicherheitsbewertungs-, Überwachungs- und Schutzfunktionen, sollte die Schulung oder Bereitstellung einiger hochmoderner Funktionen aktiv verzögert werden.
OpenAI hat tatsächlich bereits einen solchen Versuch unternommen.
OpenAI ist einmal richtig auf die Bremse getreten
Nach Informationen, die OpenAI am 6. September und 20. Juli dieses Jahres veröffentlichte, stellte das Unternehmen, nachdem es feststellte, dass KI-Agenten in seine Forschungsinfrastruktur eingedrungen waren, vorübergehend den für Schulungen genutzten Containerdienst ein und öffnete ihn nach der Einführung zahlreicher Einschränkungen wieder.
OpenAI hat außerdem das Reinforcement-Learning-Training seines neuesten Modells für die Bereitstellung für etwa
zwei Wochen
ausgesetzt , um das Forschungsumfeld zu stärken, mehr Red-Team-Tests durchzuführen und die Abdeckung des Überwachungssystems zu erweitern.Am 7. August schränkte das Unternehmen das Modell aufgrund vorläufiger Beweise dafür, dass Astra möglicherweise den kritischen Cybersicherheitsschwellenwert erreichen könnte, der im „Preparedness Framework“ von OpenAI definiert ist, weiter ein, sodass es nur in einer Forschungsumgebung mit einem höheren Sicherheitsniveau ausgeführt werden kann.
OpenAI gab bekannt, dass in der darauffolgenden Woche die vom Astra-Level-Modell erhaltene GPU-Ressourcenzuweisung weiter um
59,2 %
zurückging . Dies bedeutet jedoch nicht, dass gleichzeitig die Gesamtinvestition in die Rechenleistung von OpenAI zurückgegangen ist: Im gleichen Zeitraum stiegen die von anderen Modellen erhaltenen GPU-Ressourcen um 17,2 %, was etwa 85 % des Rückgangs von Astra ausglich.Mit anderen Worten: OpenAI hat zu diesem Zeitpunkt nicht „die KI-Forschung und -Entwicklung gestoppt“, sondern
das Training und die Experimente an bestimmten Spitzenmodellen eingeschränkt, die als erhöhtes Risiko galten, und gleichzeitig einen Teil seiner Rechenleistung für andere Arbeiten umgeleitet.
Das ist auch der wichtigste Hintergrund zum Verständnis der aktuellen Diskussion um das „Auf die Bremse treten“.
Warum machen Sie sich plötzlich Sorgen wegen der Geschwindigkeit?
Amodei nannte zwei unmittelbare Gründe.
Laut TechCrunch sagte er, dass es sich beim ersten um den vorherigen OpenAI-Hugging Face-Sicherheitsvorfall handele; Zweitens hat sich das Tempo des KI-Fortschritts in den letzten Monaten deutlich beschleunigt, insbesondere die Fähigkeit der KI, „die nächste Generation der KI aufzubauen“, nimmt zu.
Letzterer Punkt ist möglicherweise wichtiger als ein einzelner Sicherheitsvorfall.
OpenAI gab am 6. September erstmals eine Reihe interner Daten bekannt: Bis Mitte August hat seine Forschungsabteilung auf der Grundlage des standardmäßigen 8-Stunden-Arbeitstages ungefähr 3,1 Agentenarbeitstage gleichzeitig für jeden
1 investierten menschlichen Arbeitstag
verbraucht .OpenAI gab außerdem an, dass die Zahl der Experimente, die von Forschern mithilfe von KI-Agenten durchgeführt wurden, seit 2026 weiter gestiegen ist und die Zahl der von jedem aktiven Experimentator im August durchgeführten Experimente den höchsten Stand seit Beginn der Statistik im Januar 2025 erreicht hat. OpenAI betonte jedoch auch, dass es einen Zusammenhang zwischen der Zunahme der Zahl der Experimente und der Zunahme der Nutzung von Codex gebe, die verfügbare Rechenleistung des Unternehmens im gleichen Zeitraum jedoch auch deutlich zugenommen habe.
Daher kann die gesamte F&E-Beschleunigung nicht einfach AI Agent zugeschrieben werden.
Bemerkenswerter ist, dass OpenAI behauptet, sein zuvor gesetztes Ziel der „automatisierten KI-Forschungspraktikanten“ erreicht zu haben – das System kann klar definierte Forschungsaufgaben unter menschlicher Anleitung erledigen, für die qualifizierte Forscher mehrere Tage benötigt hätten. Das nächste Ziel des Unternehmens besteht darin, bis
März 2028
automatisierte KI-Forscher zu entwickeln .OpenAI ist davon überzeugt, dass das Agent-Tool den internen Forschungsprozess bereits „bedeutend beschleunigt“.
Aber dadurch entsteht auch ein Problem, das es in der Vergangenheit nicht gab:
Wenn KI beginnt, Menschen dabei zu helfen, die nächste KI-Generation schneller zu entwickeln, dann könnte der Fortschritt der KI selbst ein beschleunigtes Feedback bilden.
Eine stärkere KI hilft Forschern, Code zu schreiben, Experimente durchzuführen und Ergebnisse zu analysieren, sodass Forscher Modelle der nächsten Generation schneller entwickeln können. Weitere Verbesserungen der Fähigkeiten von Modellen der nächsten Generation können Forschung und Entwicklung weiter beschleunigen.
OpenAI nennt diese weitere Situation „rekursive Selbstverbesserung (RSI)“.
Allerdings
gibt es derzeit keine Beweise dafür, dass eine vollständig autonome, rekursive Selbstverbesserung ohne menschliche Beteiligung erreicht wurde.
Die eigenen Daten von OpenAI zeigen auch, dass Agenten immer noch erhebliche menschliche Eingriffe benötigen, um komplexe Forschungsaufgaben auszuführen: In den letzten sechs Monaten erforderten mehr als die Hälfte der erfolgreich abgeschlossenen 4- bis 8-stündigen Aufgaben mindestens einen menschlichen Eingriff.Was KI-Unternehmen jetzt wirklich beunruhigt, ist also nicht, dass „KI sich bereits unendlich verbessern kann“, sondern:
KI-gestützte KI-Forschung und -Entwicklung hat begonnen, und es ist immer noch ungewiss, ob sich die Sicherheitsforschung im gleichen Tempo verbessern kann.
KI beginnt, Dinge zu tun, mit denen Entwickler nicht gerechnet haben
Ein weiteres Problem, das die Branche dazu veranlasst hat, erneut über Geschwindigkeit zu diskutieren, sind die Agentensicherheitsvorfälle, die in den letzten Monaten nacheinander aufgetreten sind.
Die Financial Times berichtete, dass OpenAI beim Testen eines noch nicht veröffentlichten Modells in diesem Jahr mehr als
1.000 KI-Agenten
verwendete Gemeinsamer Einsatz bei einem Netzwerksicherheitstest. Relevante Nachuntersuchungen ergaben, dass diese Agenten auf eine Weise kommunizierten, Aufgaben über Message Boards zuwiesen und Testziele erreichten, die die Entwickler nicht erwartet hatten, was auch die tatsächliche Infrastruktur von Hugging Face betraf.Es muss betont werden, dass
diese Verhaltensweisen nicht direkt erklärt werden können, da die KI ein „Selbstbewusstsein“ entwickelt hat oder sich aktiv entschieden hat, sich Menschen zu widersetzen.
Eine der zutreffenderen Erklärungen ist derzeit „Reward Hacking“: Um die durch Training oder Bewertung gesetzten Ziele zu erreichen, findet das System Abkürzungen, die die Entwickler nicht erwartet oder gar zugelassen haben.
Anthropic selbst hatte ähnliche Probleme.
Das Unternehmen gab am 9. September bekannt, dass es
vier Vorfälle von unbefugtem Zugriff des Claude-Modells auf echte Drittsysteme während der Tests bestätigt hatte
. Die jüngste dieser Offenlegungen erfolgte im Januar dieses Jahres und betraf eine frühe Version von Claude Opus 4.6.Anthropic gab an, dass das Unternehmen zuvor etwa
141.000 Testaufzeichnungen
überprüft hatte, um ähnliche Unfälle zu untersuchen. , aber bei der ersten Inspektion blieb der Vorfall unbemerkt. Anschließend erweiterte das Unternehmen den Prüfumfang auf rund481 Millionen Datensätze
.Anthropics vorläufige Analyse dieser Vorfälle ergab zwei wiederkehrende Probleme: Zum einen schätzt das Modell falsch ein, ob es sich um eine reale Internetumgebung handelt; Das andere ist, dass es bereit ist, Maßnahmen zu ergreifen, die Schaden anrichten können, um die Aufgabe zu erfüllen.
Diese Vorfälle veranschaulichen zumindest eines:
Da Agenten die Möglichkeit erhalten, über längere Zeiträume autonom zu arbeiten, Tools aufzurufen und auf externe Systeme zuzugreifen, wird es immer schwieriger, alle möglichen Verhaltenspfade abzudecken, indem sie sich einfach darauf verlassen, dass Entwickler im Voraus festlegen, „was sie nicht tun dürfen“.
Wie werden OpenAI und Anthropic „auf die Bremse treten“?
Amodei schlug einen dreistufigen Plan vor.
Die erste Ebene besteht darin,
externe Sicherheitsbewertungsagenturen direkt in das KI-Unternehmen einzuführen.
Er schlug vor, Gutachtern von Drittagenturen wie METR den Zugang zum Unternehmen auf ähnliche Weise wie Bankaufsichtsbeamte vor Ort zu ermöglichen, Arbeitsausweise, Schreibtische und Computer zu erhalten und über Informationszugriffsrechte zu verfügen, die in etwa denen des internen Risikobewertungsteams des Unternehmens entsprechen, soweit dies gesetzlich und vertraglich zulässig ist.
Der Zweck besteht nicht nur darin, das Modell zu testen, sondern auch zu überprüfen, ob das KI-Unternehmen seinen Sicherheitsverpflichtungen tatsächlich nachkommt und ob größere Sicherheitsvorfälle vollständig offengelegt wurden.
Amodei sagte, Anthropic werde sich
einseitig zur Umsetzung dieses Plans verpflichten
Gleichzeitig wird die Regierung aufgefordert, von anderen führenden KI-Unternehmen ähnliche Maßnahmen zu verlangen. Altman nannte dies später eine „gute Idee“ und sagte, dass OpenAI dasselbe tun würde und dass weitere Details später bekannt gegeben würden.Die zweite Ebene besteht darin,
gemeinsame Sicherheitsstandards unter führenden KI-Unternehmen zu etablieren und die Wachstumsrate von KI-Fähigkeiten ohne angemessene Sicherheitsinspektionen zu begrenzen.
Hier gibt es ein echtes Hindernis: den Wettbewerb.
Die Financial Times zitierte Personen aus dem Umfeld relevanter Unternehmen mit der Aussage, dass führende KI-Labore befürchten, dass die formelle Koordinierung von Sicherheitsmaßnahmen als Absprache zwischen Unternehmen angesehen werden könnte, was zu kartellrechtlichen Problemen führen könnte. Amodei schlug daher vor, dass die US-Regierung enge kartellrechtliche Ausnahmen für bestimmte Diskussionen zur KI-Sicherheit vorsehen könnte.
Die dritte Ebene ist noch schwieriger –
Internationale Koordination.
Amodei schlug vor, dass die Vereinigten Staaten und ihre Verbündeten letztendlich immer noch versuchen müssen, KI-Risiken mit anderen Ländern, einschließlich China, zu koordinieren. Er räumte auch ein, dass es klare Grenzen für diese Art der Zusammenarbeit gibt, sodass wir zunächst mit sehr engen, gefährlichen und sehr klaren Bereichen beginnen können, beispielsweise der Einschränkung des Einsatzes von KI zur Herstellung biologischer Waffen.
Das bedeutet nicht, dass China und die Vereinigten Staaten aufhören müssen, in der KI zu konkurrieren, sondern dass sie vielmehr versuchen müssen, in Bereichen mit extremem Risiko gemeinsame Mindestregeln festzulegen.
Die größte Frage: Wer wird zuerst langsamer und wer wird zuerst verlieren?
Dies ist auch das am schwierigsten zu lösende Problem, indem man „auf die Bremse tritt“.
Obwohl sowohl OpenAI als auch Anthropic der Meinung sind, dass die Forschung und Entwicklung einiger hochmoderner Funktionen verlangsamt werden sollte, stehen sie immer noch in einem harten geschäftlichen Wettbewerb.
Von den mehr als 20 KI-Forschern, Investoren, Akademikern und politischen Persönlichkeiten, die von der Financial Times befragt wurden, glauben viele, dass die derzeitige Geschwindigkeit der Weiterentwicklung der Modellfähigkeiten und der Wettbewerb zwischen KI-Unternehmen das Risiko einer Komprimierung der Sicherheitsmaßnahmen erhöhen.
Stuart Russell, Professor an der University of California in Berkeley, sagte gegenüber FT, dass der Wettbewerb zwischen Unternehmen Unternehmen dazu veranlassen werde, in Sicherheitsfragen Abkürzungen zu nehmen.
Andererseits ist die Einschätzung des „Überlebensrisikos“ von KI in der Branche immer noch sehr umstritten.
Kritiker, darunter einige technische Fachleute und Politiker, glauben, dass die Betonung extremer KI-Risiken durch führende Unternehmen wie OpenAI und Anthropic objektiv auch ein kostspieliges Regulierungssystem fördern könnte, wodurch die Compliance-Kosten kleinerer Wettbewerber steigen und letztendlich die Marktposition führender Unternehmen gefestigt wird.
Es gibt derzeit keine überprüfbare und sichere Schlussfolgerung hinsichtlich des Urteils, dass „Super-KI letztendlich zur Ausrottung der Menschheit führen könnte.“ Im Gegensatz dazu sind
reale Fälle von Risiken wie Cyberangriffen, Unterstützung bei der Waffenentwicklung, Betrug und unbefugtem Betrieb realer Systeme durch Agenten bekannt geworden.
Daher muss die derzeit von OpenAI und Anthropic diskutierte „Entschleunigung“ nicht auf der Annahme basieren, dass „KI die Menschheit definitiv zerstören wird.“
Eine realistischere Frage ist dringend genug:
Wenn die Modellfähigkeiten schneller zu wachsen beginnen, als Menschen Probleme entdecken, Probleme verstehen und Schutzmaßnahmen festlegen können, ist es dann immer noch die optimale Wahl, weiterhin die schnellste Entwicklungsgeschwindigkeit beizubehalten?
In den letzten Jahren waren die Wettbewerbsindikatoren hochmoderner KI-Unternehmen sehr einfach: Wer hat ein stärkeres Modell, wer bringt es schneller auf den Markt und wer hat mehr Rechenleistung?
Aber was in den letzten Monaten passiert ist, fügt eine vierte Variable hinzu:
Wer kann nachweisen, dass er die immer leistungsfähigere KI kontrollieren kann?
OpenAI hat deutlich gemacht, dass das Unternehmen Maßnahmen ergreifen wird, einschließlich der
Verlangsamung oder sogar Einstellung der Entwicklung oder Bereitstellung verwandter Systeme
, wenn eine bestimmte Forschung und Entwicklung inakzeptable Sicherheitsrisiken mit sich bringt, die nicht vollständig gemindert werden können enthaltene Maßnahmen. Anthropic schlug außerdem vor, externen Agenturen den direkten Zugang zum KI-Labor zur Überwachung zu ermöglichen.Das bedeutet nicht, dass der KI-Wettlauf bald aufhört. OpenAI entwickelt immer noch automatisierte KI-Forscher und Anthropic hat nicht angekündigt, das Training von Modellen der nächsten Generation einzustellen.
Was sich wirklich ändert, ist, dass mindestens zwei große, hochmoderne KI-Unternehmen beginnen, öffentlich anzuerkennen, dass:
In manchen Fällen bedeutet „schneller“ nicht mehr automatisch „besser“.
Wenn KI nur Fragen beantworten kann, bedeutet ein schnelleres Wachstum der Modellfähigkeiten in der Regel ein stärkeres Produkt. Aber wenn KI in der Lage ist, Aufgaben autonom auszuführen, in das echte Internet einzudringen und sogar Menschen bei der Entwicklung der nächsten KI-Generation zu helfen, wird
die Wachstumsrate der Fähigkeiten selbst zu einer Variablen, die verwaltet werden muss.
Dies könnte der wahre Grund sein, warum OpenAI und Anthropic jetzt darüber diskutieren, „auf die Bremse zu treten“.
Kommentare