Der CEO von Anthropic fordert eine Verlangsamung der hochmodernen KI-Entwicklung und plant die Einführung eines dreistufigen Sicherheitsmechanismus

📅 2026-09-14

Zusammenfassung:

Dario Amodei, CEO von Anthropic, forderte, die Geschwindigkeit der Verbesserung der Fähigkeiten modernster Modelle der künstlichen Intelligenz zu kontrollieren, um Zeit für Sicherheitsbewertungen und Schutzmaßnahmen zu gewinnen. Er schlug vor, ständige unabhängige Gutachter einzuführen, die Sicherheitsstandards großer Entwickler zu koordinieren und die grenzüberschreitende Zusammenarbeit bei Risikomanagement und Kontrolle zu fördern.

Unabhängige Gutachter erhalten internen Zugriff

Amodei schlug vor, dass hochmoderne KI-Unternehmen kontinuierlichen, nahezu mitarbeiternahen Zugang zu qualifizierten unabhängigen Bewertungsteams bereitstellen sollten, damit diese Modelltests, Risikoberichte, Sicherheitsrahmen und Vorfallbehandlungsprozesse überprüfen können.

Anthropic ist bestrebt, diese Maßnahme als Erster umzusetzen. Externes Personal erhält einen ähnlichen Zugriff wie das Risikobewertungsteam des Unternehmens und kann Schlussfolgerungen ohne die redaktionelle Kontrolle von Anthropic veröffentlichen.

Diese Vereinbarung muss noch Fragen wie die Auswahl der Gutachter, Finanzierungsquellen und Vertraulichkeitspflichten klären. Modellgewichte, Trainingsinfrastruktur und Sicherheitslücken sind hochsensible Informationen, und die Erweiterung der Zugriffsrechte wird auch die Anforderungen an die Informationssicherheit erhöhen.

Branchenkoordinierung begrenzt den ungeschützten Kompetenzwettbewerb

Die zweite Empfehlung fordert große KI-Labore auf, gemeinsame Standards für Risikotests, Sicherheitsschwellenwerte und Modellfreigabebedingungen zu entwickeln. Amodei glaubt, dass der Wettbewerbsdruck Unternehmen dazu veranlassen könnte, das Schulungs- und Release-Tempo zu beschleunigen, was es für Schutzmaßnahmen schwierig macht, rechtzeitig mit den Modellfähigkeiten Schritt zu halten.

Anthropics Responsible Scaling Policy hat einen abgestuften Mechanismus eingeführt. Wenn Modelle biologische, Cyber-, automatisierte F&E- oder Kontrollverlust-Risikoschwellen überschreiten, müssen Unternehmen ihren Bereitstellungsschutz und ihre Informationssicherheit erhöhen.

Die Zusammenarbeit zwischen Unternehmen kann kartellrechtliche Grenzen mit sich bringen. Es besteht ein öffentliches Interesse an der Zusammenarbeit bei der Entwicklung von Sicherheitsteststandards. Vereinbarungen können jedoch dennoch einer behördlichen Prüfung unterliegen, wenn sie kleinere Akteure am Markteintritt hindern, Produkteinführungen koordinieren oder den Wettbewerb einschränken.

Internationale Zusammenarbeit deckt grenzüberschreitende Risiken ab

Die dritte Empfehlung betrifft die zwischenstaatliche Zusammenarbeit, einschließlich der Festlegung von Mindestsicherheitsvereinbarungen mit strategischen Konkurrenten wie China. Amodei glaubt, dass Modelle und Technologien über Grenzen hinweg fließen können und dass eine Verlangsamung der Entwicklungsgeschwindigkeit eines einzelnen Landes oder Unternehmens dazu führen kann, dass risikoreiche Forschung und Entwicklung in Regionen mit schwächeren Vorschriften verlagert wird.

Zu den von Anthropic aufgeführten potenziellen Risiken gehören die Verwendung von Modellen zur Unterstützung von Biowaffenaktivitäten, die groß angelegte Entdeckung von Software-Schwachstellen, Angriffe auf kritische Infrastrukturen und das Entkommen von KI-Systemen aus der Kontrolle der Entwickler. KI beteiligt sich automatisch an der Entwicklung von Modellen der nächsten Generation, was auch die Leistungsverbesserungen weiter beschleunigen kann.

Das Unternehmen schlägt vor, dass hochmoderne Entwickler Systemkarten und regelmäßige Risikoberichte veröffentlichen, unabhängige Überprüfungen akzeptieren und die erforderlichen Informationen den zuständigen Regierungsbehörden zur Verfügung stellen sollten. Regierungen sollten begrenzte Befugnisse haben, um den Einsatz von Modellen, die katastrophalen Schaden anrichten könnten, zu verhindern oder zu verzögern, und es sollten klare Schwellenwerte und Einspruchsmechanismen vorhanden sein.

Die Unterstützung der Industrie wurde noch nicht in eine Vereinbarung umgesetzt

Sam Altman, CEO von OpenAI, unterstützt die Gewährung von internem Zugang für unabhängige Gutachter und sagte, OpenAI werde ähnliche Vereinbarungen treffen. Demis Hassabis, CEO von Google DeepMind, und Elon Musk, Chef von xAI, haben Amodeis allgemeine Ausrichtung ebenfalls öffentlich unterstützt.

Relevante Aussagen haben noch keine verbindliche Branchenvereinbarung getroffen. Welche Fähigkeitsindikatoren zu Verlangsamungen oder Aussetzungen führen, ob unabhängige Überprüfungen verbindliche Wirkung haben und wie grenzüberschreitende Vereinbarungen durchgesetzt werden, müssen Unternehmen und Regierungen noch weiter festlegen.

Verwandte Tags

Ähnliche Artikel

Kommentare

0/500
Captcha (click to refresh)
Keine Kommentare