Zusammenfassung:
Anthropic, ein amerikanisches Unternehmen für künstliche Intelligenz, fördert einen Gesetzentwurf zur Sicherheitsregulierung für fortschrittliche Systeme der künstlichen Intelligenz und hofft, klare rechtliche Regeln für die Entwicklung, das Testen und den Einsatz modernster KI-Modelle festzulegen. Laut einem Bericht der US-amerikanischen politischen Nachrichtenseite Politico vom 16. Oktober 2026 hat Anthropic diesen Gesetzentwurf einigen Gesetzgebern auf dem Capitol Hill privat vorgestellt. Der Plan versucht, eine Grenze zwischen der Verhinderung schwerwiegender Schäden, die fortschrittliche KI verursachen kann, und der Vermeidung übermäßiger staatlicher Eingriffe in die Technologieforschung und -entwicklung zu ziehen.
Laut dem von Reuters zitierten Bericht von Politico sieht der Gesetzentwurf vor, dass die US-Regierung die Veröffentlichung oder Verwendung des Modells nur dann durch Gerichtsverfahren verhindern kann, wenn davon ausgegangen wird, dass ein hochmodernes KI-Modell erhebliche vorhersehbare und unmittelbare Risiken birgt. Relevante Risiken müssen bestimmte Schwellenwerte erfüllen, einschließlich des Potenzials, Verluste von mehr als 1 Milliarde US-Dollar zu verursachen oder zum Tod oder zu schweren Verletzungen von mehr als 50 Menschen zu führen.
Das bedeutet, dass der Gesetzentwurf der Regierung nicht die Befugnis gibt, willkürlich in alle fortschrittlichen KI-Systeme einzugreifen, sondern versucht, die Aussetzung der Modellfreigabe oder -nutzung auf einige wenige schwerwiegende Situationen zu beschränken. Der Entwurf konzentriert sich auf drei Arten von Risiken: Künstliche Intelligenz wird zur Herstellung oder Freisetzung biologischer Waffen eingesetzt, KI-Systeme geraten außerhalb der Kontrolle der Entwickler und die Nutzung von KI zur Durchführung von Cyberangriffen.
Es sollte beachtet werden, dass es sich hierbei immer noch um einen Gesetzesentwurf handelt, der den Gesetzgebern von Anthropic vorgelegt wurde, und nicht um ein bereits verabschiedetes US-Gesetz. Der endgültige Inhalt, die Autorität der Regulierungsbehörden und die Frage, ob der Kongress die Gesetzgebung vorantreiben wird, müssen noch diskutiert werden.
Der Entwurf schlägt außerdem die Einrichtung eines unabhängigen Bewertungsmechanismus vor. Berichten zufolge müssen hochmoderne KI-Entwickler und ihre Modelle regelmäßigen unabhängigen Bewertungen unterzogen werden, um die Fähigkeiten des Modells, Sicherheitsmaßnahmen und potenzielle Risiken zu überprüfen. Gutachter müssen sich beim US-Handelsministerium registrieren lassen und fortlaufend Sicherheitsüberprüfungen durchführen.
Dem vorgeschlagenen Plan zufolge können KI-Unternehmen Gebühren an unabhängige Bewertungsagenturen zahlen, die Vergütung darf jedoch nicht an die Bewertungsergebnisse gekoppelt sein. Diese Bestimmung soll die Möglichkeit verringern, dass Gutachter Risiken herunterspielen, um den finanzierenden Unternehmen gerecht zu werden, und es Unternehmen gleichzeitig ermöglichen, externe professionelle Agenturen mit der Durchführung technischer Überprüfungen zu beauftragen.
Wenn der Gutachter feststellt, dass ein hochmodernes KI-Modell ein unmittelbares erhebliches Risiko im Sinne des Gesetzes darstellt, muss er dem US-Handelsministerium innerhalb von 72 Stunden nach Abschluss der Bewertung Bericht erstatten. Mit solchen Zeitvorgaben soll verhindert werden, dass schwerwiegende Risiken längere Zeit im Unternehmen verbleiben, ohne rechtzeitig in den staatlichen Regulierungsprozess einzutreten.
Bezüglich der staatlichen Eingriffsbefugnisse sieht der Entwurf relativ strenge Einschränkungen vor. Nachdem das US-Handelsministerium festgestellt hat, dass das Risiko die gesetzlichen Standards erreicht, kann es beim Gericht eine Anordnung zur Aussetzung der Veröffentlichung oder Nutzung des Modells beantragen. Andere Bundesministerien, Regierungsbehörden und Beamte dürfen die Entwicklung, den Einsatz oder die interne Nutzung von KI-Modellen jedoch nicht alleine stoppen.
Die endgültige Entscheidung über die Aussetzung des Modells wird von einem Richter am US-Bezirksgericht für den District of Columbia getroffen. Mit anderen Worten: Nach diesem Entwurf können Regulierungsbehörden ein Modell nicht direkt allein aufgrund einer Verwaltungsentscheidung verbieten, sondern müssen durch gerichtliche Verfahren eingreifen.
Dieses institutionelle Design versucht, zwei miteinander verbundene Probleme zu lösen. Einerseits muss die Regierung in der Lage sein, mit KI-Systemen umzugehen, die zu Massenopfern oder wirtschaftlichen Verlusten führen können. Wenn die Regierung das Modell andererseits aus allgemeinen oder vagen Sicherheitsgründen jederzeit stoppen kann, kann es für Unternehmen schwierig sein, die regulatorischen Risiken vorherzusagen, denen Forschung und Entwicklung sowie Produkteinführungen ausgesetzt sind.
Durch die gesetzliche Verankerung von Eingriffsschwellen, Meldefristen und gerichtlichen Genehmigungsverfahren kann die Regulierungsbehörde klarer gestaltet werden. Ob dieser Mechanismus jedoch ausreicht, um mit sich schnell ändernden KI-Risiken nach dem eigentlichen Betrieb umzugehen, und ob die Schwelle für hohe Verluste und Verluste zu streng ist, wird weiterhin ein wichtiges Thema in den Gesetzgebungsdiskussionen bleiben.
Anthropic-Sprecher sagte gegenüber Reuters, dass dieser Gesetzentwurf einige der politischen Vorschläge des zuvor vom Unternehmen vorgeschlagenen „Advanced AI Framework“ widerspiegele. Das Unternehmen hofft, Gesetze zu verabschieden, die Regierungen die Möglichkeit geben würden, den Einsatz der gefährlichsten fortschrittlichen KI-Systeme zu verhindern, und gleichzeitig von Entwicklern verlangen, Sicherheitstests durchzuführen, die Transparenz zu erhöhen und unabhängige Bewertungen zu akzeptieren.
Anthropic hat in diesem Jahr die Einrichtung eines systematischeren Sicherheitsüberwachungsmechanismus für fortschrittliche KI-Systeme gefördert. Das Unternehmen ist der Ansicht, dass es mit zunehmenden Modellfähigkeiten nicht mehr ausreicht, dass Entwickler allein beurteilen, ob ein Produkt sicher ist, sondern dass eine externe Bewertung und staatliche Aufsicht eingeführt werden muss.
Diese Position spiegelt sich auch in den kürzlich angekündigten Vereinbarungen zur Bewertung durch Dritte wider. Das Unternehmen hat damit begonnen, sechs Forschern der gemeinnützigen Forschungsorganisation METR ähnlich wie Unternehmensmitarbeiter internen Zugriff zu gewähren, um unveröffentlichte Modelle und den Sicherheitsbewertungsprozess des Unternehmens eingehender zu untersuchen. Anthropic sagte, dass Gutachter ihre Forschungsergebnisse öffentlich veröffentlichen können und das Unternehmen seinen Bericht nicht direkt ablehnen kann, aber die Löschung spezifischer Inhalte, die Kundendaten, Modellarchitektur und rechtlich vertrauliche Informationen betreffen, verlangen kann.
Diese Vereinbarung weist eine gemeinsame Richtung mit dem vorgeschlagenen Gesetzentwurf auf: Die Beurteilung der Sicherheit fortgeschrittener KI sollte nicht allein den Entwicklern überlassen werden, sondern es sollten unabhängige Agenturen in die Bewertung einbezogen werden, die wichtige Schlussfolgerungen einer externen Überprüfung zugänglich machen. Es besteht jedoch immer noch ein Unterschied zwischen freiwillig durchgeführten Drittbewertungen durch Unternehmen und zwingenden gesetzlichen Anforderungen. Der konkrete Umfang und die Befugnisse ersterer hängen von der Vereinbarung zwischen dem Unternehmen und der Bewertungsstelle ab, während letztere einheitliche Mindestanforderungen für die gesamte Branche festlegen können.
Der Hintergrund dieses Vorstoßes für den Gesetzentwurf ist, dass die amerikanische Gesellschaft zunehmend besorgt über die Risiken fortschrittlicher KI-Systeme ist. Da KI in der Lage ist, immer komplexere Aufgaben auszuführen, beschränken sich die Risiken nicht nur auf die Generierung falscher Informationen, sondern umfassen auch die Unterstützung bei der Herstellung biologischer Waffen, die Durchführung von Cyberangriffen und die Durchführung von Operationen, die über die Erwartungen des Entwicklers hinausgehen, nachdem sie ein hohes Maß an Autonomie erlangt haben.
Kürzlich haben viele KI-Unternehmen Fälle von abnormalem Verhalten von Modellen während des Testens oder des tatsächlichen Betriebs aufgedeckt. Die US-amerikanische Federal Trade Commission hat außerdem zivilrechtliche Vorladungen an Unternehmen wie OpenAI und Anthropic gerichtet und sie aufgefordert, Materialien im Zusammenhang mit Vorfällen im Bereich Verbrauchersicherheit bereitzustellen. Regulierungsbehörden untersuchen, ob sich KI-Systeme irreführend, beleidigend oder unbefugt verhalten und welche Maßnahmen Unternehmen ergreifen, um solche Probleme zu verhindern.
Diese Vorfälle haben die KI-Sicherheitsüberwachung einem realistischeren Druck ausgesetzt. In der Vergangenheit konzentrierten sich Risikodiskussionen rund um fortgeschrittene KI tendenziell auf mögliche Extremszenarien in der Zukunft; Jetzt, da KI-Agenten Zugang zu Netzwerken erhalten, Software bedienen und mehrstufige Aufgaben ausführen, müssen sich die Regulierungsbehörden auch mit tatsächlichen Sicherheitsproblemen befassen, die bereits aufgetreten sind.
Die Definition von „unmittelbar erheblichem Risiko“ ist jedoch immer noch sehr kompliziert. Die Fähigkeiten von KI-Modellen können sich je nach Einsatzumgebung, verfügbaren Tools und Benutzernutzungsmethoden ändern und potenzielle Schäden können möglicherweise nicht genau quantifiziert werden. Ein Modell kann unter bestimmten Bedingungen schwerwiegende Folgen haben, in anderen Situationen jedoch weniger riskant sein. Aufsichtsbehörden und Gerichte müssen beurteilen, ob das Risiko spezifisch genug ist, die Eintrittswahrscheinlichkeit hoch genug ist und ob die Aussetzung des Modells eine notwendige und angemessene Maßnahme ist.
Die im Entwurf festgelegten Schwellenwerte für wirtschaftliche Verluste und Verluste stellen quantitative Maßstäbe für diese Urteile dar, sie beseitigen jedoch nicht alle Streitigkeiten. Beispielsweise kann die Frage, wie Verluste über 1 Milliarde US-Dollar berechnet werden sollten, ob Risiken auf das Modell selbst zurückzuführen sein müssen und ob mehrere miteinander verbundene Ereignisse kombiniert und bewertet werden müssen, bei der künftigen Implementierung zu rechtlichen Fragen werden.
Darüber hinaus zentralisiert der Gesetzentwurf die Interventionsbefugnis der Regierung beim US-Handelsministerium und erfordert die Beantragung von Aussetzungsanordnungen durch Bundesgerichte. Diese Regelung trägt dazu bei, dass unterschiedliche Regierungsstellen keine separaten Maßnahmen ergreifen können, bedeutet aber auch, dass die Regulierungsbehörden nach der Entdeckung von Risiken Verfahren wie Bewertung, Berichterstattung und gerichtliche Anträge abschließen müssen. Angesichts der sich schnell entwickelnden Technologie wird die Frage, wie Verfahren Vorsicht und Reaktionsgeschwindigkeit in Einklang bringen können, zu einem wichtigen Test für das Systemdesign.
Derzeit hat Anthropic nicht öffentlich bekannt gegeben, dass dieser Entwurf offiziell von Mitgliedern des Kongresses vorgeschlagen wurde oder in den gesetzgeberischen Überprüfungsprozess eingetreten ist. Das US-Handelsministerium reagierte nicht sofort auf eine Bitte um Stellungnahme. Daher ist es ungewiss, ob der Vorschlag parteiübergreifende Unterstützung finden wird, ob er in Kongressdiskussionen überarbeitet wird und ob andere KI-Entwickler ähnliche Regeln unterstützen werden.
Aus Sicht der Branche hat Anthropic die Initiative ergriffen, den Gesetzentwurf den Gesetzgebern vorzulegen, was den Trend widerspiegelt, dass KI-Unternehmen an der Formulierung branchenspezifischer Regulierungsregeln beteiligt sind. Die Unternehmen hoffen nicht nur, dass die Regierung mit extremen Risiken umgehen kann, sondern hoffen auch, dass die Regulierungsstandards klare Grenzen haben, um zu verhindern, dass sich die Sicherheitsaufsicht zu einem Verwaltungseingriff entwickelt, dem es an einheitlichen Standards mangelt.
Allerdings müssen auch die von Unternehmen vorgeschlagenen Regulierungspläne einer externen Prüfung unterzogen werden. Strenge Eingriffsschwellen können normale FuE-Aktivitäten schützen, können aber auch dazu führen, dass es für einige schwerwiegende Risiken, die noch nicht quantifizierte Standards erreicht haben, schwierig wird, eine Aufsicht auszulösen; Eine unabhängige Bewertung kann die Transparenz erhöhen, aber auch die Unabhängigkeit, die beruflichen Fähigkeiten und die Informationszugangsrechte der Bewertungsagentur wirken sich auf den Endeffekt aus.
Der Kern dieses Gesetzesentwurfs besteht daher nicht nur darin, KI-Unternehmen zur Durchführung von Sicherheitstests zu verpflichten, sondern auch darin, drei Fragen zu klären: Wer wird die Risiken fortschrittlicher KI bewerten, welches Risikoniveau reicht aus, damit die Regierung eingreifen kann, und welche Verfahren muss die Regierung durchlaufen, um die Veröffentlichung oder Verwendung von Modellen auszusetzen.
Wenn der entsprechende Plan endlich in den Gesetzgebungsprozess gelangt, könnte sich die fortgeschrittene KI-Aufsicht in den USA weiter von freiwilligen Unternehmensverpflichtungen und dezentralen Sicherheitsrichtlinien hin zu einem Aufsichtsmechanismus mit einheitlichen rechtlichen Standards verlagern. Bis der Entwurf jedoch offiziell vorgelegt, vom Kongress geprüft und in Kraft tritt, handelt es sich immer noch nur um einen von Anthropic vorgeschlagenen politischen Plan und kann nicht als die Einrichtung eines neuen Regulierungssystems für die KI-Sicherheit durch die Vereinigten Staaten angesehen werden.
Kommentare