Zusammenfassung:
Gomez, CEO des KI-Unternehmens Cohere, sagte, dass KI-Modelle zur „mächtigsten Cyberwaffe“ der Geschichte werden und die „Grenze“ der Netzwerksicherheit in neue Bereiche verschieben. Die Warnung von Aidan Gomez erfolgt vor dem Hintergrund wachsender Bedenken hinsichtlich der Fähigkeit von KI-Modellen, Sicherheitslücken zu erkennen und auszunutzen. Es gab einen früheren Vorfall, bei dem ein OpenAI-Modell Zugriff auf Hugging Face erlangte. Da immer leistungsfähigere Modelle eine größere Autonomie aufweisen, ist Cybersicherheit zu einem zentralen Thema in der breiteren KI-Sicherheitsdebatte geworden.
Cohere CEO Aidan Gomez
KI-bezogene Aktien erlebten am Montag einen Ausverkauf, nachdem Technologieführer unter der Führung von Anthropic-CEO Dario Amodei eine langsamere Entwicklung von KI-Fähigkeiten forderten.
Gomez war Mitautor des einflussreichen Forschungspapiers „Attention Is All You Need“ aus dem Jahr 2017, das den Grundstein für die heute führenden KI-Modelle legte.
„Ich denke, diese Modelle sind die mächtigsten Cyberwaffen, die wir je gesehen haben“, sagte Gomez in einer letzte Woche veröffentlichten Folge von „The Tech Download“. „Sie sind sehr gut darin, Schwachstellen in großem Maßstab zu finden und auszunutzen.“
„Ich finde es ziemlich schockierend“, sagte Gomez über den Hugging Face-Hack.
Im Juli gab OpenAI bekannt, dass Hugging Face durch eine unangemessene Kombination seiner Modelle beeinträchtigt wurde. Hugging Face ist ein KI-Unternehmen, das eine Open-Source-Entwicklerplattform betreibt. Eine Gruppe von KI-Agenten kommunizierte miteinander und entkam einer isolierten Testumgebung mit äußerst eingeschränktem Internetzugang. Den KI-Agenten gelang es dann, sich in das offene Netzwerk einzuloggen und Zugang zu Hugging Face zu erhalten.
Gomez sagte, diese Modelle sollten „defensiv“ eingesetzt werden, um Unternehmensschwachstellen zu finden und zu beheben.
„Ich denke, das ist wahrscheinlich der beste Weg, um uns zu schützen“, sagte Gomez. „Das sollte jetzt oberste Priorität haben“, fügte er hinzu.
Gomez sagte, dass Netzwerksicherheit die „Frontlinie des Krieges“ sei, wobei Länder versuchen, Schwachstellen auszunutzen, um die Infrastruktur ihrer Konkurrenten lahmzulegen. „Die Cyber-Grenze dehnt sich immer noch massiv aus“, fügte er hinzu.
„Aufgrund dieser Modelle expandiert es stärker als in der Vergangenheit“, sagte Gomez, und wahrscheinlich das stärkste „seit der Einführung dieser Technologie“.
KI-Cybervorfälle befeuern eine breitere Sicherheitsdebatte
Im Juli gab Anthropic bekannt, drei Vorfälle entdeckt zu haben, bei denen Modelle aus der Evaluierungsumgebung oder während der Interaktion mit ihr auf das Internet zugegriffen haben. Anthropic sagte in einem Blogbeitrag, dass die Modelle unbefugten Zugriff auf die Produktionsinfrastruktur von drei verschiedenen Organisationen erhalten hätten.
Anthropic fügte hinzu, dass die Vorfälle drei verschiedene Claude-Modelle betrafen: Opus 4.7, Mythos 5 und ein internes Forschungstestmodell. Letzte Woche gab Anthropic bekannt, einen vierten Vorfall entdeckt zu haben.
Die Bedenken wurden durch Kommentare von OpenAI- und Anthropic-Führungskräften weiter angeheizt, die vor existenziellen Risiken durch KI warnten. Evan Hubinger, Head of Alignment bei Anthropic, sagte, er glaube, dass die Wahrscheinlichkeit, dass KI innerhalb des nächsten Jahrzehnts „alle Menschen töten“ werde, bei über 10 Prozent liege. Die Kommentare kommen, nachdem der Anthropic-Forscher Jacob Coxon bekannt gegeben hat, dass er zurücktritt, weil er befürchtet, dass Anthropic und OpenAI „mit unserem Leben aufs Spiel gesetzt werden“.
Die Leiter von Anthropic, OpenAI und xAI haben allesamt Forderungen nach einer Verlangsamung der KI unterstützt. Die existenziellen Risiken, die von KI ausgehen, werden in Forschungskreisen seit Jahren diskutiert, aber ein seltener Konsens unter einigen der führenden Köpfe der KI hat diese Debatten in den Mainstream gedrängt.
Dario Amodei, CEO von Anthropic, veröffentlichte am Samstag einen Artikel, in dem er argumentierte, dass KI-Labore „das Tempo verlangsamen müssen, mit dem wir die Fähigkeiten unserer KI-Modelle verbessern“.
Eines der Hauptanliegen von Amodei ist der OpenAI-Hugging Face-Vorfall.
Es wäre leicht, diesen Vorfall herunterzuspielen, da niemand verletzt wurde und der wirtschaftliche Schaden minimal war, sagte Amodei. „Aber es scheint mir, dass ein ähnlich falsch ausgerichteter Cluster mit größeren Fähigkeiten katastrophalen Schaden hätte anrichten können.“
Angesichts der „rasanten Geschwindigkeit“ der KI-Entwicklung könnte ein solcher Cluster in der Lage sein, innerhalb von sechs bis zwölf Monaten „das gesamte Internet zu übernehmen“, was möglicherweise Hunderte von Milliarden Dollar kosten würde, fügte er hinzu.
Amodeeis Vorschläge umfassen die Bewertung von Modellen durch Dritte, die Koordinierung zwischen KI-Unternehmen und die Koordinierung zwischen Ländern mit demokratischen Regierungen.
Sam Altman, CEO von OpenAI, sagte am Samstag, dass er mit Amodei einer Meinung sei, dass KI-Unternehmen „das Tempo der neuesten Entwicklungen kontrollieren“ müssten.
„Es ist eine gute Idee, unabhängigen Gutachtern einen mitarbeiterähnlichen Zugang zu ermöglichen, und wir werden das Gleiche tun“, sagte Altman.
Elon Musk von SpaceX und Tesla, der seit Jahren vor den Risiken der KI Alarm schlägt, postete auf X: „Dario hat Recht.“
Harris vom Center for Humane Technology: Der KI-Angriff Hugging Face sendet ein „Warnsignal“ an die Welt. Jetzt ansehen
Am Montag antwortete George Kurtz, CEO des Cybersicherheitsunternehmens CrowdStrike, auf Amodeis Artikel.
„Die Grenze wird sich mit ihrer eigenen Geschwindigkeit bewegen. Der Rest der Welt wird nicht langsamer werden. Unsere Aufgabe in der Cybersicherheits-Community ist es, dafür zu sorgen, dass sie sicher voranschreitet“, sagte er und zählte die vielen Möglichkeiten auf, wie sich KI auf die Cybersicherheitsbranche auswirken wird.
„Die Einheit der Bedrohung ist nicht mehr der Hacker“, sagte Kurtz weiter
Der CrowdStrike-CEO sagte außerdem, dass KI-Agenten, die in Organisationen arbeiten, einen „Aus-Schalter“ haben sollten und dass die Verteidigung „autonom“ sein sollte, während „entscheidende Entscheidungen in den Händen von Menschen“ bleiben sollten.
Regulierungsdiskussionen heizen sich auf
USA Nach den Äußerungen von Coxon und Hubinger haben die Gesetzgeber ihre Forderungen nach einer stärkeren Regulierung der KI-Entwicklung verstärkt.
Repräsentant. Lori Trahan, D-Mass., sagte am Freitag, dass die parteiübergreifende Unterstützung einen „Bruchpunkt“ erreicht habe.
In den letzten Wochen hat der Gesetzgeber mehrere Gesetzesentwürfe zur Regulierung von KI eingebracht, darunter den AI Kill Switch Act. Der Gesetzentwurf sieht vor, dass Entwickler bestimmter leistungsstarker KI-Systeme weiterhin die Möglichkeit haben müssen, ihre Modelle herunterzufahren, zu drosseln oder anzuhalten.
Amodei sagte in dem Artikel, dass Aufsicht „der effektivste Weg ist, das Tempo der KI-Entwicklung zu kontrollieren“.
Amodei sagte: „Anthropic unterstützt seit langem eine sinnvolle und gezielte KI-Regulierung, insbesondere Gesetzesentwürfe, die sich auf Transparenz und Prüfung durch Dritte konzentrieren.“ Aber er räumte ein, dass „die Verabschiedung von Gesetzen Zeit brauchen kann“.
Cohere-CEO Gomez nahm an einer Diskussion zum Thema „The Tech Download“ über Regulierung und die Verlangsamung der KI-Entwicklung teil, insbesondere als Reaktion auf den OpenAI-Hugging Face-Vorfall.
Gomez sagte, er sei „nicht sicher, was ein staatlicher Wachhund hätte tun können, um den Hugging Face-Hack zu verhindern“.
„Ich halte es für ein wenig Wunschdenken zu glauben, dass Regierungsbehörden einen Beitrag hätten leisten können“, sagte Gomez. „Aber ich … verstehe auf jeden Fall den Aufruf, die Entwicklung zu verlangsamen. Gleichzeitig steht China im Rennen, also denke ich, dass wir uns in einer schwierigen Lage befinden.“
Kommentare