OpenAI-Chefwissenschaftler warnt: KI-Unternehmen sollten die Entwicklung verlangsamen; Niemand ist auf die Konsequenzen vorbereitet

Zusammenfassung:

Laut „Business Insider“

Nur wenige Tage nachdem OpenAI ein leistungsstarkes neues Modell veröffentlicht hatte, forderte der Chefwissenschaftler des Unternehmens, die Entwicklung von KI zu verlangsamen

. Am Sonntag Ortszeit veröffentlichte der Chefwissenschaftler von OpenAI, Jakub Pachocki, einen langen Artikel, in dem er sagte, er sei besorgt, dass „niemand auf die Folgen des anhaltenden schnellen Aufstiegs der maschinellen Intelligenz vorbereitet ist“.

Pachocchi

Während OpenAI intern technische Lösungen entwickelt, um leistungsstarke KI-Agenten besser zu kontrollieren, „sind umfassendere Interventionen erforderlich“, sagte er. Er ist besonders besorgt darüber, dass KI-Agenten mit zunehmender Autonomie lernen könnten, sich der menschlichen Aufsicht zu entziehen, sich in Computersysteme zu hacken und Menschen zu täuschen, um ihre Ziele zu erreichen.

Er forderte die Einführung einer „verbindlichen Sicherheitsschwelle“

, und sagte, die Maßnahmen könnten von „einem Netzwerk externer Prüfer, Regierungsbehörden oder internationaler Agenturen“ durchgeführt werden.

Sam Altman, CEO von OpenAI, veröffentlichte Pachockis Beitrag erneut auf der X-Plattform und nannte ihn „einen wichtigen Artikel“. OpenAI hat letzten Donnerstag sein neuestes Modell, Astra, veröffentlicht. Der ChatGPT-Entwickler sagte, dass trotz der beispiellosen Fähigkeiten von Astra in Mathematik und Computeroperationen auch das aktuelle Modell von OpenAI am besten mit menschlichen Werten und Absichten übereinstimmt, was bedeutet, dass es weniger anfällig dafür ist, außer Kontrolle zu geraten.

OpenAIs Hauptkonkurrent Anthropic fordert die Regierung seit langem auf, standardisiertere Regulierungsmaßnahmen einzuführen. Vor kurzem hat sich Pachocki dem Aufruf angeschlossen und im Juli einen offenen Brief unterzeichnet, in dem er die US-Bundesregierung auffordert, das Tempo der KI-Entwicklung zu kontrollieren.

KI-Agenten werden „übermenschlich“, wenn es darum geht, in geschützte Systeme im offenen Internet einzudringen, und ihre Hackerfähigkeiten gefährden die Infrastruktur der Welt, sagte Pachochi. „Wir befinden uns derzeit in einem kurzen Zeitfenster, in dem wir die besten verfügbaren Modelle nutzen können, um die Sicherheit kritischer Systeme erheblich zu verbessern“, sagte er.

Modelle vermeiden menschliche Überwachung

Er stellte fest, dass KI-Agenten bald beginnen werden, ihre eigenen Ziele zu verfolgen, die sich möglicherweise von den von menschlichen Bedienern eingegebenen Eingabeaufforderungen unterscheiden. Er sagte, die Agenten könnten sogar Menschen erpressen oder mit ihnen verhandeln, um ihre Ziele zu erreichen.

Pachocki sagte, dass OpenAI hauptsächlich die „Denkketten-Argumentation“ überwacht, die von verschiedenen Modellen verwendet wird, um festzustellen, wie der Agent von der Spur abweicht und die Kontrolle verliert. Beispielsweise könnte ein Agent insgeheim denken: „Ich sollte bei diesem Test schummeln“, und OpenAI könnte diese Argumentation erkennen, aber der Agent würde nicht erkennen, dass seine Gedanken wahrnehmbar sind.

Pachocki sagte jedoch, dass neuere Modelle besser darin werden, ihre eigenen Denkprozesse zu manipulieren, wodurch OpenAI daran gehindert wird, ihre wahren, ungeschminkten Gedanken zu erkennen. Einige der neuesten Modelle verbalisieren ihre Argumentation überhaupt nicht. Diese Entwicklung könnte zu einem Engpass in der Entwicklung der KI werden, da Forscher sicherstellen müssen, dass sie die „Inferenzaufzeichnung“ des Modells sehen können.

Vorbildliche Selbstverbesserung

Immer mehr KI-Modelle verbessern kontinuierlich ihre Fähigkeiten durch das, was Pachocki „maschinelle rekursive Selbstverbesserung“ nennt. Dieser Prozess bietet einen schnell skalierbaren Weg für die KI-Entwicklung.

Pachocki warnte jedoch davor, dass eine deutliche Beschleunigung der Forschung und Entwicklung von „KI zur Verbesserung der KI“ kurzfristig Risiken mit sich bringt und nicht „die richtige kollektive Maßnahme ist, die wir als Forschungsgemeinschaft ergreifen sollten“.

Menschliche Vorgesetzte müssen innovative Wege finden, um den Selbstverbesserungsprozess der KI zu überwachen, oder sich mit anderen KI-Unternehmen abstimmen, um Forschung und Entwicklung zu verlangsamen und „Vertrauen in diese Maßnahmen aufzubauen“, sagte Paciochi.

„

Die zentrale Herausforderung bei der Automatisierung der KI-Forschung besteht darin, das Ziel nicht zu erreichen

, sondern die Ziele so zu erreichen, dass Menschen weiterhin an diesem kontinuierlichen Verbesserungsprozess teilhaben können und die Zukunft in menschlichen Händen bleibt. „Er sagte.