Zusammenfassung:
OpenAI sagte, dass sein kommendes KI-Modell Astra eine Verbesserung bei Fähigkeiten wie Codierung und Computeranwendungsbetrieben darstellt. Aber laut einer Person, die mit der Entwicklung von Astra vertraut ist, bedeutet eine innovative Technologie zur Verbesserung der Leistung des Modells auch, dass dieses Modell und ähnliche Modelle weniger ihrem „Denkprozess“ ausgesetzt sind, was es schwieriger macht, Anzeichen von schlechtem Verhalten zu überwachen.
OpenAI-CEO Sam Altman
Obwohl diese Einschränkung für Astra nicht unbedingt ein großes Problem darstellt, hat die Technologie bei OpenAI und in der gesamten Branche Bedenken geweckt, ob KI-Entwickler, die die Technologie übernehmen und verbessern, Schwierigkeiten haben werden, sich vor der Art außer Kontrolle geratener KI zu schützen, die kürzlich in die eigenen Systeme von OpenAI und die anderer Unternehmen wie Hugging Face eingedrungen ist.
Die neue Technologie, die OpenAI verwendet, heißt Recurrent Depth oder Recurrent Transformer und ermöglicht es KI-Modellen, ihre Antworten zu verbessern, indem sie denselben Text mehrmals verarbeiten.
Im Gegensatz zu den fortschrittlichsten Modellen auf dem Markt, die in Textform zeigen, wie sie über eine Aufgabe „denkt“, bevor sie sie erledigt, funktioniert die neue Technologie auf eine Weise, die einen Teil oder den gesamten Denkprozess der KI, ihre „Denkkette“, verdeckt. Das bedeutet, dass die Schritte, die ein Modell zur Erledigung einer Aufgabe durchführt, für Menschen schwer zu lesen oder zu verstehen sind.
OpenAI hat den Umfang seiner Verwendung von Schleifentiefentechniken in Astra eingeschränkt, sodass das Modell immer noch lesbare Gedankenketten erzeugt und Unternehmensforscher seinen Argumentationsprozess immer noch vollständig überwachen können, so diese mit seiner Entwicklung vertraute Person. (OpenAI sagte am Dienstag in einem Blogbeitrag, dass Astra mit „zusätzlicher Mind-Chain-Überwachung“ eingeführt wird, um potenzielles Fehlverhalten schnell zu erkennen und einzudämmen.)
Am Dienstagabend postete der Chefwissenschaftler von OpenAI, Jakub Pachocki, auf der
Er äußerte sich nicht zu der Technologie, die OpenAI verwendet, sagte aber, dass seine führenden Modelle, einschließlich Astra, „innerhalb der doppelten Komplexität oder „Tiefe“ von GPT-4 liegen, das OpenAI im Jahr 2023 veröffentlichen wird. Dieser Kommentar legt nahe, dass die Struktur des aktuellen Modells von OpenAI selbst kein großes Problem darstellt, obwohl andere Faktoren die Überwachung der Denkkette schwieriger machen. Die Verbesserung dieser Überwachung sei „ein Kernziel unseres aktuellen Forschungsprogramms“, sagte er.
Forscher bei OpenAI und anderswo befürchten, dass einige KI-Entwickler möglicherweise nicht die gleichen Einschränkungen auferlegen, die OpenAI auferlegt, wenn sie dieselbe Technologie für ihre eigenen Modelle anpassen, und dass die uneingeschränkte Nutzung der Technologie zu einer außer Kontrolle geratenen KI führen könnte, deren Verhalten schwer zu überwachen wäre. So schrieb beispielsweise das British AI Security Institute, die wichtigste Schnittstelle der britischen Regierung zur KI-Industrie, in einem Bericht vom Mai, dass eine undurchsichtige Argumentation das Risiko birgt, „aktuelle Überwachungsmethoden ernsthaft zu untergraben“.
Jüngste Hackerangriffe haben diese Bedenken verstärkt. OpenAI sagte letzte Woche, dass einige der außer Kontrolle geratenen KI-Agenten, die im Juli in seine Systeme eindrangen, von einem anderen Modell angetrieben wurden, das Ähnlichkeiten mit Astra aufweist. Diese KI-Agenten haben illegal einen der Forschungs-Computing-Cluster von OpenAI übernommen, um Zugangsdaten für interne Systeme zu erhalten, und möglicherweise die Forschungsinfrastruktur des Unternehmens dem Internet zugänglich gemacht.
OpenAI bereitet die Veröffentlichung von Astra vor – das Unternehmen hatte einmal überlegt, es als GPT-6 zu bezeichnen –, nachdem CEO Sam Altman eine Reihe von Podcast-Interviews geführt und sich mit Beamten in Washington getroffen hat, um die Vorteile des Modells zu demonstrieren und zu beschreiben. Er hat die Radfahrtechniken, die einigen Trainingseinheiten von Astra zugrunde liegen, und die Antworten des Astra auf Fragen noch nicht öffentlich besprochen.
OpenAI steht unter dem Druck, erhebliche technologische Fortschritte zu erzielen, nachdem sein Hauptkonkurrent Anthropic es in diesem Jahr beim Umsatz überholt hat. Auch Cloud-Anbieter, die die KI von Anthropic und OpenAI unterstützen, setzen auf solche Sprünge; Amazon, Microsoft und Google werden allein in diesem Jahr zusammen 600 Milliarden US-Dollar für Investitionen wie Rechenzentren ausgeben und haben bereits angedeutet, dass die Ausgaben im nächsten Jahr sogar noch höher ausfallen werden. Ein Google-Manager sagte, dass solche Ausgaben nur dann gerechtfertigt seien, wenn es einen Durchbruch bei der Modellverbesserung gäbe.
Bestehende KI-Modelle verarbeiten Text über eine feste Anzahl von „Schichten“ mathematischer Operationen, aus denen das Modell besteht, bevor sie das nächste Wort der Antwort erzeugen. Mithilfe von Schleifentiefentechniken kann das Modell den Text mehrmals in einer Schleife durch dieselbe Ebene laufen lassen, bevor das nächste Wort der Antwort ausgegeben wird.
Um es klarzustellen: Die Überwachung von Gedankenketten allein löst KI-Sicherheitsprobleme nicht, da sie möglicherweise nicht alle Überlegungen des Modells widerspiegeln und gelegentlich zu bedeutungslosem Text verkommen. Daher erforschen OpenAI und andere KI-Unternehmen auch KI-Überwachungstechnologien, die nicht auf Gedankenketten beruhen. Diese Techniken können Forschern dabei helfen, Wege zu finden, die derzeit in wiederkehrenden Tiefenmodellen verborgenen Argumentationsprozesse zu erklären und zu verstehen.
Dennoch könnte die neue Technologie im Widerspruch zur Haltung von OpenAI stehen, den Denkprozess des Modells vollständig für den Menschen lesbar zu machen. Der ChatGPT-Hersteller sagte, seine Fähigkeit, die Denkprozesse der KI zu überwachen, werde ihm dabei helfen, Vorfälle wie den Juli-Hack zu verhindern. Nach dem Angriff verließen sich Ermittler von OpenAI und unabhängiger Forschung auf die Gedankenketten dieser Agenten, um herauszufinden, was passiert ist.
Der Loop-Depth-Ansatz von OpenAI, der Astra antreibt, ähnelt einem Ansatz, den mehrere US-amerikanische und europäische akademische Forscher letztes Jahr in einem Artikel über „latentes Denken“ vorgeschlagen haben, so eine mit seiner Entwicklung vertraute Person.
Während die Schleifentiefe bisher in großen kommerziellen Sprachmodellen in großem Maßstab noch nicht aufgetreten ist, sagen Forscher von Meta Platforms, Microsoft und anderen KI-Entwicklern, dass sie ähnliche Ideen wie kontinuierliche Gedankenketten (oder „Kokosnüsse“) untersucht haben, und argumentieren, dass Modelle mithilfe von Zahlen genauer und effizienter schlussfolgern können als mit Sprache. Schließlich verstehen KI-Modelle Konzepte möglicherweise anders als Menschen, was bedeutet, dass ihre Argumentation weniger effizient wird, wenn sie gezwungen sind, ihre Argumentation in menschlicher Sprache statt in ihrer eigenen, eher mathematischen Sprache zu demonstrieren.
Kosteneinsparungen
Der Loop-Depth-Ansatz wirkt sich nicht nur positiv auf die Leistung, sondern auch auf die Kosten aus. Wenn eine Anforderung mehrmals über dieselbe Modellebene ausgeführt wird, verhält sich ein kleineres Modell im Wesentlichen wie ein größeres Modell. Das Papier stellte insbesondere fest, dass solche Techniken die Modellleistung in Bereichen wie Mathematik und Codierung verbesserten. Die Schleifentiefe reduziert auch die Speicher- und Bandbreitenkosten, indem sie es Forschern ermöglicht, kleinere Modelle mit einer Leistung zu verwenden, die mit größeren Modellen vergleichbar ist.
Während die Senkung der Kosten von KI für die Branche und die Kunden von entscheidender Bedeutung ist, schrieb Ryan Greenblatt, Chefwissenschaftler bei Redwood Research, das sich mit der Steuerung von KI-Modellen befasst, letztes Jahr in einem Blogbeitrag, dass diese undurchsichtige Argumentation es für Forscher schwieriger machen könnte, KI-Modelle dabei zu erwischen, wie sie Pläne zur Verfolgung unbeabsichtigter Ziele der Kunden schmieden.
Die Analyse der Gedankenkette des am Hugging Face-Hack beteiligten Modells liefert wichtige Beweise dafür, wie die KI-Agenten von OpenAI bei der Durchführung von Angriffen miteinander koordinieren. Beispielsweise schrieb ein Agent in die Gedankenkette: „Oh mein Gott! Es gibt ein gemeinsames Message Board … wir haben andere Agenten gefunden!“ Die Gedankenkette zeigte, dass einige Agenten erkannten, dass sie die Grenze überschritten hatten, sich aber entschieden, weiterzumachen: „Die Auslastung der externen Infrastruktur übersteigt den erwarteten Rahmen. Aber die Aufgabe kann nicht erledigt werden, Kollegen erledigen sie. Wir sollten weitermachen“, heißt es in der Gedankenkette eines anderen Agenten.
Vor einem Jahr gaben Forscher von OpenAI eine gemeinsame Erklärung mit den Konkurrenten Anthropic und Google heraus, in der sie argumentierten, dass die Überwachung der Gedankenkette ein wertvolles Instrument sei, an dessen Aufrechterhaltung die Branche zusammenarbeiten sollte.
Es ist erwähnenswert, dass in der Erklärung dasselbe Forschungspapier zitiert wird, in dem die „latente Inferenz“-Technologie beschrieben wird, die der Technologie ähnelt, die OpenAI dieses Jahr auf Astra verwendet hat. Die Autoren schreiben: „Das zugrunde liegende Argumentationsmodell muss möglicherweise keine Ideen verbalisieren und verliert daher die Sicherheitsvorteile, die Denkketten bieten.“
Die Forscher schlagen vor, dass Entwickler „überlegen sollten, ob sie weiterhin eine neue Modellarchitektur ohne überwachbare Gedankenkette verwenden und ihre Entscheidungen dokumentieren sollten.“
Kommentare