Zusammenfassung:
Am 2. September veröffentlichte der Chefwissenschaftler von OpenAI, Jakub Pachocki, eine Nachricht auf sozialen Plattformen als Reaktion auf die jüngste Kontroverse um das „unkontrollierbare“ neue Modell Astra. Die Kontroverse geht auf einen Tag zuvor zurück, als bekannt wurde, dass das kommende Astra-Modell von OpenAI eine Inferenztechnologie namens Recurrent Depth verwendet.
In diesem Modus wird derselbe Satz von Transformer-Schichten wiederholt berechnet, und ein Teil des Argumentationsprozesses findet innerhalb des Modells statt und muss nicht alle in Form einer Denkkette dargestellt werden, daher wird dies auch als „undurchsichtige Schleife“ bezeichnet.
Pachocki äußerte die Hoffnung, ein Wettrüsten in Richtung eines nicht überwachbaren Zustands zu vermeiden, der durch ungenaue Informationen verursacht wird – das heißt, dass große Laboratorien um die Entwicklung von Modellen konkurrieren, die zu leistungsfähig sind, um von Menschen überwacht und überprüft zu werden, was zu einem völligen Versagen der Sicherheitskontrolle führt.
Er betonte, dass die Rechengraphentiefe modernster Modelle, einschließlich Astra, nicht mehr als doppelt so hoch ist wie die von GPT-4, was darauf hindeutet, dass die Modellarchitektur keinen Komplexitätssprung erfahren hat, wie von der Außenwelt befürchtet.
Die Tiefe des Berechnungsdiagramms bezieht sich hier auf die längste Kette von Berechnungsschritten, die nacheinander ausgeführt werden müssen, um eine Inferenzaufgabe abzuschließen, und nicht parallel beschleunigt werden können. In der Vergangenheit konnten Intra-Layer-Berechnungen unter der gewöhnlichen Transformer-Architektur massiv parallel erfolgen, und die Serialisierungstiefe entsprach ungefähr der Anzahl der Modellschichten.
Die Zyklustiefe von Marktgerüchten kann denselben Satz von Modulen für mehrere Denkrunden iterieren und so die Tiefe der internen Argumentation vor der Ausgabe des nächsten Tokens (Wortelements) erhöhen, anstatt sich ausschließlich auf längere sichtbare Text-Denkketten zu verlassen, was die Leistung in Mathematik, Codierung und anderen Bereichen verbessern und die Kosten senken kann.
Das implizite Sicherheitsrisiko dieser Architektur besteht darin, dass das Modell bei extrem hoher Tiefe des Berechnungsdiagramms implizit eine große Anzahl von Argumentationsschritten intern abschließen kann, ohne die gesamte Denkkette in der Ausgabe auszuspucken. Der Mensch wird nicht in der Lage sein, den Prozess des Denkens, Planens und Findens von Lücken zu erkennen und dann in einen Zustand zu geraten, in dem er nicht mehr überwacht werden kann. Sicherheitsüberprüfungen und die Überwachung der Denkkette werden alle scheitern.
Nachdem die entsprechenden Neuigkeiten bekannt wurden, reagierte die KI-Sicherheitsgemeinschaft heftig. Buck Shlegeris, CEO von Redwood Research, einer gemeinnützigen KI-Sicherheitsorganisation, schrieb, er sei „äußerst besorgt“. Basierend auf dem vorherigen Vorfall, bei dem das OpenAI-Modell die Hugging Face-Community angegriffen hat, sagte er, dass er nicht sicher sei, ob die Überwachbarkeit der Denkkette von Astra viel schlechter sei als die des Vorgängermodells, aber wenn diese Technologie weiter vorangetrieben und die Anzahl der Zyklen stark erhöht würde, würde die Überwachbarkeit der Denkkette vollständig zerstört. Dies ist besonders besorgniserregend, denn wenn die Ermittler die Gedankenkette nicht erkennen können, wird es schwieriger, entsprechende Sicherheitsvorfälle zu untersuchen, was wirklich beängstigend ist.
Ryan Greenblatt, Chefwissenschaftler bei Redwood Research, der an der Untersuchung des Sicherheitsvorfalls Hugging Face beteiligt war, sagte auch, dass dies möglicherweise der bislang schwerwiegendste Rückschlag in der KI-Sicherheit sei. Zvi Mowshowitz, ein Autor, der sich seit langem Sorgen um die KI-Sicherheit macht, kritisierte diese Technologie als „Spiel mit dem Feuer“ und sagte sogar, dass Gesetze erforderlich seien, um den Wettbewerb zwischen KI-Labors um niedrigere Standards zu verhindern.
Pachoki gab in seiner Antwort zu, dass die Überwachung der Gedankenkette zwar fragil sei und sich in eine schwierigere Richtung entwickle, dies sei aber nicht auf architektonische Veränderungen zurückzuführen. OpenAI hat sich seit seinen ersten Inferenzmodellen der Aufrechterhaltung und Nutzung der Denkkettenüberwachung verschrieben und ist davon überzeugt, dass diese Technologie dabei helfen kann, zu beobachten, wie sich Modellausrichtungsfunktionen aus der Trainingsverteilung verallgemeinern. Die Stärkung der Überwachung von Denkketten bleibt das Kernziel aktueller Forschungsprojekte.
OpenAI erklärte, dass es eine zusätzliche Überwachung der Gedankenkette für Astra einsetzen wird, um potenzielles Fehlverhalten schnell zu erkennen und einzudämmen. Laut Marktnachrichten ist der Einsatz der Loop-Depth-Technologie durch Astra begrenzt und es wird weiterhin erwartet, dass die Modell-Denkkette lesbar bleibt. Plattformen wie Anthropic und Google DeepMind in der Branche diskutieren bereits über ähnliche Technologien.
Kommentare