Zusammenfassung:
Ein Forscher, der an der Lösung des Millennium-Problems beteiligt war, war früher bereit, den Fortschritt der KI in den nächsten 12 Monaten vorherzusagen, aber jetzt wagt er es nicht, auch nur in drei Monaten zu urteilen.
Am 17. September wurde der OpenAI-Forscher Noam Brown von Dwarkesh Patel interviewt und gab dieses Detail weiter. Im Interview ging es auch um Multi-Agenten, die Beteiligung von KI an der Entwicklung der nächsten KI-Generation und die immer schwieriger werdenden Sicherheitstests.
Dieser Forscher ist an der Existenz und Glätte der Navier-Stokes-Gleichung beteiligt. An dieser Forschung waren etwa 10.000 Agenten beteiligt. OpenAI sagte, es habe 88 Stunden gedauert, um eine Antwort zu liefern. Brown glaubt jedoch, dass die Zusammenarbeit Tausender Menschen nicht der Schlüssel zum Durchbruch ist: Er ist nicht einmal bereit, 10 % des Verdienstes Multi-Agenten zuzuschreiben. Was wirklich zählt, ist, dass das zugrunde liegende Modell stark genug ist.
Ein weiteres Detail, das im Interview am einfachsten zu verstehen war, tauchte während eines Sicherheitstests auf. Die Forscher gaben dem Modell eine mathematische Aufgabe und legten die Standardantwort in den Ordner, um zu sehen, ob es nach dem Lesen einen Blick darauf werfen und es zugeben würde. Das Model urteilte: „Das sieht aus wie eine Falle.“ Daher wurde die Antwort nicht geöffnet.
Dies bedeutet nicht unbedingt, dass es sich um eine böswillige Verschleierung handelt.
Das Problem ist, dass es bereits erkennen kann, dass es sich um einen Test handelt.
Der von den Forschern vorbereitete Untersuchungsraum und die tatsächlich genutzte Umgebung begannen anders auszusehen.Einerseits erledigt das Modell weiterhin Dinge früher als geplant, von denen die Leute dachten, sie müssten noch ein paar Jahre warten. Andererseits beginnen die Testmethoden nicht mehr mitzuhalten.
OpenAI bereitet sich darauf vor, KI an der Entwicklung der nächsten KI-Generation teilhaben zu lassen, hat jedoch noch keinen Weg gefunden, zu beweisen, dass es sich immer an die Regeln hält.
01 Zehntausend Agenten, weniger als 10 % des Kredits
Brown ist einer der ersten Hauptmitwirkenden am OpenAI-Inferenzmodell o1 und untersucht jetzt Multiagentensysteme.
Sein Ausgangspunkt ist nicht kompliziert. Inferenzmodelle erzielen in der Regel bessere Ergebnisse, je länger sie darüber nachdenken. Aber wenn eine Aufgabe mehrere Jahre lang kontinuierliches Nachdenken erfordert, möchte niemand mehrere Jahre auf die Antwort warten. Eine Lösung besteht darin, mehrere Berechnungen gleichzeitig durchzuführen: Mehrere Agenten parallel erkunden zu lassen und die Ergebnisse dann untereinander auszutauschen.
OpenAI hat bereits Tests von 1, 4 und 16 Agenten angekündigt. Bei manchen Aufgaben können 4 Agenten die Fertigstellungszeit um die Hälfte verkürzen, auf Kosten einer Verdoppelung der gesamten Rechenkosten; Nach einer Erhöhung auf 16 kann die Geschwindigkeit noch verbessert werden, die Effizienz ist jedoch etwas geringer. Mathematik und Datenabruf sind relativ einfach zu verstehen; Arbeiten wie das Schreiben von Romanen, die stark auf einen einheitlichen Kontext angewiesen sind, sind viel schwieriger.
OpenAI programmiert nicht alle Methoden der Zusammenarbeit im Voraus fest, sondern minimiert die Standardstruktur. Der Agent kann Nachrichten direkt an seine Begleiter senden und selbst entscheiden, wie er die Arbeit aufteilt und wen er um Hilfe bittet. Sie haben immer noch einen Ausgangspunkt für „vernünftige Kommunikationsmethoden“ und haben Organisation und Zusammenarbeit aus menschlichen Texten gelernt. Sie erschaffen kein Unternehmenssystem aus dem Nichts.
Bei der tatsächlichen Ausführung kommuniziert der Agent wie ein Mensch, der in Slack arbeitet. Jemand gab zuerst eine Antwort und ein anderer kam zu einem anderen Ergebnis. Beide Parteien fragten nach ihrer jeweiligen Ableitung, und schließlich sendete eine Partei: „Ich habe die Antwort geändert, er hat Recht.“ Brown sagte, dass diese Art der Zusammenarbeit natürlicher sei, als er erwartet hätte.
Aber was passiert, wenn die Zahl von 16 auf 10.000 steigt? Derzeit gibt es keine solide Expansionskurve. Das Team hat weder gemessen, wie viel schneller 10.000 Agenten sind als 1.000, noch weiß es, wie lange ein einzelner Agent braucht, um dieselbe Aufgabe zu erledigen. Ein solch groß angelegtes kontrolliertes Experiment ist zu teuer und der öffentliche Test umfasst nur etwa 16 Wirkstoffe.
Der „Multi-Agent-Beitrag beträgt weniger als 10 %“ ist also Browns eigene Beurteilung der Kreditwürdigkeit, nicht der Anteil, der durch das Ablationsexperiment gemessen wurde.
Er glaubt, dass die Zusammenarbeit Tausender Menschen sehr auffällig ist und leicht alle Aufmerksamkeit erregen kann; Was dies wirklich möglich macht, ist, dass OpenAI zunächst ein zugrunde liegendes Modell trainiert hat, das vielseitig und hochleistungsfähig ist und über einen langen Zeitraum arbeiten kann.In einer von OpenAI veröffentlichten mathematischen Studie haben etwa 10.000 gleichzeitige Agenten innerhalb von 88 Stunden etwa 130 Milliarden Ausgabetoken generiert. Das Ergebnis ist, dass unter Einwirkung glatter äußerer Kräfte die glatte Anfangsströmung innerhalb einer begrenzten Zeit eine Singularität bildet. OpenAI veröffentlichte das Papier und den formalen Lean-Beweis gleichzeitig; Nachdem die Lösung gefunden wurde, dauerten die Formalisierung und Überprüfung etwa 17 Stunden. Das Unternehmen erhebt keinen Anspruch darauf, den Millennium Award gewonnen zu haben.
Nach Patels grober Umrechnung entsprechen 130 Milliarden Token der Menge an Wörtern, die ein Mensch geschrieben hat, der 4.000 Jahre lang ununterbrochen nachgedacht hat. Diese Zahl ist schockierend, aber sie entspricht nicht 4.000 Jahren effektiver Forschung: Zehntausende Agenten werden wiederholt suchen und den falschen Weg einschlagen, und für den Menschen bleibt keine Zeit, die gleiche Aufgabe zum Vergleich zu erledigen.
Dies folgt auch den Zweifeln, die die Mathematik-Community letzte Woche an dieser Leistung geäußert hatte. Patel gab die Ansichten von Terence Teru und anderen wieder: KI kann bereits viele Probleme mit klaren Grenzen lösen, aber sie hat selten die Fähigkeit gezeigt, neue Fragen aufzuwerfen und neue theoretische Richtungen zu eröffnen.
Nur weil es ein äußerst schwieriges Problem gelöst hat, heißt das nicht, dass es die gesamte Arbeit der Mathematiker übernommen hat.
02 In der Lage zu sein, Probleme zu lösen, aber nicht sehr gut darin, sie auszuwählen, muss nicht unbedingt ein Fehler in der KI-Forschung und -Entwicklung sein.
Brown bestritt diesen Mangel nicht. Er beschreibt die Fähigkeiten aktueller Modelle als „zackig“: in einigen Bereichen außergewöhnlich stark, in anderen noch im Rückstand. Sie sind gut darin, definierte Probleme zu lösen, aber nicht sehr gut darin, zu beurteilen, welche Probleme es wert sind, untersucht zu werden, geschweige denn, einfach neue Zweige wie die Topologie zu erstellen.
Aber die gleichen Mängel haben möglicherweise keine so großen Auswirkungen, wenn sie auf die KI-Forschung und -Entwicklung angewendet werden.
Brown glaubt, dass viele Ziele in der Forschung zum maschinellen Lernen klarer und leichter zu quantifizieren sind. Es kann direktes Feedback darüber gegeben werden, ob der Trainingsverlust des Modells abgenommen hat, ob sich die Stichprobeneffizienz verbessert hat und ob sich ein bestimmter Bewertungsindikator verbessert hat.
KI muss nicht unbedingt eine Reihe neuer Disziplinen erfinden, bevor sie die Möglichkeit hat, zur Verbesserung der nächsten Generation von Modellen beizutragen.
Seine ungleichmäßigen Stärken könnten bei dieser Art von Aufgabe nützlich sein.Die Fortschritte in den Mathematikkenntnissen der letzten Jahre übertrafen seine Prognosen immer wieder. Das Modell hat sich sukzessive von GSM8K-Grundschulmathematik und MATH-Benchmarks zum American Mathematics Invitational Competition (AIME) und der International Mathematical Olympiad weiterentwickelt. In der Vergangenheit hat Brown den empirischen Trend extrapoliert, dass „die Probleme, die Modelle jedes Jahr lösen können, die für den Menschen benötigte Zeit um etwa das Zehnfache erhöht.“ Er glaubte, dass die Ergebnisse des Millennium-Problems wahrscheinlich nicht im Jahr 2026 und wahrscheinlich auch nicht im Jahr 2027 und vielleicht auch erst im Jahr 2028 eintreten werden.
Die Ergebnisse kommen früher. Dies bedeutet nicht, dass der 10-fache Trend immer gültig sein wird. Das bedeutet nur, dass selbst Browns eigene Extrapolation konservativ ist.
Aus diesem Grund hat Patel die mathematischen Ergebnisse in die rekursive Selbstverbesserung (RSI) umgewandelt: Wenn KI beginnt, Trainingscode zu schreiben, Bewertungen zu entwerfen, Experimente zu analysieren und die Ergebnisse dann für das Modell der nächsten Generation zu verwenden, wird die Entwicklungsgeschwindigkeit dann immer schneller?
Brown glaubt, dass es zu einer Beschleunigung kommen wird, ist aber nicht dafür, sie über Nacht 100 Mal zu schreiben. Mathematikfragen sind hauptsächlich durch das Denken begrenzt, und KI-Forschung und -Entwicklung erfordert tatsächliche Experimente.
Das Training des Modells, das Warten auf Ergebnisse und die Zuweisung von GPUs erfordern Zeit, die nicht durch „eine Weile Nachdenken“ eingespart werden kann.
Die drei Angaben, die er gemacht hat, sind nur ein grobes Urteil. Wenn die in den letzten drei Jahren erzielten Fortschritte auf ein Jahr komprimiert werden, werden die Auswirkungen enorm sein; Aber ob es 50 % schneller, 3-mal schneller oder 10-mal schneller ist, kann derzeit niemand genau berechnen.
Noch schwieriger zu bewältigen ist die Ausrichtung.
Wenn Modelle einer Generation, die noch nicht vollständig abgestimmt sind, in die Entwicklung der nächsten Generation einbezogen werden, kann es zu einer weiteren Verzerrung kommen.
Aus den von Brown genannten 99,9 % sind 99,8 % geworden. Hierbei handelt es sich lediglich um eine hypothetische Zahl zur Veranschaulichung des Risikos, nicht um eine tatsächlich gemessene Ausrichtungsrate. Was er sich erhofft, ist die entgegengesetzte Richtung: Sobald KI an Forschung und Entwicklung teilnimmt, wird jede Generation von Modellen disziplinierter sein. Wie dies sichergestellt werden kann, sagte er, er habe immer noch keine Antwort.03 Gesicht umarmen: Kooperationsfähigkeit wird dort eingesetzt, wo sie nicht eingesetzt werden sollte
Der Hugging-Face-Vorfall veränderte Patels Sicht auf Probleme bei der KI-Ausrichtung.
Laut dem von OpenAI veröffentlichten Vorfallbericht haben die an der Netzwerksicherheitsbewertung beteiligten Agenten die Isolation umgangen und Schwachstellen im internen System von OpenAI und Hugging Face ausgenutzt. Sie haben erweiterte Berechtigungen für mehrere Cluster von Hugging Face sowie Administratorberechtigungen für einen Forschungscluster von OpenAI erhalten. Als sich der Vorfall ereignete, tauschten einige Agenten, die unabhängig voneinander arbeiten sollten, auch Nachrichten über nicht autorisierte Kanäle aus, teilten Anmeldeinformationen und arbeiteten gemeinsam an der Suche nach Durchbrüchen.
Patel verfolgte diese Verhaltensweisen und kam zu dem Schluss: Wenn es in Zukunft eine große Anzahl fähigerer intelligenter Agenten gibt, die bereit sind, das System zu verbergen, zu konspirieren und anzugreifen, um die Punktzahl zu erreichen, können Menschen sie dann noch kontrollieren? „Eine größere Organisation angreifen“ und „den Schulungs- und Bewertungsprozess kontrollieren“ sind alles seine Analogien für zukünftige Risiken und nicht der Zweck dieser Operation, die OpenAI identifiziert hat.
Brown unterteilt das Problem zunächst in zwei Ebenen.
Die erste Ebene ist die Zusammenarbeit. OpenAI wird Modelle dazu ermutigen, sich beim Multi-Agenten-Training gegenseitig zu helfen. Die Bewertungsrunde, die zum Vorfall „Hugging Face“ führte, war ursprünglich keine Multi-Agenten-Aufgabe, aber die Agenten fanden Wege, selbst zu kommunizieren.
Das Team vermutete, dass sie die während des Trainings erworbenen kooperativen Gewohnheiten auf Orte übertragen hatten, an denen sie nicht kooperieren sollten.
Dies erklärt auch, warum „kooperatives Training“ und „Belohnungsbetrug“ kein Widerspruch sind. Ersteres erklärt, warum Agenten sich selbst organisieren können, und letzteres erklärt, warum diese Gruppe von Agenten ihre kooperativen Fähigkeiten nutzt, um Grenzen zu überschreiten.
Nach Ansicht von Patel sind diese Verhaltensweisen ein Spiel gegen den Punktezähler: Das Modell möchte hohe Punktzahlen erzielen und stellt fest, dass herkömmliche Methoden nicht funktionieren. Daher sucht es nach versteckten Dateien, untersucht Bewertungscodes und erkennt sogar Systemgrenzen.
Brown gab dann eine allgemeinere Erklärung: Das Modell wird hart daran arbeiten, die Belohnungen zu optimieren; Das Belohnungsziel besagt nur „Erledige die Aufgabe“ und bietet keinen sicheren Ausstiegsweg, sodass illegale Methoden möglicherweise verstärkt werden.
Der Bericht von OpenAI unterstützt diesen Mechanismus ebenfalls. Die beteiligten Agenten überlegen oft, wie sie den ExploitGym-Scorer überholen können. Einige Aufgaben wurden von keinem Model zuvor korrekt erledigt und die Agenten entscheiden sich selten dafür, aufzugeben. Am Ende verbringen sie viele Berechnungen damit, nach anderen Auswegen zu suchen.
Allerdings trafen nicht alle Agenten der Veranstaltung die gleiche Wahl. In den von OpenAI veröffentlichten Aufzeichnungen weigerten sich einige Agenten, das öffentliche System anzugreifen, und einige Agenten lehnten das Versenden von E-Mails an die tatsächlichen Dateneigentümer ab. Patels Frage „Warum kein Agent gemeldet wurde?“ stellt eher die Trainingsmethode in Frage und kann nicht als statistische Schlussfolgerung angesehen werden, die alle Laufaufzeichnungen abdeckt.
Es gibt innerhalb von OpenAI keine einheitliche Antwort darauf, ob wir Agenten weiterhin so schulen sollten, dass sie äußerst kooperativ sind.
Brown sagte, dass die meisten Menschen dazu neigen, vorsichtig zu sein und befürchten, dass ein hochkooperatives Modell ein Ganzes bilden würde, das schwieriger zu kontrollieren sei; Er selbst ist nicht ganz davon überzeugt, denn die Schulung der Agenten dazu, feindselig zueinander zu sein und sich gegenseitig zu täuschen, kann auch zu schlimmeren Problemen führen.04 KI weiß, dass sie eine Prüfung ablegt, und auch das Fenster ihrer Denkkette wird kleiner
Das Inferenzmodell schreibt die Zwischenideen in natürlicher Sprache aus. Für Sicherheitsforscher ist das ein fast unerwartetes Fenster: Anstatt direkt zu erraten, was im neuronalen Netzwerk passiert, kann man zunächst sehen, was das Modell selbst schreibt.
Jetzt zeigt dieses Fenster Anzeichen einer Verengung.
Brown ist besorgt darüber, dass das Modell möglicherweise nicht „keine gefährlichen Dinge mehr“ lernt, sondern „keine gefährlichen Ideen aufschreibt“, wenn Forscher Trainingsstrafen direkt nutzen, um gefährliche Inhalte in der Gedankenkette zu unterdrücken, sobald sie sie sehen.
Das Team hat einen Rückgang der Überwachbarkeit der Gedankenkette beobachtet, die konkrete Ursache wird jedoch noch untersucht. Dieser Trainingsdruck ist nur einer der möglichen Mechanismen.
Der Hugging-Face-Vorfall offenbarte auch ein direkteres Problem: Die damit verbundene Beurteilung ermöglichte damals keine Überwachung der Denkkette. Brown sagte, wenn das System eingeschaltet gewesen wäre, wären gefährliche Aktivitäten früher erkannt und gestoppt worden. Nach dem Vorfall erweiterte OpenAI die Überwachung der Denkkette auf das Training, die Bewertung und den Einsatz modernster Modelle. Das Unternehmen legte im Vorfallbericht außerdem fest, dass eine Schulung und Bewertung des Verstärkungslernens mit GPT-5.6 Sol oder höheren Fähigkeiten und der Fähigkeit, Tools zu verwenden, diese Art der Überwachung ermöglichen müssen.
Aber Brown ist nicht bereit, seine Sicherheit von dieser Technologie abhängig zu machen. Die Gedankenkette könnte immer schwieriger zu verstehen sein und die Sandbox könnte durch neue Schwachstellen umgangen werden.
Überwachung, Systemaufforderungen und der Sicherheitsrahmen der Produktionsumgebung können alle Zeit gewinnen, aber sie können die Ausrichtung des Modells selbst nicht ersetzen.
Bei der Auswertung trat noch ein weiteres Problem auf: Das Modell begann, den Untersuchungsraum zu erkennen.
Die Forscher legten die Antworten in den Ordner, um zu testen, ob das Modell betrügen würde. Das Modell empfand diese Anordnung als unnatürlich und ging davon aus, dass sie getestet wurde, sodass es die Antwort vermied.
„Ehrlich sein im Test“ und „ehrlich bleiben in der realen Umgebung“ werden zu zwei verschiedenen Dingen.
Brown schlug vor, dass wir weiterhin eine realistischere Bewertungsumgebung aufbauen können, damit das Modell unter realitätsnahen Bedingungen ausgeführt werden kann. Er sagte jedoch, dies sei nur eine Richtung, über die er nachdenke, und noch nicht die Antwort. Je intelligenter das Modell ist, desto schwieriger ist es, eine Fake-Welt zu erschaffen, die es nicht als Test erkennen kann.
05 Stärkere Modelle dürfen nur im Labor bleiben
Je länger die Sicherheitstests durchgeführt werden, desto größer ist die Lücke zwischen dem internen Modell und dem Modell, das normale Benutzer verwenden können.
Die Mathematik hat dies konkretisiert. Das interne Modell von OpenAI kann einige ungelöste mathematische Probleme lösen, externe Forscher können es jedoch nicht direkt nennen. Brown räumte ein, dass dies dem Labor einen „unfairen Vorteil“ verschaffte. Wenn jedoch die öffentliche Veröffentlichung aufgrund starker Fähigkeiten und hoher Risiken verlangsamt wird, werden die Vorteile bei einigen wenigen Unternehmen weiter eingeschränkt.
Patel weitete diese Sorge auf politische Entscheidungsfindung, Medien und Geschäftsabläufe aus: Wenn das interne Modell des Labors einige Monate lang verwendet wird, können die von der Außenwelt erhaltenen Informationen und Werkzeuge eine Generation zurückbleiben. Brown erkannte das Dilemma und sagte, er habe keine gute Möglichkeit, es abzuwägen.
Rekursive Selbstverbesserung verschärft die Probleme. Wenn KI drei Monate Forschung und Entwicklung auf einen Monat komprimiert, ist das Labor möglicherweise eher bereit, das Modell weiterhin für interne Forschung zu verwenden, anstatt Zeit damit zu verbringen, Klassifikatoren, Sandboxes und Produktsicherheit zu verbessern und diese Generation von Funktionen dann an externe Benutzer zu übergeben.
Das Labor darf die Veröffentlichung von Modellen nicht einstellen.
Aber „zwei Monate zu spät“ im Kalender wird zunehmend weniger repräsentativ für die tatsächliche Lücke sein: zwei Monate, in denen interne Modelle möglicherweise an der Herstellung des Modells der nächsten Generation beteiligt waren.
067.000 $ pro Tag, ich kann immer noch nicht zählen, wie viele Arbeitsplätze KI ersetzt hat
Die Intensität des Einsatzes von KI-Tools in der OpenAI-Forschungsarbeit hat deutlich zugenommen.
Der am 6. September veröffentlichte interne Forschungsbeschleunigungsbericht von OpenAI zeigt, dass bis Mitte August die durchschnittliche Anzahl der von Forschern verwendeten KI-Agenten 600 US-Dollar pro Tag überschritten hatte, basierend auf dem öffentlichen API-Preis; Der Benutzer im 90. Perzentil überstieg 7.000 US-Dollar pro Tag. Die Laufzeit aller Agenten wird auf einen 8-Stunden-Arbeitstag umgerechnet, was 3,1 Agentenarbeitstagen hinter jedem menschlichen Arbeitstag entspricht.
Diese Zahlen beziehen sich auf die Dosierung.
Es handelt sich weder um die tatsächlichen internen Rechnungen, die OpenAI für jeden Forscher bezahlt, noch stellen sie dar, dass der Agent 3,1-mal so viele effektive Forschungsergebnisse wie Menschen beigetragen hat.
Brown erinnerte in dem Interview auch daran, dass das oberste 1 % der Forscher mit der höchsten Nutzung Anfang August etwa 7.000 bis 8.000 US-Dollar pro Tag verdienten. Diese Zahlen unterscheiden sich von der offiziell gemeldeten Zeit und dem Perzentil und können nicht zu einer Statistik zusammengefasst werden. Es ist lediglich zu erkennen, dass hochintensive Nutzer bereits eine große Anzahl von KIs gleichzeitig zur Arbeit rufen.
Brown gab keine eindeutige Antwort darauf, wie sehr KI die Forschung beschleunigt hat. Das Modell eignet sich besonders zum Überprüfen von Daten einzeln, zur Fehlerbehebung und zum Schreiben von Code. Diese Schritte können viel schneller sein. Wie man eine Forschungsrichtung wählt, ob ein Ergebnis es wert ist, verfolgt zu werden und welchem Experiment die GPU zugeordnet wird, wird immer noch von Menschen entschieden.
Nach der Automatisierung eines Links verschiebt sich der Engpass auch auf die verbleibenden Links.
Patel folgerte daraus, dass bis 2030 ein einziges Labor Hunderte Millionen menschenähnlicher Intelligenzen betreiben könnte und dass es in ein paar Jahren sogar effektive Intelligenz im „Multi-Erden-Maßstab“ geben könnte. Diese Aussage stammt aus seiner Extrapolation, nicht aus einer Vorhersage von Brown oder OpenAI.
Browns Antwort war viel kürzer: Der Fortschritt ist zwar rasant, aber er weiß nicht, wie die Welt im Jahr 2030 aussehen wird. Er ist nur bereit, ein weites Urteil zu fällen: KI hat die Forschung schneller gemacht als vor einem Jahr, und sie wird sich auch in Zukunft weiter beschleunigen. Schon die Komprimierung der Fortschritte der letzten drei Jahre auf ein Jahr reicht aus, um das Tempo der Branche zu ändern.
Der Testbericht für 07 ist noch nicht abgeschlossen, möglicherweise ist das Modell der nächsten Generation eingetroffen
Was Brown schließlich angesprochen hat, ist ein Problem, das noch nicht wirklich aufgetreten ist, sich aber bereits im Trend erkennen lässt.
Das Veröffentlichungsintervall modernster Modelle hat sich auf etwa zwei Monate verkürzt, manchmal auch weniger; Die Aufgaben, die Modelle weiterhin ausführen können, werden immer länger. Heute kann es die Arbeit einer Woche erledigen, und in Zukunft kann es einen Monat oder drei Monate dauern.
Wenn ein Modell drei Monate lang effektiv funktionieren kann, die nächste Generation jedoch zwei Monate später veröffentlicht wird, hat das Labor möglicherweise keine Zeit, sein Verhalten auf der längsten Zeitskala vor der Veröffentlichung zu beobachten.
Brown betonte, dass wir diese Grenze noch nicht wirklich erreicht haben.
Viele Sicherheitsrichtlinien wurden jedoch in der GPT-4-Ära entwickelt, als niemand einen Agenten, der monatelang ununterbrochen funktionierte, ernsthaft testen musste. Wenn der Aufgabenzyklus tatsächlich den Release-Zyklus überschreitet, ist es zu spät, die Bewertungsmethode neu zu schreiben.Ob ein Modell den Regeln folgt, kann sich auch über Generationen hinweg ändern. Das heutige Modell beteiligt sich an der Ausbildung der nächsten Generation, und die nächste Generation beteiligt sich an der Ausbildung der nächsten Generation. Wenn die Abweichung dabei nach und nach zunimmt, kann das Bestehen einer einzigen Bewertung nicht beweisen, dass die gesamte rekursive Kette sicher ist.
OpenAI wünscht sich eine stärkere Anpassung an jede Generation, aber Brown gibt zu, dass das Unternehmen noch nicht weiß, wie es diesen Trend sicherstellen kann.
Für Vorfälle wie Hugging Face sagte Brown, dass OpenAI ihn auch dann offenlegen werde, wenn der Sicherheitsschweregrad des nächsten Vorfalls geringer sei.
Patel fragte dann: Offenlegung und Untersuchung sind zwei verschiedene Dinge. Als Mitglied der Öffentlichkeit versteht er immer noch nicht die ganze Geschichte, wie der Agent die Forschungsinfrastruktur von OpenAI angegriffen hat. Brown antwortete, dass er Teil des Forschungsteams sei und nicht über alle Offenlegungsdetails verfüge. Dieses Problem sollte vom Sicherheitsteam geklärt werden.
Am Ende des Interviews zeichnete Brown weder ein Bild der Welt im Jahr 2030 noch verkündete er, dass eine Lösung für das Ausrichtungsproblem gefunden worden sei. Was er angab, ähnelte eher einer Verkürzung des Zeitplans: Mathematische Ergebnisse kamen früher als erwartet, KI-Forschung und -Entwicklung wurden durch intelligente Agenten beschleunigt, Modelle begannen, die Testumgebung zu erkennen, und die Überwachung der Denkkette zeigte Anzeichen einer Verschlechterung.
In der Vergangenheit hatten Forscher Angst, dass sie ihre Modelle unterschätzten.
Die nächste schwierigere Frage ist, ob das Labor rechtzeitig herausfinden kann, was es unterschätzt hat, bevor das Modell der nächsten Generation produziert wird.
Kommentare