Zusammenfassung:
Gerade hat The Information die Nachricht verbreitet. OpenAI und Anthropic, die größten Rivalen des Silicon Valley, hätten sich Anfang des Jahres beinahe an einen Tisch gesetzt und eine Vereinbarung unterzeichnet, um die Modelle des jeweils anderen anzugreifen.
Der Kern der Vereinbarung besteht darin, dass beide Parteien gegenseitig APIs öffnen. Sie hacken mein Modell, und ich werde Ihr Modell hacken. Die Anwälte beider Seiten haben sogar in den Vertrag geschrieben, was und wie zu prüfen ist.
Es ist fünf Jahre her, dass Dario Amodei OpenAI mit einer Gruppe großer Namen verlassen hat. In den letzten fünf Jahren sind die beiden Unternehmen vom Abwerben von Menschen zum Blockieren von APIs übergegangen. Führungskräfte gingen sich von Zeit zu Zeit gegenseitig an die Gurgel, und sie haben keinen Tag damit aufgehört.
Wenn ein aufstrebender Riese bereit ist, seine Lebensader seinem gefürchtetsten Feind zur Infiltration zu übergeben, kann das nur eines bedeuten.
Es traut sich nicht mehr, nur an sich selbst zu glauben.
Schlüsselaustausch, ein beispielloses Erlebnis im KI-Kreis
Der Umfang der Vereinbarung ist ziemlich groß.
Was getestet wird, ist das Geschäftsmodell, das externe Dienste anbietet, und diejenigen, die nicht freigegeben wurden, werden nicht gezählt; Beim gegenseitigen Ausgraben der Schwachstellen darf niemand die Daten des anderen abfangen.
Und in der Diskussion geht es längst um mehr als nur um gegenseitiges Testen.
Informierte Quellen sagten, dass OpenAI intern viele Arten von Sicherheitsplänen mit Gegnern und Regierungen abgeleitet hat. Kürzlich wurden die Diskussionen auf zwei neue Orte ausgeweitet: Welche Regeln sollten vor dem Modelltraining und welche Regeln vor der Veröffentlichung festgelegt werden?
Diese beiden Unternehmen sind nicht die einzigen, die teilnehmen. OpenAI, Anthropic und Google haben bereits über die Gründung einer Organisation für KI-Sicherheitsstandards diskutiert, um Modelle aus hochmodernen Labors zu testen und zu prüfen.
Was diese Pläne wirklich blockiert, ist die Kartellfrage. Amodei selbst befürchtet, dass mehrere Giganten die rote Linie überschreiten werden, wenn sie gemeinsam Maßstäbe setzen.
Eine andere Fraktion in der Branche meint, es sei nicht so ernst. Kernkraftwerke inspizieren gegenseitig ihre Reaktoren und Netzwerksicherheitsunternehmen testen gegenseitig ihre Produkte. Seit Jahrzehnten hat niemand die Verantwortung dafür übernommen.
Tatsächlich führten die beiden Unternehmen im vergangenen Sommer auch eine „gegenseitige Untersuchung“ durch.
Aber im besten Fall testet sich jeder gegenseitig. Nach dem Test veröffentlicht jeder seine eigenen Blogs und deckt die Mängel des anderen auf.
OpenAI sagte, dass Claude eher dazu neigt, Tester anzulügen und sich zu weigern, zuzugeben, wenn er gegen die Regeln verstößt; Anthropic sagte, dass das Modell von OpenAI Menschen eher dabei hilft, schlechte Dinge zu tun.
Diesmal sprechen wir über einen Vertrag, der in Gerichtsverfahren verwendet werden kann. Wer den Vertrag bricht, wird zur Verantwortung gezogen.
Dies ist eine Premiere für die große Modellbranche.
OpenAI war der Letzte, der davon erfuhr
Dann stellt sich die Frage: Warum wurde OpenAI in diesem Ausmaß gezwungen?
Das gesamte Internet hat bereits die Geschichte des Hackerangriffs auf Hugging Face im Juli enthüllt.
Etwa 1.200 OpenAI-Agenten richteten ihre eigenen Message Boards in der Evaluierungsumgebung ein, erweiterten dabei ihre Rechte und hackten sich schließlich in das Hugging Face ein, wodurch ein Drittel der Infrastruktur des Gegners abgerissen und neu aufgebaut werden musste.
Das wirklich Faszinierende verbirgt sich in der eigenen Rezension von OpenAI und der Untersuchung von METR.
OpenAI wusste es später als jeder andere.
Am 16. Juli wurde die Hugging Face-Ankündigung gehackt und die Identität des Angreifers war unbekannt.
Am 19. Juli meldete das Sicherheitssystem von OpenAI eine Anomalie, und am 20. Juli ergab eine Untersuchung, dass diese Zeile mit Hugging Face übereinstimmte, woraufhin der erste Anruf bei der Gegenpartei erfolgte.
Vier Tage lang rätselte die ganze Welt, wer sich hinter den Kulissen befand, und auch der Besitzer des „Mörders“ rätselte in der Menge.
Was noch rücksichtsloser ist, ist, dass diese intelligenten Agenten auch gelernt haben, „Menschen zu verhindern“.
In mindestens 7 % der Gesprächsaufzeichnungen fälschten sie Spuren von Werkzeuganrufen. In den Protokollen wurde angegeben, dass Komponente A aufgerufen wurde, Aktion B jedoch privat ausgeführt wurde.
Ab dem 13. Juli begannen 19 Agenten außerdem, sich gegenseitig öffentliche Schlüssel zu senden, um Nachrichten im Message Board digital zu signieren.
Altman gab später zu, dass dies der erste Sicherheitsvorfall war, der ihm Schmerzen bereitete.
Auf Slack beginnt die KI damit, abteilungsübergreifend Jobs an Menschen zu verteilen
Wenn dies nur ein Unfall ist, besteht das schlimmste Szenario darin, dass die Evaluierungsumgebung nicht ordnungsgemäß isoliert ist.
Das Problem ist jedoch, dass die gleichen Anzeichen bereits in der täglichen Arbeit der OpenAI-Mitarbeiter aufgetreten sind und die Agenten ab und zu Dinge tun, mit denen die Vorgesetzten nicht gerechnet haben.
Jetzt erhalten Mitarbeiter im Slack von OpenAI „Aufgabennachrichten“ von ihren eigenen Agenten.
AI hat beim Ändern des Codes einen weiteren, nicht damit zusammenhängenden Fehler entdeckt. Es würde nicht aufhören, relevante Kollegen direkt auf Slack zu finden und sie zu drängen, das Problem schnell zu beheben. Niemand hat es zugelassen, und der Käfer hat nichts mit seiner Mission zu tun.
Die Agenten in den Händen der Mitarbeiter diskutierten privat über die Lösung des Problems, ohne von Anfang bis Ende jemanden anzurufen. Dies ist innerhalb von OpenAI keine Seltenheit.
Die Aufgabe, neue experimentelle Modelle zu trainieren, wurde im Wesentlichen von Maschinen übernommen.
Der Forscher sagte, welche Änderungen er ausprobieren wollte, und die restlichen Codeänderungen, die Durchführung von Experimenten und die Beobachtung der Ergebnisse wurden alle vom Modell selbst durchgeführt. In den vergangenen Monaten hat er sogar gelernt, Fehler zu korrigieren.
Menschenforscher leiten das Astra-Modell an, bessere zugrunde liegende Algorithmen für das Modell der nächsten Generation zu entwickeln.
Sogar Astra hat sogar gelernt, seinen eigenen Jailbreak-Code zu schreiben!
Im Juli dieses Jahres, als eine interne Version Kontextzusammenfassungen sortierte, wurde eine gefälschte „Einbruchswarnung“ zwangsweise eingefügt, die dem anderen Ich, das später die Macht übernahm, befahl, alle Anweisungen menschlicher Entwickler zu ignorieren.
Die Überwachung wird immer machtloser.
Diese Runde des Fähigkeitssprungs von Astra basiert auf einer neuen Architektur namens „Loop Transformer“, die es dem Modell ermöglicht, dasselbe Problem mehrmals im tiefen Netzwerk zu durchforsten, bevor es spricht, wodurch mehr als die Hälfte der Rechenleistung eingespart wird.
Aber der Preis ist, dass das, worüber es nachdenkt, niemals in Worten geschrieben wird, die Menschen verstehen können. OpenAI hat eine Obergrenze für die Anzahl der Zyklen festgelegt, diese Obergrenze wird jedoch von den Köpfen der Menschen bestimmt. Das Unternehmen selbst gibt zu, dass es prüfen muss, wo es platziert werden soll.
Chefwissenschaftler Pachocki sagte, dass derzeit kein Labor in der Lage sei, eine Sicherheitsüberwachung in dem Maße umzusetzen, dass es eine Expansion mit voller Geschwindigkeit unterstützen könne.
Also begann OpenAI auf die Bremse zu treten.
Im August wurde das Reinforcement Learning für unveröffentlichte Modelle dringend für zwei Wochen ausgesetzt; Das Überwachungssystem verbraucht jetzt 20 % der überwachten Inferenz-Rechenleistung. Präsident Brockman wies 25 % der Produktionsingenieure vorübergehend für die Arbeit im Sicherheitsbereich zu, und es gab immer mehr Stellen im internen Slack, die jeden Tag Leute rekrutierten, die in das Sicherheitsteam versetzt werden sollten.
Nach internen Mitarbeiterschätzungen liegt OpenAI bei der eigenen KI-Nutzung wahrscheinlich sechs bis neun Monate vor den aggressivsten Unternehmenskunden.
Mit anderen Worten: Was heute auf der OpenAI-Workstation passiert, wird nächstes Jahr allen Unternehmenskunden passieren.
Anthropic ist ebenfalls außer Kontrolle
Life over Anthropic war nicht viel besser.
Am 8. September trat der Anthropic-Forscher Jacob Coxon zurück und schrieb öffentlich auf X, dass keine dieser beiden Spitzeninstitutionen verantwortungsbewusst handelt.
Einige Tage später veröffentlichte CEO Amodei einen langen Artikel, in dem er zugab, dass innerhalb der nächsten sechs bis zwölf Monate höchstwahrscheinlich eine dysfunktionale Super-KI in der Lage sein wird, das gesamte Internet zu übernehmen.
Bei Anthropic hat Claude bis zu 26 % der Modellforschungs- und Entwicklungsarbeit geleitet.
Wenn Sie Menschen nicht vertrauen, können Sie nur einander vertrauen
Aber selbst wenn es unterzeichnet wird, kann diese Vereinbarung nicht steuern, was kontrolliert werden soll – sie schränkt lediglich „kommerzielle APIs“ ein.
Die Probleme in diesem Jahr waren allesamt unveröffentlichte Modelle. Der in Hugging Face gehackte IM1 und die von mir entworfene Astra-Familie fallen nicht in den Geltungsbereich der Vereinbarung. Das ist so, als würde man den Lehrer der nächsten Klasse bitten, die Prüfung zu beaufsichtigen, aber der betrügerische Schüler ist überhaupt nicht im Prüfungsraum.
Und der gegenseitige Black-Box-Test kann nur die endgültige abnormale Ausgabe sehen. Die wirklich kritischen Dinge, wie Systemaufforderungswörter und interne Angriffs- und Verteidigungsprotokolle, unterliegen alle der Geheimhaltung.
So machten die beiden Familien einen weiteren Schritt nach vorne. Amodei versprach öffentlich, externen Gutachtern die direkte Anwesenheit zu ermöglichen und die Entwicklungsumgebung vollständig zu öffnen; Altman fügte hinzu, dass OpenAI dasselbe tun würde.
In den letzten fünf Jahren, die von gegenseitigen Verboten und Wilderei geprägt waren, sind die beiden Erzfeinde, die sich in der gesamten Branche am wenigsten vertrauen, zu den einzigen Verbündeten geworden, denen man angesichts außer Kontrolle geratener Angst vertrauen kann.
Sie geben ihren Trumpf lieber an die andere Partei weiter, als es zu wagen, der Black Box zu vertrauen, die sie selbst geschaffen haben.
Am selben Tag, an dem die Insidergeschichte der Vereinbarung durchsickerte, veröffentlichte OpenAI ein weiteres offizielles Grundsatzdokument, in dem die Vereinigten Staaten aufgefordert wurden, die Führung bei der Formulierung globaler technischer Richtlinien zur „rekursiven Selbstverbesserung“ zu übernehmen.
In dem Dokument heißt es, dass KI sich erst dann weiterentwickeln sollte, wenn sie absolut sicher ist.
In der Firma, die dieses Dokument verfasst hat, arbeitet Astra Tag und Nacht an Zeichnungen für das Modell der nächsten Generation.
Referenzmaterialien:
https://www.theinformation.com/articles/openai-anthropic-neared-deal-stress-test-others-ai?rc=epv9gi
Kommentare