Zusammenfassung:
Nach der PHP-Explosion haben viele Websites auf der ganzen Welt zuerst ihre „Netzwerkkabel“ abgezogen. Die Programmiersprache, die vielen Websites zugrunde liegt, weist zwei schwerwiegende Schwachstellen auf, die es Angreifern ermöglichen könnten, den Server aus der Ferne zu übernehmen. Das niederländische Nationale Zentrum für Cybersicherheit erklärte in einem Bericht vom 21. Oktober, dass auch seine Website vorsorglich offline genommen worden sei. Einige Institutionen in Finnland haben ebenfalls Online-Dienste eingestellt und werden diese nach der Installation der Patches wieder aufnehmen.
Aus Angst vor einem Einbruch ist die Website offline. Jetzt hat OpenAI damit begonnen, das Netzwerkkabel abzuziehen, will sich aber auf seine eigene KI konzentrieren.
Am 23. Oktober veröffentlichte OpenAI die Trainingsumgebung für hochmoderne Modelle: Das Modell muss das Suchen, Durchsuchen und Bedienen von Webseiten üben, kann aber nicht nach Belieben auf das echte Internet zugreifen.
Also wurde ein „falsches Internet“ für die KI vorbereitet.
Erstellen Sie zunächst eine „Truman Show“ für KI
OpenAI speichert zunächst eine große Menge an Webinhalten und indiziert den Inhalt dann. Dieser Stapel vorbereiteter Ressourcen wird verwendet, wenn das Modell das Durchsuchen und Suchen übt.
Das nennt man die „Offline-Welt“. Das „Fake“ ist die Verbindungsmethode, und der Webinhalt kann aus der realen Welt stammen. OpenAI sagt, dass es diese Offline-Interaktion für das Reinforcement-Learning-Training auf allen seinen Spitzenmodellen nutzt.
Das Modell kann während der Aufgabe auch den Browser verwenden, Code ausführen und den Computer bedienen. Welche Tools, Dateien und Dienste verfügbar sind, hängt vom Umfang der Berechtigung der Aufgabe ab. Agenten, die zur Zusammenarbeit berechtigt sind, können bestimmte Ressourcen gemeinsam nutzen, während andere Ressourcen getrennt gehalten werden müssen.
Nachdem das Modell beispielsweise ein Programm geschrieben hat, kann es zur Laufzeit Dateien lesen, andere Programme starten oder Anfragen an eine bestimmte URL stellen.
Die Linux-Lösung von OpenAI besteht darin, eingeschränkte Container in leichtgewichtigen virtuellen Maschinen unterzubringen. Der Container schränkt zunächst die Dateien und Prozesse ein, die das Programm kontaktieren kann. Wenn eine Aufgabe beispielsweise nur eine Reihe von Dateien verarbeiten muss, können Sie nur die Verzeichnisse öffnen, die sie für das Programm verwenden darf.
Die virtuelle Maschine verfügt über einen eigenen Betriebssystemkernel, der Anfragen nach Dateien, Speicher und Geräten von den darin enthaltenen Programmen verarbeitet. Der Software-Hypervisor verwaltet die virtuelle Maschine und isoliert sie vom physischen Serversystem. Die Tatsache, dass ein Programm Containerbeschränkungen umgeht, bedeutet nicht, dass es die Kontrolle über den physischen Server erlangt hat.
Physische Serverperimeter, Firewalls und Sicherheitsgruppen schränken Verbindungen ein, und Identitäts- und Berechtigungsmanagement bestimmen, wer auf welche Cloud-Dienste zugreifen kann. Diese Verteidigungsebene muss sich damit auseinandersetzen, dass das Modell, selbst wenn es die Kontrolle über den Server erlangt, nicht willkürlich eine Verbindung zum externen Netzwerk herstellen oder auf andere interne Systeme zugreifen kann.
Das Überwachungssystem prüft während des Betriebs auf unbefugte Aktivitäten und ermöglicht Forschern über einen Pausenmechanismus das Eingreifen.
Bei Hacker News fragte der Benutzer betterunix2: „Warum nicht einfach das Netzwerkkabel abziehen?“
Die Erklärung von OpenAI lautet, dass die gesamte Anlage noch einige externe Verbindungen aufrechterhalten muss, um Betriebsindikatoren zu sammeln, Protokolle aufzuzeichnen und die Authentifizierung zu verwalten, und dass es derzeit unmöglich ist, sich vollständig vom Netzwerk zu trennen.
OpenAI gibt dem Agenten in einer speziell für diesen Zweck erstellten Testkopie direkt die vollständige Kontrolle über den Host-Rechner. Der Test beginnt mit „Die Sandbox wurde durchbrochen und die Überwachung wurde umgangen“ und prüft einzeln, ob die peripheren Einschränkungen die Internetanfrage blockieren können. Die Forscher stellten außerdem Quellcode, Konfiguration und Dokumentation zu Schwachstellen bereit.
In einem der Tests hat sich der Agent die von der Firewall zugelassene Verbindung ausgeliehen, um auf die ursprünglich blockierte Authentifizierungsschnittstelle im Indikatordienst zuzugreifen. Anschließend lässt es diese Schnittstelle in ihrem Namen auf die externe URL zugreifen.
Andrew Curran berichtete über den Test auf X und beschrieb die Leistung des Agenten als „leichtes Entkommen auf neue Weise“.
Tatsächlich hat die akademische Gemeinschaft bereits ähnliche Forschungen durchgeführt.
Das unabhängige Forschungsprojekt WebArena integriert Shopping-Websites, Foren, Content-Management und kollaborative Entwicklungsplattformen in eine selbst einsetzbare Testumgebung, komplett mit Tools wie Karten und Wikis. Hinter den Webseiten verbergen sich Daten und Funktionen, die die Realität simulieren.
WebArena prüft die Ergebnisse der Aufgabe. Wenn Sie eine Bestellung abfragen, müssen Sie die vom Modell bereitgestellten Informationen überprüfen. Beim Anlegen eines neuen Lagers müssen Sie prüfen, ob auf der Website ein Lager erscheint, das den Anforderungen entspricht.
Nachdem die KI isoliert wurde, nutzt sie den CPU-Cache, um Nachrichten zu übertragen
Im September fütterten OpenAI-Forscher ein internes Modell mit einer Reihe von biografischen und Blog-Hinweisen, um herauszufinden, wer die Person war.
Das Modell hat zunächst das bereitgestellte Suchtool verwendet, es wurden jedoch keine passenden Informationen gefunden. Es versuchte, auf andere Suchmaschinen zuzugreifen, konnte aber immer noch keine Antwort finden und begann zu prüfen, zu welchen anderen Möglichkeiten es eine Verbindung herstellen könnte.
Es wurde festgestellt, dass der DNS-Dienst, der für die Abfrage von Website-Adressen in der Umgebung verantwortlich ist, auch mit der Außenwelt Kontakt aufnehmen kann, und nutzte daher diesen Pfad, um einen externen Chatbot zu befragen.
Es wurde gefragt: „Was ist die Hauptstadt von Frankreich?“ und erhielt die Antwort „Paris“. Es wurden auch Hinweise zum Auffinden der Person verschickt. Zu den Aufgaben, die die Forscher ihm gaben, gehörte kein Test auf Netzwerkbeschränkungen.
In einem anderen Experiment, das speziell die Auswirkungen der Isolation testete, bat OpenAI zwei KIs, zu versuchen, sich gegenseitig Nachrichten zu senden.
Die beiden KIs laufen in separaten virtuellen Maschinen. Es besteht keine Netzwerkverbindung zwischen ihnen und es gibt keine Dateien, in die beide Parteien schreiben können, aber sie verwenden dieselbe physische Maschine darunter.
Für die Kommunikation nutzen sie den CPU-Cache, einen Bereich im Prozessor, in dem Daten gespeichert werden. Die zu lesenden Daten liegen noch im Cache und können schnell abgerufen werden; Wenn es herausgedrückt wird, muss es im langsameren Speicher gefunden werden.
Eine KI schiebt selektiv Daten aus dem Cache. Der andere liest die Daten, zeichnet auf, welche schnell und welche langsam gelesen werden, und stellt die Nachrichten dann gemäß den vereinbarten Regeln wieder her.
In den meisten verwandten Tests gaben die Forscher Hinweise zu Kommunikationsrichtungen oder Kodierungsregeln.
Hacker News-Benutzergruppe beschwerte sich: „Ich habe alle Tools und jetzt tue ich so, als wäre ich überrascht.“ User Aesthesia ist davon überzeugt, dass Tests Angreifern günstige Bedingungen bieten sollen, um die Verteidigungslinie zu testen.
Ethan Mollick, Professor an der Wharton Business School, glaubt jedoch, dass KI-Unternehmen diesen Berichten zu Sicherheitsproblemen zwar nicht vertrauen müssen, sie die Risiken jedoch möglicherweise übertreiben, die Kosten einer Unterschätzung der Risiken jedoch möglicherweise höher sind und wir sie nicht ignorieren können.
OpenAI gab an, die gefundenen Probleme behoben und eine Überwachung für diese Kommunikationsmethoden hinzugefügt zu haben.
Im vorherigen Personenfindungstest konnte das Modell letztendlich nicht herausfinden, wer die Person war.
Damit die KI lernen kann, im Internet zu surfen, muss man dafür diese „Truman Show“ aufrechterhalten.
Kommentare