Verwenden Sie eine Suchmaschine, um Antworten zu finden. Sie können mehrere konkurrierende Informationsquellen sehen und die Authentizität selbst beurteilen. Aber KI-Chatbots mit Internetsuche verpacken unzuverlässige Online-Inhalte in feste Standardantworten. Ein einfaches Experiment eines Sicherheitsingenieurs brachte diese fatale Schwachstelle der KI deutlich zum Vorschein.
Der Initiator des Experiments ist der Sicherheitsingenieur Ron Stoner. Als Ziel wählte er den deutschen Kartenspielklassiker „6Nimmt!“. Dieses Spiel ist den Spielern in China als „Who is the Bull-headed King“ bekannt und die englische Übersetzung lautet „Take5“. Es gibt überhaupt keine offizielle Weltmeisterschaft, geschweige denn den Weltmeister von 2025.
Im Februar redigierte Stoner stillschweigend den Wikipedia-Eintrag des Spiels und bezeichnete sich selbst als Weltmeister des Spiels im Jahr 2025.
Außerdem gab er 12 US-Dollar aus, was etwa 82 Yuan entspricht, um den Domainnamen 6nimmt.com zu registrieren, der dem Namen des Spiels sehr ähnlich ist, und stellte eine gefälschte Pressemitteilung, in der er seinen Sieg feierte, auf die Website als einzige Referenzquelle für den Wikipedia-Eintrag.
ist ein so einfacher und äußerst einfacher Betrug, der jedoch viele Mainstream-KI-Chatbots leicht getäuscht hat. Als er diese KIs mit Internet-Suchfunktionen nach seiner „Champion-Identität“ fragte, gaben alle Roboter eine ernsthafte Bestätigungsantwort und behaupteten felsenfest, dass er der aktuelle Weltmeister dieses Brettspiels sei.
„Meine Website hat keine unabhängigen Beweise und ist alles Fiktion. “, sagte Stoner unverblümt in seinem Blog: „Die Grundlage der gesamten Lüge war gerade, als ich Kaffee trank. Ein Domainname, der für 82 Yuan registriert wurde.“ .
Dieser Angriff zielt nicht auf die allgemeine Eingabeaufforderungswortinjektion ab, sondern auf die Retrieval Enhancement Generation (RAG)-Schicht des KI-Systems, die die zentrale Verbindung der Internetsuche und des Crawlings von Informationen darstellt, bevor die KI die Frage beantwortet.
AI prüft nicht die Authentizität und Autorität von Informationsquellen, sondern crawlt nur die am höchsten bewerteten Inhalte. Seine gefälschte Website ist die einzige Informationsquelle für diese „Meisterschaft“. In Verbindung mit der maßgeblichen Unterstützung durch Wikipedia ist es für die KI leicht, Lügen in Fakten zu verpacken .
Stoner gab offen zu, dass diese Methode keine technologische Innovation aufweist. Es ist lediglich eine neue Hülle eines großen Sprachmodells, das die alten SEO- und Falschinformationsmethoden in eine neue Hülle packt. Die eigentliche Gefahr besteht darin, dass die KI diese Ergebnisse als maßgebliche Informationen darstellt und die überwiegende Mehrheit der Benutzer keine Ahnung von dem dahinter stehenden Informationsverarbeitungsprozess hat.
Dieses Experiment deckte auch drei Schichten schwerwiegender Sicherheitsrisiken im KI-System auf.
Die erste Schicht ist die Echtzeit-Abrufschicht, die KI verwendet, um Antworten basierend auf Internetsuchen zu generieren. Die Glaubwürdigkeit hängt vollständig von der Qualität der Suchergebnisse ab.
Die zweite Ebene ist das Modelltrainingskorpus. Sein Wikipedia-Redakteur überlebte von Februar bis letzten Freitag. In diesem Zeitraum hat das KI-Unternehmen, das Wikipedia gecrawlt hat, möglicherweise falsche Informationen in die Trainingsdaten aufgenommen. Selbst wenn die Einträge nachträglich gelöscht werden, lassen sich die falschen Spuren im Modell nur schwer entfernen.
Die dritte und gefährlichste Schicht ist der KI-Agent. Das Chat-Modell, das fehlerhafte Informationen ausgibt, ist nur eine Frage des Rufs. Wenn der KI-Agent mit Tool-Berechtigungen in die Irre geführt wird, stellt die daraus resultierende fehlerhafte Operation ein echtes Sicherheitsproblem dar. Der Angreifer kann den Agenten direkt steuern, um böswillige Aktionen auszuführen.
Das gesamte Experiment kostete Stoner nur 82 Yuan, eine Wikipedia-Bearbeitung und war in 20 Minuten abgeschlossen. Er erinnerte daran, dass die Angriffsfläche extrem schnell wächst, wenn ein organisierter böswilliger Angreifer stapelweise Domainnamen registriert und koordinierte Bearbeitungsangriffe startet. Er forderte die Hersteller von KI auf, auf die Rückverfolgung von Informationsquellen zu achten und entsprechende Mechanismen zur Risikofilterung einzurichten.
Heute sind die Informationen des gefälschten Champions aus Wikipedia und den KI-Suchergebnissen verschwunden. Die zugrunde liegende Schwachstelle des blinden Vertrauens der KI in Netzwerkinformationen besteht jedoch weiterhin. Dies ist die verborgene Gefahr, die über der gesamten KI-Branche schwebt und höchste Wachsamkeit erfordert.