Google gab zum ersten Mal bekannt, dass sein Sicherheitsteam während eines laufenden Cyberangriffs einen Zero-Day-Exploit entdeckt und erfolgreich blockiert hat, der vermutlich von künstlicher Intelligenz entwickelt wurde. Laut einem von der Google Threat Intelligence Group (GTIG) veröffentlichten Bericht wurde der Angriff von einem „bekannten Cyberkriminellen“ inszeniert, um ein „groß angelegtes Exploit-Event“ zu starten und ein unbenanntes „open-source, webbasiertes Systemverwaltungstool“ ins Visier zu nehmen und damit den Zwei-Faktor-Authentifizierungsmechanismus (2FA) der Plattform zu umgehen.
Google-Forscher fanden in dem Python-Exploit-Skript, das zur Durchführung des Angriffs verwendet wurde, mehrere Hinweise, von denen vermutet wurde, dass sie von KI generiert wurden, darunter ein „illusorischer CVSS-Score“ und ein insgesamt lehrbuchartiger strukturierter Layoutstil. Diese Funktionen sind den gängigen Trainingsdatenformaten großer Sprachmodelle sehr ähnlich. In dem Bericht heißt es, dass es sich bei der Sicherheitslücke im Wesentlichen um einen „hochrangigen semantischen Logikfehler“ handelt, der durch die „harte Codierung einer Vertrauensannahme“ im 2FA-Design der Plattform verursacht wird und Angreifern einen Einstiegspunkt bietet, der durch automatisierte Tools verstärkt werden kann.
Der Vorfall ereignete sich zu einer Zeit, in der die Branche heftig über die Fähigkeiten von KI-Modellen debattiert, die sich auf Cybersicherheitsszenarien konzentrieren, wie etwa das von Anthropic eingeführte Mythos-Modell und eine kürzlich durch KI unterstützte Entdeckung einer Schwachstelle im Linux-Kernel. Google sagte, es sei das erste Mal, dass es eindeutige Beweise dafür gefunden habe, dass KI bei einem tatsächlichen Angriff direkt am Prozess der Ausnutzung von Sicherheitslücken beteiligt sei, das Forschungsteam wies jedoch auch darauf hin, dass es derzeit „nicht glaubt, dass Googles eigenes Gemini-Modell bei diesem Angriff verwendet wurde“.
Google gab an, diesen spezifischen Angriff erfolgreich „gestört und blockiert“ zu haben, warnte aber auch davor, dass Hacker zunehmend systematisch KI nutzen, um Sicherheitslücken zu entdecken und auszunutzen, und dass sich die Automatisierung von der frühen Informationssammlung bis hin zum Schwachstellen-Mining und Exploit-Code-Schreiben beschleunigt. Der Bericht erinnert auch daran, dass das KI-System selbst und sein Ökosystem ebenfalls zu einer neuen Angriffsfläche werden: Angreifer beginnen, stärker integrierte Komponenten ins Visier zu nehmen, die Fähigkeiten für die KI bereitstellen, etwa externe Tool-Schnittstellen und Datenkonnektoren von Drittanbietern, die Aufgaben autonom ausführen, um neue Eindringungspfade zu finden.
Neben der Verwendung von KI zum Schreiben von Angriffscodes nannte Google in dem Bericht auch eine Art Verbreitungstechnik: „Persönlichkeitsgesteuerter Jailbreak“. Der Angreifer wird sorgfältig Aufforderungswörter konstruieren, um das Modell als leitenden Sicherheitsforscher oder Penetrationstest-Experten „fungieren“ zu lassen und es so dazu zu bringen, Inhalte auszugeben, die von Sicherheitsrichtlinien abgefangen werden sollten, einschließlich der Hilfe bei der Lokalisierung potenzieller Sicherheitslücken im System oder der Generierung von Ausnutzungsideen. Google betonte, dass diese Art von Angriffsmuster zeigt, dass sich die Rolle der KI im Bereich der Netzwerksicherheit schnell von einem einfachen Verteidigungsinstrument zu einem neuen „Multiplikator“ für Angriff und Verteidigung entwickelt. In Zukunft dürften solche Zero-Day-Angriffe mit tiefgreifender Einbeziehung der KI keine Ausnahme mehr sein.