Bei ChatGPT wurden seit April dieses Jahres Probleme mit Datenlecks festgestellt. Angreifer können bei Prompt-Injection-Angriffen das Markdown-Rendering von Bildern nutzen. Da OPENAI die erforderliche Überprüfung nicht durchführt, können Angreifer den Inhalt der Benutzersitzung abrufen und an einen Server eines Drittanbieters senden.
Nach Angaben des Sicherheitsforschers wunderwuzzi hat OPENAI damit begonnen, solche Probleme zu beheben, es handelt sich jedoch nicht um eine vollständige Reparatur, sondern es wurde ein Abhilfeplan umgesetzt.
Die derzeit implementierte Schadensbegrenzungslösung gilt nur für die ChatGPT-Webversion. Wenn der Server ein Bild-Tag mit einem Hyperlink zurückgibt, ruft ChatGPT die Verifizierungs-API auf, bevor das Bild angezeigt wird. Der Aufruf erfolgt über einen Endpunkt mit dem Namen url_safe und hängt dann die Ziel-URL als Abfrageparameter an. Es wird tatsächlich ein falsches Ergebnis zurückgegeben, das heißt, das Bild wird nicht gerendert und es werden keine Daten an den Server des Angreifers gesendet.
Diese Schadensbegrenzungslösung ist jedoch nicht vollständig. Tests zeigen, dass manchmal noch andere Bilder aus beliebigen Domänen gerendert werden und ChatGPT Netzwerkabfragen an dem Bild durchführt, z. B. durch die Bing-Suche prüft, ob das Bild vorhanden ist, ob es über Tracking-Funktionen oder andere Funktionen verfügt.
Nach der Überprüfung stellten die Forscher fest, dass es Möglichkeiten gibt, weiterhin Daten zu senden, z. B. das Aufteilen des Textes in einzelne Zeichen und das Erstellen von Anforderungen für jedes Zeichen, was ebenfalls Daten stehlen kann, aber äußerst ineffizient und sehr langsam ist.
Da OPENAI nun damit begonnen hat, sich mit diesem Problem zu befassen, werden natürlich später weitere Maßnahmen ergriffen, aber es kann länger dauern, bis dieses Problem vollständig behoben ist.