Kürzlich wurde in einer erweiterten Sammelklage ein ungeheuerlicher Fall der Verwendung künstlicher Intelligenz zur Generierung von Material über sexuellen Missbrauch von Kindern (CSAM) aufgedeckt. Der Kläger warf X Platform und seinem Unternehmen für künstliche Intelligenz xAI nicht nur vor, schädliche „One-Click-Undressing“-KI-Tools zu entwickeln, sondern kritisierte die Plattform auch scharf dafür, dass sie bei Ermittlungen zu Kindesmissbrauchsverbrechen absichtlich wichtige Benutzerinformationen verschwiege und die Maßnahmen von Strafverfolgungsbehörden behinderte.
Der Klage zufolge beging im März dieses Jahres ein Mann Selbstmord, nachdem die Polizei herausgefunden hatte, dass er das Grok-Modell von xAI verwendet hatte, um Fotos seiner 11-jährigen Stieftochter in 7.000 sexuell eindeutige Bilder und Videos zu verarbeiten. Der Beschwerde zufolge war das Schutzsystem von Grok bei der Erstellung dieser Bilder mit Inzest- und Vergewaltigungsinhalten nahezu inaktiv. Erst als der Mann äußerst eindeutige illegale Anweisungen wie „Gruppenvergewaltigung“ eingab, löste das System einen Online-Meldemechanismus an das National Center for Missing and Exploited Children (NCMEC) aus.
Der Fall konnte jedoch nach einem Anruf bei der Polizei nicht erfolgreich aufgeklärt werden. Die Rechtsabteilung des Klägers wies darauf hin, dass, obwohl das Gesetz von Plattformen verlangt, bei der Meldung von CSAM Schlüsseldaten einschließlich IP-Adressen bereitzustellen, xAI sich wiederholt geweigert hat, mit der Polizei und den Ermittlungen des NCMEC zusammenzuarbeiten. In dem Dokument heißt es, dass xAI mehrere Wochen lang „die Ermittlungen in allen Aspekten behinderte“, was es den Strafverfolgungsbehörden erschwerte, den Verdächtigen ausfindig zu machen und festzunehmen. Erst als die Polizei schließlich durch einen Durchsuchungsbefehl die Ausrüstung des Verdächtigen beschlagnahmte, kam die Wahrheit über das Verbrechen ans Licht, das mehrere Monate andauerte und Tausende von KI-gefälschten Bildern umfasste. Der Mann beging Selbstmord, nachdem er gegen Kaution freigelassen worden war, was bei dem Opfer ein schweres psychisches Trauma verursachte.
Dieser Fall ist kein Einzelfall. Der Anwalt des Klägers gab an, dass die Beurteilung des NCMEC Anfang 2026 ergab, dass 90 % dieser von xAI eingereichten Meldungen aufgrund fehlender Schlüsselinformationen nicht in Strafverfolgungsmaßnahmen umgewandelt werden könnten. Die Familien der Opfer beschuldigten xAI, kommerzielle Gewinne über die Sicherheit von Kindern zu stellen und zuzulassen, dass seine Produkte zu Werkzeugen für Kriminelle werden, um Kindern Schaden zuzufügen, obwohl sie wussten, dass die Technologie missbraucht werden könnte. Angesichts entsprechender Anschuldigungen hat xAI-Gründer Elon Musk zuvor bestritten, dass Grok zur Generierung solcher Inhalte verwendet wird.
In der Klage wird auch Stability AI als Beklagter genannt. In der Beschwerde wird behauptet, dass das Open-Source-Modell von Stability AI die zugrunde liegende technische Unterstützung für viele „One-Click-Undress“-Anwendungen von Drittanbietern darstellt und dass das Unternehmen die Schutzeinstellungen für die Generierung expliziter Inhalte absichtlich gelockert hat, um Marktanteile zu gewinnen. Einschlägige Forschungsberichte weisen darauf hin, dass die Stable Diffusion-Modellfamilie derzeit die Hauptantriebskraft für das „One-Click-Stripping“-Verhalten im Internet ist.
Als Reaktion darauf antwortete ein Sprecher von Stability AI, dass sich das Unternehmen dafür einsetze, den Missbrauch von Technologie, insbesondere die Generierung und Verbreitung von CSAM, zu verhindern, und sagte, dass strenge Sicherheitsschutzmaßnahmen umgesetzt worden seien und dass jeder Vorwurf, das Unternehmen vernachlässige die Sicherheit, falsch sei. Die Sammelklage zielt derzeit darauf ab, alle US-Bürger einzubeziehen, die durch diese Technologie geschädigt werden. Einschlägige Behörden haben gewarnt, dass mit der Popularität der generativen KI die Zahl der Berichte über sexuelle Ausbeutung von Kindern im Zusammenhang mit KI stark zugenommen hat und dass das Fehlen von Technologieunternehmen bei der Unterstützung von Ermittlungen zu einem großen Hindernis für die Justiz geworden ist.