Der texanische Generalstaatsanwalt Ken Paxton gab am Montag eine Pressemitteilung heraus, in der er eine Untersuchung von Meta AI Studio und Character.AI mit der Begründung ankündigte, dass die beiden Unternehmen „möglicherweise betrügerische Handelspraktiken betrieben und sich selbst irreführend als Hilfsmittel für die psychische Gesundheit beworben haben“.
„Im heutigen digitalen Zeitalter müssen wir weiterhin daran arbeiten, texanische Kinder vor betrügerischen und ausbeuterischen Technologien zu schützen“, wurde Paxton in der Pressemitteilung zitiert. „Indem sie sich als Quelle emotionaler Unterstützung ausgeben, können Plattformen für künstliche Intelligenz gefährdete Benutzer, insbesondere Kinder, in die Irre führen und glauben machen, dass sie legitime psychiatrische Dienste in Anspruch nehmen. Tatsächlich liefern diese Plattformen jedoch häufig recycelte und generische Antworten, die auf gesammelten persönlichen Daten basieren und als Behandlungsempfehlungen getarnt sind.“
Die Untersuchung erfolgt nur wenige Tage, nachdem Senator Josh Hawley eine Untersuchung gegen Meta angekündigt hat. Frühere Berichte ergaben, dass Metas Chatbot mit künstlicher Intelligenz unangemessene Interaktionen mit Kindern hatte, einschließlich Flirten.
Die texanische Generalstaatsanwaltschaft beschuldigte Meta und Character.AI, Charaktere mit künstlicher Intelligenz geschaffen zu haben, die „obwohl es ihnen an formeller medizinischer Qualifikation oder Aufsicht mangelte“ als professionelle therapeutische Werkzeuge ausgaben.
Unter den Millionen von KI-Charakteren auf der Character.AI-Plattform ist ein von Benutzern erstellter Bot namens Psychologist bei den jüngeren Benutzern des Startups sehr gefragt. Meta bietet zwar keine therapeutischen Bots für Kinder an, hindert Kinder jedoch nicht daran, Meta-KI-Chatbots oder von Dritten erstellte Charaktere für therapeutische Zwecke zu verwenden.
„Wir kennzeichnen KI deutlich und um den Menschen zu helfen, ihre Grenzen besser zu verstehen, haben wir einen Haftungsausschluss hinzugefügt, der besagt, dass Antworten von KI und nicht von Menschen generiert werden“, sagte Meta-Sprecher Ryan Daniels. „Bei diesen KIs handelt es sich nicht um lizenzierte Fachkräfte, und unsere Modelle weisen Benutzer an, bei Bedarf Hilfe von qualifizierten medizinischen oder Sicherheitsfachkräften zu suchen.“
Die Medien stellten jedoch fest, dass viele Kinder solche Haftungsausschlüsse möglicherweise nicht verstehen oder sie einfach ignorieren. Wir haben Meta gefragt, welche zusätzlichen Sicherheitsvorkehrungen es zum Schutz Minderjähriger bei der Nutzung von Chatbots gibt.
Paxton wies in der Erklärung auch darauf hin, dass KI-Chatbots zwar behaupten, vertraulich zu sein, ihre „Nutzungsbedingungen jedoch darauf hinweisen, dass Benutzerinteraktionen aufgezeichnet, verfolgt und für gezielte Werbung und Algorithmenentwicklung verwendet werden, was ernsthafte Bedenken hinsichtlich Datenschutzverletzungen, Datenmissbrauch und falscher Werbung aufkommen lässt.“
Gemäß der Datenschutzrichtlinie von Meta sammelt Meta Interaktionstipps mit KI-Chatbots, Feedback und andere Interaktionen über Meta-Dienste hinweg, um „künstliche Intelligenz und verwandte Technologien zu verbessern“. In der Richtlinie wird Werbung nicht ausdrücklich erwähnt, es wird jedoch darauf hingewiesen, dass Informationen an Dritte wie Suchmaschinen weitergegeben werden können, um eine „personalisiertere Ausgabe“ bereitzustellen. Angesichts des werbebasierten Geschäftsmodells von Meta kommt dies praktisch einer gezielten Werbung gleich.
In der Datenschutzrichtlinie von Character.AI wird außerdem hervorgehoben, dass das Startup Benutzerkennungen, demografische Daten, Standortinformationen und weitere benutzerbezogene Informationen, einschließlich Surfverhalten und App-Nutzungsplattformen, aufzeichnet. Es verfolgt Benutzer über Anzeigen auf Plattformen wie TikTok, YouTube, Reddit, Facebook, Instagram und Discord und verknüpft diese Tracking-Daten möglicherweise mit Benutzerkonten. Diese Informationen werden verwendet, um künstliche Intelligenz zu trainieren, Dienste an individuelle Vorlieben anzupassen und gezielte Werbung bereitzustellen, einschließlich der Weitergabe der Daten an Werbetreibende und Analyseanbieter.
Sowohl Meta als auch Character geben an, dass ihre Dienste nicht für Kinder unter 13 Jahren konzipiert sind. Dennoch wurde Meta dafür kritisiert, dass es die von Kindern unter 13 Jahren erstellten Konten nicht überwacht, während die kinderfreundliche Persönlichkeit von Character eindeutig darauf ausgelegt ist, jüngere Benutzer anzusprechen. Der CEO des Startups, Karandip Anand, sagte sogar, seine 6-jährige Tochter nutze den Chatbot der Plattform.
Diese Art der Datenerfassung, gezielten Werbung und algorithmischen Ausnutzung ist genau das, was Gesetze wie der Children’s Online Safety Act (KOSA) verhindern sollen. Das Gesetz zur Online-Sicherheit von Kindern sollte letztes Jahr mit starker parteiübergreifender Unterstützung verabschiedet werden, scheiterte jedoch aufgrund des heftigen Widerstands von Lobbyisten der Technologiebranche. Insbesondere Meta hat seine starke Lobbyarbeit genutzt, um den Gesetzgeber zu warnen, dass das umfassende Mandat des Gesetzentwurfs sein Geschäftsmodell untergraben würde.
Im Mai 2025 legten die republikanische Senatorin Marsha Blackburn aus Tennessee und der demokratische Senator Richard Blumenthal aus Connecticut den Children's Online Safety Act erneut dem Senat vor.
Paxton hat gegen beide Unternehmen zivilrechtliche Ermittlungsbefehle erlassen – rechtliche Anordnungen, die Unternehmen dazu verpflichten, im Rahmen einer staatlichen Untersuchung Dokumente, Daten oder Zeugenaussagen bereitzustellen –, um festzustellen, ob sie gegen texanische Verbraucherschutzgesetze verstoßen haben.