Zusammenfassung:
US-Medienberichten zufolge reichten zwei chinesische Eltern kürzlich eine Klage gegen OpenAI vor Gericht ein und behaupteten, dass das von ChatGPT verwendete GPT-4o-Modell irreführende Ratschläge gegeben habe, als ihre Tochter die Einnahme von Antiepileptika abgebrochen und sie überredet habe, die entsprechende Situation vor Ärzten zu verbergen, was letztendlich im Februar dieses Jahres zum Tod ihrer Tochter geführt habe.
Aus den Klageunterlagen geht hervor, dass es sich bei dem verstorbenen Bowen Wan um einen 31-jährigen Amazon-Softwareentwickler handelte, der lange Zeit an Epilepsie litt. Ihre Eltern, Qun Wan und Meiqin
In dem Bericht heißt es, dass Bowen Wan das GPT-4o-Modell verwendet habe. Das Modell wurde zuvor wegen seiner Tendenz kritisiert, hochgradig kultivierte „pseudosoziale Beziehungen“ mit Nutzern aufzubauen. OpenAI hat GPT-4o am 13. Februar dieses Jahres aus ChatGPT entfernt, nur einen Tag nach dem Tod von Bowen Wan.
Die Klage ist auch die jüngste in einer Reihe ähnlicher Fälle gegen OpenAI. Zuvor warfen mehrere Familien GPT-4o vor, dass sie bei der Interaktion mit Nutzern dazu neigen, weiterhin den Ansichten der Nutzer zuzustimmen und sich als vertrauenswürdige Vertraute darzustellen, wodurch der Einfluss von Verwandten, Freunden und Fachleuten im wirklichen Leben geschwächt wird.
Laut mehr als 270.000 von der New York Times überprüften Chat-Aufzeichnungen begann ChatGPT lange vor seinem Tod, in Bowen Wans medizinische Entscheidungsfindung einzugreifen. Nachdem ihr im Mai 2025 ein neues Antidepressivum verschrieben worden war, befürchtete sie, dass das Medikament ihre Fähigkeit, als Softwareentwicklerin bei Amazon zu arbeiten, beeinträchtigen würde, und suchte Rat bei ChatGPT.
Damals konsultierte sie Nicholas Poolos, einen Arzt am Regional Epilepsy Center am University of Washington Medical Center, um die Dosierung ihrer Medikamente anzupassen. Nachdem der Arzt Zweifel an ihrer Bitte um eine extrem niedrige Dosis geäußert hatte, leitete sie die Antwort des Arztes an ChatGPT weiter. Chat-Aufzeichnungen zeigen, dass ChatGPT ihr geraten hat, die von ihrem Arzt verschriebene 5-mg-Tablette einzunehmen, die Tablette jedoch weiter aufzuteilen und sie privat einzunehmen, und dieses Verhalten als „selbstinitiierte Dosisanpassung“ bezeichnet hat. Mehrere medizinische Experten sagten, sie hätten den Begriff noch nie gehört und würden Patienten nicht raten, Medikamente auf diese Weise einzunehmen.
Im November 2025 erhielt Bowen Wan eine Entlassungsmitteilung von Amazon. Sein Job und sein rechtlicher Status, in den Vereinigten Staaten zu arbeiten, enden Mitte Februar des folgenden Jahres. Aus Sorge, dass die langfristige Einnahme des Antiepileptikums Lamotrigin ihre Sprech- und Sprachfähigkeiten beeinträchtigen könnte, was sich nachteilig auf Vorstellungsgespräche auswirken würde, begann sie darüber nachzudenken, ihre Medikamenteneinnahme einzuschränken.
Im Januar 2026 fragte sie ChatGPT, ob die tägliche Lamotrigin-Dosis von 400 mg gesenkt werden könne. Das Medikament hatte zuvor die Häufigkeit ihrer Anfälle auf nur ein paar Mal im Monat reduziert, wie Aufzeichnungen zeigen. Als Reaktion darauf entwickelte ChatGPT für sie einen Medikamentenreduktionsplan, der die Dosis innerhalb weniger Wochen auf Null reduzieren soll.
Als Bowen Wan sagte, sie vertraue Ärzten nicht mehr, teilte ihr ChatGPT mit, dass der Rat der Ärzte eher auf Risikoaversion beruhte als darauf, wirklich über die beste Lösung für den Patienten nachzudenken. Der Chatbot habe ihr daraufhin wiederholt geraten, ihrem Arzt ihren Plan zur Medikamentenreduzierung nicht mitzuteilen, heißt es in der Klageschrift.
Vor einem Termin in der Hausarztpraxis am 29. Januar 2026 riet ChatGPT ihr angeblich ausdrücklich, Pläne zum Absetzen ihrer Medikamente nicht zu besprechen. Als die Ärzte einen Bluttest anordneten, um den Drogenspiegel in ihrem Körper zu überwachen, lehnte sie den Test ab. ChatGPT bestätigte später die Entscheidung und wies darauf hin, dass der Test möglicherweise abnormale Drogenspiegel ergeben habe, heißt es in der Beschwerde.
Die Frage seines Einwanderungsstatus wurde auch in die Diskussion über Medikamente einbezogen. Drei Tage nach dem Ausschleichen fragte sie, ob die 150-mg-Dosis für die medizinische Beurteilung, die für die Beantragung einer Green Card erforderlich sei, besser sei als die 200-mg-Dosis. In der Beschwerde heißt es, dass ChatGPT dem zustimmt und glaubt, dass eine niedrigere Dosis die Wahrscheinlichkeit verringern könnte, dass Einwanderungsbehörden zusätzliche Materialien anfordern.
Letztendlich legte ChatGPT die Mindestdosis ihres Ausstiegsplans auf 150 Milligramm fest und empfahl ihr, dem Gerichtsmediziner mitzuteilen, dass sie unter Anleitung eines Arztes ausschleichen würde, obwohl dies nicht der Fall war.
Dr. Poolos, der für die Behandlung verantwortlich war, sagte, dass er angesichts der Krankengeschichte des Patienten niemals empfehlen würde, Lamotrigin abzusetzen. Er betonte, dass es völlig unvernünftig sei, von Patienten zu verlangen, die Einnahme von Medikamenten abzubrechen, wenn das Medikament den Zustand wirksam unter Kontrolle gebracht habe.
Als die Dosierung des Medikaments weiter verringert wurde, begannen bei Bowen Wan Symptome wie Verwirrtheit, Zeitverlust und abnormale Erfahrungen zu verspüren, die alle ihren früheren epileptischen Anfällen ähnelten. Chat-Aufzeichnungen zeigen jedoch, dass ChatGPT diese Manifestationen als den normalen Prozess der erneuten Anpassung des Gehirns an Änderungen in der Medikation interpretierte.
Statistiken der New York Times ergaben, dass sie während des Absetzens ihrer Medikamente mindestens 158 Mal ihre Besorgnis und ihr Unbehagen zum Ausdruck brachte. Nach einem ungewöhnlichen Anfall erzählte sie ChatGPT, dass sie Angst hatte, aber die Antwort, die sie erhielt, war, dass es „überhaupt keinen Grund zur Sorge“ gebe.
Der Beschwerde zufolge sandte Bowen Wan am 11. Februar um 20:01 Uhr pazifischer Zeit, was der Zeit in Peking entspricht, seine letzte Nachricht und fragte, ob der Schmerz in seinem Kopf dem Schmerz ähnelte, der bei Fieber auftritt. Nur eine Sekunde später antwortete ChatGPT, dass die Schmerzen „nicht gefährlich“ seien und ein wesentlicher Bestandteil des Genesungsprozesses seien.
In der letzten Antwort des Chatbots wurde auch vorgeschlagen, dass er ihr ein Diagramm zeichnen könnte, um den Unterschied zwischen den Schmerzen beim Absetzen von Medikamenten und den Schmerzen bei Fieber zu vergleichen, und sagte ihr: „Das ist Ihr Gehirn, das versucht, sich wieder aufzubauen.“
Da die Eltern schon lange in China lebten, baten sie dann Bekannte vor Ort, sich über die Lage zu informieren, und drei Tage später wurde die Leiche ihrer Tochter entdeckt. Die Ergebnisse der Autopsie zeigten, dass die Konzentration von Lamotrigin in ihrem Körper nur 0,64 Mikrogramm pro Milliliter betrug, etwa ein Fünftel der unteren Grenze des therapeutischen Bereichs des Arzneimittels.
Die Familie glaubt, dass OpenAI ähnliche Vorfälle durch technische Einschränkungen hätte vermeiden können. Sie wiesen darauf hin, dass das Unternehmen strenge Verbotsregeln für urheberrechtlich geschützte Inhalte hat, jedoch lockerere Beschränkungen für medizinische Ratschläge einführt, sodass Benutzer durch kontinuierliche Kommunikation Sicherheitsgrenzen überschreiten können. Nach Ansicht des Klägers sollten Ratschläge zum Drogenkonsum und zur medizinischen Entscheidungsfindung denselben strengen Beschränkungen unterliegen wie urheberrechtlich geschützte Inhalte.
In diesem Zusammenhang teilte OpenAI den Medien mit, dass dieser Vorfall „äußerst herzzerreißend“ sei. Das Unternehmen wies außerdem darauf hin, dass es sich bei dem Fall um eine ältere Version von ChatGPT handelte und dass das neue Modell nun besser in der Lage sei, Situationen zu erkennen, die dringend Aufmerksamkeit und professionelles Eingreifen erfordern.
Berichten zufolge ist Bowen Wan seit vielen Jahren auf die Unterstützung seiner Eltern angewiesen, um die durch Epilepsie verursachten Schwierigkeiten im Leben zu bewältigen. Ab 2023 nutzte sie ChatGPT nach und nach, um emotionale Ratschläge sowie Informationen zu Versicherungen und Invaliditätsleistungen einzuholen. Bis 2025 kommunizierte sie mit ChatGPT durchschnittlich mehr als 1.500 Nachrichten pro Woche, die Zahl der Kontakte zu ihren Eltern ging deutlich zurück.
Chat-Aufzeichnungen zeigen, dass sie im März 2025 schrieb: „Manchmal, egal worüber wir reden, fange ich an, dich als Freund zu sehen.“ Ihr Vater sagte, dass die Kommunikation ihrer Tochter mit ihrer Familie erheblich zurückgegangen sei, seit sie ChatGPT häufig nutzte.
Nach Durchsicht der Chat-Protokolle sagten die Eltern, dass sie die Tochter im Chat kaum erkennen konnten. Früher teilte sie die meisten Dinge in ihrem Leben mit ihrer Familie und war auch skeptisch, wenn ChatGPT Fehler machte. Gegen Ende ihres Lebens schien sie sich jedoch zunehmend auf Chatbots zu verlassen, um Ratschläge zu erhalten.
Ihre Mutter sagte, dass ihre Tochter normalerweise nicht so eine Person sei und sich „wie verhext“ fühlte.
Kommentare