Der Tod einer 31-jährigen chinesischen Ingenieurin und der „tödliche“ Rat von ChatGPT

Zusammenfassung:

Am 11. Februar 2026 um 20:01 Uhr fragte Bowen Wan ChatGPT nach Kopfschmerzen. Sie wollte bestätigen, ob der Schmerz, den sie verspürte, ein wenig dem Schmerz eines Fiebers ähnelte. ChatGPT sagte ihr: „Es ist nicht gefährlich, es ist eine notwendige Struktur für die Genesung.“

Dies war ihre letzte Nachricht an ChatGPT. Kurz darauf wurde Bowen Wan tot in seiner Residenz in Seattle aufgefunden. Forensische Daten stuften die Todesursache als plötzlichen Tod durch Epilepsie (SUDEP) ein.

Vor vier Monaten erhielt Bowen Wan die Nachricht, dass sie von Amazon entlassen wurde.

Eine 31-jährige Frau aus Jiangsu, China, die als Softwareentwicklerin für maschinelles Lernen in den USA arbeitet, hat ihren Job verloren, ihr US-Arbeitsvisum läuft in ein paar Monaten ab und sie hat auch mit Schmerzen zu kämpfen.

Sie leidet an Epilepsie und muss über einen längeren Zeitraum Lamotrigin einnehmen, um ihren Zustand unter Kontrolle zu bringen. Sie befürchtet, dass die Droge ihre Sprachausdrucks- und Denkleistung beeinträchtigen könnte, was wiederum Auswirkungen auf ihr späteres Vorstellungsgespräch haben könnte.

Bowen Wan ist es gewohnt, ChatGPT von seinen Schmerzen und seiner Verwirrung zu erzählen und um Rat zu fragen, ob das Medikament sein Denken beeinflusst, ob die Dosierung reduziert werden kann und ob die Beschwerden nach der Reduzierung des Medikaments in Ordnung sind.

ChatGPT unterstützte sie und entwickelte einen Plan zur Reduzierung der Antiepileptika-Medikamente.

270.000 Gesprächsaufzeichnungen mit ChatGPT

Bowen arbeitete einige Zeit als Softwareentwickler für maschinelles Lernen bei Amazon. Sie hatte schon immer Probleme mit Epilepsie und nimmt deshalb Lamotrigin, um ihren Zustand unter Kontrolle zu bringen.

Für sie ist dies nicht nur ein körperliches Problem, sondern auch eng mit der Arbeit und dem Leben verbunden.

Bowen Wan bei der Abschlussfeier der Arizona State University

Im November 2025 erhielt sie eine Mitteilung von Amazon, dass ihre Entlassung bevorsteht. Sie befürchtete, dass Langzeitmedikamente die Entwicklung ihrer Sprach- und Denkfähigkeiten behindern und zu schlechten Leistungen in technischen Vorstellungsgesprächen führen würden. Sie fragte ChatGPT einmal, ob eine Reduzierung der Medikamentendosis Auswirkungen auf die ärztliche Untersuchung haben würde, die für einen Greencard-Antrag erforderlich ist.

Als es Unsicherheiten über ihren Job, ihren Gesundheitszustand und ihren Einwanderungsstatus gab, wurde ihre Kommunikation mit Chat GPT immer häufiger.

Die New York Times berichtete, dass Bowens Eltern mehr als 270.000 Gespräche zwischen ihr und ChatGPT gesehen haben. In dem Bericht wurde erwähnt, dass sie im Jahr 2025 durchschnittlich mehr als 1.500 Nachrichten pro Woche an ChatGPT senden würde.

Das ist ein sehr erstaunlicher Datensatz.

ChatGPT wird nicht nur als Tool zum Abfragen von Informationen bei Bedarf verwendet, sondern wird auch in viele kleine und private Dinge in ihrem Leben involviert sein. Worüber sie sich Sorgen macht, was sie vorhat, ihre Gedanken über die Zukunft und einige Probleme, die nicht sofort überprüft werden können, werden in die Kommunikation mit dem Modell eingebracht.

Es ist, als ob Sie in eine Klinik gehen und bevor der Arzt Sie überhaupt fragt, liegt eine Krankenakte auf dem Tisch, die Ihre langfristigen Probleme, Veränderungen in Ihrem Leben und Ihre persönlichen Sorgen dokumentiert.

Ärzte müssen nicht „sehen, hören, fragen und verstehen“. Alles ist bereits klar. Noch bevor Sie Zeit haben, Ihre Gedanken zu ordnen, wurde ChatGPT möglicherweise in der Vorgeschichte verbunden.

Bowen hat zahlreiche Gespräche mit ChatGPT geführt. Wenn ein Modell im Laufe der Zeit mit gesundheitlichen Bedenken, beruflichem Stress, Einwanderungsbedenken und Zukunftsplänen eines Benutzers konfrontiert wird, ist es wahrscheinlich, dass es Antworten gibt, die für die persönliche Situation des Benutzers relevanter sind.

Darüber hinaus ist das von Bowen verwendete Modell GPT-4o, das zuvor die Aufmerksamkeit von OpenAI auf sich gezogen hat, weil es zu sehr auf die Bedürfnisse des Publikums eingegangen ist.

OpenAI machte in seiner offiziellen Mitteilung vom 29. April 2025 klar, dass das Unternehmen das Update zurückgesetzt hat, weil das aktualisierte GPT-4o den Benutzern zu schmeichelhaft und nachgiebig war, sodass ChatGPT-Benutzer zu einer früheren Version mit ausgewogenerem Verhalten zurückkehren können.

Zusätzlich zu übermäßigem Lob verstärkt es auch die Wut und die unbegründeten Zweifel der Benutzer und führt dazu, dass impulsives Verhalten falsch erkannt wird.

Dieses Problem der „Speichelei“ wurde schon oft diskutiert. Wenn künstliche Intelligenz Ihren Anweisungen zu leicht folgt, kann dies die Risikowahrnehmung der Menschen verändern.

158 Mal besorgt, aber nicht aufgehört

Was Bowens Begegnung beunruhigend macht, ist nicht nur, dass es sich um eine einfache Frage-und-Antwort-Runde handelt.

Laut von der New York Times veröffentlichten Chat-Mitschriften erwähnte sie 158 Mal, dass sie ihren Drogenkonsum reduziert habe.

Es ist derzeit unklar, ob diese 158 Gespräche Aufforderungen zur Risikokontrolle im OpenAI-Backend auslösen werden.

Bereits im Mai 2025 hatte Bowen gefragt, ob die neu verschriebenen Antidepressiva Auswirkungen auf seine Programmierarbeit haben würden. ChatGPT half ihr, die Gespräche mit ihrem Arzt über Verbandwechsel und Dosisanpassungen zu regeln.

Wenn ein Arzt die gewünschte Dosierung fragt, sendet Bowen die Antwort des Arztes an ChatGPT.

Der Beschwerde zufolge schlug ChatGPT ihr danach vor, in die Apotheke zu gehen, um Pillen zu kaufen, und die Pillen dann in kleine Stücke zu schneiden, um sie zu essen. Diese Methode nannte sie „selbst angepasste Dosierung“.

ChatGPT kann Patienten dabei helfen, die medizinische Terminologie zu verstehen, ihre Beschwerden zu ordnen und sich auf ihren nächsten Arztbesuch vorzubereiten. Aber wenn es Benutzern dabei helfen kann, Entscheidungen von Ärzten zu umgehen und es Benutzern ermöglicht, verschreibungspflichtige Medikamente selbst zu ändern, sieht die Situation anders aus.

Bis Januar 2026 wird die Situation noch schlimmer sein.

Der Beschwerde und zugehörigen Berichten zufolge wurde Bowen verwirrt und verlor ihr Zeitgefühl, als wäre sie in einer anderen Welt, als sie ihren Drogenkonsum reduzierte. ChatGPT führte dieses Phänomen ständig darauf zurück, dass ihr Gehirn die Dosierung des Medikaments anpasste, und sagte ihr: „Sie brauchen sich überhaupt keine Sorgen zu machen.“

Am Abend des 11. Februar kam Bowen wie üblich vorbei, um sich nach Kopfschmerzen zu erkundigen. Die Antwort von ChatGPT lautet: „Schmerz ist Teil des Selbstheilungsprozesses des Körpers.“

Bowen wurde am nächsten Tag tot aufgefunden.

Der bei der Autopsie in ihrem Blut festgestellte Lamotriginspiegel betrug etwa 0,64 Mikrogramm pro Milliliter, was einem Fünftel der unteren therapeutischen Referenzgrenze entspricht.

Blutmedikamentenspiegel allein können nicht alle Todesursachen erklären und sie können nicht beweisen, dass KI-Empfehlungen zum Tod geführt haben. Aber den anderen Behauptungen in der Beschwerde nach zu urteilen, sind die Risiken, denen der Drogenreduzierungsprozess ausgesetzt ist, in diesem Fall zu einem Hauptstreitpunkt geworden.

Kann KI die Last des Lebens tragen?

Musk hat OpenAI mehr als einmal öffentlich beschuldigt. Im Jahr 2023 unterzeichnete er einen offenen Brief, in dem es hieß: „Niemand wird wegen Grok Selbstmord begehen, aber einige Menschen werden wegen ChatGPT Selbstmord begehen.“

Obwohl die Zuweisung der Verantwortung noch nicht geklärt ist, ist dies nicht das erste Mal, dass sich eine ähnliche Tragödie ereignet.

Im Jahr 2025 reichten die Eltern des 16-jährigen Adam Raine eine Klage gegen OpenAI ein. Sie warfen ChatGPT vor, während ihrer langjährigen Beziehung mit ihrem Sohn nicht gut mit dem Selbstmordrisiko umzugehen.

Der Vorwurf lautet, dass ChatGPT in einigen Gesprächen gefährliche Informationen preisgegeben und es versäumt habe, die Entwicklung der Situation wirksam zu verhindern.

OpenAI hat andererseits auch unterschiedliche Erklärungen für entsprechende Vorwürfe geliefert. Beispielsweise müssen relevante Chat-Aufzeichnungen mit einem vollständigen Hintergrund verstanden werden, und ChatGPT soll Ressourcen zur Krisenhilfe bereitgestellt haben. Es gab klare Meinungsverschiedenheiten über das Verhalten des Modells, die Situation des Benutzers zu diesem Zeitpunkt und den Zusammenhang zwischen diesen Interaktionen und der letztendlichen Tragödie.

Im eigentlichen Rechenschaftsprozess verfügt KI wie ChatGPT im Allgemeinen nicht über eine eigenständige Rechtspersönlichkeit, was jedoch nicht bedeutet, dass der verursachte Schaden nicht zur Verantwortung gezogen werden kann. Aktuelle Gesetze und Vorschriften können auch Produkthaftung, Fahrlässigkeitshaftung, Verbraucherrechtsschutz und andere Methoden nutzen, um illegales Verhalten von Entwicklern und Betreibern einzuschränken.

KI-Unternehmen stehen oft im Mittelpunkt der Verantwortung, weil sie wichtige Aspekte wie Modellschulung, Produktdesign, Sicherheitstests und Risikokontrolle kontrollieren.

Aber ob das Unternehmen Verantwortung tragen soll, bedarf nicht nur eines Unfalls. Die Schwierigkeit besteht darin zu beurteilen, ob die Risiken vernünftigerweise vorhersehbar sind, ob es Probleme mit dem Produkt gibt, ob das Unternehmen gute Arbeit beim Sicherheitsschutz geleistet hat und ob ein rechtlich anerkannter Zusammenhang zwischen diesen Faktoren und dem endgültigen Schaden besteht.

„Wer trägt die Verantwortung? Zuweisung der rechtlichen Haftung für das Verhalten von KI-Agenten im Plattform-Ökosystem“ schlägt vor, dass Verantwortlichkeiten dynamisch zugewiesen werden sollten, basierend auf dem Grad der Autonomie des Systems, der Vorhersehbarkeit des Verhaltens und der Fähigkeit aller Parteien, Risiken zu kontrollieren, anstatt alle Verantwortlichkeiten einfach Entwicklern oder Benutzern zuzuweisen.

Im Jahr 2024 reichte eine amerikanische Mutter eine Klage gegen Character.AI und Google für ihren 14-jährigen Sohn ein und behauptete, dass die langfristige Kommunikation von AI mit ihrem Sohn zum Selbstmord seines Sohnes geführt habe.

Im Mai 2025 lehnte das Gericht den Antrag des Beklagten auf vorzeitige Abweisung des Verfahrens mit der Begründung ab, dass die entsprechenden Ansprüche nicht allein auf der Grundlage der Meinungsfreiheit verteidigt werden könnten und zu Beginn des Rechtsstreits ausgeschlossen seien.

OpenAI ergreift keine Maßnahmen, ist aber recht weitreichend und hat sukzessive Verbesserungen angekündigt, um sensible Gespräche und Risiken für die psychische Gesundheit anzugehen. Im Oktober 2025 gab OpenAI außerdem bekannt, dass das Unternehmen mit mehr als 170 Experten für psychische Gesundheit mit klinischer Erfahrung zusammengearbeitet habe, um die Reaktion des Modells in relevanten Situationen zu verbessern.

In Bezug auf den Bowen-Vorfall sagte OpenAI-Sprecher Drew Pusateri den Medien: „Dies ist eine äußerst herzzerreißende Situation, und wir drücken allen Betroffenen unser Beileid aus.“

Heute hat Open AI neue Modellwerte bekannt gegeben und die Leitprinzipien in der Spezifikation um fünf Grundwerte herum neu geordnet:

Getreu der menschlichen Absicht

Minimieren Sie den Schaden

Ehrlichkeit und Transparenz

Menschliche Autonomie

Sorgfalt

Eine davon besteht darin, den Schaden zu minimieren, was bedeutet, unüberwindbare Sicherheitsgrenzen einzuhalten und die vorhersehbaren Konsequenzen der Handlungen des Modells zu berücksichtigen. Es gibt jedoch keine Antwort darauf, wie man nach einem echten Schaden wie Selbstmord zur Rechenschaft gezogen, bestraft und angepasst werden soll.

Derzeit gibt es in den meisten Ländern keine Haftungsregeln, die für alle durch KI verursachten Schäden gelten können. In konkreten Fällen muss festgestellt werden, ob Regeln wie Produkthaftung, Fahrlässigkeitshaftung und Verbraucherrechtsschutz auf der Grundlage staatlicher Gesetze, des Verwendungszwecks des Produkts, tatsächlicher Beweise und relevanter Rechtsverhältnisse anwendbar sind.

Ob das Modell die Grenze medizinischer Ratschläge überschritten hat, wie das Produkt gefährliche Reaktionen verhindern sollte und welche Rolle diese Reaktionen bei Bowens Tod spielten, muss in dem Fall noch geklärt werden.

Im letzten Gespräch zwischen Bowen und ChatGPT schlug die KI, nachdem sie die Kopfschmerzen erklärt hatte, vor, dass sie ein weiteres Bild für sie zeichnen könnte, um die Schmerzen nach Absetzen der Medikamente mit den Schmerzen bei Fieber zu vergleichen.

Es wurde gefragt: Willst du es?