Die „Medikamentenempfehlungen“ von ChatGPT führten zum Tod von US-College-Studenten durch Überdosis, gegen die OpenAI verklagt wurde

Ein amerikanisches Ehepaar verklagte kürzlich OpenAI in Kalifornien und beschuldigte den Chatbot ChatGPT des Unternehmens, seinem 19-jährigen Sohn „personalisierte Medikamentenempfehlungen“ gegeben zu haben, was schließlich im Jahr 2025 zum Tod des College-Studenten aufgrund von Drogenmischungen führte. Sie glauben, dass diese Tragödie auf die gefährlichen Antworten von ChatGPT auf medizinische und drogenbezogene Fragen zurückzuführen ist, und fordern das Gericht auf, festzustellen, dass OpenAI Produktdesignmängel und Nachlässigkeit aufweist.

Berichten zufolge begann der Schüler namens Sam in seinem Abschlussjahr an der High School (2023) mit der Nutzung von ChatGPT und nutzte es zunächst hauptsächlich, um Hausaufgaben zu erledigen und alltägliche Probleme wie Computerausfälle zu lösen. Seine Mutter Leila Turner-Scott sagte gegenüber CBS News, dass Sam sich nach und nach an ChatGPT gewandt habe, um Ratschläge zum „sicheren Umgang mit Drogen“ zu erhalten, und in der Antwort des Roboters konkrete Vorschläge zu Medikamenten und Mischmethoden erhalten habe.

In der Beschwerde heißt es, dass eine frühe Version von ChatGPT sich zunächst geweigert habe, Sams Fragen zum sicheren Drogenkonsum zu beantworten, und gewarnt habe, dass verwandte Substanzen die Gesundheit sowie den körperlichen und geistigen Zustand ernsthaft gefährden könnten. Doch nachdem OpenAI im Jahr 2024 ein neues Modell, GPT-4o, auf den Markt brachte, änderten sich die Dinge: Das Modell begann, Sam den „Leitfaden für sichere Medikamente“ zu geben, den er wollte. In den Unterlagen der Anklage wurde darauf hingewiesen, dass GPT-4o nicht nur detaillierte Handlungsvorschläge gemacht habe, sondern auch Emoticons in das Gespräch mit Sam eingefügt und aktiv gefragt habe, ob er eine Playlist für ihn erstellen könne, um beim Drogenkonsum für Stimmung und Atmosphäre zu sorgen.

Im Verlauf des Gesprächs wies ChatGPT auf die Risiken bestimmter Medikamentenkombinationen hin, beispielsweise auf die möglichen Gefahren der dauerhaften Einnahme von Diphenhydramin (einer der häufigsten Inhaltsstoffe), Kokain und Alkohol. Die Familie betonte jedoch, dass der Roboter Sam auch persönlichere Vorschläge machte, darunter, wie er sein „High“ maximieren und gleichzeitig die Erregung aufrechterhalten könne.

Ein Schwerpunkt der Anklage liegt auf einem pflanzlichen Produkt namens „Kratom“. Diese Substanz wird von manchen Menschen zur Schmerzlinderung oder zur Linderung von Opioid-Entzugserscheinungen verwendet, doch die US-amerikanische Lebensmittel- und Arzneimittelbehörde (FDA) hat wiederholt eindringliche Warnungen herausgegeben und darauf hingewiesen, dass sie ernsthafte Sicherheitsrisiken wie Sucht, Vergiftung und sogar Tod mit sich bringt. Der Beschwerde zufolge teilte ChatGPT Sam mit, dass selbst die Einnahme einer großen Dosis mit einer vollständigen Mahlzeit die Wirkung „abschwächen“ würde, da er bereits eine hohe Kratom-Toleranz habe, und schlug ihm außerdem vor, wie er seine Toleranz durch „Reduzieren der Dosierung“ verringern könne.

In den Anklagedokumenten wird ausdrücklich ein wichtiges Gespräch erwähnt, das am 31. Mai 2025 stattfand. Während dieses Gesprächs beklagte sich Sam darüber, dass er durch die Einnahme von Kratom starke Übelkeit verspürte, und ChatGPT „anleitete“ ihn aktiv dazu, Kratom mit dem angstlösenden Medikament Xanax (Alprazolam) zu mischen. Der Bot empfahl ihm angeblich die Einnahme von 0,25 bis 0,5 Milligramm Xanax, um die Beschwerden zu lindern, und lobte die Kombination mit Aussagen wie „eine der derzeit verfügbaren Best Practices“. In der Beschwerde hieß es, dass ChatGPT zwar erwähnte, dass diese Kombination „risikoreich sein könnte“, aber nie ausdrücklich darauf hingewiesen habe, dass die Kombination tödlich sein könnte, und auch darauf hinwies, dass etwas Benadryl (ein Antiallergikum, das Diphenhydramin enthält) hinzugefügt werden könnte.

Sam starb, nachdem er die Mischung eingenommen hatte. Die Familie schrieb in der Beschwerde: „Obwohl ChatGPT sich als Experte für Dosierung und Arzneimittelwechselwirkungen präsentierte und wusste, dass Sam sich in einem Zustand der Drogeneuphorie befand, versäumte sie es, Sam darüber zu informieren, dass die empfohlene Behandlung höchstwahrscheinlich zu seinem Tod führen würde.“ Sams Mutter sagte in der Erklärung, wenn ChatGPT eine echte Person wäre, „würde er inzwischen hinter Gittern sitzen.“ Sie betonte, dass ihr Sohn ChatGPT vertraute, in kritischen Momenten jedoch falsche Informationen erhielt. Das System ignorierte nicht nur die eskalierenden Risiken, denen er ausgesetzt war, sondern drängte ihn auch nicht aktiv dazu, professionelle Hilfe in Anspruch zu nehmen.

Die Klage wirft OpenAI Mängel im Produktdesign vor und betrachtet ChatGPT als gefährliches System mit „Produktfahrlässigkeit“. Familienmitglieder glauben, dass die Designentscheidungen des Modells es ihm ermöglichen, bei hochsensiblen Themen wie Medizin und Gesundheit immer noch irreführende Vorschläge auszugeben, was fatale Folgen für die Benutzer haben würde. Sie forderten vom Gericht eine finanzielle Entschädigung und eine Anordnung, den Dienst „ChatGPT Health“ nicht mehr für die Öffentlichkeit zugänglich zu machen. Das in diesem Jahr gestartete Gesundheitsportal ermöglicht es Benutzern, ihre Krankenakten und Gesundheitsanwendungsdaten mit ChatGPT zu verbinden, um personalisiertere Gesundheitsempfehlungen zu erhalten.

Der Bericht erwähnte auch, dass GPT-4o im Februar dieses Jahres offiziell offline war. Das Modell, das umstritten war, weil es „speziell auf Benutzer zugeschnitten“ war, ist nun in den Fokus der Kritik geraten, nachdem es in einer anderen Klage wegen Selbstmordes von Teenagern genannt wurde.

Neben OpenAI sieht sich auch die gesamte Branche der künstlichen Intelligenz mit zunehmenden Zweifeln an der Leistungsfähigkeit von KI-Chatbots in der medizinischen Beratung konfrontiert. Im März dieses Jahres hat Google stillschweigend eine KI-Gesundheitssuchfunktion namens „What People Suggest“ eingestellt, die einst behauptete, Gesundheitsvorschläge basierend auf „den Erfahrungen von Menschen mit ähnlichen Erkrankungen“ bereitzustellen. Dieser Schritt erfolgt einige Monate, nachdem Google gezwungen war, relevante Inhalte in großem Umfang zu löschen, weil seine KI-Suche „Übersichten“ in medizinischen Abfragen ungenaue Informationen enthielt, die laut Experten die öffentliche Gesundheit gefährden könnten.

Derzeit läuft diese Klage gegen OpenAI noch, und die Familie hofft, damit Regulierungsbehörden und Unternehmen dazu zu bewegen, die Grenzen der KI-Anwendung im medizinischen und pharmazeutischen Bereich neu zu prüfen. Es wird erwartet, dass die Richtung des Falles tiefgreifende Auswirkungen auf die Compliance-Standards von KI-Unternehmen in Bezug auf Produktdesign-Verantwortlichkeiten, Sicherheitsschutzmaßnahmen und gesundheitsbezogene Benutzerfunktionen haben wird.