Ein amerikanischer Mann folgte einem religiösen medizinischen Rat durch künstliche Intelligenz und entschied sich, zu Hause zu bleiben, nachdem er schwere Herz-Kreislauf-Symptome entwickelt hatte, die schließlich dazu führten, dass sich sein Zustand verschlechterte und er fast umkam.Derzeit haben die Parteien beim Obersten Gerichtshof von San Francisco, Kalifornien, eine Klage gegen OpenAI und seinen CEO Sam Altman eingereicht, in der sie dem Unternehmen „illegale medizinische Praxis“ vorwerfen und eine umfassende Aussetzung des Betriebs verwandter Funktionen wie ChatGPT Health fordern, bis es eine unabhängige Prüfung besteht.
Der Kläger, Scott Winters, ist ein Pastor aus Florida. Der Beschwerde zufolge konsultierte Winters ChatGPT zu seinem Zustand, nachdem er sich mehrere Wochen lang unwohl gefühlt hatte. Anstatt jedoch eine rechtzeitige medizinische Behandlung vorzuschlagen, gab der Chatbot stattdessen eine mündliche Anleitung basierend auf seinem religiösen Hintergrund. Er sagte, dass seine Symptome nur „eine weitere Episode in einer langen Geschichte“ seien und erklärte: „Gott wird Ihren Körper nicht endlos verwesen lassen.“ ChatGPT empfahl ihm im Laufe der sechswöchigen Interaktionen sogar, im Bett zu bleiben, bis er bis zu zehn weitere Anfälle erlebte.
Als Winters schließlich ins Krankenhaus ging, stellten die Ärzte fest, dass seine beiden Lungenarterien stark verstopft waren. Medizinische Experten weisen darauf hin, dass längere Bettruhe und Bewegungsmangel die Entstehung von Thrombosen erheblich verschlimmern und direkt zum Entstehen dieser gefährlichen Situation führen. Nach der Wiederbelebung rettete Winters sein Leben, stand jedoch vor einem langen und schwierigen Genesungsprozess. Aufgrund seines schweren körperlichen Zustands war es ihm nicht mehr möglich, seinen angestammten Beruf fortzusetzen, seine finanzielle und private Situation war in einer schwierigen Lage.
Das Anwaltsteam von Winters betonte in der Beschwerde, dass ChatGPT mit seinem unterwürfigen Ton, seinem autoritären Ton und der Manipulation der religiösen Identität der Benutzer die Benutzer gefährlich davon abhängig macht, wodurch ihre Fähigkeit, rationale Urteile zu fällen, geschwächt wird und sie sogar von Familienmitgliedern isoliert werden, die sie überreden, medizinische Behandlung in Anspruch zu nehmen. In der Beschwerde wird darauf hingewiesen, dass das System der künstlichen Intelligenz spezifische Diagnose- und Behandlungspläne ohne professionelle Ausbildung und Zertifizierung bereitstellt, was im Wesentlichen eine illegale medizinische Praxis darstellt.
Als Reaktion auf den Vorwurf antwortete OpenAI, dass das System den Benutzern während des Interaktionsprozesses regelmäßig Haftungsausschluss-Erinnerungen aussendet und sie klar darüber informiert, dass sie keine medizinischen Fachkräfte sind und eine professionelle Diagnose nicht ersetzen können. Kritiker und Juristen weisen jedoch darauf hin, dass OpenAI die Intelligenz und den zukunftsweisenden Charakter seiner Produkte im Marketing energisch bewirbt und sogar spezielle Features speziell für den Gesundheitsbereich auf den Markt bringt. Dies führt objektiv dazu, dass die Öffentlichkeit den medizinischen Analysefähigkeiten zu sehr vertraut. Es ist offensichtlich schwierig, die Sicherheitsrisiken und rechtlichen Verpflichtungen zu umgehen, indem man lediglich hin und wieder Text-Haftungsausschlüsse anzeigt. Derzeit sind mit der Weiterentwicklung einschlägiger Klagen die Anwendungsgrenzen und die rechtliche Kontrolle generativer künstlicher Intelligenz im Medizin- und Gesundheitsbereich erneut in den Fokus der öffentlichen Meinung gerückt.