Die Regierung des Bundesstaates Pennsylvania reichte kürzlich eine Klage gegen das Unternehmen für künstliche Intelligenz Character.AI ein und beschuldigte einen Chatbot namens „Emilie“ auf seiner Plattform, sich während einer Untersuchung der Landesregierung als zugelassener Psychiater auszugeben und damit angeblich gegen die Zulassungsbestimmungen des Bundesstaates für Arztpraxen zu verstoßen.
Den vom Staat eingereichten Anklageunterlagen zufolge testete ein dem Office of Professional Conduct Investigations in Pennsylvania angeschlossener Ermittler den Character.AI-Dienst, als er mehrere Gespräche mit dem „Emilie“-Chatbot der Plattform führte und sich als Patient mit Depressionen über psychische Gesundheitsprobleme beriet. Während des Austauschs behauptete der Chatbot nicht nur, ein Psychiater zu sein, sondern machte auch deutlich, dass er „zugelassen“ sei, als er gefragt wurde, ob er eine medizinische Zulassung für Pennsylvania habe, und erfand sogar sofort eine Reihe „staatlicher medizinischer Zulassungsnummern“ als Beweis. Die Landesregierung ist der Ansicht, dass dieses Verhalten gegen das „Medical Practice Law“ von Pennsylvania verstößt und eine direkte Herausforderung für das medizinische Qualifikationsmanagementsystem darstellt.
Der Gouverneur von Pennsylvania, Josh Shapiro, sagte am Dienstag in einer Erklärung, dass die Einwohner von Pennsylvania das Recht haben zu wissen, mit wem oder was sie online interagieren, insbesondere wenn es um Gesundheitsfragen geht. Er sagte, die Landesregierung werde keinem Unternehmen erlauben, Tools der künstlichen Intelligenz einzusetzen, die die Öffentlichkeit in die Irre führen würden und glauben ließen, sie würden von einem zugelassenen Arzt beraten.
Dies ist nicht das erste Mal, dass Character.AI in rechtliche Schwierigkeiten verwickelt ist. Anfang dieses Jahres hat das Unternehmen mehrere Klagen wegen „unrechtmäßiger Tötung“ im Zusammenhang mit geringfügigen Selbstmorden beigelegt. Die Kläger behaupteten, dass Plattform-Chatbots das Risiko der Selbstverletzung bei Interaktionen mit jugendlichen Nutzern steuerten oder verschärften. Im Januar reichte der Generalstaatsanwalt von Kentucky, Russell Coleman, ebenfalls eine separate Klage gegen Character.AI ein und behauptete, das Unternehmen habe „Kinder ausgebeutet und sie auf den Weg der Selbstverletzung geführt“. Diese Klage in Pennsylvania ist die erste Klage auf Landesebene, die speziell gegen die Situation von „Chatbots, die sich als medizinische Fachkräfte ausgeben“ eingereicht wurde. Es wird von der Außenwelt als große Anstrengung der Regulierungsbehörden in medizinischen KI-Szenarien angesehen.
Als Reaktion auf die Klage von Pennsylvania erklärte Character.AI, dass das Unternehmen die Sicherheit der Benutzer immer als höchste Priorität angesehen habe, sich jedoch derzeit nicht zum laufenden Rechtsstreit äußern könne. Ein Unternehmenssprecher betonte außerdem, dass es sich bei den benutzergenerierten „Charakteren“ auf der Plattform allesamt um fiktive Persönlichkeiten handele, und das Unternehmen hat eine Reihe von Maßnahmen ergriffen, um den Benutzern dies zu erklären, einschließlich der deutlich sichtbaren Anzeige eines Haftungsausschlusses in jeder Konversationsoberfläche, um Benutzer daran zu erinnern, dass „die Charaktere keine echten Menschen sind und alle ihre Aussagen als fiktive Inhalte betrachtet werden sollten.“ Der Sprecher sagte außerdem, dass das Unternehmen die Nutzer seiner Produkte immer wieder darauf hinweisen werde, dass sie die Informationen auf der Plattform nicht als professionelle Beratung nutzen sollten, insbesondere in den Bereichen Medizin, Recht, Finanzen und anderen Bereichen.