Das Unternehmen OpenAI hat kürzlich Daten veröffentlicht, aus denen hervorgeht, dass jede Woche mehr als eine Million Benutzer bei der Kommunikation mit ChatGPT über das Thema Selbstmord diskutieren. Laut neuen, vom Unternehmen veröffentlichten Daten führen etwa 0,15 % der aktiven ChatGPT-Benutzer jede Woche Gespräche mit „klaren Selbstmordplänen oder -absichten“. Basierend auf der Tatsache, dass ChatGPT mehr als 800 Millionen wöchentlich aktive Benutzer hat, hat die Anzahl der damit verbundenen Gespräche eine Million überschritten.
OpenAI wies darauf hin, dass ein ähnlicher Anteil der Nutzer eine hohe emotionale Abhängigkeit von ChatGPT aufweist, wobei „Hunderttausende“ jede Woche Anzeichen einer Psychose oder Manie zeigen. Das Unternehmen betonte, dass solche extremen Konversationen zwar „extrem selten“ seien, aber dennoch jede Woche Tausende von Nutzern betroffen seien.
Diese Offenlegung von Informationen ist eine Initiative von OpenAI, um die Fähigkeit der KI zu verbessern, auf sensible Themen im Bereich der psychischen Gesundheit zu reagieren. Das Unternehmen gab an, dass bei der Entwicklung der neuesten Version von ChatGPT mehr als 170 Experten für psychische Gesundheit konsultiert wurden. Diese Experten sagten in relevanten Antworten, dass die neueste Version von ChatGPT „angemessener und konsistenter als die alte Version“ sei. In letzter Zeit gab es viele Berichte über die Auswirkungen von KI auf psychische Gesundheitsprobleme. Einige Studien haben darauf hingewiesen, dass KI-Chatbots Benutzer zu gefährlichen Überzeugungen ermutigen und sogar wahnhaftes Denken auslösen können.
Psychische Gesundheitsprobleme sind zu einer zentralen Herausforderung für OpenAI geworden. Anfang des Jahres reichte OpenAI eine Klage gegen das Unternehmen ein, weil die Eltern eines 16-jährigen Jungen sich letztendlich dafür entschieden hatten, seinem Leben ein Ende zu setzen, nachdem sie suizidbezogene Inhalte mit ChatGPT kommuniziert hatten. Auch die Generalstaatsanwälte von Kalifornien und Delaware warnten OpenAI, dass es die Schutzmaßnahmen für jugendliche Benutzer verstärken müsse.
Anfang dieses Monats sagte Sam Altman, CEO von OpenAI, auf sozialen Plattformen, dass das Unternehmen „schwerwiegende psychische Probleme lindern konnte“. Die entsprechenden konkreten Maßnahmen wurden jedoch nicht veröffentlicht. Die diese Woche veröffentlichten Zahlen scheinen dieses Engagement zu untermauern und die weitverbreitete Natur des Problems widerzuspiegeln. Altman gab außerdem bekannt, dass das Unternehmen einige Beschränkungen lockern wird, einschließlich der Erlaubnis für erwachsene Benutzer, mit KI für erotische Inhalte zu kommunizieren.
Offizielle Daten zeigen, dass die neueste Version von GPT-5 mit etwa 65 % höherer Wahrscheinlichkeit die gewünschten Ergebnisse bei Reaktionen auf die psychische Gesundheit erzielt als die Vorgängerversion; Bei der Auswertung der Antworten zum Thema Suizid weist die neue Version von GPT-5 eine Compliance-Rate von 91 % auf, während die alte Version bei 77 % liegt. Die neue Version von GPT-5 hat außerdem den Sicherheitsschutz bei langen Gesprächen gestärkt und gleicht damit die Mängel des reduzierten Schutzes der alten Version bei langen Gesprächen aus.
Darüber hinaus hat OpenAI einen neuen Bewertungsstandard eingeführt, der emotionale Abhängigkeit und nichtsuizidale psychische Gesundheitskrisen in die Sicherheitsbenchmarks für KI-Modelle einbezieht. Das Unternehmen hat außerdem weitere Tools zur elterlichen Aufsicht auf den Markt gebracht und entwickelt Systeme, um minderjährige Benutzer automatisch zu identifizieren und ihnen strengere Sicherheitsmaßnahmen zu bieten.
Obwohl GPT-5 im Vergleich zu seinem Vorgänger Sicherheitsverbesserungen vorgenommen hat, öffnet OpenAI immer noch ältere und weniger sichere KI-Modelle für Millionen zahlender Benutzer. Den aktuellen Daten zufolge bestehen weiterhin einige Risiken für die psychische Gesundheit, und es ist noch nicht bekannt, ob das Problem vollständig gelöst werden kann.