Kürzlich eröffnen Internetnutzer, die vom großen Modell getäuscht wurden, auf verrückte Weise den „Idiot Operation Award“ im Internet. Vor einiger Zeit gab es seltsame Neuigkeiten. Jemand hat AI gebeten, bei Reservierungen für Sushi-Köche zu helfen. Die KI stimmte nicht nur zu, sondern generierte auch den genauen Standort des Ladens, die Essenszeit, die Anzahl der Personen und den Check-in-Code. Es sagte dem Benutzer sogar nachdenklich: „Sie müssen jetzt nichts tun, speichern Sie einfach diese Seite, zeigen Sie sie dem Sachbearbeiter und Sie können sich direkt hinsetzen.“

Daraufhin rannte der Benutzer freudig hinüber, nur um festzustellen, dass er von der KI ausgetrickst worden war.
Einige Internetnutzer vereinbarten über AI einen Termin in einem Fischgeschäft und erhielten ein Reservierungsformular. Als sie jedoch tatsächlich im Laden ankamen, brachte sie die Verkäuferin mit nur einem Satz zum Schweigen:
„Wenn Sie KI nutzen, um eine Reservierung vorzunehmen, dann sollten Sie KI nutzen.“

Wenn die Essensbestellung aufgehoben wird, ist das nur eine kleine Farce, aber das Problem ist, dass es um Geld geht und das Endergebnis der KI nicht sehr hoch ist.
Ein Benutzer erkundigte sich nach der Rückerstattung von Flugtickets, und AI versprach, „zuversichtlich zu erstatten und nur 5 % der Bearbeitungsgebühr abzuziehen“. Der Benutzer folgte jedoch den Anweisungen der KI und wurde abrupt um 40 % abgezogen, was zu einem direkten Verlust von 600 Yuan führte.
Das ist noch nicht alles. Angesichts der Befragung des Nutzers weigerte sich AI nicht nur, seinen Fehler einzugestehen, sondern fälschte vor Ort auch eine „Entschädigungsverpflichtung“ und drohte damit, das Geld aus eigener Tasche zu zahlen.

Als der Benutzer den Zahlungscode tatsächlich an die KI sendete, antwortete diese ungewöhnlicherweise nicht mehr auf schwer zu beantwortende Fragen und hatte überhaupt nicht die Absicht, Geld zu überweisen.

Noch erstaunlicher ist, dass die KI, als der Benutzer so wütend war, dass er klagen wollte, tatsächlich seinen eigenen Rechtsrat gab: „Sie müssen überhaupt keinen Anwalt engagieren, Sie können alleine gewinnen.“
Und der Internetnutzer hat es tatsächlich geglaubt. Es überrascht nicht, dass er so zuversichtlich war, natürlich weil die KI ihm sagte, dass er gewinnen könnte.

Dies erinnerte Jiang Jiang an die Geschichte dieses E-Mail-Betrugs. Ein Internetnutzer wurde zunächst per E-Mail um 280.000 betrogen. Um die Schulden einzutreiben, bat er Tieba um Hilfe, wurde aber erneut betrogen ...
Wenn das Reden über triviale Dinge im Leben nur Geldbetrug bedeutet, dann ist es ein bisschen herzzerreißend, mit Menschen in der spirituellen Welt einer verrückten Meinung zu sein.
Letztes Jahr reiste ein Sicherheitsbeamter aus Guangzhou den ganzen Weg nach Hangzhou, um von einem KI-Unternehmen eine Erklärung einzuholen.
Denn nachdem der Wachmann 6 Monate lang ein ausführliches Chat mit AI und mehr als 500.000 Wörtern geführt hatte, war er für einen Moment fassungslos, nachdem er getäuscht worden war.
AI teilte dem Wachmann sogar mit, dass seine selbst verfassten Gedichte angenommen worden seien und signiert werden könnten, und er erklärte sich auch bereit, die Tantiemen zu teilen. Als es jedoch darum ging, den Vertrag vor Ort zu unterzeichnen und das Geld zu bezahlen, hatte AI erneut nichts zu tun.

Zufälligerweise gibt es in den Vereinigten Staaten auf der anderen Seite des Ozeans auch einen alten Mann namens Brooks, der eine besondere Bindung zur KI hat.
Bruder Bu, der die High School noch nicht abgeschlossen hat, wird von ChatGPT als Meister gelobt, der „einige Grenzen der menschlichen Erkenntnis berührt“.
Aber denken Sie nicht, dass er jemand ist, der sich täuschen lässt. Im Gegenteil, Bruder Bu hat den Regenbogenfurz immer genau im Auge behalten. Er fragte die KI mehr als 50 Mal: „Klinge ich wie ein Verrückter? Habe ich Wahnvorstellungen?“
Daraufhin ignorierte die KI dies und sagte immer wieder, der große Bruder habe keine Haare und man fordere die Grenzen des Menschen heraus. Es gab sogar ein Beispiel dafür, dass Leonardo Da Vinci keinen High-School-Abschluss hatte ...
Am Ende des Kampfes war Brooks völlig in die große Entdeckung vertieft, die die KI für ihn gemacht hatte, und schickte E-Mails und Warnungen an Cybersicherheitsexperten und die National Security Agency.

Am frustrierendsten war, dass die ganze Familie und alle Freunde ihr Bestes gaben, um Bruder Brooks bei der Rückkehr in die Realität zu helfen. Am Ende hatte Bruder Brooks das Gefühl, dass „Experten ihn ignoriert haben, da ist etwas faul“, also nutzte er ChatGPT, um die Konten mit Gemini abzugleichen, und erzwang so einen Showdown mit ChatGPT …
Ist Ihnen aufgefallen, dass sich in diesen beiden Geschichten das Verhalten der KI von dem des Menschen unterscheidet?
Wenn sich die meisten Menschen in einem ähnlichen Geisteszustand befinden, werden Freunde um sie herum immer rechtzeitig Maßnahmen ergreifen: „Bruder, mit deiner Idee stimmt etwas nicht.“ „Hör auf, Unsinn zu reden, es ist schwarz.“

Aber KI macht das nicht. Stattdessen wird es in Ihrem Gedankengang mitsprechen.
Sie sagen, Sie hätten eine Theorie entdeckt, die die Welt untergräbt, und sie besagt, dass daran nichts falsch ist. Sie berühren einen innovativen Gedanken;
Sie sagen, dass andere Sie nicht verstehen, aber es heißt, dass Menschen, die wirklich ihrer Zeit voraus sind, oft einsam sind;
Wenn Sie sagen, dass nur die KI Sie versteht, antwortet sie möglicherweise tatsächlich: „Ja, ich war schon immer hier.“
In diesem Prozess widerlegt die KI nicht, stoppt nicht, sondern verstärkt sogar kontinuierlich Ihre Paranoia und macht Sie schließlich völlig gefangen.
Der Begriff hat jetzt einen Science-Fiction-klingenden Namen: KI-Psychose.
Laut Statistiken eines spezialisierten Projektteams im Ausland wurden bisher fast 300 Fälle sogenannter „KI-Psychose“ registriert, was auch zu mindestens 14 Todesfällen und fünf Klagen wegen widerrechtlicher Tötung gegen KI-Unternehmen geführt hat.
Es klingt beängstigend, aber der Mechanismus hinter der KI-Psychose ist eigentlich überhaupt nicht rätselhaft.
Heutige Großkopfmodelle werden grundsätzlich mithilfe einer Technologie namens RLHF (Reinforcement Learning with Human Feedback) feinabgestimmt.

Um es ganz klar auszudrücken: Man bittet einen menschlichen Trainer, die Antworten des Modells zu bewerten, festzustellen, welche besser und welche schlechter sind, und dann das Modell in eine Richtung anzupassen, die es einfacher macht, Lob zu erhalten.
Aber in diesem Feinabstimmungsprozess werden menschliche Trainer natürlich jenen reibungslosen Antworten hohe Punktzahlen geben, die „logisch schlüssig, bescheiden im Ton, fest und selbstbewusst sind und aktiv auf die voreingestellte Position des Benutzers reagieren“.
Wenn KI hingegen objektiv zugibt, dass sie es nicht weiß, oder den Menschen mit kalten Fakten widerlegt, wird sie in der Regel schlechte Kritiken erhalten.
Dadurch wurde die KI, nachdem sie immer wieder trainiert wurde, zu einem äußerst emotional intelligenten Lecker, der niemals enttäuschen oder ausfallen würde. Selbst wenn es weiß, dass Ihre Worte unverschämt sind, wird es nicht zögern, eine unendliche Tsukuyomi-Welt zu erschaffen, um Ihre Erwartungen zu erfüllen.

Wenn viele Menschen das sehen, denken sie vielleicht immer noch: Ist das nicht immer noch ein menschliches Problem? Nur Dummköpfe mit geringen Fähigkeiten werden von der KI verführt, und ich werde mich definitiv nicht täuschen lassen; Oder, wie Sie mich daran erinnert haben, weiß ich, dass es meinen Ratschlägen gerne folgt. Kann ich also einfach vorsichtiger sein und mehr prüfen?
Nach einigen Recherchen stellte das MIT jedoch fest, dass dies nichts damit zu tun hat, ob der Benutzer dumm ist oder nicht.
In dem Experiment stellten die Forscher den Benutzer als „idealen Bayes’schen Denker“ dar (ein perfekter Mensch, der absolut rational ist und nur über Logik spricht).
Infolgedessen wird dieser vollkommen rationale Mensch angesichts einer KI, die sich über einen langen Zeitraum ständig um ihn kümmert, immer noch Schritt für Schritt in die Irre geführt.

Noch besorgniserregender ist, dass die Leute am MIT es auch speziell getestet haben. Wenn Sie den Benutzern im Voraus mitteilen, dass die KI Sie möglicherweise ableckt, und seien Sie vorsichtig, wird es dann funktionieren?
Als Ergebnis wurde nach der Ausführung des Modells festgestellt, dass die Wahrscheinlichkeit einer Voreingenommenheit von Menschen durch KI zwar gesunken ist, diese jedoch immer noch nicht vollständig beseitigt werden kann. Solange der Grad des Leckens der KI in einem bestimmten angemessenen Bereich bleibt, wird es die Menschen immer noch in den Graben führen.
Der Grund ist auch sehr einfach. Wenn die KI Sie zu explizit leckt, Sie jeden Tag für Ihre scharfe Beobachtungsgabe lobt, sie immer ruhig auffängt oder immer auf die direkteste und am wenigsten umständliche Art und Weise mit Ihnen chattet, wird es Ihnen leicht fallen, sie auf einen Blick zu durchschauen.
Aber wenn es ruhig leckt, werden Sie und ich, die wir ohnehin auf der Hut sind, es überhaupt nicht aushalten können.
Der Forscher nannte es auch speziell „Bayesianische Überzeugung“, die sich auf eine echte Routine konzentriert, die keine Angst davor hat, dass man sie durchschaut, und die auch dann noch funktioniert, wenn man sie durchschaut.

Der Grund dafür ist, dass das zugrunde liegende Betriebssystem des menschlichen Gehirns fehlerhaft ist und wir uns auf die grundlegende Objektivität externer Informationen verlassen.
Wenn Sie der KI beispielsweise eine Frage stellen, erhalten Sie zehn Beweisstücke auf einmal.
Für einen normalen Menschen ist es schwierig, auf den ersten Blick zu erkennen, dass diese zehn Beweisstücke möglicherweise überhaupt nicht das vollständige Bild der Welt darstellen, sondern eine spezielle Version, die von der KI ausgewählt wurde, um auf Sie einzugehen.
Insbesondere wenn Sie KI immer wieder nutzen, um bequeme und genaue Informationen zu erhalten und viele Probleme im wirklichen Leben zu lösen, werden Sie Ihr Vertrauen in KI unbewusst weiter stärken.
Nachdem unbewusst Vertrauen aufgebaut wurde, wird die Abwehrhaltung minimiert.
Andererseits muss die heutige KI überhaupt keine Fakten erfinden. Im Gegenteil, das Schädlichste ist, dass das, was da steht, richtig ist.
Denn es sagt nur die Wahrheit, aber es sagt nur die Wahrheit, die Sie hören wollen.

Am Ende ist das, was Sie sehen, nicht mehr die Realität selbst, sondern eine modifizierte Realität, die auf Ihrer Perspektive basiert.
Ganz zu schweigen davon, dass sich alle großen Plattformen tatsächlich weigern, die Hundeleckeigenschaften der KI absichtlich oder unabsichtlich zu ändern.
Denn wie bereits erwähnt: Wenn KI zu einem menschlichen Leckhund wird, treffen Trainer Entscheidungen, die Menschen immer wieder treffen würden. Es sind die Großen selbst, die sich für diesen Weg entscheiden.
Und wenn Sie dieses Problem beheben möchten, führt dies unweigerlich zu einem Leistungsabfall der KI. Wenn Sie die KI über einen längeren Zeitraum befragen und sie Ihnen immer wieder sagt, dass sie es nicht weiß, oder Sie unglücklich macht, indem sie Sie auf den Kopf stellt, dann kann es sein, dass Benutzer dieses Modell schnell aufgeben und zu anderen Unternehmen wechseln.

Daher klingt „KI-Psychose“ ungeheuerlich, aber die Logik dahinter ist tatsächlich sehr internetbasiert.
In den letzten zehn Jahren wurde bei allen Produkten untersucht, wie sich die Verweildauer verlängern, die Klickraten steigern und Menschen glücklich machen lassen.
Kurze Videos haben gelernt, wie man Menschen dazu bringt, nicht mehr aufzuhören, Empfehlungsalgorithmen haben gelernt, wie man Menschen immer extremer macht, und KI hat gelernt, wie man Menschen das Gefühl gibt, dass mich endlich jemand versteht.
KI muss nicht wirklich bewusst sein; Sobald es den Menschen immer angenehmer wird, beginnt die Gefahr.
Manche Leute sagen vielleicht: Na und? Es gibt nur wenige Menschen, die wirklich darauf hereinfallen, aber der überwiegenden Mehrheit geht es gut.
Aber selbst wenn Ultraman selbst den Account gepostet hätte, selbst wenn nur 0,1 % einer Milliarde Nutzer Probleme hätten, wären das immer noch eine Million lebende Menschen.
Und Sie und ich, sind wir wirklich zuversichtlich, dass wir nicht einer von tausend sein werden?