CloudFlare, von Internetnutzern auch „Cyber Bodhisattva“ genannt, hat kürzlich KI-Crawler-Schutzeinstellungen für alle kostenlosen Benutzer eingeführt. Diese Funktion war tatsächlich schon früher verfügbar, muss jedoch gemäß den Regeln eingestellt werden. Für die Regelfunktion ist die Verwendung eines Abonnementplans wie CloudFlarePro erforderlich.
Der neu eingeführte KI-Crawler-Schutz (AIScrapers und Crawlers) ist eine Ein-Klick-Einstellung für alle Benutzer. Unabhängig davon, ob sie kostenlose oder abonnierte Benutzer sind, müssen sie diese Option nur mit einem Klick aktivieren.
CloudFlare sagte, dass die Aktivierung dieser Option verhindern wird, dass Roboter und Crawler Website-Inhalte crawlen, um Modelle für künstliche Intelligenz zu trainieren, was einige Unternehmen für künstliche Intelligenz daran hindern kann, Website-Inhalte ohne Genehmigung direkt abzurufen.
Das Funktionsprinzip dahinter ist noch nicht klar, aber es besteht eine hohe Wahrscheinlichkeit, dass CloudFlare gängige KI-Crawler wie den GPTBot von OpenAI aussortiert und identifiziert hat und sie nur noch anhand der Namen dieser Crawler abfangen muss.
CloudFlare bietet Sicherheitsschutz- und Verteilungsdienste für Millionen von Websites, daher ist diese Funktion durchaus von praktischer Bedeutung. Schließlich sind viele Websites, insbesondere Websites von Nachrichtenmedien, urheberrechtlich geschützt.
Das Problem besteht jedoch darin, dass die Crawler-Identifizierung selbst auch eine Möglichkeit zum Schutz vor Bösewichten und nicht vor Bösewichten darstellt. Es ist einfach, damit umzugehen, wenn OpenAI seinen eigenen Crawlernamen veröffentlicht und erklärt, dass es sich an das robots.txt-Protokoll halten wird. Das Problem besteht darin, dass sich viele Unternehmen nicht an die Vereinbarung halten, ihre eigenen Crawler-Namen überhaupt nicht veröffentlichen und Websites wie verrückt crawlen, um an Inhalte zu gelangen.
Wenn Sie in diesem Fall abfangen möchten, müssen Sie über einige Gegenmaßnahmen nachdenken, z. B. das direkte Verbot von UA, das häufig crawlt, das Aktivieren der Echtpersonenüberprüfung von CloudFlare und anderer Funktionen, um zu verhindern, dass verschiedene Crawler den KI-Crawler-Schutz von CloudFlare umgehen.
So aktivieren Sie diese Funktion: CloudFlare, Konsole, gehen Sie zur entsprechenden Website, Sicherheit, automatisches Programm und aktivieren Sie AIScrapers und Crawler.