Zusammenfassung:
Im Juli dieses Jahres veröffentlichte ein Unternehmen namens Cloudflare eine Ankündigung, die X direkt zum Explodieren brachte. Was bedeutet diese Ankündigung? Blogger @iyici_ kommentierte: „Das Unternehmen, das Bestätigungscodes für alle Websites verwendet, möchte die von allen verwendeten Suchmaschinen blockieren.“
Neue Regeln, neue Gebühren, es ist Zeit, Gebühren für KI｜Cloudflare zu erheben
Der interessanteste Teil der Ankündigung | Cloudflare
Charles Petersen, ein bekannter Technologieautor und Redakteur in San Francisco, glaubt, dass dies das Ende des Internets ist. Er twitterte bei X „
RIP World Wide Web (1993-2026)
. ”
Originalkommentar von @iyici_｜X.com
Warum kann eine Ankündigung dieses Technologieunternehmens, von dem die meisten Menschen noch nie gehört haben, einen so großen Schock auslösen? Weil dieses Unternehmen eine Entscheidung getroffen hat, die das Internet-Ökosystem wahrscheinlich verändern wird:
Es wird Websites dabei helfen, „Maut“ von der KI zu erheben
.Cyber Bodhisattva: Du weißt es nicht, aber du nutzt es jeden Tag
Was genau macht Cloudflare?
Cloudflare ist einer der weltweit größten Anbieter von Netzwerkinfrastrukturdiensten und sein Marktanteil im Bereich CDN- und DDoS-Schutz liegt seit langem an der Spitze. Man kann es einfach als „Frontlager“ und „Graben“ der Website verstehen.
Sie sind beispielsweise Inhaber einer kleinen Website in China. Wenn Benutzer aus Singapur, den USA und Japan Ihre Website besuchen, erhalten sie jedes Mal Bilder, Skripte und Inhalte direkt vom chinesischen Server, was extrem langsam ist. Sie verbinden Ihre Website also mit Cloudflare, das über viele Knotenpunkte auf der ganzen Welt verfügt und häufig verwendete Inhalte auf dem Server speichert, der dem Benutzer am nächsten liegt, sodass Benutzer aus anderen Ländern schneller auf Ihre Website zugreifen können.
Und da Benutzer, wenn sie Ihre Website besuchen, zuerst den Cloudflare-Knoten besuchen, kann dieser auch Schutzdienste gegen böswillige Angriffe und Robots für abnormalen Datenverkehr bereitstellen.
Fühlen Sie sich immer noch abstrakt? Dann müssen Sie das folgende Symbol gesehen haben:
Klicken Sie auf diese Schaltfläche und warten Sie etwa vier bis fünf Sekunden, bevor die Website geöffnet werden kann: Hierbei handelt es sich um den Mensch-Maschine-Verifizierungsdienst von Cloudflare, der allgemein als „Fünf-Sekunden-Schutz“ bekannt ist. Es bestimmt, ob Sie eine reale Person oder ein Roboter sind, indem es die Mausbewegungsbahn, die Klickfrequenz und andere Verhaltensmuster des Benutzers analysiert.
Heute verarbeitet
Cloudflare etwa 102 Millionen HTTP-Anfragen pro Sekunde und etwa 20 % der Websites weltweit nutzen seine Dienste
, die von persönlichen Blogs bis hin zu Internetgiganten wie Discord und LinkedIn reichen, sind ihre Serviceziele.Sein Dienst deckt 125 Länder und Regionen ab, 95 % der weltweiten Internetnutzer, und die durchschnittliche Verzögerung beträgt nicht mehr als 50 Millisekunden
.Deshalb wird die Internetwelt im Falle einer Störung erschüttert. Im November 2025 kam es bei Cloudflare zu einem groß angelegten Ausfall, der etwa 6 Stunden dauerte und direkt dazu führte, dass eine große Anzahl von Websites und Diensten wie X, ChatGPT, Spotify, Uber und Discord gleichzeitig lahmgelegt wurden.
Welche Regeln wurden dieses Mal festgelegt?
Was macht Cloudflare?
Um es einfach auszudrücken, lautet die neue Regel von Cloudflare wie folgt:
Ab dem 15. September 2026 werden alle Websites, die Cloudflare-Dienste nutzen, standardmäßig „Hybrid-KI-Crawler“ blockieren
.Was ist ein „hybrider KI-Crawler“?
Crawler sind Roboterprogramme, die Webinhalte automatisch crawlen. Der Grund, warum Suchmaschinen Webseiten durchsuchen können, liegt darin, dass sie eine große Anzahl von Crawlern veröffentlichen, um Webinhalte online zu crawlen, Indizes zu erstellen und diese dann den Benutzern bereitzustellen.
Google, Bing und Baidu tun dies seit mehr als 20 Jahren.
Später kam die KI und für das KI-Training waren viele Daten erforderlich, sodass große Modellunternehmen wie OpenAI begannen, sich stark auf Crawler zu verlassen. Anfang dieses Jahres wurde AI Agent populär. Lassen Sie Codex, Kimi arbeiten und andere KI-Tools Ihnen bei der Überprüfung von Informationen helfen. Hinter den Kulissen erledigt ein Crawler Besorgungen, damit Sie Inhalte von Webseiten abrufen können.
Gefällt mir | über Kimi Work
Mittlerweile haben KI-Crawler die Hälfte des Internets belegt. Den offiziellen Daten von Cloudflare zufolge machte im Juni 2026
der gesamte nichtmenschliche Datenverkehr (einschließlich Suchmaschinen-Crawler, KI-Crawler usw.) 57,4 % des gesamten Webseitenverkehrs aus
. Mit anderen Worten: Mehr als die Hälfte der Menschen, die heute Webseiten im Internet „lesen“, sind keine Menschen mehr.Deshalb wird Cloudflare ab 2025 die Funktion „AI Crawl Control“ einführen, die es Websitebesitzern ermöglicht, KI-Crawler manuell zu blockieren. Außerdem wurde ein „Pay Per Crawl“-Mechanismus eingeführt. Wenn ein KI-Crawler auf Inhalte zugreifen möchte, muss er in der Anfrage eine Zahlungsabsicht angeben, andernfalls wird der Zugriff direkt verweigert.
Bis Ende 2025 hat diese Funktion mehr als 416 Milliarden Roboteranfragen abgefangen
.Diese Funktion funktioniert gut für reine KI-Crawler wie GPTBot von OpenAI und ClaudeBot von Anthropic – bei Google bleibt sie jedoch hängen.
Google verfügt über eine Funktion namens „KI-Übersichten“: Wenn Nutzer suchen, gibt Google nicht mehr nur Links an, sondern generiert direkt oben auf der Ergebnisseite eine KI-Zusammenfassung der Antworten anderer Websites. Das Problem besteht darin, dass diese Funktion beim Generieren von Zusammenfassungen nicht die von einem separaten KI-Crawler erfassten Daten verwendet, sondern direkt den Suchindex aufruft – das heißt, sie teilt denselben Googlebot mit der Suche, und dieser Crawler wird als „Hybrid-KI-Crawler“ bezeichnet.
Sobald ein Websitebesitzer den Googlebot blockiert, wird zwar die KI-Übersicht blockiert, aber seine Website verschwindet auch aus den Google-Suchergebnissen und erhält weniger Traffic. Nicht blockiert? Diese KI-Übersicht bringt Ihre Inhalte weiterhin vergeblich.
Angesichts dieses Dilemmas ist es für einen einzelnen Website-Besitzer in der Tat schwierig, direkt mit einem Giganten wie Google zu verhandeln. Daher ist Cloudflare der große Bruder, der sich durchsetzt.
Die neuen Vorschriften im September zielen auf diesen Hybrid-Crawler ab, und die Richtlinie ist unkompliziert: Sie wurde von der manuellen Blockierung durch Website-Besitzer auf eine Standardblockierung umgestellt, was Google vor die Wahl stellt, entweder die Fischerei in schwierigen Gewässern einzustellen oder die Konsequenzen eines erheblichen Rückgangs der Suchinhalte zu tragen.
Medienberichten zufolge verhandelt Cloudflare neben der Einführung der Richtlinie zum Verbot gemischter Crawler auch mit Google und fordert es auf, den AI-Übersichts-Crawler vom Such-Crawler zu trennen, sodass die Website nur den AI-Übersichts-Crawler blockieren und den Suchverkehr behalten kann.
Google ist anderer Meinung. Es besteht die Sorge, dass eine große Anzahl von Websites nach der Trennung KI-Übersichtscrawler direkt blockieren wird.
Warum nimmt Cloudflare dann so eine harte Hand? Durch das Aufkommen von KI-Crawlern verändert sich die seit Jahrzehnten bestehende Logik des Internets.
Das sich verändernde World Wide Web
In den letzten dreißig Jahren funktionierte die Informationssuche im Internet folgendermaßen: Sie suchen nach „wie man geschmortes Schweinefleisch zubereitet“, die Suchmaschine zeigt Ihnen zehn Links an, Sie klicken auf den ersten Food-Blog, durchsuchen den Inhalt und verlassen ihn.
In diesem Prozess schreibt die Website Inhalte, die Suchmaschine sendet Crawler, um diese zu erfassen, und Benutzer suchen und klicken darauf. Sowohl die Website als auch die Suchmaschine gewinnen Traffic, der durch Werbung oder Affiliate-Links monetarisiert werden kann, und Werbetreibende erhalten eine effektivere Auslieferung. Alle sind glücklich.
Diese stillschweigende Vereinbarung kann dreißig Jahre dauern. Es basiert im Wesentlichen auf einem stillschweigenden Tausch von gleichem Wert. Ich lasse Sie meine Inhalte kostenlos erfassen und Sie geben mir kostenlosen Traffic. Niemand schuldet irgendjemandem etwas.
Wenn Suchmaschinen über KI verfügen, ändert sich alles.
Wenn Sie nach „Wie man geschmortes Schweinefleisch zubereitet“ suchen, zeigt Ihnen Google nicht mehr nur zehn Links an. Es fasst die Rezepte, Schritte und Vorsichtsmaßnahmen direkt zusammen und platziert sie oben in den Suchergebnissen.
Der Benutzer verlässt die Website, nachdem er die Antworten gelesen hat, ohne auf eine Website zu klicken
.Google erhält immer noch Traffic, aber der Traffic des Websitebesitzers ist weg.
Cloudflare gab Mitte 2025 das „Crawling- und Return-Verhältnis“ einer Reihe von Crawlern verschiedener Hersteller bekannt:
Google liegt bei etwa 10:1 (Crawling von 10 Webseiten, bringt 1 Besucher), OpenAI liegt bei 3700:1 und Anthropic hat erstaunliche 500000:1 erreicht
. Mit anderen Worten: Google bringt zumindest etwas Traffic zurück, und KI-Unternehmen bekommen fast nichts.Auch die akademische Forschung bestätigt diesen Wandel.
Eine Studie aus dem Jahr 2026 ergab, dass mehr als die Hälfte (51,5 %) der Suchanfragen eine Google AI-Übersicht auslösen.
Daten des Pew Research Center zeigen, dass auf Suchseiten ohne KI-Übersicht der Anteil der Nutzer, die auf Links klicken, 15 % beträgt. Bei einer KI-Übersicht sinkt dieser direkt auf 8 %; Was den in der AI-Übersicht zitierten Link betrifft ... die Klickrate beträgt nur erbärmliche 1 %.
Es gibt bereits Plattformen, die echtes Geld verlieren.
Im September 2025 verklagte die amerikanische Verlagsgruppe Penske Media Google vor Gericht. Penske Media besitzt bekannte Medienmarken wie „Rolling Stone“, „Hollywood Reporter“ und „Billboard“ mit mehr als 120 Millionen monatlichen Besuchern und ein großer Teil seines Umsatzes stammt aus Website-Besuchen. Seit Google jedoch seine KI-Übersicht veröffentlicht hat, sind die Einnahmen von Penske Media aus Affiliate-Links um mehr als ein Drittel gesunken.
Dies ist nicht nur eine Geschichte jenseits des Ozeans. Xiaohongshu führte im Jahr 2025 eine KI-Suchfunktion namens „Ask“ ein. Die Logik ist genau die gleiche wie bei Google AI Overview: Die KI-sortierten Ergebnisse werden direkt oben in der Suche angezeigt.
Die Auswirkungen sind genau die gleichen wie bei Google: In der Vergangenheit suchten Benutzer nach Schlüsselwörtern, durchsuchten Notizen einzeln und filterten die Informationen selbst; Jetzt stellen Nutzer Fragen, und die KI integriert relevante Notizinhalte und gibt direkt Antworten. Benutzer klicken nicht mehr einzeln auf Notizen und Blogger verlieren die Möglichkeit, gesehen, verfolgt und konvertiert zu werden.
Medienberichten zufolge erlaubte Xiaohongshu zunächst nur „Fragen stellen“, um 1–2 % der Suchanfragen intern abzudecken. Der Grund war, dass „der Chef Angst hatte, zu viel Einfluss zu haben“, und später wurde der Prozentsatz auf 3–4 % erhöht. Offensichtlich weiß die Plattform selbst, welche Auswirkungen dieser Vorfall auf die Urheber hat.
Die alte Ära endet und die neue Ära beginnt
Das Spiel zwischen Cloudflare und Google hat noch keine Antwort. Eines ist jedoch sicher:
Das stillschweigende Verständnis von „kostenlosen Inhalten im Austausch für Datenverkehr“, das seit dreißig Jahren im Internet herrscht, kann nicht mehr rückgängig gemacht werden
.Tatsächlich hat das chinesische Internet diesen Weg bereits beschritten. Sie können nicht nach Artikeln von öffentlichen WeChat-Konten auf Baidu suchen, und Sie können nicht nach Inhalten von Xiaohongshu suchen. Es ist nicht so, dass die Suchmaschinentechnologie das nicht kann, aber die Plattform hat aktiv Mauern errichtet, um Inhalte in ihrem eigenen Ökosystem einzuschließen. Jetzt baut Cloudflare eine „Paywall“ für Websites auf, um zu verhindern, dass KI kostenlos Inhalte erhält. Die Methoden sind unterschiedlich, aber die Ergebnisse sind die gleichen.
Wenn immer mehr Websites KI-Crawler blockieren, erhält die KI-Suche immer weniger hochwertige Inhalte und die Qualität der Antworten nimmt ab; und es wird schwierig, die Website zu pflegen, wenn sie Suchverkehr verliert. Irgendwann werden beide Seiten gemeinsam zusammenbrechen, was zu einer „Inhaltswüste“ führt.
Die KI-Suche ist wirklich praktisch und liefert innerhalb von drei Sekunden eine Antwort. Aber alle Zusammenfassungen basieren auf jemandem, der den Originaltext verfasst hat.
Wenn diese Leute nicht mehr schreiben können, werden die Dinge, die KI zusammenfassen kann, immer weniger.
. Früher oder später muss jemand diese Rechnung bezahlen.
Kommentare