Cloudflare hat kürzlich angekündigt, wichtige Anpassungen an der Standardkonfiguration von Websites vorzunehmen, die seine Dienste nutzen, und setzt damit eine neue „Frist“ für die gesamte Branche der künstlichen Intelligenz: KI-Unternehmen müssen bis zum 15. September dieses Jahres Webcrawler, die für die traditionelle Suche verwendet werden, klar von Crawlern unterscheiden, die für KI-Agenten und Modelltraining verwendet werden. Andernfalls werden diese „gemischt genutzten“ Crawler standardmäßig auf einer großen Anzahl von Werbeseiten blockiert.
Den von Cloudflare bekannt gegebenen Angaben zufolge wird jeder Datencrawler, der gleichzeitig für die Suche, den Aufruf von KI-Agenten und das Modelltraining verwendet wird, standardmäßig am Crawlen gehindert, wenn er auf eine Webseite zugreift, auf der Werbung gehostet wird, es sei denn, der Websitebesitzer ändert aktiv die relevanten Einstellungen. Diese neuen Standardeinstellungen gelten für neue Cloudflare-Kunden, neue Websites, die von bestehenden Kunden erstellt wurden, und alle bestehenden kostenlosen Benutzerseiten. Dieser Schritt wird sich direkt auf die Art und Weise auswirken, wie Anbieter von KI-Modellen Webinhalte für Schulungen und Dienstgenerierung erhalten, und wird auch das Datenbereitstellungsmuster hinter KI-Agentendiensten verändern.
Cloudflare wies darauf hin, dass die meisten Website-Inhaber darauf hoffen, dass ihre Inhalte über klassische Suchmaschinen gefunden werden können und unter bestimmten Voraussetzungen auch gerne von KI-Diensten zitiert werden, sie aber nicht wollen, dass ihre geistigen Eigentumsrechte kostenlos und in großem Umfang unbefugt missbraucht werden. Cloudflare nannte in seiner Beschreibung „die weltweit größte Suchmaschine“ (offenbar in Anlehnung an Google) und sagte, sie verfüge im Vergleich zu anderen KI-Unternehmen über „ungefähr doppelt so viele zugängliche Informationen“. Der Grund dafür ist, dass der Suchriese es Websites erschwert, die Sichtbarkeit in der Suche aufrechtzuerhalten, während er gleichzeitig vollständig auf den Einsatz von KI verzichtet.
Google hat ähnliche allgemeine Vorwürfe stets zurückgewiesen und betont, dass es einen Roboter namens „Google Extended“ zur Auswahl von Websites bereitstellt, der dazu dient, Website-Inhalte ausdrücklich abzulehnen, die für KI-Schulungen und KI-Produkte und -Dienste wie Gemini Apps und Vertex API verwendet werden, ohne dass dies Auswirkungen auf die Aufnahme der Website in die Google-Suche hat. Während Googlebot, der Kerncrawler von Google, Seiten für die Suche indiziert, bietet er auch Datenunterstützung für in die Suche eingebettete KI-Funktionen wie KI-Übersichten und KI-Modus.
Matthew Prince, Mitbegründer und CEO von Cloudflare, sagte in der Ankündigung, dass mit der Veränderung der Internet-Verkehrsstruktur „der Großteil des Verkehrs im Internet heute nicht mehr von Menschen abgerufen wird“. Die Branche hatte zuvor damit gerechnet, dass der Wendepunkt, an dem „Roboterverkehr den Menschenverkehr übersteigt“, erst im nächsten Jahr eintreten würde. Er betonte: „In diesem Fall müssen wir weiter gehen und schneller voranschreiten, um wirklich ein nachhaltiges Ökosystem zu schaffen.“
Prince sagte, dass die neuen Tools und Partnerschaften von Cloudflare Website-Besitzern mehr Sichtbarkeit und Geschäftsmöglichkeiten im KI-Zeitalter bieten und gleichzeitig KI-Crawlern durch klare Verwendungsmöglichkeiten und transparente Absichten zugute kommen werden. Er hofft, dass er durch die Anpassung der Standardrichtlinie „Mischzweck-Crawler“ dazu zwingen kann, die traditionelle Suche klar von Agentenanrufen und Schulungszwecken zu trennen. Auf externer Geschäftsebene bietet Cloudflare eine Vielzahl von Produkten an, die Benutzern beim Aufbau ihrer eigenen KI-Systeme helfen. Andererseits hat es in den letzten Jahren auch eine Reihe von Tools zur „Kontrollverbesserung“ für Verlage und Content-Parteien auf den Markt gebracht.
Bereits im Jahr 2024 brachte Cloudflare ein Tool speziell zur Bekämpfung von KI-Crawlern auf den Markt und startete dann im Jahr 2025 einen Markt namens „Pay Per Crawl“, der es Websites ermöglicht, KI-Crawlern die Crawling-Gebühren in Rechnung zu stellen. Die neuesten Nachrichten zeigen, dass sich dieses Modell zu „Pay Per Use“ weiterentwickelt, das heißt, es berechnet nicht mehr nur Gebühren auf Basis des „Crawling-Verhaltens“, sondern KI-Unternehmen auf Basis der tatsächlichen „Wertschöpfung“ der Inhalte im KI-System.
Cloudflare wies darauf hin, dass dieses „Pay-per-Use“-Modell Publishern nicht nur neue Einnahmekanäle bietet, sondern auch dazu beiträgt, Bandbreite und Rechenressourcen zu schonen, da interne Daten zeigen, dass mehr als 50 % des KI-Crawler-Crawling-Verkehrs für das wiederholte Crawlen nicht aktualisierter Seiten aufgewendet wird. Durch neue Abrechnungs- und Kontrollmechanismen können Herausgeber begrenzte Ressourcen für wirklich wertvolle Anfragen priorisieren und gleichzeitig finanzielle Beschränkungen für „ineffektive doppelte Crawls“ auferlegen.
Im Hinblick auf konkrete Umsetzungskooperationen hat Cloudflare derzeit Pilotprojekte mit zwei Partnern, Ceramic.ai und You.com, gestartet. Wenn sich Verlage für die Teilnahme am Programm entscheiden, erhalten sie eine entsprechende Vergütung, sofern ihre Inhalte in den KI-Suchergebnissen von Ceramic erscheinen oder als „kostenpflichtiger Premium-Inhalt“ von You.com abgerufen werden. Laut Cloudflare können auch andere KI-Unternehmen dieses Zahlungsmodell entsprechend ihren eigenen Produktformen anpassen und erweitern.
Vor dem Hintergrund der zunehmenden regulatorischen und öffentlichen Aufmerksamkeit für KI-Crawling und Urheberrechtsfragen zielen Cloudflares Richtlinienanpassungen und Geschäftsmodell-Upgrades offensichtlich darauf ab, mehr Mitsprache- und Gewinnspielraum für Verlage zu gewinnen und gleichzeitig neuen Transparenz- und Compliance-Druck auf KI-Unternehmen auszuüben. Während die KI-Branche weiterhin auf massive Webinhalte angewiesen ist, um verschiedene intelligente Agenten zu trainieren und zu betreiben, wird die Frage, wie ein Gleichgewicht zwischen technischem Komfort und den Rechten und Interessen der Inhaltseigentümer hergestellt werden kann, in Zukunft zu einer unvermeidlichen Kernfrage werden.