Einige Benutzer berichteten, dass sie bei der Microsoft Bing-Suche und der Google-Suche viele verstümmelte Zhihu-Inhalte gefunden hätten. Das heißt, der Titel und der Text des Zhihu-Inhalts in den Suchergebnissen sind möglicherweise verstümmelt, einige Absätze vor dem erfassten Text können jedoch normal angezeigt werden. Angesichts der Tatsache, dass Zhihu zuvor alle Suchmaschinen-Crawler (Spider/Robots) außer Baidu und Sogou blockiert hat, spekuliert Bluepoint.com, dass Zhihu Suchmaschinen und andere Crawler durch verstümmelte Zeichen stören möchte, um zu verhindern, dass diese Suchmaschinen und Crawler Zhihu-Inhalte erfassen und zum Trainieren von Modellen der künstlichen Intelligenz verwenden.
Diese Spekulation hat sich nun grundsätzlich bestätigt, da einige Internetnutzer herausgefunden haben, dass Zhihu verstümmelte Inhalte zurückgibt, solange die Benutzeragentenzeichenfolge (UserAgent) Crawler-Schlüsselwörter wie Spider und Bot enthält. Wenn diese Schlüsselwörter nicht enthalten sind, wird normaler Inhalt zurückgegeben.
Blue Dot Network führte auch Tests durch, um diese Situation zu reproduzieren. Beispielsweise kann die Proxy-Zeichenfolge [Blue Dot Network – No Spider] normale Inhalte anzeigen, während [Blue Dot Network – No Spider – Spider] verstümmelte Inhalte anzeigt.
Es ist erwähnenswert, dass Blue Dot auch Baidus Suchcrawler Baiduspider getestet hat, der ebenfalls verstümmelte Inhalte zurückgab. Hätte dies keinen Einfluss auf Baidus Crawling? Dies kann auch durch technische Mittel gelöst werden, d. h. der Server stellt Baidu-Crawlern einen speziellen Indexkanal ähnlich einer Whitelist zur Verfügung, der beliebige uneingeschränkte Inhalte nach Belieben crawlen kann. Diese Methode kann auch zur Bekämpfung einiger böswilliger Crawler verwendet werden, die sich als Baidu-Crawler ausgeben, um Inhalte zu crawlen. Daher ist sie auch aus Website-Perspektive eine gute Verteidigungsmethode.
Eine weitere interessante Situation im Test ist, dass der GPT-Crawler von OpenAI, also GPTBot, manchmal keine verstümmelten Zeichen hat und manchmal schon, aber in den meisten Fällen sind sie verstümmelt. Da UA mit dem Schlüsselwort Bot übereinstimmt, wird verstümmelter Inhalt zurückgegeben. Dies bedeutet wahrscheinlich nicht, dass Zhihu OpenAI auch erlaubt, den Inhalt zu crawlen.
Von Anfang an hat Zhihu andere Suchmaschinen blockiert und in den Suchergebnissen von Baidu, Sogou und Bing nur verstümmelte Inhalte und nun auch Keyword-Matching zugelassen. Diese Situationen zeigen im Grunde, dass Zhihu wirklich nicht möchte, dass seine Inhalte gecrawlt werden. Für Zhihu sind die vorhandenen Inhalte eine riesige Goldgrube. Wenn ein Unternehmen für künstliche Intelligenz kein Geld für den Kauf ausgibt, kann es diese Daten definitiv nicht bereitstellen. Daher kann es Neuigkeiten geben, dass ein bestimmtes Unternehmen eine Vereinbarung mit Zhihu getroffen hat, um Inhalte für das KI-Modelltraining zu erhalten.
Test 1: Normale Browser-UA kann korrekte Inhalte zurückgeben
Test 2: Test test-bing-bot trifft auf das Schlüsselwort Bot und gibt verstümmelten Inhalt zurück
Test 3: Test test-google-spider trifft auf das Schlüsselwort Spider und gibt verstümmelte Zeichen zurück
Test 4: Blue Dot Web testen – keine Spider verpassen Schlüsselwörter und geben normalen Inhalt zurück
Test 5: Testen Sie das Blue-Dot-Netzwerk – es gibt keine Spinne – es gibt einen Hammer – die Spinne gibt verstümmelten Code zurück, weil sie das Schlüsselwort trifft
Test 6: Testen Sie Blue Dot Network – es gibt keine Spinne – es gibt einen Hammer – der Bot gibt verstümmelten Code zurück, weil er das Schlüsselwort trifft
Test 7: GPTBot trifft das Schlüsselwort, hat aber unerwarteterweise keine verstümmelten Zeichen. Die Wahrscheinlichkeit, dass dies geschieht, ist äußerst gering und die meisten davon sind immer noch verstümmelte Zeichen.
Test 8: Baiduspider hat auch verstümmelte Zeichen, weil es das Schlüsselwort trifft.
Test 9: Dies ist die vollständige UA, die vom Baidu-Crawler gerendert wurde
Test 10: Auch GPTBot ist die meiste Zeit verstümmelt