Cloudflare hat seinen sechsten jährlichen Jahresrückblick veröffentlicht, der einen detaillierten Einblick in den Zustand des Internets, die Sicherheit und die boomende Welt der KI bietet. Der Bericht hebt eine erhebliche Diskrepanz bei der Web-Crawling-Aktivität hervor. Den Daten zufolge hat der Googlebot deutlich mehr Webseiten gecrawlt als seine KI-basierten Konkurrenten. Konkret besuchte der Google-Bot 200-mal mehr Seiten als PerplexityBot.
Dies umfassend Cloudflare-Rezension Die Daten stammen aus einem riesigen Netzwerk, das sich über 330 Städte in 125 Ländern erstreckt. Die Ergebnisse zeigen, dass Googlebot Ende 2025 11.6 % der eindeutigen Webseiten erreichte. Zum Vergleich: OpenAIs GPTBot Googlebot erreichte lediglich 3.6 %, während PerplexityBot nur 0.06 % der Seiten crawlt. Der Bericht legt nahe, dass diese Dominanz auf Googles zweigleisigen Ansatz zurückzuführen ist. Googlebot crawlt sowohl für die Suchmaschinenindexierung als auch für das Training von KI-Modellen. Daher können Webseitenbetreiber Googles KI-Training nicht blockieren, ohne ihre Seiten aus dem Crawling-Dienst zu entfernen. Google-Suchergebnisse.
Cloudflare-Überprüfung: Wichtigste Erkenntnisse aus dem Bericht 2025
Neben KI-gestütztem Crawling liefert der Bericht wichtige Daten zu globalen Konnektivitäts- und Sicherheitsbedrohungen. Hier die wichtigsten Ergebnisse:
- Verkehrswachstum: Der weltweite Internetverkehr stieg im Jahresvergleich um 19 %, wobei es ab Mitte August zu einer deutlichen Beschleunigung kam.
- Sicherheitsveränderungen: Zum ersten Mal wurden zivilgesellschaftliche Organisationen und gemeinnützige Organisationen zum am häufigsten angegriffenen Sektor; bis Juli waren 23.2 % aller Angriffe auf sie zurückzuführen.
- Blockierende Trends: Verlage blockieren häufig KI-spezifische Bots wie GPTBot über robots.txt-Dateien, während Googlebot und Bingbot meist nur teilweisen Einschränkungen unterliegen, um Anmeldeseiten zu schützen.
- Verhältnis von Kriechgängen zu Überweisungen: Anthropic wies das höchste Verhältnis von Crawling zu Weiterleitung auf, was bedeutet, dass es Inhalte intensiv durchsucht, aber nur sehr wenige Nutzer auf die Quellwebseiten zurückschickt.
- Benutzeraktions-Crawling: Die Anzahl der Bots, die im Auftrag von Nutzern agieren (wie ChatGPT, das eine bestimmte Frage beantwortet), hat sich im Laufe des Jahres mehr als verfünfzehnfacht.
Relevante Artikeln: Podcast-Statistiken: Marktwachstum, Trends und Erfolgsstrategien
Der Bericht stellt außerdem eine Veränderung in der Zusammensetzung des Datenverkehrs fest. Zwar dominiert weiterhin der von Menschen generierte Datenverkehr, doch der Datenverkehr von nicht-KI-generierten Bots liegt dicht dahinter. Im Dezember stammten 47 % der Anfragen von Menschen, verglichen mit 44 % von Bots. Da sich KI-Tools ständig weiterentwickeln, wird sich dies voraussichtlich ändern. Cloudflare-Rezension Dient als wichtige Grundlage für das Verständnis, wie diese automatisierten Agenten mit dem offenen Web interagieren.
Weitere Neuigkeiten zum Lesen: Partnerschaften zwischen Verlagen und KI-Experten: Google stärkt die Beziehungen
KI-Agenten verändern SEO: Marie Haynes fordert zum Handeln auf
