Cloudflare Опубликован шестой ежегодный обзор года, в котором подробно рассматривается состояние интернета, безопасности и бурно развивающегося мира искусственного интеллекта. В отчете подчеркивается существенное несоответствие в активности веб-сканирования. Согласно данным, Googlebot просканировал значительно больше веб-страниц, чем его конкуренты, использующие искусственный интеллект. В частности, бот Google посетил в 200 раз больше страниц, чем PerplexityBot.
Этот всеобъемлющий Обзор Cloudflare Исследование основано на данных из обширной сети, охватывающей более 330 городов в 125 странах. Результаты показывают, что к концу 2025 года Googlebot охватил 11.6% уникальных веб-страниц. Для сравнения, GPTBot от OpenAI Достигнутый показатель индексации составил всего 3.6%, в то время как PerplexityBot просканировал лишь 0.06%. В отчете предполагается, что такое доминирование обусловлено использованием Google двойного подхода. Googlebot сканирует сайты как для индексации поисковыми системами, так и для обучения моделей искусственного интеллекта. Следовательно, веб-издатели не могут заблокировать обучение ИИ Google, не удалив при этом свои сайты из поисковых систем. Результаты поиска Google.
Обзор Cloudflare: основные выводы отчета за 2025 год.
Помимо анализа данных с помощью ИИ, в отчете представлены важные сведения о глобальной взаимосвязи и угрозах безопасности. Вот основные моменты:
- Рост трафика: Глобальный интернет-трафик вырос на 19% по сравнению с аналогичным периодом прошлого года, при этом заметное ускорение наблюдалось после середины августа.
- Изменения в системе безопасности: Впервые организации гражданского общества и некоммерческие организации стали наиболее подверженными нападениям сектором, на них пришлось 23.2% всех атак к июлю.
- Блокировка трендов: Издатели часто блокируют ботов, использующих искусственный интеллект, таких как GPTBot, с помощью файлов robots.txt, в то время как Googlebot и Bingbot в основном сталкиваются с частичными ограничениями для защиты страниц авторизации.
- Соотношение количества посещений, осуществляемых методом ползания, к количеству посещений, осуществляемых методом перенаправления: Anthropic показал самое высокое соотношение количества просмотров к количеству переходов по ссылкам, что означает, что он интенсивно сканирует контент, но отправляет очень мало пользователей обратно на исходные веб-сайты.
- Сканирование действий пользователей: Количество ботов, действующих от имени пользователей (например, ChatGPT, отвечающий на конкретный вопрос), за год выросло более чем в 15 раз.
Читайте также: Статистика подкастов: рост рынка, тенденции и стратегии успеха.
В отчете также отмечается изменение состава трафика. Хотя трафик, генерируемый людьми, по-прежнему доминирует, трафик от ботов, не использующих ИИ, не сильно отстает. К декабрю на людей приходилось 47% запросов, а на ботов — 44%. По мере развития инструментов ИИ это становится все более очевидным. Обзор Cloudflare служит важной отправной точкой для понимания того, как эти автоматизированные агенты взаимодействуют с открытой сетью.
Больше новостей для чтения: Партнерства издателей в сфере ИИ: Google укрепляет связи.
Искусственный интеллект трансформирует SEO: Мари Хейнс призывает к действиям.
