Cloudflare меняет классификацию ботов: потенциальный риск для Googlebot?
Ключевые факты
- 1 Cloudflare ввел новые категории ботов: Search, Agent, Training с 1 июля 2024 года.
- 2 С 15 сентября 2024 года для новых доменов Training и Agent боты будут по умолчанию блокироваться на рекламных страницах.
- 3 Googlebot официально классифицируется Cloudflare как бот категории "Search".
- 4 Блокировка "Training" ботов не должна влиять на индексацию Googlebot.
- 5 Пользователям Cloudflare рекомендуется проверить настройки в разделе Security → Bots.
Cloudflare 1 июля 2024 года представила обновленную систему управления ботами, разделив их на три основные категории: Search (поисковые боты), Agent (боты-агенты) и Training (боты для обучения ИИ-моделей). С 15 сентября 2024 года для новых доменов, использующих Cloudflare, боты категорий Training и Agent будут по умолчанию блокироваться на страницах, содержащих рекламу. Автор поста предполагает, что Googlebot, который одновременно индексирует контент и используется для обучения моделей Google, может быть классифицирован как Training-бот. Это, по его мнению, приведет к его блокировке на монетизированных страницах, что потенциально снизит видимость сайтов в поиске Google. В связи с этим, пользователям Cloudflare рекомендуется проверить настройки в разделе Security → Bots до 15 сентября.