Cloudflare: Потенциальный риск исчезновения Googlebot для сайтов с рекламой
Ключевые факты
- 1 Cloudflare разделил ИИ-ботов на Search, Agent, Training 1 июля 2024 года.
- 2 С 15 сентября 2024 года Training и Agent боты блокируются по умолчанию на рекламных страницах для новых доменов.
- 3 Автор поста предполагает, что Googlebot может быть классифицирован как Training-бот.
- 4 Блокировка Training-ботов может привести к потере видимости Googlebot на монетизированных страницах.
- 5 Рекомендуется проверить настройки Cloudflare в разделе Security → Bots до 15 сентября.
Cloudflare 1 июля 2024 года представил новую классификацию ИИ-ботов, разделив их на три категории: Search (поисковые), Agent (агенты) и Training (обучающие). С 15 сентября 2024 года для новых доменов Cloudflare вводит автоматическую блокировку ботов категорий Training и Agent на страницах, содержащих рекламу. Автор поста предполагает, что Googlebot, помимо индексации, также используется для обучения моделей Google, и поэтому может быть классифицирован как Training-бот. Это, по мнению автора, может привести к нежелательной блокировке Googlebot на монетизированных страницах, что повлечет за собой снижение видимости сайта в поисковой выдаче. Владельцам сайтов, использующих Cloudflare, рекомендуется до 15 сентября проверить настройки в разделе Security → Bots, чтобы убедиться, что Googlebot не будет заблокирован.