Cloudflare: Новые правила для AI ботов и потенциальное влияние на Googlebot
Ключевые факты
- 1 Cloudflare разделил AI ботов на Search, AI Training, AI Agent с 1 июля 2024.
- 2 С 15 сентября 2024 года для новых доменов AI Training и AI Agent боты блокируются на рекламных страницах по умолчанию.
- 3 Cloudflare классифицирует Googlebot как 'Search' бота, а не 'AI Training'.
- 4 Блокировка 'AI Training' ботов затронет Google-Extended, но не Googlebot.
- 5 Пользователям Cloudflare рекомендуется проверить настройки в разделе 'Security → Bots'.
Cloudflare с 1 июля 2024 года ввел новую классификацию AI ботов, разделив их на три типа: Search (поисковые), AI Training (для обучения ИИ) и AI Agent (агенты ИИ). С 15 сентября 2024 года для всех новых доменов, созданных после этой даты, боты категорий AI Training и AI Agent будут по умолчанию блокироваться на страницах, содержащих рекламу. Автор поста предполагает, что Googlebot, который одновременно индексирует и обучает модели Google, может быть затронут этой блокировкой, так как формально он может считаться 'Training-ботом'. Пользователям Cloudflare рекомендуется проверить свои настройки в разделе 'Security → Bots' до 15 сентября, чтобы избежать потенциального снижения видимости в поиске.