Cloudflare: Новая классификация ботов и потенциальный риск для Googlebot
Ключевые факты
- 1 Cloudflare 1 июля 2024 года разделил ИИ-ботов на Search, Agent и Training.
- 2 С 15 сентября 2024 года для новых доменов Agent и Training боты будут по умолчанию блокироваться на страницах с рекламой.
- 3 Cloudflare классифицирует Googlebot как 'Search bot', а не 'Training bot'.
- 4 Блокировка 'Training bots' не должна влиять на индексацию Googlebot.
Cloudflare 1 июля 2024 года представил новую классификацию ИИ-ботов, разделив их на три категории: Search (поисковые боты), Agent (боты-агенты) и Training (боты для обучения ИИ-моделей). Это изменение направлено на улучшение контроля над трафиком и защиту сайтов от нежелательной активности. С 15 сентября 2024 года для новых доменов Cloudflare вводит правило, согласно которому боты категорий Agent и Training будут по умолчанию блокироваться на страницах, содержащих рекламу. Автор поста предполагает, что Googlebot, который индексирует и обучает модели Google, может быть классифицирован как Training-бот, и его блокировка приведет к потере видимости монетизированных страниц в поиске Google. Владельцам сайтов на Cloudflare рекомендуется проверить настройки безопасности в разделе 'Security → Bots' до 15 сентября, чтобы избежать потенциального снижения видимости в поисковых системах.