Cloudflare: Управление блокировкой поисковых и AI ботов
Ключевые факты
- 1 Cloudflare может блокировать поисковые боты Google и Bing через специфические настройки.
- 2 Существует настройка «AI Labyrinth» и «Security / Settings / Training - блок ботов», которая блокирует поисковики.
- 3 Настройка «Block AI bots» будет «депрецирована» 15 сентября, что приведет к автоматической блокировке Google и Bing, если не изменить опцию на «Mixed purpose crawlers will continue to be allowed».
- 4 AI-ботов для обучения моделей можно блокировать через «Detection tools / Block AI bots» и «AI Crowl Bots / Security / Manage how AI crawlers access your content».
- 5 AI-боты создают нагрузку на сервер, но не приносят трафик.
В посте описываются несколько настроек Cloudflare, которые, по мнению автора, влияют на доступ поисковых ботов Google и Bing, а также AI-краулеров. Упоминается некий «AI Labyrinth» и опция «Security / Settings / Training - блок ботов», которая якобы блокирует поисковики. Автор также предупреждает о «депрекации» настройки «Block AI bots» 15 сентября, после которой Cloudflare якобы автоматически заблокирует Google и Bing, если не переключить галочку на «Mixed purpose crawlers will continue to be allowed». Дополнительно, пост указывает на возможность блокировки AI-ботов для обучения моделей через «Detection tools / Block AI bots» и «AI Crowl Bots / Security / Manage how AI crawlers access your content», отмечая, что эти боты создают нагрузку, но не приносят трафик.