Обновление документации Google по бюджету сканирования
Ключевые факты
- 1 Google использует консервативный подход к сканированию новых сайтов.
- 2 Частота сканирования зависит от размера сайта, частоты обновлений, качества и релевантности страниц.
- 3 Пропускная способность сканирования распределяется между всеми типами Googlebot.
- 4 Повышение скорости сайта улучшает эффективность сканирования.
- 5 Код 304 ('Не изменено') помогает экономить бюджет сканирования.
- 6 Медленная индексация новых сайтов объясняется начальным консервативным выделением ресурсов.
- 7 Для большинства сайтов проблема не в бюджете сканирования, а в раздувании URL-адресов.
Google обновил свою официальную документацию, предоставив более подробные разъяснения относительно того, как он управляет бюджетом сканирования сайтов. Изначально Google применяет консервативный подход к сканированию, устанавливая низкий лимит пропускной способности для новых сайтов, независимо от их размера или репутации. Этот начальный лимит корректируется на основе нескольких переменных, таких как размер сайта, частота обновлений контента, качество страниц и их релевантность. Важным уточнением является то, что пропускная способность сканирования распределяется между всеми типами сканеров Google, включая Googlebot, AdsBot и Google Shopping crawler. Это означает, что активность одного сканера, например Googlebot-Image на сайтах с большим количеством изображений, может снижать доступную пропускную способность для других сканеров, влияя на индексацию HTML-страниц. Для повышения эффективности сканирования рекомендуется улучшать скорость работы сайта. Google отмечает, что о бюджете сканирования в первую очередь следует беспокоиться крупным сайтам (более 1 миллиона уникальных страниц с умеренно частыми изменениями или более 10 000 страниц с очень быстро меняющимся контентом), в то время как более мелкие сайты обычно сканируются эффективно. В свете этих обновлений, использование HTTP-кода 304 ('Не изменено') для страниц без изменений становится эффективным способом экономии бюджета сканирования. Консервативный начальный режим объясняет медленную индексацию новых сайтов, которую часто ошибочно принимают за 'песочницу'. Также подчеркивается, что для большинства небольших и средних сайтов основной проблемой является не сам бюджет сканирования, а раздувание URL-адресов из-за фасетных параметров, архивов или тестовых поддоменов.