Google обновил документацию по бюджету сканирования: новые правила для всех сайтов
Ключевые факты
- 1 Все сайты стартуют с консервативного лимита сканирования.
- 2 Лимит растет при стабильном спросе и "здоровом" состоянии сервера.
- 3 Бюджет сканирования общий для всех краулеров Google.
- 4 Рекомендуется использовать HTTP-статус 304 (Not Modified) для экономии бюджета.
- 5 Бюджет сканирования рассчитывается для каждого хоста (поддомена) отдельно.
Google внес изменения в свою документацию "Optimize Your Crawl Budget", подчеркнув, что каждый сайт изначально получает одинаковый, консервативный лимит на сканирование. Этот лимит автоматически увеличивается, если есть стабильный спрос на контент и сайт поддерживает "здоровое" состояние, характеризующееся быстрым откликом сервера (низкий TTFB) и отсутствием ошибок 5xx/429. Это обновление означает, что новые сайты или ресурсы, переехавшие на новый домен, будут индексироваться Googlebot'ом более осторожно, и быструю индексацию придется "заслужить" стабильной работой и качественным контентом. Важно отметить, что бюджет сканирования является общим для всех краулеров Google, что означает, что активность одного бота может сократить доступный лимит для других. Документация также рекомендует использовать HTTP-статус 304 (Not Modified) для страниц, которые не изменились, чтобы Google мог использовать кешированную версию и экономить бюджет сканирования. Кроме того, бюджет сканирования теперь рассчитывается для каждого хоста (поддомена) отдельно, а не для всего домена.