Восстановление трафика после разрешения сканирования Next.js ресурсов Googlebot
Ключевые факты
- 1 Запрет сканирования /_next/ в robots.txt привел к проблемам с индексацией сайта на Next.js.
- 2 Googlebot не мог корректно рендерить страницы без доступа к JS, CSS и изображениям.
- 3 Разрешение сканирования /_next/static/ и /_next/image/ восстановило индексацию.
- 4 Трафик сайта частично восстановился после корректировки robots.txt.
Изначально в файле robots.txt был установлен запрет на сканирование директории /_next/, которая содержит важные ресурсы фреймворка Next.js, такие как JavaScript, CSS и изображения. Это привело к тому, что Googlebot не мог корректно рендерить страницы сайта, что негативно сказалось на его индексации и, как следствие, на поисковом трафике. После обнаружения проблемы и анализа поведения Googlebot, было принято решение изменить правила в robots.txt. Теперь разрешено сканирование поддиректорий /_next/static/ и /_next/image/. Эти пути содержат статические файлы и оптимизированные изображения, необходимые для полноценного отображения страниц. После внесения изменений сайт начал переиндексироваться, и поисковый трафик частично восстановился, подтверждая важность полного доступа Googlebot к ресурсам для рендеринга.