Google сканирует 404 страницы: это нормально
Ключевые факты
- 1 404 — это не ошибка, а статус 'страница не найдена', который не требует исправления.
- 2 Google возвращается на 404 страницы на случай их случайного удаления и последующего восстановления.
- 3 Переход со статуса 404 на 410 практически не влияет на поведение краулера.
- 4 Повторный краулинг 404 является позитивным сигналом, указывающим на интерес Google к сайту.
- 5 Появление 404 в Search Console не всегда означает проблему, а лишь информирует о наличии таких URL.
Джон Мюллер из Google ответил на вопрос пользователя Reddit, который беспокоился о том, что Search Console постоянно сканирует 404 страницы, отсутствующие в sitemap, и рассматривал возможность переключения на статус 410 (Gone). Мюллер пояснил, что такое поведение не является проблемой и не расходует краулинговый бюджет неэффективно. Он отметил, что Google будет пересканировать эти страницы еще долго, и изменение статуса на 410 практически ничего не изменит. По сути, это означает, что Google готов индексировать больше контента с сайта, что является положительным сигналом доверия к домену.