Проблема индексации: десктоп 404, мобилка 200 при mobile-first краулинге
Ключевые факты
- 1 Googlebot в режиме mobile-first индексирует страницы на основе ответа мобильной версии.
- 2 Если десктоп отдает 404, а мобилка 200, страница остается в индексе.
- 3 Внутренние ссылки поддерживают обнаружение и индексацию таких URL.
- 4 Для полного удаления используйте noindex или 404/410, а также удалите внутренние ссылки.
- 5 Инструмент удаления в GSC — временное решение, 404/noindex — постоянное.
Проблема возникает, когда URL отдает код ответа 404 для десктопной версии, но 200 для мобильной. Поскольку Google сканирует в режиме mobile-first, он учитывает только ответ мобильной версии, считая страницу активной и индексируемой. Это означает, что даже если десктопная версия страницы считается «мертвой», мобильная версия продолжает поддерживать ее в индексе. Ситуация усугубляется наличием внутренних ссылок. Даже одна ссылка с родительской страницы, например, из FAQ, может быть достаточной, чтобы Googlebot продолжал обнаруживать и пересканировать URL, тем самым подтверждая его существование в индексе. Это поддерживает URL в ротации, даже если он незначителен. Для полного удаления страницы из индекса рекомендуется использовать noindex или честный код ответа 404/410. Джон Мюллер из Google подчеркивает, что инструмент удаления в Google Search Console предназначен для быстрого, но временного удаления, тогда как 404/410 или noindex обеспечивают постоянный результат. Наиболее эффективное решение — удалить все входящие внутренние ссылки на проблемный URL, чтобы полностью прервать путь обнаружения для Googlebot. Альтернативно, можно изменить ссылку и отправить запрос на удаление через GSC. Важно помнить, что пока мобильный эндпоинт отдает 200, изменение кода ответа только для десктопной версии не повлияет на mobile-first краулер.