Google индексирует скрытые ссылки из JS и JSON
Ключевые факты
- 1 Googlebot парсит URL из HTML, JSON и отрендеренного DOM, независимо от наличия тега <a>.
- 2 Нестандартные ссылки индексируются, но не передают ссылочный вес.
- 3 Base64-кодирование URL является слабой обфускацией для Google.
- 4 Блокировка JS-декодера через robots.txt или генерация URL только по событию onclick — эффективные методы скрытия ссылок от Googlebot.
- 5 robots.txt и фаервол/WAF — единственные надежные методы для полного контроля доступа ботов.
Googlebot активно сканирует и парсит URL-строки не только из атрибутов `href` стандартных ссылок, но и напрямую из исходного HTML, отрендеренного DOM и JSON-блоков. Это означает, что попытки скрыть ссылки от поисковика, используя `<span>` с атрибутом `data-link` или инлайн-объекты JSON, неэффективны для предотвращения индексации. Основное отличие таких нестандартных конструкций от классических ссылок заключается в том, что Google не считает их внутренними ссылками и, соответственно, не передает через них ссылочный вес. Тем не менее, целевые страницы по этим URL будут проиндексированы. Официальная документация Google подтверждает это, указывая, что нестандартные конструкции не рекомендуются, но поисковик все равно может попытаться их спарсить. Для полного исключения страниц из индексации и предотвращения доступа ботов, наиболее надежными методами являются использование файла `robots.txt` (для послушных краулеров) и применение правил фаервола или WAF для блокировки запросов от нежелательных user-агентов. Обфускация URL-строк, например, через кодировку Base64, является слабой защитой, так как Googlebot способен ее декодировать. Более продвинутые методы включают блокировку скриптов-декодеров через `robots.txt` или генерацию/расшифровку URL только по событию `onclick`, что предотвращает их появление в доступном для краулинга DOM.