Как обнаружить скрытый домен, доступный только Googlebot
Ключевые факты
- 1 Сайты, доступные только Googlebot, блокируют обычных пользователей с ошибкой 403.
- 2 Предложенный метод позволяет идентифицировать домен-акцептор, но не просматривать содержимое.
- 3 Метод включает регистрацию домена, верификацию в Search Console, cloaked forwarding и запрос индексации.
- 4 Автор анонсировал участие в WhiteHat Tea в Валенсии 24 апреля и Nazahid Monaco Meetup 19 июня.
Пользователь задал вопрос о том, как увидеть содержимое сайта, который доступен исключительно Googlebot и блокирует всех остальных пользователей с ошибкой 403. Он безуспешно пытался использовать Google Translate, Google Inspection Tool и curl с user-agent Googlebot. В ответ предложен метод, который не позволяет увидеть содержимое сайта, но дает возможность идентифицировать домен-акцептор. Для этого необходимо зарегистрировать новый домен, верифицировать его в Google Search Console, настроить cloaked forwarding на целевой домен через регистратора, а затем запросить индексацию в Search Console. В результате можно будет увидеть домен-акцептор в отчетах Search Console. Автор поста также упомянул о проведении закрытых вебинаров для SEO-специалистов и анонсировал два предстоящих мероприятия: WhiteHat Tea в Валенсии 24 апреля, посвященный AI-автоматизации и текстам, и офлайн-митап Nazahid в Монако 19 июня, ориентированный на доклады и нетворкинг.