Как увидеть домен-акцептор сайта, доступного только Googlebot
Ключевые факты
- 1 Сайты, доступные только Googlebot, можно анализировать через Search Console.
- 2 Метод включает регистрацию домена, верификацию в Search Console и cloaked forwarding.
- 3 Цель метода — увидеть домен-акцептор, а не содержимое сайта.
- 4 Эксперт проверил гипотезу на практике, зарегистрировав домен.
- 5 Предстоящие мероприятия: WhiteHat Tea в Валенсии (24 апреля) и Nazahid в Монако (19 июня).
Пользователь задал вопрос о том, как увидеть содержимое сайта, который блокирует всех, кроме Googlebot. Были предприняты попытки через Google Translate, Google Inspection Tool и curl с имитацией Googlebot, но все они привели к ошибке 403. Дмитрий предложил следующий метод: зарегистрировать новый домен, верифицировать его в Google Search Console, настроить cloaked forwarding на регистраторе на целевой домен, а затем запросить индексацию в Search Console. Этот способ не позволяет увидеть содержимое сайта, но дает возможность определить домен-акцептор, то есть конечный домен, на который перенаправляется Googlebot. Эксперт также упомянул о предстоящих мероприятиях: WhiteHat Tea в Валенсии 24 апреля, посвященный AI автоматизации и текстам, и офлайн-митап Nazahid в Монако 19 июня, включающий доклады и нетворкинг.