Google изменил URL для списка IP-адресов ботов
Ключевые факты
- 1 Старый URL googlebot.json для IP-адресов Googlebot больше не работает.
- 2 Новый URL common-crawlers.json теперь является актуальным источником IP-адресов краулеров Google.
- 3 Необходимо обновить системы, использующие этот список, для корректной идентификации ботов и предотвращения проблем с трафиком.
Google ранее анонсировал планы по изменению конечной точки для получения актуальных IP-адресов своих поисковых ботов. Изначально предполагалось, что старый URL https://developers.google.com/static/search/apis/ipranges/googlebot.json будет поддерживаться некоторое время, а затем перенаправлен. Однако, по состоянию на текущий момент, старый адрес уже не предоставляет список IP-адресов, а вместо этого выводит сообщение о его устаревании и необходимости использовать новый URL. Новый официальный адрес для получения списка IP-адресов всех общих краулеров Google — https://developers.google.com/static/crawling/ipranges/common-crawlers.json. Вебмастерам, SEO-специалистам и разработчикам, использующим этот список для верификации трафика или настройки фаерволов, необходимо срочно обновить свои системы, чтобы избежать проблем с идентификацией легитимных ботов Google.