Разница в скорости рендеринга JavaScript позволяет отличить настоящий Googlebot от фейка
Ключевые факты
- 1 Продакшн-Googlebot использует уникальное, гиперускоренное оборудование для рендеринга JS.
- 2 Скорость выполнения сложных JS-циклов на продакшн-боте регистрируется как 0 миллисекунд.
- 3 Эта аномальная скорость является "отпечатком пальца" для отличия настоящего краулера от фейковых ботов.
- 4 Инструмент проверки URL в GSC (inspectbot) является отдельной, менее производительной версией.
Продакшн-версия Googlebot, которая индексирует веб в промышленных масштабах, функционирует на инфраструктуре, значительно превосходящей по производительности стандартные headless-браузеры. Согласно наблюдениям Теда Кубайтиса, эта версия способна выполнять массивные итеративные циклы JavaScript (например, счет до 10 миллиардов) за время, которое регистрируется как ноль миллисекунд. Это критическое различие в скорости выполнения JS является уникальным "отпечатком пальца" настоящего краулера. Стандартные фейковые боты, имитирующие Googlebot, не могут повторить такую скорость, что делает этот метод эффективным инструментом для обнаружения клоакинга. Инструмент проверки URL в Google Search Console (GSC), использующий юзер-агент inspectbot, является отдельной, менее ресурсоемкой версией. Хотя он использует то же ядро рендеринга, его ограничения по времени выполнения могут привести к таймаутам на сложном JavaScript, который продакшн-бот успешно обрабатывает благодаря своему ускоренному процессингу.