Бесплатная проверка ссылок и индексабельности через Screaming Frog
Ключевые факты
- 1 Screaming Frog может использоваться как бесплатный линкчекер.
- 2 Инструмент позволяет проверять наличие ссылок, их атрибуты (nofollow, ugc, sponsored), анкоры и alt-тексты изображений.
- 3 Screaming Frog проверяет индексабельность страниц, выявляя различные причины недоступности для индексации.
- 4 Настройки включают следование редиректам, каноническим ссылкам и использование User Agent Googlebot.
- 5 Для извлечения данных используются пользовательские регулярные выражения в Custom Extraction.
- 6 Метод имеет преимущества в скорости и обходе некоторых ограничений по сравнению с ручной проверкой или некоторыми платными сервисами.
- 7 Ограничения включают проблемы с обходом Cloudflare/антиботов и гео-блокировки.
В посте описан подход к использованию Screaming Frog в качестве бесплатного инструмента для проверки ссылок. Основная цель — повысить эффективность линкбилдинга, избегая оплаты за неработающие ссылки, неэффективного использования GSA/Хрумера, а также для оценки 'живости' собственных и конкурентных ссылок. Метод включает настройку Screaming Frog с включением опций 'Always Follow Redirects' и 'Always Follow Canonicals', а также установку User Agent на 'Googlebot (Smartphone)'. Для извлечения данных о ссылках, их атрибутах (nofollow, ugc, sponsored), анкорах и alt-текстах изображений используются пользовательские регулярные выражения в функции Custom Extraction. После загрузки списка URL для проверки, инструмент анализирует индексабельность страниц и наличие заданных элементов. Среди преимуществ подхода выделяются проверка индексабельности страниц (позволяет выявить различные способы закрытия страниц от индексации), многопоточность для быстрой обработки больших объемов, использование User Agent Googlebot для обнаружения подмены контента и отсутствие 'палева' ссылок для Google (в отличие от использования Google Таблиц). Недостатки включают возможную недоступность сайтов из-за гео-блокировок (требуется VPN), проблемы с обходом Cloudflare/антиботов и некорректные результаты при закрытии сайтов от фейковых Googlebot'ов.