Скрипт для парсинга каталогов организаций и сбора тематических доменов
Ключевые факты
- 1 Скрипт парсит каталоги orgpage, spravker, firmap.
- 2 Поиск доменов осуществляется по заданным маскам запросов.
- 3 Результаты дедуплицируются и сохраняются в CSV.
- 4 Включает базовую проверку сайтов: HTTP-статус, URL, title, meta robots, контакты.
- 5 Инструмент предназначен для сбора базы доменов для дальнейшего SEO-анализа.
Скрипт, созданный пользователем Fairfaks, предназначен для автоматизированного сбора доменных имен с популярных каталогов организаций, таких как orgpage, spravker и firmap. Инструмент позволяет задавать поисковые запросы по маскам, например, 'медицинский центр|управление клиникой', и затем проходит по выдаче каталогов, собирает карточки организаций и извлекает домены. После сбора домены проходят первичную очистку от мусорных записей и дедупликацию, а затем сохраняются в формате CSV. Дополнительно скрипт выполняет базовую проверку каждого сайта, включая HTTP-статус, финальный URL, наличие title, мета-тега robots и признаков контактной информации. Автор подчеркивает, что это не 'волшебная кнопка' для поиска готовых 'жирных' дропов, а инструмент для быстрого формирования базы тематических доменов, которая требует дальнейшей ручной или автоматизированной проверки на предмет индексации, спам-истории и других SEO-параметров.