Python-библиотека для работы с данными Screaming Frog без GUI
Ключевые факты
- 1 Python-библиотека позволяет напрямую работать с файлами .dbseospider Screaming Frog без GUI.
- 2 Доступно 601 из 628 вкладок экспорта и 15 490 из 15 589 полей через типизированный API.
- 3 Поддерживаются сырые SQL-запросы к данным краула.
- 4 Функционал включает поиск битых ссылок, страниц-сирот, сравнение краулов и анализ редиректов.
- 5 Возможность программно запускать краулы, экспорты и создавать конфигурации.
- 6 Открывает путь для LLM-оркестрированных технических SEO-аудитов.
Новая Python-библиотека (доступная через `pip install screamingfrog`) реверсирует внутренний формат .dbseospider, используемый Screaming Frog, что исключает традиционный цикл краул → GUI → CSV-экспорт. Это позволяет загружать файлы .dbseospider напрямую и получать доступ к 601 из 628 вкладок экспорта/отчётов (15 490 из 15 589 полей) через типизированный API. Также предусмотрена возможность выполнения сырых SQL-запросов для более глубокой работы с данными. Текущая альфа-версия предоставляет функционал для запроса страниц и ссылок по всему сайту, поиска битых входящих ссылок, nofollow-ссылок и страниц-сирот. Она также позволяет сравнивать краулы во времени, детектировать цепочки редиректов и каноникалов, запускать краулы и экспорты из Python, конвертировать .seospider-файлы в .dbseospider и программно создавать конфигурации краулов, что делает их скриптуемыми и версионируемыми без GUI. Автор библиотеки уже использует её для анализа краулов с помощью Claude Code, открывая возможности для LLM-оркестрированных технических SEO-аудитов на основе живых данных краулов. На данный момент API не охватывает 27 вкладок экспорта и 99 полей.