Screaming Frog SEO Spider — настольный краулер для Windows, macOS и Linux. Он проходит по ссылкам сайта, собирает HTTP-ответы, метаданные, директивы, canonical, hreflang, изображения и другие признаки. Бесплатная версия ограничивает один обход 500 URL, лицензия снимает этот лимит и открывает расширенные функции.
Установка и бесплатная версия
Скачивайте программу с официального сайта Screaming Frog и выбирайте сборку своей ОС. Бесплатный режим подходит для небольшого сайта и обучения: до 500 URL в одном crawl. Это число включает не только HTML-страницы, но и другие найденные ресурсы в зависимости от настроек, поэтому лимит может закончиться раньше ожидаемого.
Платная лицензия открывает обход сверх 500 URL в пределах ресурсов компьютера, JavaScript rendering, сохранение и планирование, custom extraction, интеграции и другие функции. Точный состав и цену проверяйте перед покупкой: версии программы регулярно обновляются.
| Режим | Подходит для | Ограничение |
|---|---|---|
| Free | Обучение и сайт до 500 ресурсов | Лимит URL и закрытые функции |
| Licensed | Регулярный профессиональный аудит | Ресурсы компьютера и годовая лицензия |
| Text Only | Обычный HTML и быстрый обход | Не исполняет клиентский JS |
| JavaScript | SPA и ссылки после рендеринга | Медленнее и требовательнее |
Настройка перед первым обходом
Введите главную страницу только после настройки. В Configuration → Spider определите типы ресурсов, следование robots.txt, canonical и nofollow. Ограничьте скорость, чтобы не перегрузить сервер. Для теста чужого сайта используйте осторожную частоту и разрешение владельца; краулер создаёт реальную нагрузку.
Исключите бесконечные параметры, календарь, фасеты и сессионные URL. Если нужна одна папка, используйте Include или стартуйте из списка. Выберите User-Agent осознанно: эмуляция Googlebot полезна для сравнения ответов, но результаты всё равно принадлежат вашему IP и настройкам.
- Создать отдельную конфигурацию проекта.
- Задать User-Agent и скорость.
- Определить типы ресурсов и robots.
- Добавить include/exclude для параметров.
- Выбрать Text Only или JavaScript.
- Проверить пять URL вручную.
- Запустить crawl и наблюдать ошибки сервера.
Как читать основные вкладки
Internal содержит найденные внутренние ресурсы и сводные поля. Response Codes группирует 2xx, 3xx, 4xx и 5xx. Page Titles, Meta Description, H1 и H2 показывают отсутствие, повторы и длину. Canonicals и Directives помогают понять indexability, но каждое предупреждение нужно сверить с назначением страницы.
Используйте нижнюю панель Inlinks и Outlinks: она показывает, откуда найден URL и куда ведут ссылки. Так ошибка превращается в исправление шаблона. Например, 404 с сотней inlinks требует заменить источник, а не только вернуть заглушку на сломанном адресе.
- Response Codes — ошибки и редиректы.
- URL / Internal — инвентарь и тип ресурса.
- Indexability — итог директив и статуса.
- Canonicals — заявленная и выбранная связь.
- Inlinks — источник обнаружения URL.
- Images — размер, alt и связь со страницей.
- Hreflang / Structured Data — специальные реализации.
JavaScript rendering
В Configuration → Spider → Rendering можно переключиться на JavaScript. Встроенный Chromium выполняет клиентский код и анализирует rendered HTML. Режим нужен, если ссылки или основной контент появляются только после JavaScript, но не должен включаться автоматически для любого React-сайта: серверный HTML может уже содержать всё нужное.
Сравните два crawl одной выборки — Text Only и JavaScript. Разница покажет, что добавляет рендеринг, какие ресурсы блокируются и не создаёт ли приложение новые URL. Установите окно, таймаут и ограничения, следите за памятью. Данные чувствительных страниц не отправляйте в сторонние AI API через custom JavaScript без разрешения.
Интеграции, списки и извлечение данных
Licensed-режим соединяется с Google Analytics, Search Console и PageSpeed Insights, чтобы добавить к URL трафик, запросы и скорость. Эти данные имеют собственные периоды и ограничения; строка crawl не превращает их в одну дату автоматически. Записывайте настройки экспорта.
List Mode сканирует заданный перечень, полезный для миграции и проверки sitemap. Custom Extraction извлекает поля по XPath, CSSPath или regex: цену, артикул, Open Graph, дату и любые элементы. Сначала протестируйте правило на нескольких HTML-вариантах, иначе пустая колонка может означать неверный selector.
Mode → List → Upload → Paste / From a File
Пример задач после crawl:
404 + Inlinks > 0 → исправить ссылки в шаблоне
Non-indexable URL in sitemap → удалить из карты или исправить страницу
Canonical chain → сократить до конечного URL
Sitemap, визуализация и экспорт
Программа умеет создавать XML Sitemap из результатов обхода. Перед сохранением оставьте только канонические индексируемые URL с 200 и корректным lastmod. Priority и changefreq Google игнорирует, поэтому не заполняйте их как магические коэффициенты. Готовую карту проверьте через валидатор sitemap.
Визуализации crawl tree и directory tree помогают увидеть глубину и ветви параметров. Для задач используйте Bulk Export и Reports, затем добавьте колонки «шаблон», «ущерб», «владелец» и «проверка». Общий CSV на сто тысяч строк без группировки редко помогает разработчику.
Рабочий процесс аудита
Сохраните конфигурацию, версию приложения и дату. После исправлений перезапустите crawl на той же области и сравните экспорт, иначе нельзя доказать, что дефект исчез. Для регулярного облачного контроля попробуйте Index-Now.ru; другие варианты собраны в статье об аналогах Screaming Frog.
Не принимайте каждое предупреждение за ошибку. Noindex страницы входа может быть правильным, короткий title бренда — достаточным, а редирект при миграции — обязательным. Приоритет определяют назначение URL и влияние на обход, индексирование и пользователя.
Частые вопросы
Что входит в бесплатную версию?
Она сканирует до 500 URL за crawl и выполняет основные технические проверки. JavaScript rendering, сохранение crawl, integrations и часть расширенных функций требуют лицензии.
Нужно ли всегда включать JavaScript?
Нет. Начните с Text Only и включайте рендеринг, если основной контент или ссылки отсутствуют в исходном HTML. Сравните результаты на выборке.
Screaming Frog показывает индекс Google?
Нет. Он оценивает страницы своим обходом. Данные Google берите из Search Console и URL Inspection; интеграция лишь добавляет эти поля в crawl.