Генератор sitemap.xml составляет список URL для поисковых роботов. Он не делает страницы качественнее и не гарантирует индексирование, зато помогает обнаружить важные адреса и передать дату их существенного изменения. Выбор инструмента зависит от источника URL, размера сайта и частоты обновлений.
Что должен делать генератор sitemap.xml
Хороший инструмент собирает только канонические индексируемые URL с ответом 200, разбивает большие наборы на отдельные файлы и создаёт индекс sitemap. Он умеет читать сайт обходом, получать адреса из базы или принимать готовый список. Источник важнее интерфейса: краулер может не найти страницу без внутренних ссылок, а выгрузка из базы — включить удалённый товар.
По протоколу один файл содержит не более 50 000 URL и весит не более 50 МБ без сжатия. Внутри должны быть абсолютные адреса одного хоста. Поле lastmod сообщает дату последнего существенного изменения страницы; changefreq и priority Google игнорирует. Подробно о датах — в статье про lastmod и If-Modified-Since.
- Абсолютные URL с правильным протоколом и хостом.
- Только страницы, которые владелец хочет видеть в поиске.
- Разбиение больших карт и индекс sitemap.
- Корректная XML-кодировка специальных символов.
- lastmod только после содержательного изменения.
- Автоматическое обновление после публикации и удаления.
Рейтинг генераторов карт сайта
Рейтинг составлен по практической применимости: способу получения URL, автоматизации, контролю перед выгрузкой и пригодности для разных размеров сайта. Позиция не означает, что один продукт универсально лучше другого. Для CMS чаще всего правильнее встроенный модуль, а для разовой инвентаризации — отдельный краулер.
| Инструмент | Кому подходит | Что учитывать |
|---|---|---|
| Index-Now.ru Sitemap Generator | Небольшой и средний сайт, облачная работа | Генерация связана с проверкой и дальнейшей индексацией |
| Screaming Frog SEO Spider | Технический специалист и большой контролируемый crawl | Бесплатная версия ограничена 500 URL; результат зависит от scope |
| XML-Sitemaps.com | Небольшой публичный сайт | Облачный обход не знает закрытые и сиротские страницы |
| Inspyder Sitemap Creator | Windows и проекты с расписанием | Десктопная лицензия и собственная конфигурация |
| MySitemapGenerator | Разовая облачная генерация | Нужно отдельно проверить правила включения и тарифный лимит |
| Octopus.do | Проектирование структуры до разработки | Это визуальная архитектура, а не источник фактических статусов URL |
| WordPress / Yoast SEO / Rank Math | Сайт на WordPress | Не включать одновременно несколько конкурирующих sitemap |
| Модуль CMS или собственный скрипт | Магазин, маркетплейс, медиа | Нужны тесты на удаление, canonical, пагинацию и даты |
Index-Now.ru Sitemap Generator
В генераторе Sitemap Index-Now.ru можно получить карту без установки программы и продолжить работу в той же системе: проверить файл, исследовать состав и отправить нужные URL на обход. Это первый вариант для сайта, где владелец хочет быстро увидеть фактическую структуру и не собирать цепочку из несвязанных сервисов.
Облачный обход, как и любой краулер, видит только доступные ему ссылки. Сверьте результат со списком посадочных страниц, товарами из базы и отчётами поисковых панелей. Если важная страница не попала в карту, сначала выясните, почему она не обнаруживается по внутренним ссылкам.
Когда выбирать краулер, CMS или скрипт
Краулер удобен для первичной карты и аудита существующего сайта. Он одновременно показывает редиректы, ошибки ответа, дубли и глубину. Но генерация по результатам обхода наследует его ограничения: JavaScript-ссылки, формы, внутренний поиск и изолированные URL могут остаться за пределами выборки.
CMS знает, что опубликовано, поэтому лучше подходит для регулярного обновления. Модуль должен исключать черновики, служебные страницы, неканонические варианты и удалённые сущности. Для большого проекта собственный генератор читает данные пакетами, строит отдельные карты по типам и атомарно заменяет готовые файлы, чтобы робот не получил половину выгрузки.
| Источник | Сильная сторона | Типичная ошибка |
|---|---|---|
| Облачный краулер | Быстрый старт без доступа к коду | Не находит сиротские страницы |
| Десктопный краулер | Гибкие правила и экспорт | Случайно включает параметры и фасеты |
| Модуль CMS | Автоматическое обновление | Конфликт двух SEO-плагинов |
| Скрипт из базы | Полный контроль и масштаб | Выгружает сущности без проверки HTTP и canonical |
Как проверить готовую карту
Сначала проверьте XML через валидатор sitemap.xml. Затем возьмите выборку URL каждого типа: главная, категория, карточка, статья, пагинация. Для каждого адреса проверьте ответ 200, отсутствие noindex, self-canonical и допустимость в robots.txt. Редиректы, 404 и страницы с canonical на другой URL из карты удаляют.
Для больших наборов используйте Sitemap Intelligence: он помогает разобрать структуру карт и найти несогласованности до отправки поисковику. После этого добавьте файл в Google Search Console, Яндекс Вебмастер и Bing Webmaster Tools. Панели показывают чтение и ошибки, но не обещают индексирование всех адресов.
- Проверить XML и лимиты протокола.
- Сверить число URL с источником данных.
- Проверить выборку каждого шаблона.
- Удалить редиректы, ошибки и неканонические адреса.
- Проверить правдивость lastmod.
- Разместить карту на стабильном URL.
- Добавить карту в панели поисковиков.
- Следить за ошибками после релизов.
Ошибки автоматической генерации
Самая частая ошибка — считать sitemap копией всех адресов сайта. Карта отражает намерение владельца: именно эти канонические страницы должны участвовать в поиске. Фильтры с параметрами, сортировки, результаты внутреннего поиска, корзина и технические эндпоинты обычно туда не входят.
Не ставьте текущую дату во всех lastmod при каждом запуске. Поисковик перестанет доверять сигналу, а повторный обход займёт ресурсы без новой информации. Не держите в карте URL после удаления и не публикуйте одновременно HTTP, HTTPS, www и без www. Отдельно проверьте, не генерирует ли CMS несколько противоречащих друг другу файлов.
Частые вопросы
Какой генератор sitemap.xml выбрать?
Для небольшого сайта начните с облачного Index-Now.ru. Для технического аудита используйте Screaming Frog, а для постоянно меняющегося каталога — генератор CMS или собственный скрипт из базы.
Нужно ли добавлять в карту все страницы?
Нет. Добавляйте канонические индексируемые URL, которые должны появляться в поиске. Служебные, дублирующиеся и редиректные адреса исключайте.
Гарантирует ли sitemap.xml индексацию?
Нет. Карта помогает обнаружению и обходу, но решение об индексировании зависит от доступности, качества, канонизации и других сигналов.