Краулинговый бюджет определяет, сколько страниц вашего сайта поисковый робот обойдёт за определённый период. Для крупных сайтов оптимизация бюджета напрямую влияет на скорость попадания новых страниц в поисковый индекс.
Из чего складывается краулинговый бюджет
Google определяет бюджет как комбинацию двух факторов: лимита скорости сканирования (crawl rate limit) и потребности в сканировании (crawl demand).
Лимит скорости сканирования
Максимальное количество одновременных подключений, которое Googlebot использует при обходе сайта. Лимит рассчитывается автоматически на основе скорости ответа сервера. Если TTFB (Time to First Byte) превышает 500 мс, робот снижает интенсивность запросов, чтобы не перегружать сервер. При TTFB ниже 200 мс — увеличивает.
При появлении ошибок 5xx робот немедленно снижает частоту обхода. Систематические ошибки приводят к практически полной остановке краулинга.
Потребность в сканировании
Определяет, насколько Google заинтересован в обходе конкретных страниц. Факторы: частота обновления контента, популярность страницы (количество внешних ссылок, поисковый спрос), возраст URL в индексе. Новые страницы сканируются с повышенным приоритетом, затем частота обхода стабилизируется.
Что расходует бюджет впустую
- Фасетная навигация и фильтры — интернет-магазин с 1000 товарами и 20 параметрами фильтрации может генерировать миллионы URL-комбинаций.
- Дубли страниц — версии с www/без www, HTTP/HTTPS, с параметрами сессий или UTM-метками.
- Бесконечные календари — генерируют URL на годы вперёд с минимальным содержанием.
- Результаты внутреннего поиска — каждый запрос создаёт уникальный URL.
- Мягкие ошибки (soft 404) — страницы с кодом 200, но с сообщением «товар не найден».
- Цепочки редиректов — робот тратит запросы на каждый шаг перенаправления.
Способы оптимизации
- Сократите TTFB до 200 мс и ниже — используйте кеширование, CDN, оптимизацию серверных запросов.
- Закройте служебные разделы в robots.txt — админка, результаты поиска, страницы фильтрации.
- Устраните дубли через canonical и 301-редиректы.
- Поддерживайте актуальный Sitemap.xml — без ошибочных URL, с корректными датами lastmod.
- Выстройте плоскую архитектуру — все важные страницы должны быть доступны за 3-4 клика от главной.
- Удалите или заноиндексите страницы с тонким контентом.
- Исправьте мягкие ошибки 404 — верните корректный код ответа.
- Используйте протокол IndexNow — push-уведомления сообщают роботу об изменениях без необходимости обходить весь сайт.
Когда бюджет критичен
Для сайтов менее 10 000 страниц краулинговый бюджет редко становится проблемой — Google обходит небольшие сайты полностью. Оптимизация критична для крупных e-commerce каталогов (сотни тысяч товаров), новостных порталов (тысячи публикаций в день), UGC-платформ (форумы, доски объявлений) и агрегаторов с динамическим контентом.
Мониторинг краулинга
Google Search Console предоставляет отчёт «Статистика сканирования» в разделе «Настройки». Отчёт показывает количество запросов в день, среднее время загрузки, типы обнаруженных ресурсов и коды ответов. Яндекс Вебмастер показывает аналогичные данные в разделе «Индексирование» → «Статистика обхода».
Сервис Index-Now.ru помогает оптимизировать краулинговый бюджет двумя способами: push-уведомления через IndexNow сообщают роботам об изменениях без полного обхода сайта, а мониторинг Sitemap автоматически отправляет новые страницы на индексацию, не дожидаясь самостоятельного обхода.
FAQ
Можно ли увеличить краулинговый бюджет?
Напрямую — нет. Google распределяет бюджет автоматически. Но косвенно бюджет увеличивается при ускорении ответа сервера, повышении авторитетности домена и устранении технических ошибок. В Google Search Console можно снизить скорость обхода, но увеличить — нельзя.
Влияет ли краулинговый бюджет на ранжирование?
Нет. Бюджет влияет на скорость обнаружения и индексации страниц, но не на позиции в поисковой выдаче. Однако если важные страницы не индексируются из-за исчерпанного бюджета, они не смогут участвовать в ранжировании.
IndexNow экономит краулинговый бюджет?
Да. Вместо обхода всего сайта в поисках изменений поисковый робот получает точечное уведомление об изменённых URL. Это сокращает количество «пустых» запросов и направляет робота на действительно обновлённые страницы.