Если страница отсутствует в поисковом индексе, пользователи не смогут найти её через Google или Яндекс. Ниже — полный разбор причин и конкретные шаги для устранения проблемы.
Как проверить, индексируется ли страница
Прежде чем искать причину, убедитесь, что проблема действительно существует. Введите в поисковую строку Google запрос вида site:domain.com/path-to-page. Если страница в индексе — она появится в результатах. Если выдача пуста — страница не проиндексирована.
Более точный способ — инструмент «Проверка URL» в Google Search Console. Он покажет текущий статус документа: находится ли он в индексе, когда был последний обход, какие проблемы обнаружены. В Яндекс Вебмастере аналогичная функция доступна в разделе «Индексирование» → «Проверить статус URL».
Технические причины отсутствия в индексе
Блокировка в robots.txt
Файл robots.txt управляет доступом поисковых роботов к разделам сайта. Директива Disallow запрещает обход указанного пути. Если целевая страница попадает под запрет, робот не сможет её просканировать и добавить в базу.
Откройте файл по адресу domain.com/robots.txt и проверьте, не попадает ли нужный URL под одно из правил Disallow. Обратите внимание на подстановочные символы: запись Disallow: /catalog закроет все URL, начинающиеся с /catalog, включая /catalog/product-123.
Мета-тег noindex
Наличие тега meta name="robots" content="noindex" в секции head страницы прямо запрещает поисковому роботу добавлять документ в индекс. Тег может остаться после переноса сайта с тестового сервера или быть установлен CMS автоматически — например, для страниц пагинации или архивов тегов.
Проверьте исходный код страницы через инструменты разработчика браузера (Ctrl+U) и найдите строку с robots. Некоторые CMS и плагины добавляют noindex динамически через JavaScript — в этом случае тег будет виден только после рендеринга.
HTTP-заголовок X-Robots-Tag
Помимо мета-тега, сервер может передавать директиву noindex через HTTP-заголовок X-Robots-Tag. Этот заголовок не виден в HTML-коде, но работает аналогично мета-тегу. Он часто применяется для PDF-файлов, изображений и других ресурсов без HTML-разметки.
Для проверки откройте инструменты разработчика (F12), перейдите во вкладку Network, загрузите страницу и найдите заголовок X-Robots-Tag в ответе сервера.
Ошибки сервера (коды 4xx и 5xx)
Страница с кодом ответа 404 (Not Found) будет удалена из индекса при следующем обходе. Ошибка 500 (Internal Server Error) сигнализирует о временной недоступности: робот повторит попытку позже, но при систематических сбоях прекратит обход.
Код 403 (Forbidden) означает, что сервер отказывает в доступе. Это может быть результатом неправильной настройки прав, блокировки по IP или проблем с аутентификацией.
Цепочки и циклы редиректов
Поисковые роботы следуют по перенаправлениям, но с ограничениями. Googlebot прерывает цепочку после 10 переходов, YandexBot — после 5. Циклические редиректы (страница A перенаправляет на B, а B — обратно на A) блокируют индексацию обоих адресов.
Проблемы с каноническим URL
Если тег rel="canonical" указывает на другой адрес, поисковая система проиндексирует каноническую версию, а текущую страницу исключит из индекса. Убедитесь, что canonical не указывает на несуществующую страницу, на URL с noindex или на совершенно другой документ.
Контентные причины
Дублирование контента
Если поисковая система находит идентичный или почти идентичный текст на нескольких URL, она выбирает одну каноническую версию и игнорирует остальные. Дубли возникают из-за параметров URL (?utm_source=..., ?sort=price), версий с www и без, HTTP и HTTPS.
Тонкий контент (thin content)
Страницы с минимальным объёмом уникального текста, автогенерированным контентом или шаблонными описаниями могут быть отклонены на этапе оценки качества. Google классифицирует такие документы статусом «Обнаружена — страница пока не проиндексирована» или «Просканировано — индексирование не выполнено».
Штрафные санкции
Ручные санкции за нарушение правил поисковых систем приводят к исключению страниц или всего домена из индекса. Проверить наличие санкций можно в Google Search Console в разделе «Безопасность и меры, принятые вручную». В Яндекс Вебмастере — раздел «Диагностика» → «Безопасность и нарушения».
Пошаговый чек-лист диагностики
- Проверить статус URL через Google Search Console → Проверка URL.
- Открыть robots.txt и убедиться, что страница не заблокирована.
- Проверить исходный код на наличие мета-тега noindex.
- Проверить HTTP-заголовки на наличие X-Robots-Tag.
- Убедиться, что код ответа сервера — 200.
- Проверить тег canonical — он должен указывать на саму страницу.
- Убедиться, что страница присутствует в Sitemap.xml.
- Проверить глубину вложенности — страница должна быть доступна за 3-4 клика от главной.
- Оценить уникальность и объём контента.
- Отправить URL на индексацию через протокол IndexNow для Bing и Яндекса.
- Запросить переобход в Google Search Console.
- Автоматизировать процесс через платформу Index-Now.ru — сервис отправляет URL во все поисковики одновременно и отслеживает результат.
Как ускорить повторную индексацию
После устранения проблемы недостаточно просто ждать — поисковые роботы могут вернуться на страницу через несколько дней или недель. Для ускорения используйте протокол IndexNow, который моментально уведомляет Bing и Яндекс об изменениях. Google пока не поддерживает IndexNow, но принимает запросы через инструмент «Запросить индексирование» в Search Console.
Сервис Index-Now.ru объединяет все каналы в одном интерфейсе: отправляйте URL одновременно в Google, Bing и Яндекс и отслеживайте статус каждой отправки в реальном времени.
FAQ
Сколько времени занимает индексация новой страницы?
Без дополнительных действий — от нескольких часов до нескольких недель. При использовании IndexNow уведомление доходит до Bing и Яндекса за минуты. Google обычно обрабатывает запрос из Search Console в течение 1-3 дней.
Страница была в индексе, но исчезла. Почему?
Возможные причины: появился мета-тег noindex, сервер начал отдавать ошибку 4xx/5xx, страницу перенаправили на другой URL, поисковая система нашла более релевантный дубль или наложила санкции за нарушение правил.
Нужно ли отправлять каждую страницу вручную?
Нет. Автоматический мониторинг Sitemap в сервисе Index-Now.ru отслеживает появление новых URL и отправляет их на индексацию без ручного вмешательства.
Google Search Console показывает «Обнаружена — страница пока не проиндексирована». Что делать?
Этот статус означает, что Google знает о странице, но ещё не просканировал её. Причина — низкий приоритет или исчерпанный краулинговый бюджет. Улучшите внутреннюю перелинковку, добавьте страницу в Sitemap и отправьте URL через IndexNow или Search Console.