robots.txt управляет обходом, а не гарантирует удаление страницы из индекса. В Яндекс Вебмастере можно проверить текущий файл, историю его версий и действие правил на конкретный URL. Начинайте с доступности /robots.txt и кода 200.
Что умеет анализатор robots.txt
Инструмент показывает, какие директивы применяются к выбранному URL, и помогает сравнить версии файла. Яндекс поддерживает стандартные группы User-agent и собственные правила, описанные в Справке. Файл должен находиться в корне хоста, быть доступным и не превышать установленный лимит.
Запрет Disallow не равен noindex. Если нужно убрать уже известную страницу из поиска, используйте подходящий HTTP-код или noindex и отдельный инструмент удаления.
Что подготовить до начала
- Файл доступен по /robots.txt на каждом важном хосте.
- Собран список разрешённых и запрещённых примеров URL.
- Известно, генерирует файл CMS, CDN или ручной шаблон.
- Есть резервная копия и возможность быстрого отката.
Как проверить файл
- Откройте /robots.txt в приватном окне и проверьте ответ 200 OK.
- В Вебмастере откройте Анализ robots.txt и загрузите текущую версию.
- Выберите User-Agent Yandex и протестируйте главную, разделы, параметры, ресурсы и Sitemap.
- Сравните правила с ожидаемой таблицей разрешённых и закрытых URL.
- Исправьте источник генерации, опубликуйте файл и повторите проверку после загрузки роботом.
Как читать результат
Проверяйте реальные URL, потому что широкая маска часто действует не так, как предполагает автор.
| Сигнал или статус | Что он означает | Что делать |
|---|---|---|
| Разрешён | Для выбранного робота нет подходящего запрета | Проверьте код ответа и noindex отдельно |
| Запрещён | Сработало правило Disallow | Убедитесь, что это служебный, а не целевой URL |
| Файл недоступен | Робот не получил robots.txt | Исправьте DNS, редирект, код ответа или блокировку |
| Версия изменилась | Робот загрузил новый файл | Сверьте дату и повторно протестируйте критичные URL |
Типовые ошибки robots.txt
Одна широкая директива способна закрыть целый раздел, CSS/JS или все параметры одновременно.
| Проблема | Вероятная причина | Исправление |
|---|---|---|
| Disallow: / | Остался запрет со staging | Удалите правило на production и проверьте деплой |
| Закрыты CSS и JS | Скопирован старый шаблон | Разрешите ресурсы, нужные для рендеринга |
| Несколько конфликтующих групп | Правила дублируются для Yandex и * | Упростите файл и тестируйте конкретные URL |
| robots.txt отдаёт редирект или 5xx | Неверный маршрут или сбой сервера | Верните стабильный 200 с текстовым файлом |
Контроль результата и приёмка работы
Перед контрольным прогоном подготовьте всё, от чего зависит результат: Файл доступен по /robots.txt на каждом важном хосте; Собран список разрешённых и запрещённых примеров URL; Известно, генерирует файл CMS, CDN или ручной шаблон; Есть резервная копия и возможность быстрого отката. Проверьте не только основной пример, но и второй URL или ресурс того же типа. В отчёте сохраните время, адрес проверяемого объекта, аккаунт и роль, фактический статус в интерфейсе, а для технической операции — HTTP-код и конечный URL.
Разрешён означает: для выбранного робота нет подходящего запрета. Контрольное действие: проверьте код ответа и noindex отдельно. Запрещён означает: сработало правило disallow. Контрольное действие: убедитесь, что это служебный, а не целевой url. Файл недоступен означает: робот не получил robots.txt. Контрольное действие: исправьте dns, редирект, код ответа или блокировку. Версия изменилась означает: робот загрузил новый файл. Контрольное действие: сверьте дату и повторно протестируйте критичные url.
Если воспроизводится «Disallow: /», проверьте гипотезу «Остался запрет со staging» и выполните следующее: удалите правило на production и проверьте деплой. Если воспроизводится «Закрыты CSS и JS», проверьте гипотезу «Скопирован старый шаблон» и выполните следующее: разрешите ресурсы, нужные для рендеринга. Если воспроизводится «Несколько конфликтующих групп», проверьте гипотезу «Правила дублируются для Yandex и *» и выполните следующее: упростите файл и тестируйте конкретные url. Если воспроизводится «robots.txt отдаёт редирект или 5xx», проверьте гипотезу «Неверный маршрут или сбой сервера» и выполните следующее: верните стабильный 200 с текстовым файлом.
Порядок приёмки для «Как проверить robots.txt в Яндекс Вебмастере»: Проверить файл на HTTP, HTTPS, www и поддоменах отдельно; Протестировать минимум по одному URL каждого шаблона; Сверить ссылки Sitemap и доступность самих карт; После снятия случайного запрета отправить несколько важных страниц на переобход. Отдельно укажите, что уже подтверждено live-проверкой, а что появится только после следующего обхода или обновления отчёта. Это не даст повторять отправку ради одного статуса в панели и сохранит воспроизводимую историю изменений.
Проверка после публикации
- Проверить файл на HTTP, HTTPS, www и поддоменах отдельно.
- Протестировать минимум по одному URL каждого шаблона.
- Сверить ссылки Sitemap и доступность самих карт.
- После снятия случайного запрета отправить несколько важных страниц на переобход.
Частые вопросы
Где находится проверка robots.txt?
В инструментах Яндекс Вебмастера доступен анализатор, который загружает файл и тестирует URL для выбранного робота.
Можно ли удалить страницу через robots.txt?
Запрет мешает обходу, но не является надёжной командой удаления. Используйте 404/410, noindex и инструмент удаления в зависимости от задачи.
Нужно ли указывать Host?
Ориентируйтесь на актуальную Справку и современные сигналы главного адреса: редиректы, canonical и переезд. Не копируйте старый шаблон автоматически.
Что читать дальше
Источники
Факты, названия разделов и ограничения сверены с документацией. Интерфейсы, тарифы и лимиты сервисов могут меняться.