Recrawling API — метод API Яндекс Вебмастера, который программно ставит страницу подтверждённого сайта в очередь переобхода. Он автоматизирует тот же класс задачи, что и ручной раздел «Переобход страниц»: сообщает роботу о приоритетном URL, но не гарантирует включение в поиск.
Когда нужен Recrawling API
API подходит CMS, маркетплейсу и редакционной системе, где публикации и исправления происходят регулярно. Вместо копирования адресов сотрудником приложение создаёт задание после успешного релиза. Для единичной страницы проще ручной инструмент, для полного инвентаря — sitemap и внутренние ссылки.
Хорошие события: новый канонический URL, восстановление после 5xx, снятие ошибочного запрета, крупное обновление страницы. Плохое событие — таймер, который каждый час отправляет весь сайт. Очередь должна отражать изменение, иначе квота расходуется без новой информации.
| Механизм | Задача |
|---|---|
| Ручной переобход | Несколько срочных URL |
| Recrawling API | Автоматические события публикации |
| Sitemap | Полный список канонических страниц |
| Внутренние ссылки | Постоянная структура и пути робота |
| IndexNow | Отдельный протокол уведомления поддерживающих систем |
Доступ: OAuth, user-id и host-id
Метод работает от имени пользователя Яндекса, у которого есть права на сайт в Вебмастере. Приложение получает OAuth-токен с нужным доступом, затем запрашивает идентификатор пользователя и список сайтов. В API сайт обозначается host-id; это не произвольный домен из формы.
Храните токен только на сервере и разделяйте окружения. Если интеграция обслуживает клиентов, связывайте каждый токен с конкретной организацией и набором host-id. Перед отправкой проверяйте, что URL относится к выбранному хосту, включая протокол, www и поддомен.
- Создать OAuth-приложение с доступом к Вебмастеру.
- Получить токен пользователя безопасным потоком.
- Запросить user-id текущего владельца.
- Получить список доступных host-id.
- Сохранить связь проекта, host-id и прав.
- Не передавать токен в браузер и логи.
Запрос на постановку URL
Официальный метод использует POST к ресурсу очереди пользователя и сайта. В теле передают URL страницы. Точный формат заголовков и ответа сверяйте со справочником API: версия может обновляться, а пример без обработки ошибок годится только для первого теста.
Перед запросом нормализуйте адрес: только HTTPS там, где он является главным, без UTM, фрагмента и сессионного параметра. Не заменяйте путь автоматически нижним регистром и не удаляйте значимые параметры без правил сайта. После ответа сохраните код, идентификатор задания или сообщение об ошибке.
POST https://api.webmaster.yandex.net/v4/user/{user-id}/hosts/{host-id}/recrawl/queue
Authorization: OAuth <TOKEN>
Content-Type: application/json
{"url":"https://example.com/canonical-page"}Квоты и обработка ошибок
Лимиты возвращаются и описываются сервисом; не зашивайте число из старого скриншота. Ведите локальный счётчик, очередь приоритетов и задержку до следующей попытки. При исчерпании квоты переносите задание, а не создавайте параллельные токены ради обхода ограничения.
Разделите ошибки на постоянные и временные. Неверный host-id, чужой URL, отсутствие прав и некорректный формат требуют исправления данных. 429 и временный 5xx можно повторить с экспоненциальной задержкой и случайным сдвигом. После нескольких неудач отправляйте задание в отдельную очередь разбора.
- 2xx: сохранить подтверждение постановки.
- 400/404: проверить URL, user-id, host-id и формат.
- 401/403: обновить токен или права.
- 429: дождаться окна квоты.
- 5xx: ограниченный повтор с backoff.
- Повторный постоянный сбой: остановить и уведомить владельца.
Проверка до и после отправки
До постановки выполните HEAD или GET без авторизации: нужен корректный ответ, доступный основной текст и ожидаемый canonical. Проверьте robots.txt и meta robots. Ссылка на страницу и запись в sitemap должны появляться не позже события отправки, иначе робот увидит изолированный документ.
После отправки не считайте задачу завершённой по 2xx API. Наблюдайте дату обхода и состояние страницы в Вебмастере. Если URL загружен, но исключён, переходите к диагностике дублей, soft 404 и содержания. Recrawling API не возвращает позицию и не обещает индекс.
Готовая очередь в Index-Now.ru
Если не хочется самостоятельно поддерживать OAuth, квоты, повторы и статусы, используйте очереди Index-Now.ru. Сервис принимает URL, ставит задания и применяет доступные способы уведомления, включая движок Recrawling API. Для CMS и своих систем доступен API Index-Now.ru.
Интеграция всё равно должна передавать только опубликованные канонические адреса. Сначала настройте событие, затем тестовый проект и наблюдение ошибок. Подробности ручного инструмента находятся в статье «Переобход страниц», а общая панель разобрана в полном гайде по Вебмастеру.
Частые вопросы
Это тот же IndexNow?
Нет. Recrawling API относится к Яндекс Вебмастеру и требует права на сайт. IndexNow — отдельный протокол уведомления поисковых систем.
Можно ли отправлять страницы клиента?
Да, если пользователь авторизовал приложение и его аккаунт имеет права на соответствующий host-id. Не используйте чужой токен вне выданных полномочий.
API сообщает, что URL попал в индекс?
Ответ подтверждает приём или ошибку заявки. Состояние индексации проверяют отдельно в Вебмастере.