Google создал новый раздел «Only index content meant for Search» в спам-руководстве, обновлённом 26 октября. По данным changelog Google, дополнение относится к «blocking indexing of link-shared content».
В новом разделе, который идёт после совета руководства о распознавании спам-аккаунтов, сказано: «If your service lets users create shareable pages, generated outputs, or interactive tools, consider whether that content is meant to be found through search engines or only accessed directly by people with a link.» Там же рекомендуется: «When pages are created for direct sharing, collaboration, or utility rather than public search discovery, apply the noindex rule (using a robots meta tag or X-Robots-Tag HTTP response header) or block crawling in robots.txt by default.» Раздел содержит ссылку на вводную страницу о robots.txt, согласно которой robots.txt «is not a mechanism for keeping a web page out of Google».
Вводный абзац руководства говорит, что хостинг-платформы «may be similarly open to abuse». Обновлённое предложение добавляет «tools that let users publish shared pages, generated content, or web apps» и говорит, что спамеры могут создавать большое количество «pages or sites», где раньше было сказано sites. Предыдущая версия руководства, последний раз обновлённая 10 декабря 2025 года, уже предлагала noindex для постов новых пользователей, пока они не наберут репутацию на платформе; этот совет не изменился.
Noindex или robots.txt
Вводная страница Google о robots.txt говорит, что страница «that's disallowed in robots.txt can still be indexed if linked to from other sites». Google не сканирует заблокированный контент, но URL и, возможно, анкорный текст ссылок на него могут появляться в результатах без описания. Страница Google о noindex говорит, что правило работает, только когда robots.txt не блокирует страницу, иначе «the crawler will never see the noindex rule». Страница «Control what you share», обновлённая 21 октября, указывает robots.txt как применимый к «images and video», а noindex — к «all content types».
27 июля автор подтвердил, что путь общего доступа Claude был заблокирован директивой «Disallow» в robots.txt; страницы общего доступа также возвращали значение «none» для HTTP-заголовка X-Robots-Tag. Google трактует «none» как равное одновременно noindex и nofollow согласно документации о метатегах robots. Автору не удалось определить, что Google видел, когда изначально обнаружил эти ссылки.
Новые проверки в Search Console
Руководство указывает, что для получения писем о ручном действии или проблеме безопасности платформе следует подтверждать сайт или поддомен в Search Console. Также предлагается регулярно проверять отчёты Page Indexing и Search performance на предмет «unexpected spikes» проиндексированных страниц, показов или запросов, не соответствующих назначению платформы. Новый пункт в разделе советов по мониторингу предлагает отслеживать создание и индексацию на уровне платформы с оповещениями о всплесках новых публичных страниц или «a small number of users generating a large share of indexable URLs».
Changelog Google говорит, что обновление от 26 октября направлено на то, чтобы помочь платформам «keep user-created pages that aren't meant for Search out of the index and detect spam earlier». Для страниц общего доступа, сгенерированных результатов и страниц приложений следует проверять, что noindex может дойти до Googlebot: правило robots.txt, блокирующее Googlebot от этих страниц, означает, что Google никогда его не прочитает. В отчёте Page Indexing есть статус «Indexed, though blocked by robots.txt»; справка Google советует снять блокировку и использовать noindex. URL общего доступа, которые Google индексирует несмотря на блокировку в robots.txt, могут отображаться под этим статусом в Search Console.
Источник: https://www.searchenginejournal.com/google-indexing-advice-shareable-pages-spam-guide/594451