Google, Microsoft и OpenAI объявили в пятницу о планах поддерживать общую строку robots.txt для предпочтений по обучению ИИ. С её помощью сайт сможет указать одно предпочтение по обучению для всех участвующих провайдеров вместо написания правил для краулера каждой компании.
Строка взята из Internet Draft, который Kevin Kelley из Anthropic подал в рабочую группу AI Preferences в IETF в тот же день. В трекере документов IETF он значится как individual draft, не представляющий официальную стандартизационную деятельность IETF. В сообщении в почтовую рассылку рабочей группы Kelley указал, что Anthropic начала разработку для предоставления этой функции. По предоставленным компаниями срокам, ни одна из трёх компаний сейчас строку не поддерживает.
Как работает общая строка
Черновик Kelley не добавляет новых директив в robots.txt. Обычная группа правил под policy token __usage_ai-training записывается с помощью Allow и Disallow. Пример из черновика — отказ от обучения ИИ на всём сайте, кроме папки /press-kit/:
User-Agent: __usage_ai-training
Disallow: /
Allow: /press-kit/
Значение токена основано на vocabulary draft рабочей группы: AI Training определяется как использование контента для изменения обученных параметров генеративной модели ИИ. Модели, выполняющие только негенеративные задачи, такие как классификация или ранжирование, из этого определения исключены. Правила, уже внесённые в robots.txt, не будут считаться частью общего предпочтения по обучению. Группа с wildcard (User-Agent: *) никогда не может совпасть с токеном, а файл без группы __usage_ai-training означает отсутствие предпочтения, что, по словам Kelley, верно для каждого опубликованного на данный момент robots.txt. Токен не управляет сканированием.
22 октября был освещён другой черновик рабочей группы, соавтором которого является Gary Illyes из Google, добавляющий правило Content-Usage в robots.txt. Kelley написал, что группа отложила тот черновик, чтобы продвинуться по vocabulary.
Google привязывает строку к Google-Extended
В посте Google за авторством John Mueller говорится: когда сайт отказывается от обучения через общую строку и не указывает Google-Extended, Google планирует интерпретировать это «как если бы издатель запретил Google-Extended». Google нацелен поддержать контроль в 2027 году, согласно посту; документация для краулеров говорит о начале 2027 года.
Документация указывает, что Google-Extended управляет тем, можно ли использовать контент для обучения будущих моделей Gemini и для grounding в Gemini Apps и Vertex AI. Grounding в описании Google означает предоставление контента из поискового индекса модели при ответе. В посте добавлено, что сайты, специально разрешающие Google-Extended, могут появляться в ответах Gemini Apps через grounding. Документация также говорит, что Google-Extended не влияет на включение сайта в Google Search. У AI Overviews и AI Mode есть отдельный opt-out — контроль генеративного ИИ в Search Console, о котором сообщалось при его глобальном запуске в августе.
Microsoft разделяет обучение и grounding
Пост Microsoft за авторством Krishna Madhavan, principal product manager Bing, принимает общую строку для обучения и добавляет отдельное предпочтение AI Grounding. Оно задаётся только на уровне страницы и определяет, может ли контент помогать формировать ответы, сгенерированные ИИ. Microsoft также позволяет задавать предпочтение по обучению для отдельной страницы через meta-тег или HTTP-заголовок, переопределяя robots.txt для этой страницы.
Для grounding по умолчанию действует Allow, а запрет задаётся через Disallow. Новая опция DisallowExtended разрешает grounding в инструментах Microsoft, таких как Copilot и AI Mode в Bing, но не разрешает grounding через предоставляемые Microsoft сервисы grounding, используемые другими компаниями (Web IQ). Microsoft заявила, что любое из ограничений снизит видимость бренда в ответах с использованием ИИ и не повлияет на возможность попадания в результаты поиска Bing.
Microsoft заменяет NoArchive и NoCache для обучения и grounding двумя новыми опциями. Компания начнёт соблюдать новые опции с 1 февраля 2027 года по мере сканирования и перестанет распознавать старые теги как опции обучения или grounding после 1 марта 2027 года. Сайтам, использующим старые теги и желающим не попадать в grounding, также нужно зафиксировать временное предпочтение в Bing Webmaster Tools: настройка открывается 15 декабря и доступна только сайтам, всё ещё использующим эти теги на эту дату. FAQ Microsoft говорит, что страницы без такого предпочтения к 1 марта по умолчанию разрешают grounding, пока Microsoft не пересканирует их. Microsoft также заявила, что после обнаружения любого нового предпочтения на сайте будет игнорировать любые теги NoArchive или NoCache, оставшиеся на этом сайте.
OpenAI и Anthropic
OpenAI нацелена соблюдать сигнал в ближайшие несколько месяцев, при этом её текущая политика robots.txt продолжит действовать. Ни в блоге OpenAI, ни в документации для краулеров (проверено 30 октября) не указано, что произойдёт, если на сайте есть и правило общей строки, и правило GPTBot, конфликтующие друг с другом.
По состоянию на 30 октября в новостном разделе Anthropic не было публикации об этом сигнале. Согласно сообщению Kelley в рассылке, внедрение поддержки этой функции во всех сервисах Anthropic займёт некоторое время. Согласно справочной странице Anthropic для краулеров (проверено 30 октября), у неё доступны только три опции управления сканированием: ClaudeBot, Claude-User и Claude-SearchBot.
Что это значит
Одна группа robots.txt может заменить набор правил обучения для каждой компании, когда каждая компания начнёт её читать. Однако opt-out через общую строку не охватит одни и те же варианты использования у Google и Microsoft: у Microsoft обучение и grounding — отдельные настройки, а у Google обе находятся под Google-Extended, и в документации для краулеров не описан способ не допускать контент к обучению Gemini, но при этом разрешать Gemini Apps использовать его для grounding.
Объявление Microsoft — единственное, которое заменяет уже используемые сайтами контроли. По словам Google, OpenAI и Kelley из Anthropic, существующие контроли продолжат работать, поэтому сайтам, использующим NoArchive или NoCache для ограничения использования их контента в Copilot, нужно сначала выполнить определённые действия.
Что дальше
Пост OpenAI призывает других поставщиков ИИ соблюдать сигнал, а Kelley написал, что надеется на присоединение других. Google и OpenAI говорят, что поделятся дополнительными деталями по мере появления поддержки. Черновик Kelley истекает 3 мая 2027 года, если его не заменит новая версия, и он планирует предложить свой дизайн как изменение к черновику Content-Usage.
Источник: https://www.searchenginejournal.com/google-microsoft-openai-shared-ai-training-opt-out/595387