ai.txt — общее название нескольких инициатив, которые предлагают публиковать машиночитаемые условия использования контента системами искусственного интеллекта. Единой принятой спецификации пока нет: синтаксис и смысл директив зависят от выбранного проекта.
Почему под одним именем скрываются разные форматы
В отличие от robots.txt, у ai.txt нет многолетней общей спецификации, поддерживаемой крупными поисковиками. В сети существуют независимые проекты: одни используют файл в корне, другие предлагают well-known URI; наборы целей могут включать обучение, извлечение, генерацию, поиск или коммерческое использование. Совпадение имени не означает совместимость.
В 2026 году появился Internet-Draft с предложением для well-known ai.txt, но статус Internet-Draft означает обсуждение, а не стандарт IETF. Другие спецификации публикуются отдельными организациями. Перед внедрением запишите название и версию выбранной схемы: иначе директива Disallow может выглядеть знакомо, но интерпретироваться иначе.
Что файл способен сообщить
Файл может зафиксировать намерение владельца: какие пути относятся к политике, какие способы использования разрешены или запрещены, где опубликованы полные условия и как связаться по вопросам лицензирования. Это удобно для аудита собственной политики и для систем, которые добровольно поддерживают конкретную схему.
Сам по себе текстовый файл не останавливает HTTP-запросы, не доказывает владение всеми материалами и не изменяет закон. Краулер может не знать формат, использовать другую версию или обращаться от имени пользователя. Технический доступ контролируют сервер, WAF, авторизация и robots.txt; юридические условия оформляют отдельно.
| Задача | Подходящий механизм |
|---|---|
| Публично описать AI-политику | ai.txt и страница условий |
| Управлять известным ботом | robots.txt по документации провайдера |
| Закрыть частные данные | Авторизация и серверный контроль |
| Договориться о лицензии | Юридический договор |
| Помочь LLM найти документацию | llms.txt |
Как принять политику до генерации файла
Разделите контент по правообладателю и назначению. Собственные статьи, пользовательские отзывы, изображения фотобанка и документы партнёра могут иметь разные условия. Нельзя разрешить обучение на материале, если договор не даёт такого права. Отдельно решите, различаете ли обучение модели, поисковое индексирование, ответы с цитатой и разовый запрос пользователя.
Согласуйте формулировки с публичными условиями сайта и настройками robots.txt. Если страница условий разрешает использование, а ai.txt запрещает всё, система получает конфликт. Для регулируемых отраслей и чужого контента нужен юрист; генератор помогает оформить уже принятое решение, а не принимает его за владельца.
- Инвентаризировать типы контента и права.
- Разделить обучение, поиск, извлечение и пользовательский доступ.
- Выбрать конкретную спецификацию и версию.
- Согласовать файл с условиями сайта и robots.txt.
- Назначить владельца и дату пересмотра политики.
Пример осторожной публикации
Синтаксис ниже иллюстрирует подход, а не универсальный шаблон: точные поля нужно брать из выбранной спецификации. Рядом с файлом полезно опубликовать человекочитаемую страницу, где определены термины и указано, какие материалы принадлежат сайту.
Не пишите обещания вроде «все нейросети обязаны соблюдать файл». Корректная формулировка сообщает, какую политику заявляет владелец и где находятся полные условия. Для разных поддоменов проверьте область действия: корневой файл одного хоста не обязательно описывает другой.
# Иллюстрация — поля зависят от выбранной спецификации
Policy: https://example.com/ai-policy
Contact: licensing@example.com
Scope: /articles/
Training: disallow
Search: allow
Проверка и сопровождение
Проверьте доступность файла, кодировку UTF-8, синтаксис выбранной схемы, область путей и ссылку на условия. Валидатор ai.txt Index-Now.ru находит структурные ошибки, а AI Site View показывает, какие публичные сигналы сайта видит проверка. Итоговое решение о правах всё равно требует содержательной сверки.
Пересматривайте файл при смене условий, домена, CMS и состава контента. Сохраняйте историю версий: политика может измениться, а дата помогает объяснить, какое заявление действовало в конкретный период. Проверяйте журналы сервера отдельно — отсутствие запросов с известным User-Agent не доказывает отсутствие обхода.
Связь с AI-ботами и llms.txt
Провайдеры публикуют собственные имена роботов и способы управления. Например, у OpenAI назначение GPTBot отличается от OAI-SearchBot, а у Anthropic разделены ClaudeBot, Claude-SearchBot и Claude-User. Правила следует брать из их текущей документации и проверять не только строку User-Agent, но и подлинность запроса.
Справочник известных ботов помогает различить роли, а llms.txt описывает полезные источники вместо разрешений. Эти файлы решают разные задачи и могут существовать одновременно.
Частые вопросы
ai.txt уже является стандартом?
Нет. Есть несколько предложений, включая Internet-Draft, но нет единого универсально поддерживаемого формата. Указывайте выбранную спецификацию и версию.
Можно ли запретить обучение только файлом ai.txt?
Нельзя рассчитывать на универсальное исполнение. Используйте средства конкретного провайдера, robots.txt, технический контроль и юридические условия.
Чем ai.txt отличается от llms.txt?
ai.txt пытается описывать условия использования, а llms.txt указывает на отобранные материалы. Ни один из них не заменяет sitemap.xml или robots.txt.