Файл robots.txt — первый инструмент управления индексацией сайта. На платформе Tilda он создаётся и поддерживается автоматически. Вебмастера часто ищут информацию о robots.txt Tilda, о том, как настроить robots.txt для Тильды и добавить собственные правила. В этой статье мы детально разберём стандартный robots.txt Tilda, возможности его редактирования и грамотный подход к закрытию служебных страниц. Материал актуален для версий Tilda по состоянию на 2026 год.
Перед началом работы с robots.txt рекомендуем освежить общие принципы SEO на конструкторе: Tilda — SEO и индексация и SEO-оптимизация Tilda сайта.
Robots.txt в Tilda — что по умолчанию
Когда вы публикуете сайт на Tilda, платформа автоматически генерирует файл robots.txt при обращении к домену. Содержимое зависит от подключённых модулей: блога, интернет-магазина, форм обратной связи. Но есть базовый набор директив, который появляется практически всегда. По состоянию на 2026 год стандартный robots.txt типового проекта на Tilda выглядит так:
User-agent: *
Disallow: /tilda/
Disallow: /_tilda/
Disallow: /cart
Disallow: /search
Disallow: /*?*
Allow: /all/
Clean-param: utm_source&utm_medium&utm_campaign&utm_content&utm_term&fbclid&gclid&yclid
Sitemap: https://example.com/sitemap.xml
Host: https://example.com
Разберём каждую директиву.
- User-agent: * — правило применяется ко всем поисковым роботам.
- Disallow: /tilda/ — закрывает от сканирования системные папки платформы. Здесь лежат эндпоинты форм, вспомогательные скрипты и файлы для AJAX-загрузки контента.
- Disallow: /_tilda/ — дополнительный служебный каталог. Используется для внутреннего кэширования или временных ресурсов.
- Disallow: /cart и /search — страницы корзины и поиска. Если эти модули не используются, директивы не вредят.
- Disallow: /*?* — запрещает индексацию любых URL, содержащих знак вопроса. Это грубое правило предотвращает попадание в индекс страниц с параметрами отслеживания, дублей и технических хвостов. Подробнее о нюансах расскажем в разделе ошибок.
- Allow: /all/ — исключение из общего запрета. Эндпоинт /all/ нужен для бесконечной прокрутки каталога и постраничной подгрузки товаров. Без него динамическая подгрузка для поисковых роботов может сломаться.
- Clean-param: — указывает параметры, которые следует игнорировать при сканировании. Tilda подставляет сюда основные UTM-метки и идентификаторы рекламных кликов, чтобы бороться с дублями страниц.
- Sitemap: — путь к XML-карте сайта. Tilda автоматически генерирует sitemap по адресу /sitemap.xml и сразу прописывает ссылку в robots.txt.
- Host: — директива для Яндекса, указывающая главное зеркало сайта. Современные поисковики всё реже её учитывают, но счётчики вебмастера могут использовать для склейки доменов.
На сайтах с блогом или сложной структурой могут добавляться дополнительные Allow-правила, например, на раздел /blog. Полный список стандартных директив зависит от подключённых блоков, но перечисленные выше присутствуют в 95% проектов.
Можно ли редактировать robots.txt
Tilda не даёт прямого доступа к файловой системе сервера. Заменить robots.txt целиком, как на своём хостинге, нельзя. Платформа предоставляет специальное поле для пользовательских правил: Настройки сайта → Ещё → Редактор robots.txt (в некоторых версиях «Пользовательские правила в robots.txt»).
Всё, что вы напишете в этом поле, будет добавлено в конец стандартного файла. Порядок следования важен: робот читает правила сверху вниз и применяет первое подходящее. Поэтому разрешающее правило, добавленное вами, сработает, только если оно уточняет ранее объявленный запрет. Например, стандартный запрет Disallow: /tilda/ закрывает всё внутри. Чтобы открыть конкретную страницу /tilda/important-page, нужно добавить:
Allow: /tilda/important-page
Платформа не позволит удалить предустановленные запреты. Если какой-то из них мешает индексации нужного раздела, вы можете прописать исключения. Но полностью избавиться от Disallow: /tilda/ не получится — это сделано для защиты служебных скриптов.
В пользовательском поле можно использовать практически любые директивы robots.txt: User-agent для отдельных роботов, Crawl-delay, дополнительные Sitemap-ы и Clean-param. Ограничение только одно — вы не можете отменить или стереть стандартный блок. На практике этого достаточно для 99% задач. Когда полного контроля не хватает, приходится комбинировать robots.txt с мета-тегами, о чём поговорим дальше.
Пример из практики: у интернет-магазина на Tilda с каталогом более 5000 товаров стандартное правило Disallow: /*?* блокировало сканирование страниц фильтров с параметрами. Мы добавили разрешающее правило для параметра category:
Allow: /*?category=*
Это открыло фильтры, но привело к индексации сотен дублей, потому что комбинации параметров множились. Пришлось настраивать канонические теги через интерфейс Tilda и чистить индекс. Поэтому ослаблять Disallow: /*?* стоит только с ясной стратегией управления дублями.
Некоторые вебмастера пытаются через пользовательские правила задать отдельный User-agent для Googlebot. Это допустимо, но помните: если в вашем блоке для Googlebot будет разрешающее правило, оно сработает только для этого робота, а для остальных останется стандартный запрет. Порядок: сначала идёт общий User-agent: *, потом ваш блок для конкретного бота. Робот выберет наиболее специфичный блок, поэтому ваш User-agent: Googlebot применится именно к Google.
Что стоит закрывать
Управление индексацией на Tilda сводится к двум механизмам: robots.txt и мета-теги noindex. Разберём, что и как обычно закрывают, и какой способ выбрать.
Системные пути
Помимо /tilda/ и /_tilda/ существуют другие служебные каталоги, которые могут появиться при подключении сторонних интеграций или кастомных скриптов:
- /__tilda/ — внутреннее кэширование, тестовые страницы
- /tilda/api/ — эндпоинты для отправки форм, подписки
- /tilda/cdn/ — временные файлы
- /custom-api/ — если вы добавили свои обработчики через JavaScript
Стандартный robots.txt Tilda закрывает основные системные папки. Но перед запуском проекта или после внедрения нового функционала рекомендуется просканировать сайт краулером (Screaming Frog SEO Spider, Site Analyzer) и проверить, какие URL реально открыты. Если обнаружены служебные страницы без запрета, добавьте их в пользовательские правила:
Disallow: /custom-api/
Disallow: /tmp/
Закрытие через robots.txt лишь предотвращает сканирование. Если страница уже попала в индекс, одного Disallow недостаточно. Для удаления из поиска нужен дополнительный шаг — использование noindex или инструмент удаления устаревших URL в Google Search Console. Поэтому системные пути, которые гарантированно не должны ранжироваться, можно закрывать через robots.txt. Это снижает нагрузку краулера и быстрее вступает в силу.
Тестовые и черновые страницы
На Tilda есть возможность публиковать отдельные страницы для тестирования — например, лендинги для рекламных кампаний, которые ещё не готовы к показу. По умолчанию они попадают в sitemap.xml и доступны роботам. Вебмастера часто пытаются скрыть такие страницы через robots.txt: Disallow: /test-landing/. Это работает, но с серьёзной оговоркой.
Если на тестовую страницу попадёт внешняя ссылка (из соцсетей, партнёрских сайтов), поисковая система может проиндексировать её описание без содержимого. В выдаче такая страница будет выглядеть как «Описание недоступно из-за запрета в файле robots.txt» и создаст так называемый soft-404. Это портит поведенческие факторы и может снизить качество сайта в глазах алгоритмов.
Надёжный метод — мета-тег noindex на уровне страницы. В настройках каждой страницы Tilda есть переключатель «Страница не должна индексироваться» (или чекбокс «noindex»). При включении платформа добавляет в head:
Робот загружает страницу, видит запрет и исключает её из индекса, но может переходить по ссылкам внутри (если выбран noindex, follow). Это даёт возможность сохранить внутреннюю перелинковку. Для страниц, которые точно никто не должен видеть, выбирайте nofollow, для тех, где есть полезные ссылки — follow.
Сравним подходы в таблице:
| Метод | Плюсы | Минусы |
|---|---|---|
| Robots.txt Disallow | Мгновенно снимает нагрузку; робот не тратит лимит сканирования | Не удаляет из индекса; возможна индексация по внешним ссылкам без содержимого |
| Meta noindex | Гарантированно исключает страницу из индекса; сохраняет сканирование ссылок | Требует загрузки страницы роботом; не снимает нагрузку на сервер |
| X-Robots-Tag (HTTP) | Управляет не-HTML файлами; не требует правки страницы | Недоступен на Tilda без доступа к серверным заголовкам |
На проекте клиента с 200 тестовыми страницами, закрытыми только через robots.txt, мы наблюдали их присутствие в отчётах Google Search Console как «Исключено: запрещено в файле robots.txt», но при этом страницы висели в индексе по внешним ссылкам. Мы включили noindex для каждой через панель управления Tilda, убрали Disallow и запросили пересканирование. Через две недели все страницы ушли из выдачи.
Резюме: тестовые и черновые страницы скрывайте через noindex. Robots.txt используйте для массового закрытия служебных папок, которые точно не должны индексироваться и не имеют внешних ссылок.
Указание Sitemap
Tilda автоматически генерирует карту сайта в формате XML по адресу /sitemap.xml и прописывает её в robots.txt. В типовых проектах этого достаточно. Но бывают ситуации, когда нужно указать дополнительный sitemap: например, вы ведёте блог на поддомене blog.site.ru, а в основном robots.txt хотите дать ссылку на его карту.
Директива Sitemap может повторяться. В поле пользовательских правил достаточно добавить строку:
Sitemap: https://blog.example.com/sitemap.xml
Она встанет после стандартной Sitemap основного сайта. Оба адреса будут считаться валидными. По спецификации robots.txt количество Sitemap не ограничено.
Обратите внимание на формат: URL должен быть абсолютным и вести на верный XML-файл. На Tilda при большом количестве страниц (более 5000) формируется индексный sitemap_index.xml. Стандартная запись в robots.txt обычно ссылается на корневой sitemap.xml, который делает редирект на индексный. Для Яндекса иногда лучше указать прямой путь на sitemap_index.xml, чтобы избежать лишних редиректов. Проверьте в Яндекс.Вебмастере, как обрабатывается ваша карта. Если видите ошибки, добавьте прямой Sitemap через пользовательское поле.
Частая ошибка новичков — блокировка sitemap в robots.txt. Не добавляйте правил вроде Disallow: /sitemap*. После этого роботы перестанут загружать карту, и индексация замедлится.
Подробнее о настройке карты сайта для Tilda читайте в материале Как создать sitemap для Tilda сайта.
Ошибки и рекомендации
За годы аудитов сайтов на Tilda мы собрали список типичных просчётов при настройке robots.txt. Разберём их, чтобы вы не повторяли чужой опыт.
Блокировка CSS и JavaScript. В стандартном robots.txt Tilda статические ресурсы обычно не запрещены. Статика грузится с CDN (static.tildacdn.com), которая имеет собственный robots.txt, разрешающий всё. Но если вы используете кастомный домен и храните файлы в папках /assets, /static, /js, /css на основном домене, никогда не добавляйте для них Disallow. Googlebot должен визуализировать страницу полностью, чтобы оценить Core Web Vitals и корректно ранжировать. Заблокированные скрипты и стили исказят рендеринг и ухудшат позиции. В 2026 году метрика Interaction to Next Paint (INP) полностью заменила FID и напрямую зависит от клиентского JavaScript. Если бот не сможет загрузить JS, он не вычислит INP, что может понизить оценку страницы. Проверьте доступность критичных ресурсов через «Живой тест robots.txt» в Google Search Console или через инструмент проверки Яндекс.Вебмастера.
Слишком агрессивное Disallow: /*?*. Параметры запроса часто используются для фильтрации товаров, пагинации, языковых версий. Правило запрещает всё. Если ваш магазин на Tilda формирует страницы с параметрами, которые должны индексироваться (например, /catalog?category=phones), вместо жёсткого запрета настройте канонические адреса на страницы без параметров или с главными фильтрами. В интерфейсе Tilda для каждой страницы можно прописать канонический URL. Так вы избежите дублей и сохраните целевые страницы для индексации. При необходимости можно добавить избирательные Allow, но это тонкая настройка.
Путаница с директивой Host. Убедитесь, что Host в robots.txt совпадает с фактическим основным зеркалом сайта (с www или без, с https). Tilda обычно подставляет текущий домен автоматически, но при смене адреса или подключении нескольких доменов может остаться старый. Яндекс до сих пор учитывает Host для склейки зеркал. Лучше продублировать настройку в панели Яндекс.Вебмастера и через 301-редирект с альтернативных доменов.
Непроверенные пользовательские правила. Каждое изменение robots.txt нужно тестировать. В Google Search Console есть инструмент «Проверка robots.txt» (в разделе Настройки). Вставьте туда полный итоговый файл (стандартный + пользовательские правки) и проверьте несколько URL: системный путь, статический файл, страницу с noindex. Яндекс.Вебмастер предлагает аналогичный сервис. Эти инструменты подсветят синтаксические ошибки и покажут, разрешён ли сканирование для выбранного робота.
Игнорирование размера файла. По стандарту robots.txt должен быть не больше 500 Кбайт. Google обрабатывает только первые 500 Кбайт, остальное игнорирует. Яндекс принимает до 1 Мбайта. На Tilda файл редко превышает 5–10 строк, но если вы вставляете много комментариев или объемные списки запретов, проверьте размер.
Удаление стандартных директив через «перезапись». Некоторые думают, что если в пользовательском поле написать заново User-agent: * и перечислить свои Disallow, это перезапишет стандартный блок. Это не так. Пользовательские правила всегда дописываются в конец, поэтому оба блока будут присутствовать. В итоге правила пересекаются, и робот руководствуется первым подходящим. Это может привести к конфликтам. Лучше точечно добавлять только необходимые исключения.
В качестве инструмента для быстрой индексации изменений после правки robots.txt или sitemap можно использовать сервис мгновенного уведомления поисковых систем Index-Now.ru. Он отправляет сигнал в Яндекс, Google и Bing через протокол IndexNow, сообщая об обновлённых страницах. Это сокращает время между внесением правок и их учётом роботами. Особенно удобно после включения noindex на десятках страниц: достаточно один раз отправить запрос, и поисковики оперативно пересканируют сайт.
Частые вопросы
Можно ли полностью переписать robots.txt в Tilda?
Нет, заменить стандартный файл целиком нельзя. Вы можете добавлять свои директивы через поле пользовательских правил, но базовые запреты, защищающие системные скрипты Tilda, останутся. При необходимости можно прописать точечные Allow-правила, чтобы разрешить отдельные URL, попавшие под стандартный запрет.
Как правильно закрыть тестовую страницу — robots.txt или noindex?
Всегда предпочтительнее noindex на уровне страницы. В настройках страницы Tilda включите опцию «Страница не должна индексироваться». Robots.txt применяйте только для массовых служебных разделов (системные папки), которые гарантированно не имеют внешних ссылок и не должны индексироваться ни при каких условиях.
Что делать, если после изменений robots.txt старые страницы всё ещё в индексе?
Robots.txt не удаляет страницы из поиска — он только запрещает их сканирование. Для удаления уже проиндексированных страниц нужен мета-тег noindex или HTTP-заголовок X-Robots-Tag. Добавьте noindex на страницу, дождитесь пересканирования (или ускорьте через IndexNow), затем проверьте статус в Google Search Console. При необходимости используйте инструмент «Удалить устаревшие URL» для временного скрытия.
Как проверить robots.txt сайта на Tilda?
Самый надёжный способ — «Живой тест robots.txt» в Google Search Console. Введите URL сайта, скопируйте в окно теста полный текст robots.txt (стандартный + пользовательские правила) и протестируйте доступность критичных страниц и статики. В Яндекс.Вебмастере есть аналогичный инструмент. Дополнительно можно открыть вашсайт.ru/robots.txt в браузере, но так вы увидите файл, который может быть закэширован, поэтому лучше использовать панель вебмастера.
Можно ли указать несколько Sitemap в robots.txt Tilda?
Да, директива Sitemap может дублироваться столько раз, сколько нужно. Добавьте в поле пользовательских правил дополнительные строки с Sitemap: URL. Убедитесь, что все карты корректны и не заблокированы. Tilda поддерживает sitemap_index, поэтому одного основного файла обычно достаточно для всего проекта.