OpenAI использует централизованную проверку безопасности, чтобы решать, разрешено ли инструментам веб-браузинга подключаться к сайту. В системах и кодовой базе OpenAI эта проверка называется Aura (не путать с Aura — кодовым названием Atlas). Если сайт помечен этой системой, инструменты вроде Codex Browser Use и живой поиск ChatGPT отказываются его открывать, игнорируя локальные настройки пользователя и правила robots.txt. Публичного способа узнать причину блокировки или запросить проверку нет.
OpenAI публично перечислила краулеры GPTBot (для обучения моделей), OAI-SearchBot (для поиска) и ChatGPT-User (для прямых запросов пользователей). Эти краулеры публикуют IP-адреса и следуют стандартным веб-правилам, но работают отдельно от правил безопасности, управляющих AI-агентами. Официальные справочные страницы OpenAI сообщают, что агенты могут блокироваться от посещения некоторых сайтов по причинам безопасности, защиты и соответствия требованиям с помощью глобального блок-листа. Документация системы добавляет, что браузинг блокируется на сайтах, связанных с незаконной деятельностью.
В сетевом трафике видны проверки к chatgpt.com/backend-api/aura/site_status. Когда сайт помечен как заблокированный, это решение сохраняется локально на 24 часа без явного способа обжалования. Инженеры OpenAI говорили, что сетевые сбои во время проверки статуса по умолчанию разрешают доступ, но явные блокировки сайтов остаются строгими. Пользовательские правила разрешения внутри систем администраторов переопределяются внутренним решением OpenAI. Некоторые исследователи предполагают, что определённые истории промптов могут случайно вызывать блокировки на уровне сайта. Известные медиабренды сталкиваются с необъяснимыми блокировками, мешающими агентам посещать их.
Автор консультирует международного медиаиздателя, распространяющего официальные новости и журнальный контент, который недавно провёл 24-часовую рекламную кампанию с OpenAI. У издателя полностью открытые правила robots.txt и поддержка инструментов OpenAI. С мая 2026 года ChatGPT неоднократно не загружал страницы издателя, возвращая общие сообщения об ошибках без попытки подключения. Логи сервера показали, что трафик от ChatGPT не доходил до сайта. Тесты с Codex CLI и десктопными приложениями подтвердили, что Browser Use отказывался посещать сайт. Сообщение безопасности называло правила site-safety единственной причиной остановки запроса.
Цитата сообщения: «Browser Use rejected this action due to browser security policy. Reason: The site-safety policy blocks this action; no user permission prompt or Auto-review was attempted. Browser use is not permitted on [domain].» Агентная система сообщила модели не пытаться использовать запасные планы или альтернативные способы загрузки страницы.
В той же сессии две прямые конкурирующие платформы цифровых газет и журналов загружались нормально. Сторонняя страница газеты на технологии бренда, но на другом домене, также загружалась нормально. Разрешения Chrome были установлены на «Always allow» с явной записью для бренда, но блокировка сохранялась. Спустя недели все пять протестированных URL (основной сайт, поддомены, страницы статей) оставались заблокированными.
Статистика трафика показала около 5 000 успешных подключений к обучающим краулерам OpenAI за последние 30 дней. Для сайта такого размера это мало по сравнению с Google (477 000) и Anthropic (564 000).
Ранние проверки службы поддержки OpenAI привели к передаче тикета специализированным внутренним командам. Цитата из письма поддержки: «…to determine whether [the domain] is subject to an OpenAI-side site-safety restriction and identify the appropriate next steps.» Поздние письма подтвердили, что специализированные группы активно проверяют, была ли блокировка домена намеренной. Цитата из письма: «…to review the block and determine whether it’s expected.» Сотрудники поддержки избегали прямого упоминания внутренней системы Aura, но письменно признали наличие активной блокировки безопасности. Официальные публичные справочные страницы обычно объясняют сбои браузинга правилами безопасности самого сайта. Система издателя вела чистые записи трафика и здоровые посещения краулеров.
Автор приводит шаги для проверки ложной блокировки:
- тестировать одни и те же URL на разных поверхностях (живая загрузка ChatGPT, облачный браузер ChatGPT, Codex Browser Use и Computer Use);
- запускать контрольные тесты в той же сессии с двумя-тремя сайтами конкурентов;
- проверять логи CDN и сервера на отсутствие запросов;
- проверять аналитику краулеров: если GPTBot, OAI-SearchBot или ChatGPT-User получают ответы 2xx, а агенты отклоняются, проблема выше уровня сайта;
- тестировать поддомены, глубокие URL статей и стороннюю страницу на технологии сайта на другом домене;
- записывать точные формулировки ошибок: «The site-safety policy blocks this action», «Browser use is not permitted on…», «This session has been stopped because Computer Use is not allowed on the current browser URL», «Not permitted», «URL cannot be opened (non-retryable error)»;
- исключать собственный стек: robots.txt, правила WAF и управления ботами (включая настройки AI-ботов Cloudflare), геоблокировку и ограничение скорости.
Для исправления ошибочной блокировки нужно собрать пакет доказательств: скриншоты ошибок с временными метками, контрольные тесты конкурентов, выдержки из логов об отсутствии входящих запросов, аналитику краулеров с успешными обходами OpenAI и robots.txt. Открыть обращение в поддержку и сохранять номера дел; если затронуто несколько продуктов, указать это в каждом деле и попросить связать дела. Задать три конкретных вопроса: есть ли у домена классификация site-safety и почему; какие поверхности затронуты (живая загрузка ChatGPT, поиск через OAI-SearchBot, облачный браузер или агент, Codex); каков процесс запроса проверки. Использовать все доступные связи: рекламодатели, партнёры-издатели и корпоративные клиенты должны поднимать вопрос через контакты аккаунта и поддержку. Не пытаться обходить блокировку: инструмент явно запрещает агентам обходить политику, а политики использования OpenAI запрещают обход мер безопасности. Регулярно повторно тестировать ключевые URL и записывать результаты.
При ошибочной блокировке site-safety Aura сайт теряет всё присутствие в OpenAI. Когда агент не может открыть сайт, он переходит к другому источнику. Без прямого доступа к страницам ChatGPT строит ответы на основе вторичных источников, форумных постов и устаревших новостей. Блокировки Aura останавливают соединения до того, как запросы покидают OpenAI, поэтому в логах сервера нет записи о неудачном посещении. У затронутых владельцев сайтов нет страниц статуса, чётких правил, официальных форм обжалования или оценок сроков исправления. Платящие рекламодатели могут платить за показ в ChatGPT, даже когда его браузинговые агенты полностью заблокированы от открытия их ссылок.
Автор считает разумным блокировать действительно опасные сайты для предотвращения атак prompt injection и веб-мошенничества. Автор считает, что система, которая может тихо блокировать реальные коммерческие компании, должна предлагать инструменты управления, включая чёткие сообщения об ошибках и документированные процессы проверки. Автор сравнивает необходимость инструментов управления с инструментами вебмастера поисковых систем для разрешения ручных санкций. Автор рекомендует включать проверки доступа агентов в регулярные аудиты AI-поиска.