Объяснение
В документации OpenAI назначение разделено:
OAI-SearchBot— автоматический обход для появления сайтов в поисковых функциях ChatGPT.GPTBot— сбор содержимого, которое может использоваться для обучения моделей. Эта настройка независима отOAI-SearchBot.ChatGPT-User— запрос, инициированный действием пользователя в ChatGPT/Custom GPT; это не автоматический crawler и не сигнал для управления появлением в Search. К нему правила robots.txt могут не применяться.
Строка User-Agent подделывается и не подтверждает, что запрос пришёл от робота OpenAI. Для проверки обращений используйте access logs вместе с IP-адресом источника и сверяйте его с актуальным официальным файлом диапазонов searchbot.json либо с сигналом verified bot на CDN/WAF. Сохраняйте статус ответа, URL, время и решение защиты. Не меняйте WAF только на основании совпавшего User-Agent. Разрешённый доступ делает страницу потенциально доступной системе, но не гарантирует её выбор или цитирование.
Иллюстративный пример — вымышленный
В синтетическом access log учебной страницы /robots есть запросы с User-Agent OAI-SearchBot, но IP не совпадает с опубликованными диапазонами. Это не подтверждённый робот: помечаем как «заявляет User-Agent OAI-SearchBot, источник не верифицирован», не открываем доступ на этом основании. Позднее запрос с IP из актуального официального диапазона получает 403 от WAF — это уже свидетельство блокировки проверенного сетевого источника в данный момент; владелец может отдельно рассмотреть изменение правила.
Синтетический домен .test нельзя использовать для реальной проверки ChatGPT Search. Выполняйте запрос только если есть собственный публично доступный тестовый домен, который система может открыть; если такой проверки нет, продукт недоступен или запрос не выполнялся, ставьте «не проверено», а не «источника нет». Только выполненный запрос с сохранённым ответом позволяет отметить, показан ли URL как цитата в этом конкретном результате.
При работе с реальными access logs храните IP-адреса только столько, сколько нужно для задачи, и соблюдайте применимую политику конфиденциальности и хранения данных.
Практика
- Откройте официальную документацию платформы и определите, какой crawler соответствует именно поисковой функции.
- Для вымышленного журнала сопоставьте User-Agent из access log с источником IP и актуальным официальным диапазоном или verified-bot сигналом CDN/WAF. Запишите HTTP-статус и действие защиты. Не отправляйте запрос с поддельным User-Agent и не объявляйте его подтверждением робота.
- Для live-проверки используйте только собственный публично доступный тестовый домен. Если его нет или AI Search недоступен, зафиксируйте «не проверено». Если проверка возможна, задайте три нейтральных вопроса на указанном языке и регионе; сохраните запрос, дату, режим, полный ответ и URL источников.
- Не делайте вывод о постоянной видимости по одному ответу.
Чек-лист
OAI-SearchBot,GPTBotиChatGPT-Userне смешаны.- User-Agent не используется как аутентификация.
- Источник IP проверен по текущему официальному списку или CDN verified-bot сигналу.
- Доступ к сайту отделён от наличия страницы в ответе с цитатой.
- Недоступный поиск записан как «не проверено».
Частая ошибка
Сделать вывод «разрешили GPTBot — значит сайт цитируется в ChatGPT» или считать любую строку OAI-SearchBot в логе подлинной. Для поискового обхода OpenAI указывает OAI-SearchBot; подлинность сетевого обращения требует проверки IP/сигнала платформы, а цитирование проверяется отдельно по фактическому ответу.