Объяснение
robots.txt управляет доступом краулеров к URL, но не является надёжным способом убрать URL из результатов: адрес может быть известен извне. Директива noindex сообщает о нежелании включать доступную для обхода страницу в поиск. Чтобы робот прочитал noindex, ему обычно нужно иметь возможность получить страницу. Проверяйте фактические ответы сервера и политики доступа, а не только текстовый файл.
Иллюстративный пример — вымышленный
В учебном staging-конфиге страницы /robots добавлены Disallow и noindex одновременно. Краулер, которому запрещён обход, может не получить HTML и не прочитать метатег. Сначала команда фиксирует целевое состояние страницы и проверяет отличие директив, затем меняет только staging-конфиг и повторно тестирует его. В production ничего не меняется; для закрытых и тестовых разделов нужен отдельный выбор владельца.
Практика
На собственном staging или локальном макете для тестовой страницы /robots проверьте: robots.txt; meta robots в HTML; X-Robots-Tag в HTTP-ответе; статус и цепочку редиректов; нет ли ограничений WAF/CDN или входа в аккаунт. Сверьте каждую директиву с заданным намерением. Изменение правил остаётся только в staging; production требует владельца, ревью и rollback plan.
Чек-лист
- Проверялся файл robots.txt именно нужного хоста и протокола.
- Проверены заголовки ответа, а не только HTML.
- Различены
Disallowиnoindex. - Для закрытого содержимого проверена аутентификация, а не только robots.txt.
- Отдельно записан результат для каждого важного поискового робота.
Частая ошибка
Добавить Disallow и считать страницу удалённой из индекса. Если нужно запретить индексирование публичной страницы, используйте подходящую индексную директиву и не блокируйте краулеру возможность её прочитать; для конфиденциальных данных нужен контроль доступа.