Объяснение
Поиск проходит несколько этапов. Например, Google описывает обнаружение URL, обход, обработку и индексирование, а затем показ результатов. Успешный ответ сервера сам по себе не доказывает, что URL найден или включён в индекс; включение в индекс не гарантирует показ для конкретного запроса. Сначала сформулируйте, какое именно состояние проверяете.
Иллюстративный пример — вымышленный
https://learn.example.test/robots возвращает 200 OK, но в исходном HTML только заголовок «Загрузка…», а текст появляется после запроса к API, который в учебном сценарии отвечает 403 без cookies. Это наблюдение указывает на возможную проблему с доступностью основного содержимого при рендеринге. Оно не доказывает, что поисковик никогда не увидит страницу или что она не проиндексирована. Исходный HTML также содержит внутреннюю ссылку на урок, как указано в сквозном примере.
Практика
На собственном staging или локальном макете воспроизведите учебную страницу /robots. Запишите отдельно HTTP-ответ, наличие внутренней ссылки, результат отдельной проверки robots.txt, доступность основного содержимого и результат Search Console только если у вас есть подтверждённое свойство с доступным URL. Не отправляйте learn.example.test в публичные инструменты; по недоступным проверкам ставьте «не проверено».
Чек-лист
- Проверен точный URL и конечный URL после перенаправлений.
- Записан HTTP-статус, а не только вид страницы в браузере.
- Проверены robots.txt и директивы
noindex. - Основной текст и ссылки доступны в HTML/отрендеренном DOM.
- Указано, что именно пока неизвестно.
Частая ошибка
«URL отдаёт 200, значит он в Google». Статус 200 подтверждает успешный HTTP-ответ при этой проверке, но не факт индексирования или показа.