Примените инструкцию к типовой выборке, сохраните основания и зафиксируйте следующий шаг.
Проверьте доступ, не закрыв полезные страницы
- Получите robots.txt для каждого хоста и протокола. Зафиксируйте группы user-agent, правила allow/disallow, карты и историю изменений.
- Составьте список важных canonical URL и проверьте доступ обхода. Не используйте robots.txt как способ удалить URL из индекса.
- Отдельно проверьте авторизацию, тестовый стенд, поиск и фильтры. Используйте robots.txt для управления обходом дублей или малоценных URL; закрытые страницы защитите авторизацией.
- Внесите небольшое изменение, повторно получите robots.txt, проверьте типичные URL в Search Console и сохраните откатную копию.