Giải thích
robots.txt kiểm soát quyền crawler truy cập URL, nhưng đây không phải cách đáng tin cậy để xóa URL khỏi kết quả: địa chỉ đó có thể được biết đến từ nơi khác. Chỉ thị noindex thể hiện rằng không nên đưa trang có thể truy cập vào kết quả tìm kiếm. Crawler thường cần tải trang để đọc noindex. Hãy kiểm tra phản hồi máy chủ và biện pháp kiểm soát truy cập thực tế, không chỉ xem tệp văn bản.
Ví dụ hư cấu
Cấu hình staging của trang đào tạo /robots có cả Disallow và noindex. Crawler bị chặn có thể không tải HTML, do đó không đọc được thẻ meta. Trước tiên, đội ngũ ghi lại trạng thái dự kiến của trang và kiểm tra tác dụng của từng chỉ thị; sau đó chỉ thay đổi và kiểm tra lại cấu hình staging. Không thay đổi gì trên production. Chủ sở hữu cần có quyết định riêng đối với các mục riêng tư và mục thử nghiệm.
Thực hành
Trên staging hoặc bản mockup cục bộ của bạn, kiểm tra /robots: robots.txt; thẻ meta robots trong HTML; header phản hồi X-Robots-Tag; mã trạng thái và chuyển hướng; cùng mọi hạn chế của WAF/CDN hoặc yêu cầu đăng nhập. Đối chiếu từng chỉ thị với trạng thái dự kiến. Mọi thay đổi quy tắc chỉ giữ trên staging; thay đổi production cần chủ sở hữu, bước rà soát và kế hoạch rollback.
Danh sách kiểm tra
- Đã kiểm tra
robots.txtcho đúng host và giao thức. - Đã kiểm tra header phản hồi, không chỉ HTML.
- Đã phân biệt
Disallowvànoindex. - Nội dung riêng tư được bảo vệ bằng xác thực, không chỉ bằng
robots.txt. - Đã ghi riêng kết quả cho từng crawler tìm kiếm liên quan.
Lỗi thường gặp
Thêm Disallow rồi cho rằng trang đã bị xóa khỏi chỉ mục. Nếu không muốn lập chỉ mục một trang công khai, hãy dùng chỉ thị lập chỉ mục phù hợp và không chặn crawler đọc chỉ thị đó; dữ liệu bí mật cần được bảo vệ bằng kiểm soát truy cập.