Mục lục
Tạo mẫu log hữu ích
Xuất timestamp, IP nguồn, User-Agent, method, path, status, số byte phản hồi và thời lượng request. Dùng một khoảng thời gian và múi giờ cố định.
Nhóm theo crawler tự khai, status và path. Đếm riêng số request và IP duy nhất; đừng suy ra số người hoặc lượt truy cập từ request thô.
Xác minh danh tính trước khi thay đổi quyền truy cập
Với Googlebot, xác minh IP nguồn bằng dải IP Google đã công bố hoặc quy trình reverse DNS được tài liệu hóa. Chỉ User-Agent khớp là chưa đủ.
So sánh request đã xác minh với quy tắc robots, tốc độ crawl và lỗi máy chủ. Chỉ xử lý chính xác mẫu IP/path gây hại; lưu bằng chứng và phương án khôi phục.
Ví dụ và kết quả mong đợi
Ví dụ: một hàng log ghi
GET /page 200 "Googlebot". Với IP thực tế, chạy reverse DNS, xác nhận hostname crawler chính thức của Google, sau đó phân giải DNS xuôi và xác minh IP gốc được trả về. Ghi status, URL, mã phản hồi và thời gian. IP mẫu 203.0.113.24 chỉ dùng trong tài liệu.Nếu hai lần kiểm tra DNS không khớp, đánh dấu request là chưa xác minh; đừng quyết định chỉ dựa trên User-Agent. Quy trình này chỉ áp dụng cho Google; dùng phương thức xác minh đã công bố của từng nhà cung cấp khác. Giới hạn quyền truy cập log và chỉ lưu dữ liệu IP trong thời hạn lưu trữ đã cấu hình.