Mặc dù không có gì có thể ngăn một người quyết tâm tìm kiếm nội dung có sẵn công khai, nhưng bạn có thể thực hiện một số điều cơ bản để giảm bớt mối quan tâm của khách hàng:
-
Giới hạn tỷ lệ theo tài khoản người dùng, địa chỉ IP, tác nhân người dùng, v.v. - điều này có nghĩa là bạn giới hạn lượng dữ liệu mà một nhóm người dùng cụ thể có thể tải xuống trong một khoảng thời gian nhất định. Nếu bạn phát hiện thấy một lượng lớn dữ liệu đang được chuyển, bạn phải đóng tài khoản hoặc địa chỉ IP.
-
Yêu cầu JavaScript - để đảm bảo máy khách có một số điểm tương đồng với một trình duyệt tương tác, thay vì một con nhện trần trụi ...
-
RIA - cung cấp dữ liệu của bạn thông qua giao diện Ứng dụng Internet phong phú. Lưới dựa trên JavaScript bao gồm ExtJ, YUI, Dojo, v.v. Môi trường phong phú hơn bao gồm Flash và Silverlight dưới dạng 1kevgriff đề cập .
-
Mã hóa dữ liệu dưới dạng hình ảnh. Điều này khá nguy hiểm đối với người dùng thông thường, nhưng bạn có thể mã hóa một số bảng hoặc giá trị dữ liệu của mình dưới dạng hình ảnh thay vì văn bản, điều này sẽ đánh bại hầu hết các trình phân tích cú pháp văn bản, nhưng tất nhiên không phải là tuyệt đối.
-
robots.txt - để từ chối trình thu thập dữ liệu web rõ ràng, tác nhân người dùng rô bốt đã biết.
Tác nhân người dùng:*
Không cho phép:/
-
Sử dụng thẻ meta rô bốt. Điều này sẽ ngăn chặn những con nhện phù hợp. Điều này sẽ ngăn Google lập chỉ mục bạn, chẳng hạn như:
Có các mức độ răn đe khác nhau và lựa chọn đầu tiên có lẽ là cách ít xâm phạm nhất.
