Shoal Research: Robot chiếm khoảng 60% yêu cầu HTML

Tổ chức nghiên cứu Shoal Research đã công bố một báo cáo cho biết bot chiếm khoảng 60% yêu cầu HTTP nội dung HTML trên mạng lưới Cloudflare, trong khi con người chiếm 38,2%. Giám đốc điều hành Cloudflare, Matthew Prince, trước đây đã dự đoán rằng lưu lượng truy cập từ bot sẽ vượt qua lưu lượng truy cập của con người vào năm 2027, và sau đó tuyên bố rằng sự tăng trưởng của lưu lượng truy cập từ tác nhân đã khiến bot vượt qua con người. Báo cáo cho biết các ứng dụng AI giữ người dùng trong giao diện trò chuyện và tóm tắt nội dung, thay vì chuyển họ trở lại trang web gốc. Trình thu thập thông tin AI có tỷ lệ thu thập trên mỗi lần quay lại cao hơn nhiều so với Googlebot, với ClaudeBot trung bình thu thập khoảng 4.200 trang mỗi lần quay lại trong năm qua. Nghiên cứu của Pew cho thấy các bản tóm tắt AI đã giảm tỷ lệ nhấp chuột từ 15% xuống 8%. Mô hình lưu lượng truy cập robots.txt và trao đổi nội dung khó duy trì. Kiện tụng và ủy quyền riêng tư là các biện pháp tạm thời. Thanh toán theo yêu cầu được chia thành thị trường đóng với khóa và giao thức mở sử dụng HTTP 402 và stablecoin như x402 và MPP. Hầu hết các trang web vẫn cung cấp quyền truy cập miễn phí hoặc chặn nó.