Shoal Research：机器人约占HTML请求的60%

研究机构Shoal Research发布报告称，在Cloudflare网络上，机器人约占HTML内容HTTP请求的60%，而人类占38.2%。Cloudflare首席执行官Matthew Prince此前预测，到2027年机器人流量将超过人类流量，后来宣布代理流量的增长已导致机器人流量超过人类流量。报告称，AI应用将用户留在聊天界面并总结内容，而不是将他们引导回原始网站。AI爬虫的爬取与回访比率远高于Googlebot，其中ClaudeBot在过去一年中平均每次回访爬取约4200个页面。皮尤研究显示，AI摘要已将点击率从15%降至8%。robots.txt和内容交换流量模式难以维持。诉讼和私人授权是权宜之计。按请求付费分为使用密钥的封闭市场和采用HTTP 402及稳定币（如x402和MPP）的开放协议。大多数网站仍提供免费访问或将其屏蔽。