Shoal Research: Robôs representam aproximadamente 60% dos pedidos HTML

A instituição de pesquisa Shoal Research divulgou um relatório afirmando que os bots representam cerca de 60% dos pedidos HTTP de conteúdo HTML na rede Cloudflare, enquanto os humanos representam 38,2%. O CEO da Cloudflare, Matthew Prince, previu anteriormente que o tráfego de bots ultrapassaria o tráfego humano até 2027 e, mais tarde, anunciou que o crescimento do tráfego de agentes já fez com que os bots excedessem o tráfego humano. O relatório afirma que os aplicativos de IA mantêm os usuários em interfaces de chat e resumem o conteúdo, em vez de redirecioná-los de volta ao site original. Os rastreadores de IA têm uma taxa de rastreamento por retorno muito maior do que o Googlebot, com o ClaudeBot registrando em média cerca de 4.200 páginas rastreadas por visita de retorno no último ano. A pesquisa da Pew mostra que os resumos de IA reduziram as taxas de cliques de 15% para 8%. O modelo de tráfego de troca de conteúdo e robots.txt é difícil de manter. Litígios e autorização privada são medidas paliativas. O pagamento por pedido é dividido em um mercado fechado com chaves e protocolos abertos usando HTTP 402 e stablecoins como x402 e MPP. A maioria dos sites ainda oferece acesso gratuito ou o bloqueia.