A Cloudflare começou a oferecer uma nova camada de proteção contra crawlers (rastreadores) de inteligência artificial (IA). Desde terça-feira (1°), administradores de sites hospedados pela empresa passaram a receber um aviso perguntando se desejam — ou não — permitir o acesso de bots automatizados que “escavam” conteúdos da web.
O objetivo é claro: dar mais controle aos donos de domínio e impedir que seus conteúdos sejam usados, sem autorização, no treinamento de modelos generativos. A novidade também inclui uma opção de monetização: o chamado pay per crawl, em que cada acesso por bots pode render compensação financeira ao site.
A Cloudflare é dona de uma das maiores redes de distribuição de conteúdo do mundo (CDN), com cerca de 16% do tráfego global de internet passando por seus servidores, segundo relatório divulgado em 2023. Por isso, quando a empresa enfrenta instabilidades, uma parte considerável da web sente o impacto — como ocorreu em setembro de 2024.
O bloqueador de crawlers de IA faz parte da campanha inaugurada pela Cloudflare nesta terça-feira conhecida como “Dia da Independência do Conteúdo”.
O que são crawlers?
Crawlers — também conhecidos como bots ou spiders — são programas automatizados que percorrem a internet de site em site. Eles vasculham e indexam conteúdos, funcionando como robôs farejadores de dados. Plataformas como Google e Bing usam esse mecanismo para alimentar seus sistemas de busca. E sim, eles acessam seu site mesmo sem pedir licença.
Além da indexação tradicional, crawlers também são usados para coletar dados que alimentam modelos de inteligência artificial. É assim que muitos chatbots e assistentes conseguem gerar respostas com base em textos extraídos da internet.
Se quiser treinar, vai ter que pagar
A Cloudflare já oferecia opções de bloqueio desde 2024, mas agora o controle fica ainda mais refinado. Com o modelo pay per crawl, criadores ganham a possibilidade de monetizar acessos automatizados ao seu conteúdo.
“Crawlers de IA cavam o conteúdo da internet sem limites. Nosso objetivo é colocar o poder de volta na mão dos criadores, enquanto ainda ajudamos as empresas de IA a inovar”, afirmou Matthew Prince, cofundador e CEO da Cloudflare, em comunicado à imprensa.
A discussão ganhou tração com o avanço dos grandes modelos de linguagem (LLMs), que consomem volumes massivos de dados. Redes sociais também têm se protegido com medidas semelhantes, cobrando pelo acesso às APIs — como fez o Reddit em 2023.
No caso do Pay per Crawl, a ferramenta será disponibilizada para um pequeno número de sites, mas a Cloudflare promete expandir a função para mais clientes no futuro.
Reação rápida para um problema complexo
A falta de legislação clara sobre direitos autorais na era da IA alimenta um terreno nebuloso. Pode-se usar conteúdo publicado online para treinar inteligência artificial? É justo que veículos jornalísticos tenham seu trabalho resumido por robôs sem autorização? A polêmica está longe de ser resolvida.
Enquanto isso, cabe às empresas de infraestrutura — como a Cloudflare — assumir um papel intermediário, equilibrando interesses de gigantes da IA e os direitos de criadores. Uma resposta rápida para um dilema que está longe de ser simples.
Quer saber mais sobre o impacto da inteligência artificial na web e como isso afeta seu conteúdo? Acompanhe as atualizações no TecMundo — estamos no X, Instagram, TikTok, YouTube e Facebook.