FIPP e Tollbit mostram como publishers podem se proteger do web scraping

Como os publishers podem evitar os ataques não-autorizados de bots de inteligência artificial (IA) que promovem web scraping (raspagem) e roubam o conteúdo dos sites de notícias para compilar dados para seus bancos? O time da Tollbit esteve em um bate-papo online a convite da FIPP, para conversar com editores de todo o mundo e apresentar o segundo relatório do ano sobre tendências de web scraping. No encontro, a equipe mostrou soluções que estão sendo adotadas pelos publishers para evitar o roubo de dados.

Do encontro, além do presidente da FIPP, Alastair Lewis, participaram Cody McCauley e Josh Stone, da Tollbit; e Elsa Esparbé e Àlex Poderoso, do Grupo RBA, da Espanha.

O assunto web scraping foi um dos que mais despertou interesse no FIPP Insider SP. Na ocasião, o especialista Paul Hood falou sobre a importância de proteger o conteúdo nos sites de editoras contra os ataques e citou algumas startups que estão fazendo isso em todo o mundo, entre elas a Tollbit.

Relatório mostra que web scraping segue em alta

Durante o bate papo, Cody e Josh apresentaram as conclusões do relatório TollBit State of the Bots – Primeiro trimestre de 2025. O documento oferece uma visão em constante evolução de como as empresas de IA acessam o conteúdo nos sites, revelando padrões, comportamentos e mudanças emergentes a cada trimestre.

Veja algumas das principais conclusões:

• Aumento na Atividade de Scraping de IA e Mudança para Bots de Recuperação (RAG): O tráfego de bots de IA quase dobrou no primeiro trimestre de 2025, com uma mudança significativa para bots de recuperação em tempo real (RAG). Os bots RAG agora estão realizando mais scraping do que os crawlers de treinamento, e o scraping por site por bots RAG cresceu 49% trimestre a trimestre, cerca de 2,5 vezes a taxa de crescimento dos bots de treinamento. O volume geral de IA aumentou 87% no primeiro trimestre de 2025 para os sites monitorados pela Tollbit.

• Bypassing de Proteções (robots.txt): Muitos editores têm confiado no arquivo robots.txt para impedir que desenvolvedores de IA acessem seu conteúdo, mas essa estratégia não está mais funcionando. A porcentagem de scraping de bots de IA que ignora o robots.txt saltou de 3,3% no quarto trimestre de 2024 para aproximadamente 13% no final do primeiro trimestre de 2025. Isso significa que mais de 26 milhões de scrapings não permitidos foram registrados apenas em março.

• Tráfego de Referência Mínimo: O tráfego de referência (pessoas reais) nos sites em troca da atividade de scraping permanece muito baixo. Por exemplo, aplicativos impulsionados por IA como OpenAI e Perplexity enviam apenas um visitante para cada 180 a 370 scrapings, enquanto a Anthropic envia um visitante para cada 8.500 scrapings. O tráfego de retorno é cerca de 96% menor do que o esperado de uma busca tradicional no Google. Essa informação é específica para scraping baseado em RAG.

• Editores estão começando a agir: Mais editores estão reconhecendo a falta de valor em troca do scraping e começando a tomar ações mais agressivas. A adoção do “Bot Paywall” da Tollbit cresceu cerca de 730% do último trimestre de 2024 para o primeiro de 2025, com quase 100 milhões de bots sendo enviados ao paywall, um aumento significativo em comparação com os 11 milhões de bots no últimos três meses de 2024. Isso indica um movimento proativo dos editores para bloquear e controlar o acesso de bots ao seu conteúdo.

O que a Tollbit propõe aos editores?

De acordo com o relatório da Tollbit, osbots de IA estão ameaçando os modelos econômicos tradicionais, baseados em publicidade e assinaturas. A empresa oferece aos publishers uma solução de três pilares: análise para monitorar a atividade dos bots, um paywall para bloquear acessos não autorizados e ferramentas de monetização que permitem aos editores definir termos e preços para o uso de seu conteúdo.

O Grupo RBA,  maior editor de revistas em espanhol, está implementando o paywall de bots oferecido pela Tollbit para proteger sua propriedade intelectual e buscar um modelo de valor justo, enquanto aguarda uma legislação mais clara.

Elsa Sparbé, chefe de desenvolvimento de Negócios Globais do RBA, enfatizou a necessidade de dar valor à propriedade intelectual. Ela compara a situação atual dos sites de notícias à da indústria da música, onde o conteúdo estava disponível gratuitamente.

“O paywall permite medir esse valor e, consequentemente, protegê-lo”, explicou, dizendo que depois de proteger o acesso aos seus websites, é importante “dar um preço a esse conteúdo, e começar a negociar”.

“Os dados fornecidos pela Tollbit ajudam a entender qual conteúdo é interessante para essas plataformas e essa compreensão é vital para definir o valor e a estratégia de precificação do conteúdo”, conta Alex Poderoso.

A TollBit oferece uma demonstração personalizada aos interessados. Para participar, preencha o formulário aqui.

Interessado em saber mais sobre o tema? Leia a matéria sobre a palestra de Paul Hood no FIPP Insider SP clicando aqui.

Fique em dia com as novidades do mercado publishing assinando a Newsletter Aner por email ou WhatsApp.