O acordo fundamental da web moderna, um acordo informal que alimentou duas décadas de busca e conteúdo, está oficialmente morto. A Cloudflare acabou de colocar um preço na coleta de dados da internet, e isso está vindo para o almoço grátis das empresas de IA.
Quase 30 anos atrás, dois estudantes de Stanford, Larry Page e Sergey Brin, construíram o Google com um simples acordo: os criadores de conteúdo permitiriam que eles copiassem toda a web em troca de tráfego. Por anos, esse tráfego alimentou receita de anúncios, assinaturas e o crescimento da mídia online. O Google, em sua maior parte, cumpriu sua parte do acordo. Mas essa era está desmoronando sob o peso da IA.
Em 1º de julho, a Cloudflare, uma das empresas de infraestrutura central da internet, declarou “Dia da Independência do Conteúdo”. Em uma mudança de política histórica, a empresa anunciou que agora bloqueará crawlers de IA de coletar dados de sites hospedados em sua plataforma, a menos que esses bots paguem aos criadores de conteúdo pelos dados que consomem.
“A Cloudflare, junto com a maioria dos principais editores e empresas de IA do mundo, está mudando o padrão para bloquear crawlers de IA, a menos que eles paguem aos criadores pelo seu conteúdo”, anunciou o CEO Matthew Prince em um post de blog. “Esse conteúdo é o combustível que alimenta os motores de IA, e é justo que os criadores de conteúdo sejam compensados diretamente por isso.”
Essa é uma mudança drástica, agressiva, da tradicional ética de acesso aberto da web. A Cloudflare argumenta que isso já era tarde. Ferramentas de IA como o ChatGPT e as próprias Visões de IA do Google estão agora respondendo perguntas dos usuários diretamente, efetivamente minerando sites em busca de informações enquanto enviam quase nenhum tráfego de volta à fonte original.
“Em vez de ser uma troca justa, a web está sendo minerada por crawlers de IA, com os criadores de conteúdo vendo quase nenhum tráfego e, portanto, quase nenhum valor”, disse Prince.
Os números são contundentes. A Cloudflare afirma que já é 10 vezes mais difícil obter tráfego do Google do que era uma década atrás devido a recursos como a caixa de resposta. Mas os novos modelos de IA são muito piores. De acordo com as métricas internas da Cloudflare, o OpenAI gera 750 vezes menos tráfego do que a busca tradicional do Google, enquanto a Anthropic gera impressionantes 30.000 vezes menos. A razão é simples: as pessoas estão perguntando ao ChatGPT em vez de pesquisar no Google. O conteúdo ainda é utilizado, mas os criadores foram completamente cortados da cadeia de valor.
Usando sua posição como guardião de aproximadamente 20% de todos os sites globalmente (cerca de um quinto de todo o tráfego da web passa pela rede da Cloudflare), a Cloudflare agora está forçando a questão cobrando um pedágio.
Mas o plano vai além de apenas bloquear bots. A Cloudflare pretende construir um novo mercado de conteúdo onde empresas de IA e criadores possam negociar diretamente. A compensação seria baseada não em cliques, mas em quão valioso o conteúdo é para treinar modelos de IA. Para explicar isso, a empresa usa uma metáfora peculiar: imagine que o conhecimento de uma IA é um bloco de queijo suíço. Os buracos representam lacunas de conhecimento. Quanto mais seu conteúdo preencher um desses buracos, mais vale para uma empresa de IA.
É uma proposta ambiciosa que desafia toda a economia da web, que ainda julga o valor pelo quão viral algo é. A Cloudflare está apostando que preencher lacunas no conhecimento das máquinas é um mercado mais estável a longo prazo do que perseguir a atenção humana volúvel. Isso também sugere algo mais radical: o fim da web livre e aberta como a conhecíamos.
Esse movimento marca o alvorecer da era do pagamento para treinar. A OpenAI já assinou acordos de licenciamento de alto perfil com editores como Reddit e o Financial Times. Outros gigantes da IA estão silenciosamente firmando parcerias de dados ou coletando o que podem até serem bloqueados. Mas a decisão da Cloudflare é a primeira vez que um grande provedor de infraestrutura mudou a configuração padrão para uma grande parte da internet.
A Nossa Opinião
A verdadeira história aqui não é apenas técnica; é econômica. Estamos assistindo ao surgimento de uma nova classe de intermediários digitais, empresas que irão intermediar o acesso entre os criadores de conteúdo da web e os modelos de IA que se alimentam dele. Em uma internet pós-clique, os dados de treinamento são a nova moeda, e a Cloudflare acaba de se posicionar como um grande banco.
A empresa diz que seu objetivo é promover uma nova era de ouro para os criadores. “Acreditamos que, se pudermos começar a avaliar e valorizar o conteúdo não com base em quanto tráfego ele gera, mas em quanto ele avança o conhecimento”, disse Prince, “não apenas ajudaremos os motores de IA a ficarem melhores mais rápido, mas também potencialmente facilitaremos uma nova era de ouro de criação de conteúdo de alto valor.”
Isso soa bem. Mas também levanta questões complicadas. Quem decide o que conta como alto valor? Quem é pago, e quanto? Se o conteúdo é otimizado para IA em vez de pessoas, o que acontece com a alma da web? A possibilidade mais sombria é uma Guerra Fria de conteúdo, onde os editores isolam tudo e as empresas de IA acumulam acordos de dados exclusivos, tornando a web mais fragmentada e menos aberta do que nunca.
Se o modelo “queijo suíço” da Cloudflare decola ou não, isso é verdade: a IA quebrou a antiga economia da web baseada em busca. Em 1º de julho, a Cloudflare desenhou uma linha na areia. Pela primeira vez na era da IA gerativa, os tubos da internet estão se defendendo.