Nos últimos anos, aplicativos e sites chamados de “nudify” proliferaram online, permitindo que pessoas criem imagens não consensuais e abusivas de mulheres e meninas, incluindo material de abuso sexual infantil. Apesar de alguns legisladores e empresas de tecnologia terem tomado medidas para limitar esses serviços prejudiciais, todo mês, milhões de pessoas ainda acessam os sites, e os criadores dos sites podem estar faturando milhões de dólares por ano, sugere uma nova pesquisa.
Uma análise de 85 sites de nudify e “desvestir” — que permitem que as pessoas enviem fotos e usem IA para gerar imagens “nuas” dos sujeitos com apenas alguns cliques — descobriu que a maioria dos sites depende de serviços tecnológicos de empresas como Google, Amazon e Cloudflare para operar e permanecer online. As descobertas, reveladas pela Indicator, uma publicação que investiga a enganação digital, afirmam que os sites tiveram uma média combinada de 18,5 milhões de visitantes nos últimos seis meses e coletivamente podem estar faturando até 36 milhões de dólares por ano.
Alexios Mantzarlis, cofundador da Indicator e pesquisador de segurança online, diz que o ecossistema nebuloso dos nudifiers se tornou um “negócio lucrativo” que a “abordagem laissez-faire de Silicon Valley em relação à IA generativa” permitiu que persistisse. “Eles deveriam ter deixado de fornecer quaisquer e todos os serviços aos nudifiers de IA quando ficou claro que seu único uso era o assédio sexual”, diz Mantzarlis sobre as empresas de tecnologia. Está se tornando cada vez mais ilegal criar ou compartilhar deepfakes explícitos.
De acordo com a pesquisa, a Amazon e a Cloudflare fornecem serviços de hospedagem ou entrega de conteúdo para 62 dos 85 sites, enquanto o sistema de login do Google foi usado em 54 dos sites. Os sites de nudify também utilizam uma série de outros serviços, como sistemas de pagamento, fornecidos por empresas tradicionais.
O porta-voz da Amazon Web Services, Ryan Walsh, afirma que a AWS possui termos de serviço claros que exigem que os clientes sigam as “leis aplicáveis”. “Quando recebemos relatos de potenciais violações de nossos termos, agimos rapidamente para revisar e tomar medidas para desativar conteúdo proibido”, diz Walsh, acrescentando que as pessoas podem relatar problemas às suas equipes de segurança.
“Alguns desses sites violam nossos termos, e nossas equipes estão tomando medidas para abordar essas violações, além de trabalhar em soluções de longo prazo”, diz o porta-voz do Google, Karl Ryan, apontando que o sistema de login do Google exige que os desenvolvedores concordem com suas políticas que proíbem conteúdo ilegal e conteúdo que assedia outros.
A Cloudflare não havia respondido ao pedido de comentário da WIRED até o momento da redação. A WIRED não está nomeando os sites nudifiers nesta história, para não lhes dar mais exposição.
Sites e bots de nudify e desvestir floresceram desde 2019, após inicialmente surgirem das ferramentas e processos usados para criar os primeiros “deepfakes” explícitos. Redes de empresas interconectadas, conforme relatado pela Bellingcat, apareceram online oferecendo a tecnologia e lucrando com os sistemas.
De forma ampla, os serviços usam IA para transformar fotos em imagens explícitas não consensuais; eles frequentemente ganham dinheiro vendendo “créditos” ou assinaturas que podem ser usadas para gerar fotos. Eles foram impulsionados pela onda de geradores de imagens de IA generativa que apareceram nos últimos anos. Sua produção é extremamente prejudicial. Fotos de redes sociais foram roubadas e usadas para criar imagens abusivas; enquanto isso, em uma nova forma de cyberbullying e abuso, meninos adolescentes ao redor do mundo criaram imagens de seus colegas de classe. Esse abuso de imagens íntimas é angustiante para as vítimas, e as imagens podem ser difíceis de remover da web.
Usando várias ferramentas e dados de código aberto, incluindo a ferramenta de análise de sites Built With, a equipe da Indicator e o pesquisador investigativo Santiago Lakatos examinaram a infraestrutura e os sistemas que alimentam 85 sites de nudifier. Redes de entrega de conteúdo, serviços de hospedagem, empresas de nomes de domínio e serviços de webmaster são todos fornecidos por uma mistura de algumas das maiores empresas de tecnologia, além de alguns pequenos negócios.
Com base em cálculos que combinam custos de assinatura, taxas de conversão de clientes estimadas e tráfego da web enviado aos provedores de pagamento, os pesquisadores estimam que 18 dos sites faturaram entre 2,6 milhões e 18,4 milhões de dólares nos últimos seis meses, o que pode equivaler a cerca de 36 milhões de dólares por ano. (Eles observam que essa é provavelmente uma estimativa conservadora, pois não incorpora todos os sites e transações que ocorrem fora dos sites, como aquelas no Telegram.) Recentemente, um denunciante e dados vazados relatados pela mídia alemã Der Spiegel indicaram que um site proeminente pode ter um orçamento multimilionário. Outro site alegou ter faturado milhões.
Dos 10 sites mais visitados, a pesquisa afirma que a maior parte dos visitantes veio dos Estados Unidos — Índia, Brasil, México e Alemanha compõem o restante dos cinco principais países onde as pessoas acessaram os sites. Embora os motores de busca direcionem as pessoas para os sites de nudify, os sites têm recebido cada vez mais visitantes de outras fontes online. Os nudifiers se tornaram tão populares que hackers russos criaram versões falsas carregadas de malware. No ano passado, a 404 Media relatou um site fazendo vídeos patrocinados com artistas adultos, e os sites também têm usado cada vez mais programas de afiliação e referência pagos.
“Nossa análise do comportamento dos nudifiers indica fortemente seu desejo de construir e consolidar-se em um nicho da indústria adulta”, diz Lakatos. “Eles provavelmente continuarão a tentar intercalar suas operações no espaço de conteúdo adulto, uma tendência que precisa ser combatida pelas empresas de tecnologia tradicionais e pela própria indústria adulta.”
Muitos dos problemas das empresas de tecnologia que permitem que plataformas de nudify usem seus sistemas são bem conhecidos. Por anos, jornalistas de tecnologia relataram como a economia dos deepfakes utilizou serviços de pagamento tradicionais, anúncios em redes sociais, exposição em mecanismos de busca e tecnologia de grandes empresas para operar. No entanto, poucas ações abrangentes foram tomadas.
“Desde 2019, aplicativos de nudification passaram de um punhado de projetos laterais de baixa qualidade para uma indústria artesanal de negócios ilícitos profissionalizados com milhões de usuários”, diz Henry Ajder, um especialista em IA e deepfakes que descobriu pela primeira vez o crescimento do ecossistema de nudification em 2020. “Só quando empresas como essas que facilitam a ‘jornada do cliente perversa’ de aplicativos de nudification tomarem ações direcionadas começaremos a ver progresso significativo em tornar esses aplicativos mais difíceis de acessar e lucrar com eles.”
Há sinais de que os sites de nudify estão atualizando suas táticas e abordagens para tentar evitar qualquer possível repressão ou evitar proibições. No ano passado, a WIRED relatou como sites de nudify usaram sistemas de login único do Google, Apple e Discord para permitir que as pessoas criassem contas rapidamente. Muitas das contas de desenvolvedores foram desativadas após a reportagem. A Indicator afirma que em 54 dos 85 sites, no entanto, o sistema de login simples do Google está sendo usado, e os criadores dos sites tomaram medidas para evitar a detecção pelo Google. Eles, segundo o relatório, usariam um “site intermediário” para “fingir ser uma URL diferente para o registro.”
Embora empresas de tecnologia e reguladores tenham tomado uma abordagem glacial para combater deepfakes abusivos desde que eles surgiram há mais de uma década, houve algum movimento recente. O promotor da cidade de São Francisco processou 16 serviços de geração de imagens não consensuais, a Microsoft identificou desenvolvedores por trás de deepfakes de celebridades, e a Meta entrou com um processo contra uma empresa supostamente por trás de um aplicativo de nudify que, segundo a Meta, postou repetidamente anúncios em sua plataforma. Enquanto isso, a controversa Lei Take It Down, que o presidente dos EUA Donald Trump assinou em maio, impôs requisitos às empresas de tecnologia para remover rapidamente o abuso de imagens não consensuais, e o governo do Reino Unido está tornando ilegal a criação de deepfakes explícitos.
As movimentações podem diminuir alguns serviços de nudify e desvestir, mas são necessárias repressões mais abrangentes para desacelerar a crescente indústria prejudicial. Mantzarlis afirma que se as empresas de tecnologia forem mais proativas e rigorosas na aplicação de suas políticas, a capacidade dos nudifiers de prosperar diminuirá. “Sim, essas coisas migrarão para cantos da internet menos regulamentados — mas que assim seja”, diz Mantzarlis. “Se os sites forem mais difíceis de descobrir, acessar e usar, seu público e receita encolherão. Infelizmente, esse presente tóxico da era da IA generativa não pode ser devolvido. Mas pode certamente ser drasticamente reduzido em escopo.