“Quando olhamos para o abuso de imagens íntimas, a grande maioria das ferramentas e usos armados vieram do espaço de código aberto”, diz Ajder. Mas eles costumam começar com desenvolvedores bem-intencionados, afirma. “Alguém cria algo que acha interessante ou legal e alguém com más intenções reconhece seu potencial malicioso e o arma.”
Alguns, como o repositório desativado em agosto, têm comunidades dedicadas a usos explícitos. O modelo se posicionou como uma ferramenta para pornô deepfake, afirma Ajder, tornando-se um “funil” para o abuso, que predominantemente visa mulheres.
Outros vídeos carregados no site de streaming pornográfico por uma conta que credita modelos de IA baixados do GitHub apresentavam os rostos de alvos populares de deepfake, como as celebridades Emma Watson, Taylor Swift e Anya Taylor-Joy, além de outras mulheres menos famosas, mas muito reais, superpostas em situações sexuais.
Os criadores descreveram livremente as ferramentas que usaram, incluindo duas removidas pelo GitHub, mas cujo código sobrevive em outros repositórios existentes.
Os perpetradores em busca de deepfakes se reúnem em muitos lugares online, incluindo fóruns comunitários secretos no Discord e à vista de todos no Reddit, complicando as tentativas de prevenção de deepfake. Um Redditor ofereceu seus serviços usando o software do repositório arquivado em 29 de setembro. “Alguém poderia fazer minha prima”, perguntou outro.
Torrentes do repositório principal banido pelo GitHub em agosto também estão disponíveis em outros cantos da web, mostrando como é difícil policiar o software de deepfake de código aberto em geral. Outras ferramentas de pornô deepfake, como o aplicativo DeepNude, também foram removidas antes que novas versões surgissem.
“Existem tantos modelos, tantas bifurcações diferentes nos modelos, tantas versões diferentes, que pode ser difícil rastrear todos eles”, diz Elizabeth Seger, diretora de política digital do think tank britânico Demos. “Uma vez que um modelo é disponibilizado publicamente como código aberto para download, não há como fazer um rollback público disso”, acrescenta.
Um criador de pornô deepfake com 13 vídeos manipulados explícitos de celebridades femininas creditou um repositório proeminente do GitHub comercializado como uma versão “NSFW” de outro projeto que encoraja o uso responsável e pede explicitamente aos usuários que não o utilizem para nudez. “Aprendendo todos os disponíveis Face Swap AI do GitHub, não usando serviços online”, diz seu perfil no site de vídeos, de forma ousada.
O GitHub já havia desativado essa versão NSFW quando a WIRED identificou os vídeos deepfake. Mas outros repositórios, branded como versões “desbloqueadas” do modelo, estavam disponíveis na plataforma em 10 de janeiro, incluindo um com 2.500 “estrelas”.
“É tecnicamente verdade que uma vez que [um modelo está] lá fora, não pode ser revertido. Mas ainda podemos dificultar o acesso das pessoas”, diz Seger.
Se deixado sem controle, acrescenta, o potencial de dano do “pornô” deepfake não é apenas psicológico. Seus efeitos colaterais incluem intimidação e manipulação de mulheres, minorias e políticos, como foi visto com deepfakes políticos afetando mulheres políticas globalmente.
Mas ainda não é tarde demais para controlar o problema, e plataformas como o GitHub têm opções, diz Seger, incluindo intervir no ponto de upload. “Se você colocar um modelo no GitHub e o GitHub disser não, e todas as plataformas de hospedagem disserem não, para uma pessoa normal se torna mais difícil obter esse modelo.”
Controlar o pornô deepfake feito com modelos de código aberto também depende de legisladores, empresas de tecnologia, desenvolvedores e, claro, criadores de conteúdo abusivo.
Pelo menos 30 estados dos EUA também têm alguma legislação abordando o pornô deepfake, incluindo proibições, de acordo com o rastreador de legislação da nonprofit Public Citizen, embora definições e políticas sejam díspares, e algumas leis cobrem apenas menores. Criadores de deepfake no Reino Unido também sentirão em breve a força da lei após o governo anunciar a criminalização da criação de deepfakes sexualmente explícitos, bem como seu compartilhamento, em 7 de janeiro.