No início de 2020, o especialista em deepfake Henry Ajder descobriu um dos primeiros bots do Telegram criado para “despir” fotos de mulheres usando inteligência artificial. Na época, Ajder lembra que o bot havia sido usado para gerar mais de 100.000 fotos explícitas—incluindo aquelas de crianças—e seu desenvolvimento marcou um momento “decisivo” para os horrores que os deepfakes poderiam criar. Desde então, os deepfakes se tornaram mais prevalentes, mais danosos e mais fáceis de produzir.
Agora, uma revisão da WIRED sobre comunidades do Telegram envolvidas com conteúdo não consensual explícito identificou pelo menos 50 bots que afirmam criar fotos ou vídeos explícitos de pessoas com apenas alguns cliques. Os bots variam em capacidades, com muitos sugerindo que podem “remover roupas” de fotos, enquanto outros afirmam criar imagens retratando pessoas em vários atos sexuais.
Os 50 bots listam mais de 4 milhões de “usuários mensais” combinados, de acordo com a revisão da WIRED das estatísticas apresentadas por cada bot. Dois bots listaram mais de 400.000 usuários mensais cada, enquanto outros 14 listaram mais de 100.000 membros cada. As descobertas ilustram quão disseminadas se tornaram as ferramentas de criação de deepfake explícito e reforçam o lugar do Telegram como um dos locais mais proeminentes onde podem ser encontrados. No entanto, a amostra, que abrange em grande parte bots em inglês, é provavelmente uma pequena parte do total de bots de deepfake no Telegram.
“Estamos falando de um aumento significativo, em ordens de magnitude, no número de pessoas que claramente estão ativamente usando e criando esse tipo de conteúdo”, diz Ajder sobre os bots do Telegram. “É realmente preocupante que essas ferramentas—que estão arruinando vidas e criando um cenário muito assustador principalmente para meninas jovens e mulheres—continuem tão fáceis de acessar e encontrar na web superficial, em um dos maiores aplicativos do mundo.”
O conteúdo explícito de deepfake não consensual, frequentemente referido como abuso de imagem íntima não consensual (NCII), explodiu desde que surgiu no final de 2017, com os avanços da IA generativa ajudando a alimentar o crescimento recente. Em toda a internet, uma variedade de sites “nudify” e “despir” se junta a ferramentas mais sofisticadas e bots do Telegram, sendo usados para atacar milhares de mulheres e meninas ao redor do mundo—desde a primeira-ministra da Itália até meninas da escola na Coreia do Sul. Em uma pesquisa recente, 40% dos estudantes nos EUA estavam cientes de deepfakes vinculados às suas escolas K-12 no último ano.
Os bots do Telegram identificados pela WIRED são apoiados por pelo menos 25 canais associados do Telegram—onde as pessoas podem se inscrever para atualizações estilo feed de notícias—que têm mais de 3 milhões de membros combinados. Os canais do Telegram alertam as pessoas sobre novos recursos fornecidos pelos bots e ofertas especiais em “tokens” que podem ser comprados para operá-los, e frequentemente atuam como lugares onde pessoas usando os bots podem encontrar links para novos, caso sejam removidos pelo Telegram.
Depois que a WIRED contatou o Telegram com perguntas sobre se permite a criação de conteúdo deepfake explícito em sua plataforma, a empresa deletou os 75 bots e canais que a WIRED identificou. A empresa não respondeu a uma série de perguntas ou comentou sobre o motivo pelo qual havia removido os canais.
Bots do Telegram são, essencialmente, pequenos aplicativos que funcionam dentro do Telegram. Eles estão ao lado dos canais do aplicativo, que podem transmitir mensagens para um número ilimitado de assinantes; grupos onde até 200.000 pessoas podem interagir; e mensagens um a um. Desenvolvedores criaram bots onde as pessoas fazem quizzes de trivia, traduzem mensagens, criam alertas ou iniciam reuniões do Zoom. Eles também foram cooptados para criar deepfakes abusivos.
Devido à natureza prejudicial das ferramentas de deepfake, a WIRED não testou os bots do Telegram e não está nomeando bots ou canais específicos. Embora os bots tivessem milhões de usuários mensais, de acordo com as estatísticas do Telegram, não está claro quantas imagens os bots podem ter sido usados para criar. Alguns usuários, que podem estar em vários canais e bots, podem não ter criado nenhuma imagem; outros podem ter criado centenas.
Muitos dos bots de deepfake visualizados pela WIRED são claros sobre o que foram criados para fazer. Os nomes e descrições dos bots referem-se à nudez e à remoção das roupas das mulheres. “Posso fazer qualquer coisa que você quiser sobre o rosto ou as roupas da foto que você me der”, escreveram os criadores de um bot. “Experimente o choque trazido pela IA”, diz outro. O Telegram também pode mostrar “canais semelhantes” em sua ferramenta de recomendação, ajudando potenciais usuários a saltar entre canais e bots.
Quase todos os bots exigem que as pessoas comprem “tokens” para criar imagens, e não está claro se operam da forma que afirmam. À medida que o ecossistema em torno da geração de deepfake floresceu nos últimos anos, tornou-se uma fonte de renda potencialmente lucrativa para aqueles que criam sites, aplicativos e bots. Muitas pessoas estão tentando usar sites “nudify” que criminosos cibernéticos russos, conforme relatado pela 404Media, começaram a criar sites falsos para infectar pessoas com malware.
Embora os primeiros bots do Telegram, identificados há vários anos, fossem relativamente rudimentares, a tecnologia necessária para criar imagens geradas por IA mais realistas melhorou—e alguns dos bots estão se escondendo à vista de todos.
Um bot com mais de 300.000 usuários mensais não fazia referência a nenhum material explícito em seu nome ou página inicial. No entanto, uma vez que um usuário clica para usar o bot, ele afirma ter mais de 40 opções para imagens, muitas das quais são de natureza altamente sexual. Esse mesmo bot tem um guia do usuário, hospedado na web fora do Telegram, descrevendo como criar as imagens de mais alta qualidade. Os desenvolvedores de bots podem exigir que os usuários aceitem os termos de serviço, que podem proibir os usuários de fazer upload de imagens sem o consentimento da pessoa representada ou imagens de crianças, mas parece haver pouca ou nenhuma aplicação dessas regras.
Outro bot, que tinha mais de 38.000 usuários, afirmava que as pessoas poderiam enviar seis imagens do mesmo homem ou mulher—é um dos poucos que afirma criar imagens de homens—para “treinar” um modelo de IA, que poderia então criar novas imagens deepfake daquele indivíduo. Uma vez que os usuários se juntam a um bot, ele apresentaria um menu de 11 “outros bots” dos criadores, provavelmente para manter os sistemas online e tentar evitar remoções.
“Esses tipos de imagens falsas podem prejudicar a saúde e o bem-estar de uma pessoa, causando trauma psicológico e sentimentos de humilhação, medo, embaraço e vergonha”, diz Emma Pickering, chefe de abuso facilitado por tecnologia e empoderamento econômico da Refuge, a maior organização de abuso doméstico do Reino Unido. “Embora essa forma de abuso seja comum, os perpetradores raramente são responsabilizados, e sabemos que esse tipo de abuso está se tornando cada vez mais comum em relacionamentos de parceiros íntimos.”
À medida que os deepfakes explícitos se tornaram mais fáceis de criar e mais prevalentes, legisladores e empresas de tecnologia foram lentos para conter a onda. Em todo os EUA, 23 estados aprovaram leis para abordar deepfakes não consensuais, e empresas de tecnologia reforçaram algumas políticas. No entanto, aplicativos que podem criar deepfakes explícitos foram encontrados nas lojas de aplicativos da Apple e do Google, deepfakes explícitos de Taylor Swift foram amplamente compartilhados no X em janeiro, e a infraestrutura de login da Big Tech permitiu que as pessoas criassem facilmente contas em sites de deepfake.
Kate Ruane, diretora do projeto de liberdade de expressão do Centro para a Democracia e Tecnologia, afirma que a maioria das principais plataformas de tecnologia agora possui políticas que proíbem a distribuição não consensual de imagens íntimas, com muitas das maiores concordando com princípios para lidar com deepfakes. “Eu diria que não está claro se a criação ou distribuição de imagens íntimas não consensuais é proibida na plataforma”, diz Ruane sobre os termos de serviço do Telegram, que são menos detalhados do que outras grandes plataformas de tecnologia.
A abordagem do Telegram para remover conteúdo prejudicial há muito é criticada por grupos da sociedade civil, com a plataforma historicamente hospedando golpistas, grupos de extrema direita e conteúdo relacionado ao terrorismo. Desde que o CEO e fundador do Telegram, Pavel Durov, foi preso e acusado na França em agosto relacionado a uma série de potenciais ofensas, o Telegram começou a fazer algumas mudanças em seus termos de serviço e fornecer dados a agências de aplicação da lei. A empresa não respondeu às perguntas da WIRED sobre se proíbe especificamente deepfakes explícitos.
Ajder, o pesquisador que descobriu os bots deepfake do Telegram há quatro anos, diz que o aplicativo está quase exclusivamente posicionado para abuso de deepfake. “O Telegram fornece a você a funcionalidade de busca, então permite que você identifique comunidades, chats e bots”, diz Ajder. “Ele fornece a funcionalidade de hospedagem de bots, então é um lugar que fornece as ferramentas, de fato. E então é também o lugar onde você pode compartilhá-lo e realmente executar o dano em termos do resultado final.”
No final de setembro, vários canais de deepfake começaram a postar que o Telegram havia removido seus bots. Não está claro o que provocou as remoções. Em 30 de setembro, um canal com 295.000 assinantes postou que o Telegram havia “banido” seus bots, mas publicou um novo link de bot para os usuários usarem. (O canal foi removido após a WIRED enviar perguntas ao Telegram.)
“Uma das coisas que é realmente preocupante sobre aplicativos como o Telegram é que é tão difícil de rastrear e monitorar, particularmente da perspectiva dos sobreviventes”, diz Elena Michael, cofundadora e diretora do #NotYourPorn, um grupo de campanha que trabalha para proteger as pessoas de abuso sexual baseado em imagem.
Michael diz que o Telegram tem sido “notoriamente difícil” de discutir questões de segurança, mas observa que houve algum progresso da empresa nos últimos anos. No entanto, ela afirma que a empresa deve ser mais proativa na moderação e filtragem de conteúdo. “Imagine se você fosse um sobrevivente que está tendo que fazer isso sozinho, certamente o ônus não deveria estar em um indivíduo”, diz Michael. “Certamente o ônus deveria estar na empresa para colocar algo em prática que seja proativo em vez de reativo.