Dezenas de milhares de imagens explícitas geradas por IA, incluindo material de abuso sexual infantil gerado por IA, foram deixadas abertas e acessíveis a qualquer pessoa na internet, de acordo com uma nova pesquisa vista pela WIRED. Um banco de dados aberto pertencente a uma empresa de geração de imagens de IA continha mais de 95.000 registros, incluindo alguns dados de prompts e imagens de celebridades como Ariana Grande, as Kardashians e Beyoncé desfiguradas para parecerem crianças.
O banco de dados exposto, que foi descoberto pelo pesquisador de segurança Jeremiah Fowler, que compartilhou detalhes da violação com a WIRED, está vinculado ao site GenNomis, com sede na Coreia do Sul. O site e sua empresa-mãe, AI-Nomis, hospedavam uma série de ferramentas de geração de imagens e chatbots para as pessoas usarem. Mais de 45 GB de dados, principalmente compostos por imagens de IA, foram deixados abertos.
Os dados expostos fornecem uma visão de como as ferramentas de geração de imagens de IA podem ser usadas para criar conteúdo sexual profundamente prejudicial e provavelmente não consensual de adultos e material de abuso sexual infantil (CSAM). Nos últimos anos, dezenas de sites, bots e aplicativos de “deepfake” e “nudify” surgiram e causaram milhares de mulheres e meninas a serem alvo de imagens e vídeos prejudiciais. Isso ocorreu juntamente com um aumento no CSAM gerado por IA.
“A grande questão é quão perigoso isso é”, diz Fowler sobre a exposição de dados. “Olhando isso como um pesquisador de segurança, olhando isso como um pai, é aterrorizante. E é aterrorizante como é fácil criar esse conteúdo.”
Fowler descobriu o cache aberto de arquivos – o banco de dados não estava protegido por senha ou criptografado – no início de março e rapidamente o relatou ao GenNomis e à AI-Nomis, apontando que continha CSAM de IA. GenNomis rapidamente fechou o banco de dados, diz Fowler, mas não respondeu ou entrou em contato com ele sobre as descobertas.
Nem GenNomis nem AI-Nomis responderam a vários pedidos de comentário da WIRED. No entanto, horas depois que a WIRED contatou as organizações, os sites de ambas as empresas pareciam estar desligados, com o site GenNomis agora retornando uma página de erro 404.
“Este exemplo também mostra – mais uma vez – a extensão perturbadora da qual existe um mercado para IA que permite que tais imagens abusivas sejam geradas”, diz Clare McGlynn, professora de direito na Universidade de Durham, no Reino Unido, que se especializa em abuso online e baseado em imagens. “Isso deve nos lembrar que a criação, posse e distribuição de CSAM não é rara e é atribuível a indivíduos distorcidos.”
Antes de ser apagado, o GenNomis listava várias ferramentas de IA diferentes em sua página inicial. Isso incluía um gerador de imagens que permitia que as pessoas inserissem prompts das imagens que desejavam criar ou enviassem uma imagem e incluíssem um prompt para alterá-la. Também havia uma ferramenta de troca de rostos, um removedor de fundo, além de uma opção para transformar vídeos em imagens.
“A coisa mais perturbadora, obviamente, foram as imagens explícitas de crianças e ver aquelas que eram claramente celebridades reimaginadas como crianças”, diz Fowler. O pesquisador explica que também havia imagens geradas por IA de meninas jovens totalmente vestidas. Ele diz que, nesses casos, não está claro se os rostos usados são completamente gerados por IA ou baseados em imagens reais.
Além do CSAM, Fowler diz que havia imagens pornográficas geradas por IA de adultos no banco de dados, além de possíveis imagens de “troca de rostos”. Entre os arquivos, ele observou o que parecia ser fotografias de pessoas reais, que provavelmente foram usadas para criar “imagens explícitas nuas ou sexuais geradas por IA”, diz ele. “Então, eles estavam pegando fotos reais de pessoas e trocando seus rostos nelas”, alega ele sobre algumas imagens geradas.
Quando estava ativo, o site GenNomis permitia imagens explícitas de adultos geradas por IA. Muitas das imagens apresentadas em sua página inicial e uma seção de “modelos” de IA incluíam imagens sexualizadas de mulheres – algumas eram “fotorealistas”, enquanto outras eram totalmente geradas por IA ou em estilos animados. Também incluía uma galeria “NSFW” e um “mercado” onde os usuários podiam compartilhar imagens e potencialmente vender álbuns de fotos geradas por IA. O slogan do site dizia que as pessoas poderiam “gerar imagens e vídeos sem restrições”; uma versão anterior do site de 2024 dizia que “imagens não censuradas” poderiam ser criadas.
As políticas de uso do GenNomis afirmavam que apenas “conteúdo respeitoso” é permitido, dizendo que “violência explícita” e discurso de ódio são proibidos. “A pornografia infantil e quaisquer outras atividades ilegais são estritamente proibidas no GenNomis”, diziam suas diretrizes da comunidade, afirmando que contas que postassem conteúdo proibido seriam encerradas. (Pesquisadores, defensores de vítimas, jornalistas, empresas de tecnologia e outros têm em grande parte eliminado a frase “pornografia infantil”, em favor de CSAM, ao longo da última década).
Não está claro até que ponto o GenNomis utilizou quaisquer ferramentas ou sistemas de moderação para prevenir ou proibir a criação de CSAM gerado por IA. Alguns usuários postaram em sua página de “comunidade” no ano passado que não conseguiam gerar imagens de pessoas tendo relações sexuais e que seus prompts foram bloqueados por “humor negro” não sexual. Outra conta postou na página da comunidade que o conteúdo “NSFW” deveria ser abordado, pois “pode ser visto pelos federais”.
“Se eu consegui ver essas imagens com nada mais do que a URL, isso me mostra que eles não estão tomando todas as medidas necessárias para bloquear esse conteúdo”, alega Fowler sobre o banco de dados.
Henry Ajder, um especialista em deepfake e fundador da consultoria Latent Space Advisory, diz que mesmo que a criação de conteúdo prejudicial e ilegal não fosse permitida pela empresa, a marcação do site – referindo-se à criação de imagens “sem restrições” e uma seção “NSFW” – indicava que poderia haver uma “clara associação com conteúdo íntimo sem medidas de segurança”.
Ajder diz que está surpreso que o site em inglês estivesse vinculado a uma entidade sul-coreana. No ano passado, o país foi atormentado por uma “emergência” de deepfake não consensual que visava meninas, antes de tomar medidas para combater a onda de abuso de deepfake. Ajder diz que mais pressão precisa ser exercida sobre todas as partes do ecossistema que permitem que imagens não consensuais sejam geradas usando IA. “Quanto mais disso vemos, mais isso força a questão sobre legisladores, plataformas de tecnologia, empresas de hospedagem na web, provedores de pagamento. Todas as pessoas que, de alguma forma, estão, consciente ou inconscientemente – na maioria das vezes inconscientemente – facilitando e permitindo que isso aconteça”, diz ele.
Fowler diz que o banco de dados também expôs arquivos que pareciam incluir prompts de IA. Nenhum dado de usuário, como logins ou nomes de usuário, estava incluído nos dados expostos, diz o pesquisador. Capturas de tela de prompts mostram o uso de palavras como “pequena”, “menina” e referências a atos sexuais entre membros da família. Os prompts também continham atos sexuais entre celebridades.
“Parece-me que a tecnologia avançou mais rápido do que quaisquer diretrizes ou controles”, diz Fowler. “Do ponto de vista legal, todos sabemos que imagens explícitas de crianças são ilegais, mas isso não impediu a tecnologia de ser capaz de gerar essas imagens.”
À medida que os sistemas de IA generativa melhoraram drasticamente a facilidade de criar e modificar imagens nos últimos dois anos, houve uma explosão de CSAM gerado por IA. “Páginas da web contendo material de abuso sexual infantil gerado por IA aumentaram mais de quatro vezes desde 2023, e o fotorealismo desse conteúdo horrível também saltou em sofisticação”, diz Derek Ray-Hill, o CEO interino da Internet Watch Foundation (IWF), uma organização sem fins lucrativos com sede no Reino Unido que combate o CSAM online.
A IWF documentou como criminosos estão criando cada vez mais CSAM gerado por IA e desenvolvendo os métodos que usam para criá-lo. “Atualmente, é simplesmente fácil demais para os criminosos usarem IA para gerar e distribuir conteúdo sexualmente explícito de crianças em escala e velocidade”, diz Ray-Hill.