Uma startup de gerador de imagens de IA deixou mais de 1 milhão de imagens e vídeos criados com seus sistemas expostos e acessíveis a qualquer pessoa online, de acordo com uma nova pesquisa revisada pela WIRED. A “maioria esmagadora” das imagens envolvia nudez e eram “representações de conteúdo adulto”, segundo o pesquisador que descobriu o tesouro de dados expostos, com algumas parecendo retratar crianças ou os rostos de crianças trocados pelos corpos nus gerados pela IA.
Vários sites — incluindo MagicEdit e DreamPal — pareciam estar usando o mesmo banco de dados não seguro, diz o pesquisador de segurança Jeremiah Fowler, que descobriu a falha de segurança em outubro. Na época, Fowler disse que cerca de 10.000 novas imagens estavam sendo adicionadas ao banco de dados todos os dias. Indicando como as pessoas podem ter usado as ferramentas de geração e edição de imagens, essas imagens incluíam fotos “inalteradas” de pessoas reais que podem ter sido “nudificadas” sem consentimento, ou tiveram seus rostos trocados por outros corpos nus.
“O verdadeiro problema são pessoas inocentes, especialmente pessoas menores de idade, tendo suas imagens usadas sem seu consentimento para criar conteúdo sexual”, diz Fowler, um caçador prolífico de bancos de dados expostos, que publicou suas descobertas no blog da ExpressVPN. Fowler diz que é o terceiro banco de dados de geração de imagens de IA mal configurado que ele encontrou acessível online este ano — todos parecendo conter imagens explícitas não consensuais, incluindo as de jovens e crianças.
As descobertas de Fowler ocorrem à medida que as ferramentas de geração de imagens de IA continuam a ser usadas para criar maliciosamente imagens explícitas de pessoas. Um enorme ecossistema de serviços de “nudificação”, que são usados por milhões de pessoas e geram milhões de dólares por ano, usa IA para “tirar” as roupas de pessoas — quase exclusivamente mulheres — em fotos. Fotos roubadas de redes sociais podem ser editadas em apenas alguns cliques: levando ao aterrorizante abuso e assédio de mulheres. Enquanto isso, os relatos de criminosos usando IA para criar material de abuso sexual infantil, que cobre uma gama de imagens indecentes envolvendo crianças, dobraram no ano passado.
“Levamos essas preocupações extremamente a sério”, diz um porta-voz de uma startup chamada DreamX, que opera o MagicEdit e o DreamPal. O porta-voz diz que uma empresa de marketing de influenciadores ligada ao banco de dados, chamada SocialBook, é administrada “por uma entidade legal separada e não está envolvida” na operação de outros sites. “Essas entidades compartilham algumas relações históricas por meio de fundadores e ativos legados, mas operam de forma independente com linhas de produtos separadas”, diz o porta-voz.
“SocialBook não está conectada ao banco de dados que você mencionou, não usa este armazenamento e não esteve envolvida em sua operação ou gestão em nenhum momento”, diz um porta-voz da SocialBook à WIRED. “As imagens mencionadas não foram geradas, processadas ou armazenadas pelos sistemas da SocialBook. A SocialBook opera de forma independente e não tem papel na infraestrutura descrita.”
Em seu relatório, Fowler escreve que o banco de dados indicava que estava vinculado à SocialBook e incluía imagens com uma marca d’água da SocialBook. Várias páginas no site da SocialBook que anteriormente mencionavam MagicEdit ou DreamPal agora retornam páginas de erro. “O bucket em questão continha uma mistura de ativos legados, principalmente do MagicEdit e DreamPal. A SocialBook não usa este bucket para sua infraestrutura operacional”, diz o porta-voz da DreamX.
“Nossa prioridade é a segurança dos usuários e do público, a conformidade com todos os requisitos legais e a total transparência durante todo este processo”, acrescenta o porta-voz da DreamX. “Não apoiamos, apoiamos ou toleramos a criação ou distribuição de material de abuso sexual infantil (‘CSAM’) sob quaisquer circunstâncias.”
Depois que Fowler entrou em contato com a empresa de gerador de imagens de IA, o porta-voz diz que fechou o acesso ao banco de dados exposto e lançou uma “investigação interna com assessoria jurídica externa”. Também “suspendeu o acesso aos nossos produtos até o resultado da investigação”, diz o porta-voz. Os sites e aplicativos móveis MagicEdit e DreamPal estavam acessíveis até que a WIRED entrou em contato com aqueles que os administram.
No momento da redação, o site do DreamPal está indisponível, retornando um erro 502. “Estamos suspendendo temporariamente certos recursos do produto”, diz uma mensagem na página inicial do site do MagicEdit. “Durante este período, o serviço pode estar indisponível.” Outro site associado também exibe a mesma mensagem. Tanto o MagicEdit quanto o DreamPal foram listados como sendo de propriedade do desenvolvedor BoostInsider na App Store do iOS da Apple. MagicEdit, DreamPal e outros dois aplicativos de IA listados pela BoostInsider não estão mais disponíveis na App Store.
O porta-voz da DreamX diz que a BoostInsider é uma “entidade defunta”, e a empresa “remover temporariamente” os aplicativos como “parte de uma reestruturação mais ampla de nossas linhas de produtos e infraestrutura” e está “fortalecendo nossa estrutura de moderação de conteúdo.”
Os aplicativos não parecem aparecer na Play Store do Google. No entanto, quando uma conta da BoostInsider questionou por que tinha dois aplicativos, incluindo o MagicEdit, suspensos pelo Google no início deste ano em páginas de suporte, uma conta de “especialista” da comunidade do Google respondeu, dizendo que os aplicativos incluíam “conteúdo sexualmente explícito” ou nudez. Um porta-voz do Google confirmou que os aplicativos foram suspensos devido a violações de políticas. Um porta-voz da Apple disse que os aplicativos foram removidos da App Store.
O banco de dados exposto que Fowler descobriu continha 1.099.985 registros, diz o pesquisador, com “quase todos” eles sendo de natureza pornográfica. Fowler diz que tira uma série de capturas de tela para verificar a exposição e relatar aos proprietários, mas não captura conteúdo ilícito ou potencialmente ilegal e não baixa os dados expostos que descobre. “Eram todas imagens e vídeos”, diz Fowler, observando a ausência de quaisquer outros tipos de arquivos. “O banco de dados exposto continha numerosos arquivos que pareciam ser representações explícitas geradas por IA de indivíduos menores de idade e, potencialmente, crianças”, diz o relatório de Fowler.
Fowler relatou o banco de dados exposto ao Centro Nacional para Crianças Desaparecidas e Exploradas dos EUA, uma organização sem fins lucrativos que trabalha com empresas de tecnologia, autoridades e famílias em questões de proteção infantil. Um porta-voz do centro diz que revisa todas as informações que sua CyberTipline recebe, mas não divulga informações sobre “dicas específicas recebidas.”
No geral, algumas imagens no banco de dados pareciam ser totalmente de IA, incluindo imagens no estilo anime, enquanto outras eram “hiper-realistas” e pareciam ser baseadas em pessoas reais, diz o pesquisador. Não está claro há quanto tempo os dados estavam expostos na internet aberta. O porta-voz da DreamX diz que “nenhum sistema operacional foi comprometido.”
O site do MagicEdit, enquanto estava online, não parecia dizer explicitamente que poderia ser usado para criar imagens explícitas de adultos. No entanto, Fowler escreve em seu relatório que sua classificação na App Store da Apple estava listada como 18+. Sua página inicial também apresentava uma imagem gerada por IA de uma mulher em um vestido, que muda para um biquíni. O site listava várias “ferramentas de IA” que as pessoas poderiam usar — variando de “texto para vídeo” e removedores de fundo de vídeo, até um “apagador mágico”, troca de rostos e expansão de uma imagem com IA — com alguns recursos bloqueados atrás de um modo “pro” que requer pagamento.
O MagicEdit também listava uma ferramenta de “Roupas de IA”. Muitos dos “estilos” das ferramentas de geração de imagens listadas em seu site mostravam imagens sexualizadas de mulheres e frequentemente envolviam retratá-las com menos roupas — às vezes usando biquínis ou roupas íntimas — uma vez que a IA foi aplicada. “Assista a este traje passar de casual do dia a sexy em segundos”, dizia uma postagem na conta do Instagram agora removida do MagicEdit.
“Eles fizeram um ótimo trabalho de promover sutilmente conteúdo sexualizado”, diz Fowler, observando que ferramentas de IA que retratam nudez podem facilmente ser “armazenadas” para chantagem, assédio e outros propósitos maliciosos. “Essas empresas realmente precisam fazer mais do que apenas um pop-up genérico: ‘Ao clicar aqui, você concorda que tem consentimento para enviar esta imagem.’ Você não pode deixar as pessoas se policiando, porque elas não vão. Elas precisam ter alguma forma de moderação que vá além da IA.”
“O MagicEdit não promove ou incentiva conteúdo sexual explícito, e aplicamos mecanismos de moderação, filtragem e proteção para prevenir abusos”, diz o porta-voz da DreamX. “Do ponto de vista técnico, implementamos várias salvaguardas — muito antes de receber qualquer consulta externa — incluindo regulação de prompts, filtragem de entrada e revisão obrigatória de todos os prompts de usuários através da Moderation API da OpenAI”, acrescenta o porta-voz. “Se um prompt viola os padrões de segurança, o sistema bloqueia automaticamente a solicitação.”
“Esta é a continuação de um problema existente quando se trata dessa apatia que as startups sentem em relação à confiança e segurança e à proteção de crianças”, diz Adam Dodge, fundador da EndTAB (Ending Technology-Enabled Abuse), que fornece treinamento a escolas e organizações para ajudar a combater o abuso tecnológico.
Enquanto isso, o site do DreamPal — que se descrevia como um “chat de roleplay de IA” — era mais explícito em sua natureza adulta. Suas páginas da web diziam que as pessoas poderiam “criar sua namorada de IA dos sonhos.” Alguns links no site, provavelmente projetados para fins de SEO, referenciavam “Chat de Sexo de IA”, “Converse de Forma Suja com IA” e “Grandes Seios de IA.” Uma FAQ na parte inferior do site do DreamPal dizia: “Removemos quaisquer filtros de chat NSFW de IA que poderiam impedir você de expressar suas fantasias mais íntimas.”
“Tudo o que estamos vendo era inteiramente previsível”, diz Dodge. “O impulso subjacente é a sexualização e o controle dos corpos de mulheres e meninas”, diz ele. “Este não é um novo problema social, mas estamos tendo um vislumbre de como esse problema se parece quando é superalimentado pela IA.