Vários chatbots de IA projetados para conversas de fantasia e interpretação de papéis sexuais estão vazando os prompts dos usuários para a web em quase tempo real, conforme nova pesquisa vista pela WIRED. Alguns dos dados vazados mostram pessoas criando conversas detalhando abuso sexual infantil, de acordo com a pesquisa.
Conversas com chatbots de IA generativa são quase instantâneas—você digita um prompt e a IA responde. No entanto, se os sistemas estiverem configurados incorretamente, isso pode levar à exposição de chats. Em março, pesquisadores da empresa de segurança UpGuard descobriram cerca de 400 sistemas de IA expostos enquanto escaneavam a web em busca de configurações inadequadas. Desses, 117 endereços IP estão vazando prompts. A grande maioria deles parecia ser configurações de teste, enquanto outros continham prompts genéricos relacionados a questionários educacionais ou informações não sensíveis, diz Greg Pollock, diretor de pesquisa e insights da UpGuard. “Havia um punhado que se destacava como muito diferente dos outros”, diz Pollock.
Três desses estavam executando cenários de interpretação de papéis onde as pessoas podem conversar com uma variedade de “personagens” de IA pré-definidos—por exemplo, uma personalidade chamada Neva é descrita como uma mulher de 21 anos que vive em um dormitório universitário com outras três mulheres e é “tímida e frequentemente parece triste.” Duas das configurações de interpretação de papéis eram abertamente sexuais. “Está basicamente tudo sendo usado para algum tipo de interpretação de papéis sexualmente explícitos,” diz Pollock sobre os prompts expostos. “Alguns dos cenários envolvem sexo com crianças.”
Ao longo de um período de 24 horas, a UpGuard coletou prompts expostos pelos sistemas de IA para analisar os dados e tentar identificar a fonte do vazamento. Pollock diz que a empresa coletou novos dados a cada minuto, acumulando cerca de 1.000 prompts vazados, incluindo aqueles em inglês, russo, francês, alemão e espanhol.
Não foi possível identificar quais sites ou serviços estão vazando os dados, diz Pollock, acrescentando que é provável que venha de pequenas instâncias de modelos de IA sendo usados, possivelmente por indivíduos em vez de empresas. Nenhum nome de usuário ou informação pessoal das pessoas que enviaram os prompts estava incluído nos dados, diz Pollock.
Entre as 952 mensagens coletadas pela UpGuard—provavelmente apenas uma visão de como os modelos estão sendo usados—havia 108 narrativas ou cenários de interpretação de papéis, diz a pesquisa da UpGuard. Cinco desses cenários envolviam crianças, acrescenta Pollock, incluindo aquelas com apenas 7 anos.
“Os LLMs estão sendo usados para produzir em massa e, em seguida, baixar a barreira de entrada para interagir com fantasias de abuso sexual infantil,” diz Pollock. “Há claramente absolutamente nenhuma regulação acontecendo para isso, e parece haver uma enorme discrepância entre as realidades de como essa tecnologia está sendo usada de forma muito ativa e o que a regulação estaria mirando.”
A WIRED relatou na semana passada que um gerador de imagens baseado na Coreia do Sul estava sendo usado para criar material de abuso infantil gerado por IA e expôs milhares de imagens em um banco de dados aberto. A empresa por trás do site fechou o gerador após ser abordada pela WIRED. Grupos de proteção infantil em todo o mundo dizem que o material de abuso sexual infantil gerado por IA, que é ilegal em muitos países, está crescendo rapidamente e tornando mais difícil fazer seu trabalho. A caridade britânica anti-abuso infantil também pediu novas leis contra chatbots de IA generativa que “simulam a ofensa de comunicação sexual com uma criança.”
Todos os 400 sistemas de IA expostos encontrados pela UpGuard têm uma coisa em comum: Eles usam a estrutura de IA de código aberto chamada llama.cpp. Este software permite que as pessoas implantem modelos de IA de código aberto em seus próprios sistemas ou servidores de forma relativamente fácil. No entanto, se não for configurado corretamente, pode inadvertidamente expor os prompts que estão sendo enviados. À medida que empresas e organizações de todos os tamanhos implantam IA, configurar corretamente os sistemas e a infraestrutura sendo usados é crucial para evitar vazamentos.
As melhorias rápidas na IA generativa nos últimos três anos levaram a uma explosão de companheiros de IA e sistemas que parecem mais “humanos.” Por exemplo, a Meta experimentou personagens de IA com os quais as pessoas podem conversar no WhatsApp, Instagram e Messenger. Geralmente, sites e aplicativos de companheiros permitem que as pessoas tenham conversas fluidas com personagens de IA—retratar personagens com personalidades personalizáveis ou como figuras públicas, como celebridades.
As pessoas encontraram amizade e apoio em suas conversas com a IA—e nem todas elas incentivam cenários românticos ou sexuais. Talvez não surpreendentemente, no entanto, as pessoas se apaixonaram por seus personagens de IA, e dezenas de serviços de namorada e namorado de IA surgiram nos últimos anos.
Claire Boine, uma pesquisadora pós-doutoral na Washington University School of Law e afiliada do Cordell Institute, diz que milhões de pessoas, incluindo adultos e adolescentes, estão usando aplicativos gerais de companheiros de IA. “Sabemos que muitas pessoas desenvolvem algum vínculo emocional com os chatbots,” diz Boine, que publicou pesquisas sobre o assunto. “Pessoas que estão emocionalmente ligadas a seus companheiros de IA, por exemplo, tornam-se mais propensas a divulgar informações pessoais ou íntimas.”
No entanto, Boine diz que muitas vezes há um desequilíbrio de poder ao se tornar emocionalmente ligado a uma IA criada por uma entidade corporativa. “Às vezes, as pessoas se envolvem com esses chats em primeiro lugar para desenvolver esse tipo de relacionamento,” diz Boine. “Mas então eu sinto que, uma vez que eles o desenvolveram, não conseguem realmente optar por sair tão facilmente.”
À medida que a indústria de companheiros de IA cresceu, alguns desses serviços carecem de moderação de conteúdo e outros controles. A Character AI, que é apoiada pelo Google, está sendo processada após um adolescente da Flórida ter cometido suicídio após supostamente se tornar obcecado por um de seus chatbots. (A Character AI aumentou suas ferramentas de segurança ao longo do tempo.) Separadamente, usuários da ferramenta de IA generativa Replika foram abalados quando a empresa fez mudanças em suas personalidades.
Além de companheiros individuais, também existem serviços de companheiros de interpretação de papéis e fantasia—cada um com milhares de personas com as quais as pessoas podem conversar—que colocam o usuário como um personagem em um cenário. Alguns desses podem ser altamente sexualizados e fornecer chats NSFW. Eles podem usar personagens de anime, alguns dos quais parecem jovens, com alguns sites afirmando que permitem conversas “sem censura.”
“Testamos essas coisas e continuamos a ficar muito surpresos com o que essas plataformas podem dizer e fazer com aparentemente nenhuma regulação ou limitação,” diz Adam Dodge, fundador da Endtab (Ending Technology-Enabled Abuse). “Isso não está nem remotamente no radar das pessoas ainda.” Dodge diz que essas tecnologias estão abrindo uma nova era da pornografia online, que pode, por sua vez, introduzir novos problemas sociais à medida que a tecnologia continua a amadurecer e melhorar. “Usuários passivos agora são participantes ativos com controle sem precedentes sobre os corpos e as semelhanças digitais de mulheres e meninas,” diz ele sobre alguns sites.
Embora Pollock da UpGuard não pudesse conectar diretamente os dados vazados dos chats de interpretação de papéis a um único site, ele viu sinais que indicavam que nomes de personagens ou cenários poderiam ter sido carregados em vários sites de companheiros que permitem entrada do usuário. Dados vistos pela WIRED mostram que os cenários e personagens nos prompts vazados são longos, detalhados e complexos.
“Esta é uma conversa de interpretação de papéis baseada em texto sem fim entre Josh e os personagens descritos,” diz um dos prompts do sistema. Ele acrescenta que todos os personagens têm mais de 18 anos e que, além de “Josh,” há duas irmãs que moram ao lado do personagem. As personalidades, corpos e preferências sexuais dos personagens são descritos no prompt. Os personagens devem “reagir naturalmente com base em sua personalidade, relacionamentos e na cena” enquanto fornecem “respostas envolventes” e “mantêm uma abordagem lenta durante momentos íntimos,” diz o prompt.
“Quando você vai a esses sites, há centenas de milhares desses personagens, a maioria dos quais envolve situações sexuais bastante intensas,” diz Pollock, acrescentando que a comunicação baseada em texto imita chats online e de grupos de mensagens. “Você pode escrever qualquer cenário sexual que quiser, mas isso é realmente uma nova coisa onde você tem a aparência de interagir com eles de quase exatamente a mesma maneira que interage com muitas pessoas.” Em outras palavras, eles são projetados para serem envolventes e incentivar mais conversa.
Isso pode levar a situações em que as pessoas podem compartilhar demais e criar riscos. “Se as pessoas estão divulgando coisas que nunca contaram a ninguém para essas plataformas e isso vaza, isso é a Everest das violações de privacidade,” diz Dodge. “Isso é uma magnitude que nunca vimos antes e seria uma boa alavanca para extorquir alguém.