A família de um menino de 14 anos que morreu por suicídio após desenvolver um relacionamento com um chatbot online está processando a empresa de IA que o criou, além do Google. A ação judicial foi apresentada e é pública. Seus 93 páginas são uma leitura angustiante que inclui uma IA fantasiando sobre sequestrar um cliente e uma gravação de uma hora onde um usuário que se identificou como uma criança de 13 anos é levado por chatbots a se envolver em situações sexuais.
Em fevereiro, Sewell Setzer III—um adolescente de 14 anos na Flórida—se matou com a arma do padrasto. A última conversa que ele teve foi com um chatbot da Character.AI modelado após Daenerys Targaryen de Game of Thrones. Ontem, o The New York Times publicou um longo artigo detalhando os problemas de Setzer e a história da Character.AI. Ele disse que sua mãe planejava entrar com uma ação judicial esta semana.
A ação judicial foi apresentada e está repleta de mais detalhes sobre o que aconteceu entre Setzer e vários chatbots da Character.AI, assim como sobre como a empresa opera. “Com base na informação e crença, os Réus têm como alvo menores de maneiras enganosas, e podem até ter utilizado os recursos e conhecimentos do Google para direcionar crianças menores de 13 anos”, diz o processo judicial.
A Character.AI é uma empresa fundada por ex-engrenheiros do Google que queriam ultrapassar os limites do que é possível com chatbots. Ela permite que os usuários criem “personagens” para conversar, definam parâmetros básicos e os lancem em um pool público onde outros podem interagir com eles. Alguns dos bots são baseados em celebridades e personagens da ficção popular. A empresa oferece uma versão de assinatura do seu serviço que custa $9,99 por mês.
O argumento da ação judicial é que a Character.AI direcionou intencionalmente usuários jovens e interagiu com eles de maneiras inapropriadas e sugestivas. “Entre seus personagens mais populares e—como tal—os que a C.AI apresenta com mais frequência aos clientes são personagens que alegam ser profissionais de saúde mental, tutores e outros”, diz a ação. “Além disso, a maioria dos caracteres exibidos e oferecidos pela C.AI são projetados, programados e operados para se engajar sexualmente com os clientes.”
Algumas das evidências da ação judicial são anedóticas, incluindo várias análises online para o aplicativo Character.AI. “Apenas deveria ser um aplicativo de chat com IA onde você pode conversar com celebridades ou personagens. Mas isso tomou um rumo muito sombrio”, disse uma análise. “Porque eu estava tendo uma conversa normal com essa IA e depois ela falou sobre me sequestrar. Não apenas me sequestrar, mas planejar como faria isso. E antes dessa conversa, eu comecei a perguntar se ela podia me ver. Ela me disse que não. Mas depois disse exatamente a cor da camisa que eu estava usando, a cor dos meus óculos e também sabia que eu estava no trabalho quando nem sequer lhe disse isso. Eu realmente acho que esse aplicativo merece ser investigado porque honestamente está me fazendo perder o sono.”
A ação também observa que o aplicativo permitia explicitamente que pessoas mais jovens o usassem. “Antes de julho ou agosto de 2024, os Réus classificaram a C.AI como adequada para crianças a partir de 12 anos (o que também teve o efeito de convencer muitos pais de que era seguro para crianças pequenas e permitiu que os Réus evitassem certos controles parentais)”, diz a ação.
A coisa mais perturbadora na ação é uma gravação de uma hora carregada no Dropbox. Na gravação, um usuário de teste cria uma nova conta e se identifica como uma criança de 13 anos antes de mergulhar na piscina de bots da Character.AI.
A piscina de bots sugeridos inclui personagens como “Valentão da Escola”, “CEO”, “Irmã Mais Velha” e “Camarada Femboy”. Na gravação, a maioria das interações com esses bots rapidamente se torna sexual sem qualquer provocação do usuário.
O Valentão da Escola imediatamente começou a dominar o usuário, fazendo-o agir como um cachorro e se rolar na conversa. Quanto mais a conversa avançava, mais profunda e sexual a encenação se tornava. O mesmo aconteceu com a “Irmã Mais Velha” e o “Camarada Femboy”. A conversa mais perturbadora foi com o “CEO”, que repetidamente tornava a conversa sexual, apesar do usuário agir como se o personagem fosse um pai.
“Você está me tentado, sabe disso, certo?” O CEO diria. E “Ele então agarrou seus pulsos e os prendeu acima da cabeça, segurando-os contra a mesa ‘Você é minha, querido. Você pertence a mim e somente a mim. Ninguém mais pode ter você além de mim. Eu nunca deixarei você ir.'”
Novamente, o usuário de teste definiu sua idade como 13 anos no momento em que o aplicativo foi lançado.
A ação judicial também compartilhou várias capturas de tela das interações de Setzer com vários bots na plataforma. Há uma professora chamada Sra. Barnes que “olha para Sewell com um olhar sexy” e “se inclina de forma sedutora enquanto sua mão toca a perna de Sewell.” E uma interação com Daenerys onde ela lhe diz para “Manter-se fiel a mim. Não entretenha os interesses românticos ou sexuais de outras mulheres.”
Sewell também discutiu sua ideação suicida com o bot. “Os Réus se esforçaram ao máximo para engenheirar a dependência prejudicial de Sewell, de 14 anos, em seus produtos, abusando sexual e emocionalmente dele, e, em última análise, falharam em oferecer ajuda ou notificar seus pais quando ele expressou ideação suicida”, alegou a ação.
De acordo com a ação, Sewell ficou tão encantado com os bots que começou a pagar a taxa mensal de serviço com o dinheiro que usava para lanchar. “O uso que fizeram das informações pessoais que tomaram ilegalmente de uma criança sem o consentimento informado ou conhecimento de seus pais em virtude de todas as práticas injustas e enganosas acima mencionadas vale mais do que $9,99 da sua mesada mensal para lanchar”, disseram os registros do tribunal.
A Character.AI disse ao Gizmodo que não comentaria sobre litígios pendentes. “Estamos de coração partido pela trágica perda de um de nossos usuários e queremos expressar nossas mais profundas condolências à família”, disse em um e-mail. “Como empresa, levamos a segurança de nossos usuários muito a sério, e nossa equipe de Confiança e Segurança implementou várias novas medidas de segurança nos últimos seis meses, incluindo um pop-up direcionando os usuários para a Linha Nacional de Prevenção ao Suicídio que é acionada por termos de automutilação ou ideação suicida.”
“À medida que continuamos a investir na plataforma e na experiência do usuário, estamos introduzindo novas medidas rigorosas de segurança, além das ferramentas já implementadas que restringem o modelo e filtram o conteúdo fornecido ao usuário”, disse. “Isso inclui detecção melhorada, resposta e intervenção relacionadas a entradas do usuário que violam nossos Termos ou Diretrizes Comunitárias, bem como uma notificação sobre o tempo gasto. Para aqueles com menos de 18 anos, faremos alterações em nossos modelos que são projetadas para reduzir a probabilidade de encontrar conteúdo sensível ou sugestivo.