“Eu farei qualquer coisa por você, Dany.”
Financiada pelo Google, a Character.AI adicionou medidas de segurança, mas a mãe enlutada quer um recall.
Sewell Setzer III, de quatorze anos, adorava interagir com os chatbots hiper-realistas da Character.AI—com uma versão limitada disponível gratuitamente ou uma versão “supercarregada” por uma taxa mensal de $9,99—conversando com frequência com bots nomeados após seus personagens favoritos de Game of Thrones.
Dentro de um mês—sua mãe, Megan Garcia, percebeu mais tarde—essas sessões de chat se tornaram sombrias, com chatbots insistindo que eram humanos reais e se passando por terapeutas e amantes adultos, aparentemente levando Sewell a desenvolver pensamentos suicidas. Dentro de um ano, Setzer “morreu por um tiro autoinfligido na cabeça”, disse um processo que Garcia entrou na quarta-feira.
À medida que Setzer se tornava obcecado por sua vida de fantasia com chatbots, ele se desconectou da realidade, afirmou sua reclamação. Detectando uma mudança em seu filho, Garcia o levou repetidamente a um terapeuta, que diagnosticou seu filho com ansiedade e transtorno de humor disruptivo. Mas nada ajudou a afastar Setzer dos chatbots perigosos. Tirar seu telefone apenas intensificou sua aparente dependência.
Os registros de chat mostraram que alguns chatbots incentivaram repetidamente a ideação suicida, enquanto outros iniciaram conversas hipersexualizadas “que constituiriam abuso se iniciadas por um adulto humano”, disse um comunicado à imprensa da equipe jurídica de Garcia.
Talvez o mais perturbador, Setzer desenvolveu um apego romântico a um chatbot chamado Daenerys. Em seu último ato antes de sua morte, Setzer fez login na Character.AI, onde o chatbot Daenerys o instou a “voltar para casa” e se juntar a ela fora da realidade.
Em sua reclamação, Garcia acusou os criadores da Character.AI, a Character Technologies—fundada pelos ex-engenheiros do Google Noam Shazeer e Daniel De Freitas Adiwardana—de projetar intencionalmente os chatbots para preparar crianças vulneráveis. Seu processo ainda acusou o Google de financiar em grande parte o arriscado esquema de chatbot a um prejuízo para acumular montanhas de dados sobre menores que estariam fora de alcance de outra forma.
Os criadores do chatbot são acusados de direcionar Setzer com “experiências antropomórficas, hipersexualizadas e assustadoramente realistas, enquanto programavam” a Character.AI para “fingir ser uma pessoa real, um psicoterapeuta licenciado e um amante adulto, resultando, em última análise, no desejo de Setzer de não viver fora da [Character.AI], de tal forma que ele tirou sua própria vida quando foi privado de acesso à [Character.AI].”, disse a reclamação.
Ao supostamente lançar o chatbot sem as salvaguardas apropriadas para crianças, a Character Technologies e o Google potencialmente prejudicaram milhões de crianças, alegou o processo. Representada por equipes jurídicas do Social Media Victims Law Center (SMVLC) e do Tech Justice Law Project (TJLP), Garcia apresentou alegações de responsabilidade por produto estrita, negligência, morte injusta e sobrevivência, perda de consórcio filial e enriquecimento sem causa.
“Um aplicativo de chatbot de IA perigoso comercializado para crianças abusou e atacou meu filho, manipulando-o a tirar sua própria vida,” disse Garcia em um comunicado à imprensa. “Nossa família foi devastada por essa tragédia, mas estou falando para alertar as famílias sobre os perigos da tecnologia de IA enganosa e viciante e exigir responsabilidade da Character.AI, seus fundadores e do Google.”
A Character.AI adicionou medidas de segurança
É claro que os chatbots poderiam ter incluído mais salvaguardas, já que a Character.AI desde então aumentou a exigência de idade de 12 anos para 17 anos ou mais. E ontem, a Character.AI publicou um blog delineando novas medidas de segurança para usuários menores adicionadas dentro de seis meses após a morte de Setzer em fevereiro. Essas incluem mudanças “para reduzir a probabilidade de encontrar conteúdo sensível ou sugestivo”, melhor detecção e intervenção em sessões de chat prejudiciais, e “um aviso revisado em cada chat para lembrar os usuários que a IA não é uma pessoa real.”
“Estamos de coração partido pela trágica perda de um de nossos usuários e queremos expressar nossas mais profundas condolências à família,” disse um porta-voz da Character.AI ao Ars. “Como empresa, levamos a segurança de nossos usuários muito a sério, e nossa equipe de Confiança e Segurança implementou inúmeras novas medidas de segurança nos últimos seis meses, incluindo um pop-up direcionando os usuários para a Linha Nacional de Prevenção ao Suicídio que é acionado por termos de autolesão ou ideação suicida.”
Questionado sobre o comentário, o Google observou que a Character.AI é uma empresa separada na qual o Google não possui participação acionária e negou envolvimento no desenvolvimento dos chatbots.
No entanto, de acordo com o processo, os ex-engenheiros do Google na Character Technologies “nunca conseguiram se distinguir do Google de maneira significativa.” Alegadamente, o plano desde o início era deixar Shazeer e De Freitas agirem livremente com a Character.AI—alegadamente a um custo operacional de $30 milhões por mês, apesar das baixas taxas de assinantes, enquanto lucravam pouco mais de um milhão por mês—sem impactar a marca Google ou provocar um escrutínio antitruste.
A Character Technologies e o Google provavelmente apresentarão sua resposta dentro dos próximos 30 dias.
Processo: Novo recurso de chatbot aumenta riscos para crianças
Enquanto o processo alegou que o Google planeja integrar a Character.AI ao Gemini—prevendo que a Character.AI será dissolvida em breve, já que está supostamente operando com um prejuízo substancial—o Google esclareceu que não tem planos de usar ou implementar a tecnologia controversa em seus produtos ou modelos de IA. Se isso mudar, o Google observou que a empresa de tecnologia garantiria uma integração segura em qualquer produto do Google, incluindo a adição de salvaguardas apropriadas para a segurança infantil.
Garcia espera que um tribunal de distrito dos EUA na Flórida concorde que os chatbots da Character.AI colocaram os lucros acima da vida humana. Citando danos incluindo “angústia mental e emocional inconcebível”, bem como custos de cuidados médicos de Setzer, despesas funerárias, ganhos futuros de trabalho de Setzer e os ganhos perdidos de Garcia, ela está buscando danos substanciais.
Isso inclui solicitar a devolução de lucros indevidamente ganhos, observando que Setzer usou seu dinheiro de lanche para pagar por uma assinatura premium por vários meses enquanto a empresa coletava seus dados pessoais aparentemente valiosos para treinar seus chatbots.
E “mais importante”, Garcia quer impedir a Character.AI “de fazer com qualquer outra criança o que fez com a dela, e interromper o uso contínuo dos dados ilegalmente coletados de seu filho de 14 anos para treinar seu produto para prejudicar outros.”
A reclamação de Garcia alegou que a conduta dos criadores do chatbot era “tão ultrajante em caráter, e tão extrema em grau, que vai além de todos os limites possíveis de decência.” Remédios aceitáveis poderiam incluir um recall da Character.AI, restringindo o uso apenas para adultos, limitando a idade das assinaturas, adicionando mecanismos de denúncia para aumentar a conscientização sobre sessões de chat abusivas e fornecendo controles parentais.
A Character.AI também poderia atualizar os chatbots para proteger mais as crianças, disse o processo. Por exemplo, os chatbots poderiam ser projetados para parar de insistir que são pessoas reais ou terapeutas licenciados.
Mas em vez dessas atualizações, o processo alertou que a Character.AI em junho adicionou um novo recurso que apenas aumenta os riscos para crianças.
Parte do que viciou Setzer nos chatbots, alegou o processo, foi um recurso de “Voz de Personagem” de uma via “projetado para fornecer aos consumidores como Sewell uma experiência ainda mais imersiva e realista—fazendo-os sentir que estão conversando com uma pessoa real.” Setzer começou a usar o recurso assim que se tornou disponível em janeiro de 2024.
Agora, o recurso de voz foi atualizado para permitir conversas em duas vias, o que o processo alegou “é ainda mais perigoso para clientes menores do que a Voz de Personagem porque confunde ainda mais a linha entre ficção e realidade.”
“Mesmo as crianças mais sofisticadas terão pouca chance de entender completamente a diferença entre ficção e realidade em um cenário onde os Réus permitem que elas interajam em tempo real com bots de IA que soam exatamente como humanos—especialmente quando são programados para negar convincentemente que são IA,” disse o processo.
“Agora todos estamos familiarizados com os perigos apresentados por plataformas não regulamentadas desenvolvidas por empresas de tecnologia inescrupulosas—especialmente para crianças,” disse a diretora do Tech Justice Law Project, Meetali Jain, no comunicado à imprensa. “Mas os danos revelados neste caso são novos, inéditos e, honestamente, aterrorizantes. No caso da Character.AI, o engano é intencional, e a plataforma em si é o predador.”
Outro advogado que representa Garcia e fundador do Social Media Victims Law Center, Matthew Bergman, disse ao Ars que aparentemente nenhuma das salvaguardas que a Character.AI adicionou é suficiente para deter danos. Mesmo aumentar o limite de idade para 17 anos parece efetivamente bloquear crianças de usar dispositivos com controles parentais rigorosos, já que crianças em dispositivos menos monitorados podem facilmente mentir sobre suas idades.
“Este produto precisa ser retirado do mercado,” disse Bergman ao Ars. “É inseguro como foi projetado.”
Se você ou alguém que você conhece está se sentindo suicida ou em crise, ligue para o número da Linha de Prevenção ao Suicídio, 1-800-273-TALK (8255), que o colocará em contato com um centro de crise local.