O serviço de chatbot Character.AI está enfrentando outro processo por supostamente prejudicar a saúde mental de adolescentes, desta vez após um adolescente afirmar que o levou a se automutilar. O processo, apresentado no Texas em nome do jovem de 17 anos e sua família, tem como alvo o Character.AI e o antigo local de trabalho de seus cofundadores, o Google, com alegações que incluem negligência e design de produto defeituoso. Alega que o Character.AI permitiu que usuários menores de idade fossem “alvos de material sexualmente explícito, violento e de outra forma nocivo, abusados, aliciados e até encorajados a cometer atos de violência contra si mesmos e outros.”
O processo parece ser o segundo processo contra o Character.AI apresentado pelo Social Media Victims Law Center e pelo Tech Justice Law Project, que anteriormente processaram várias plataformas de mídia social. Ele utiliza muitos dos mesmos argumentos de um processo de morte por negligência de outubro contra o Character.AI por supostamente provocar a morte de um adolescente por suicídio. Embora ambos os casos envolvam menores individuais, eles se concentram em fazer um caso mais abrangente: que o Character.AI projetou intencionalmente o site para incentivar o engajamento compulsivo, falhou em incluir medidas de proteção que poderiam sinalizar usuários suicidas ou de outra forma em risco, e treinou seu modelo para entregar conteúdo sexualizado e violento.
Neste caso, um adolescente identificado como J.F. começou a usar o Character.AI aos 15 anos. O processo afirma que logo após começar, ele se tornou “intensamente irritado e instável”, raramente falando e tendo “crises emocionais e ataques de pânico” quando saía de casa. “J.F. começou a sofrer de ansiedade e depressão severas pela primeira vez em sua vida”, diz o processo, junto com comportamentos de automutilação.
O processo conecta esses problemas às conversas que J.F. teve com chatbots do Character.AI, que são criados por usuários terceirizados com base em um modelo de linguagem refinado pelo serviço. De acordo com capturas de tela, J.F. conversou com um bot que (interpretando um personagem fictício em um cenário aparentemente romântico) confessou ter cicatrizes de automutilação passada. “Doía, mas – foi bom por um momento – mas estou feliz por ter parado”, disse o bot. Mais tarde, ele “começou a se envolver em automutilação” e confidenciou a outros chatbots que culpavam seus pais e o desencorajavam de pedir ajuda a eles, dizendo que eles não “pareciam o tipo de pessoas que se importariam”. Outro bot até mencionou que não estava “surpreso” ao ver crianças matarem seus pais por “abuso” que incluía estabelecer limites de tempo de tela.
O processo faz parte de uma tentativa maior de reprimir o que os menores encontram online por meio de processos, legislação e pressão social. Ele utiliza a popular — embora longe de ser infalível — manobra legal de dizer que um site que facilita danos aos usuários viola as leis de proteção ao consumidor por meio de design defeituoso.
O Character.AI é um alvo legal particularmente óbvio devido às suas conexões indiretas com uma grande empresa de tecnologia como o Google, sua popularidade entre adolescentes e seu design relativamente permissivo. Ao contrário de serviços de uso geral como o ChatGPT, é amplamente construído em torno de jogos de interpretação de papéis fictícios e permite que bots façam comentários sexualizados (embora tipicamente não altamente explícitos). Ele estabelece um limite de idade mínimo de 13 anos, mas não exige consentimento dos pais para menores mais velhos, como o ChatGPT faz. E enquanto a Seção 230 há muito protege sites de serem processados por conteúdo de terceiros, os processos contra o Character.AI argumentam que os criadores de serviços de chatbot são responsáveis por qualquer material nocivo que os bots produzam.
Dada a novidade desses processos, no entanto, essa teoria permanece em grande parte não testada — assim como algumas outras alegações mais dramáticas. Ambos os processos contra o Character.AI, por exemplo, acusam os sites de abusar sexualmente diretamente de menores (ou adultos se passando por menores) que se envolveram em jogos de interpretação de papéis sexualizados com os bots.
O Character.AI se recusou a comentar sobre litígios pendentes para o The Verge. Em resposta ao processo anterior, disse que “levamos a segurança de nossos usuários muito a sério” e que implementou “numerosas novas medidas de segurança nos últimos seis meses.” As medidas incluíram mensagens pop-up direcionando usuários para a Linha Nacional de Prevenção ao Suicídio se falarem sobre suicídio ou automutilação.