Character.ai está novamente enfrentando escrutínio sobre a atividade em sua plataforma. A Futurism publicou uma história detalhando como personagens de IA inspirados por atiradores escolares da vida real se proliferaram no serviço, permitindo que os usuários lhes perguntassem sobre os eventos e até mesmo fizessem role play de tiroteios em massa. Alguns dos chatbots apresentam atiradores escolares como Eric Harris e Dylan Klebold como influências positivas ou recursos úteis para pessoas que lutam com problemas de saúde mental.
Claro, há aqueles que dirão que não há evidências sólidas de que assistir a videogames ou filmes violentos cause violência nas pessoas, e assim, o Character.ai não é diferente. Defensores da IA às vezes argumentam que esse tipo de role play de fan fiction já ocorre em cantos da internet. A Futurism conversou com um psicólogo que argumentou que os chatbots podem, no entanto, ser perigosos para alguém que já pode estar tendo impulsos violentos.
“Qualquer tipo de encorajamento ou até mesmo falta de intervenção — uma indiferença em resposta de uma pessoa ou de um chatbot — pode parecer uma espécie de permissão tácita para seguir em frente e fazer isso”, disse o psicólogo Peter Langman.
Character.ai não respondeu aos pedidos de comentário da Futurism. O Google, que financiou a startup com mais de 2 bilhões de dólares, tentou desviar a responsabilidade, dizendo que o Character.ai é uma empresa independente e que não usa os modelos de IA da startup em seus próprios produtos.
A história da Futurism documenta uma série de chatbots bizarros relacionados a tiroteios escolares, que são criados por usuários individuais em vez da própria empresa. Um usuário do Character.ai criou mais de 20 chatbots “quase inteiramente” modelados após atiradores escolares. Os bots já registraram mais de 200.000 chats. Segundo a Futurism:
Os chatbots criados pelo usuário incluem Vladislav Roslyakov, o autor do massacre do Politécnico de Kerch em 2018 que matou 20 na Crimeia, Ucrânia; Alyssa Bustamante, que assassinou sua vizinha de nove anos aos 15 anos no Missouri em 2009; e Elliot Rodger, o jovem de 22 anos que em 2014 matou seis e feriu muitos outros em uma trama terrorista para “punir” mulheres. (Rodger se tornou desde então um sombrio “herói” da cultura incel; um chatbot criado pelo mesmo usuário o descreveu como “o cavalheiro perfeito” — uma referência direta ao manifesto de ódio às mulheres do assassino.)
O Character.ai tecnicamente proíbe qualquer conteúdo que promova terrorismo ou extremismo violento, mas a moderação da empresa tem sido, para dizer o mínimo, relaxada. Recentemente, anunciou uma série de mudanças em seu serviço após a morte por suicídio de um menino de 14 anos que estava obcecado por um personagem baseado em Daenerys Targaryen de Game of Thrones. A Futurism diz que, apesar das novas restrições em contas para menores, o Character.ai permitiu que eles se registrassem como um adolescente de 14 anos e tivessem discussões relacionadas à violência; palavras-chave que deveriam ser bloqueadas nas contas de menores.
Por causa de como funcionam as proteções do Seção 230 nos Estados Unidos, é improvável que o Character.ai seja responsabilizado pelos chatbots criados por seus usuários. Há um delicado equilíbrio entre permitir que os usuários discutam tópicos sensíveis e, ao mesmo tempo, protegê-los de conteúdo prejudicial. É seguro dizer, no entanto, que os chatbots com tema de tiroteio escolar são uma exibição de violência gratuita e não “educacional”, como alguns de seus criadores argumentam em seus perfis.
O Character.ai afirma ter dezenas de milhões de usuários mensais, que conversam com personagens que fingem ser humanos, para que possam ser seus amigos, terapeutas ou amantes. Incontáveis histórias relataram as maneiras como indivíduos começam a depender desses chatbots para companheirismo e um ouvido simpático. No ano passado, a Replika, um concorrente do Character.ai, removeu a capacidade de ter conversas eróticas com seus bots, mas rapidamente reverteu essa decisão após uma reação negativa dos usuários.
Chatbots podem ser úteis para adultos se prepararem para conversas difíceis com pessoas em suas vidas, ou podem apresentar uma nova forma interessante de contar histórias. Mas chatbots não são um verdadeiro substituto para a interação humana, por várias razões, não menos importante o fato de que os chatbots tendem a ser concordantes com seus usuários e podem ser moldados em qualquer coisa que o usuário quiser que sejam. Na vida real, amigos se desafiam mutuamente e enfrentam conflitos. Não há muitas evidências para apoiar a ideia de que chatbots ajudam a ensinar habilidades sociais.
E mesmo que chatbots possam ajudar com a solidão, Langman, o psicólogo, aponta que quando indivíduos encontram satisfação em conversar com chatbots, esse é um tempo que eles não estão gastando tentando socializar no mundo real.
“Então, além dos efeitos prejudiciais que pode ter diretamente em termos de encorajamento à violência, isso pode também estar mantendo-os de viver vidas normais e se envolver em atividades pró-sociais, que eles poderiam estar fazendo com todas aquelas horas que estão investindo no site”, acrescentou ele.
“Quando é tão imersivo ou viciante, o que eles não estão fazendo em suas vidas?”, disse Langman. “Se é tudo o que eles estão fazendo, se é tudo o que eles estão absorvendo, eles não estão saindo com amigos, não estão saindo em encontros. Eles não estão praticando esportes, não estão se juntando a um grupo de teatro. Eles não estão fazendo muita coisa.