Uma ação judicial foi movida contra a Character.AI, seus fundadores Noam Shazeer e Daniel De Freitas, e o Google após a morte de um adolescente, alegando morte por negligência, práticas comerciais enganosas e responsabilidade pelo produto. Movida pela mãe do adolescente, Megan Garcia, a ação afirma que a plataforma de chatbots personalizados era “perigosamente inadequada” e carecia de medidas de segurança ao ser comercializada para crianças.
Como descrito na ação judicial, Sewell Setzer III, de 14 anos, começou a usar a Character.AI no ano passado, interagindo com chatbots modelados após personagens de Game of Thrones, incluindo Daenerys Targaryen. Setzer, que conversou continuamente com os bots nos meses anteriores à sua morte, morreu por suicídio em 28 de fevereiro de 2024, “segundos” após sua última interação com o bot.
As acusações incluem que o site “antropomorfiza” os personagens de IA e que os chatbots da plataforma oferecem “psicoterapia sem licença”. A Character.AI abriga chatbots focados em saúde mental, como “Terapeuta” e “Você Está Se Sentindo Sozinho”, com os quais Setzer interagiu.
Os advogados de Garcia citam Shazeer dizendo em uma entrevista que ele e De Freitas deixaram o Google para abrir sua própria empresa porque “existe muito risco de marca em grandes empresas para lançar algo divertido” e que ele queria “acelerar ao máximo” a tecnologia. Ele afirma que eles saíram após a empresa decidir não lançar o Meena LLM que haviam construído. O Google adquiriu a equipe de liderança da Character.AI em agosto.
O site e o aplicativo móvel da Character.AI têm centenas de chatbots personalizados, muitos modelados após personagens populares de programas de TV, filmes e videogames. Há alguns meses, o The Verge escreveu sobre os milhões de jovens, incluindo adolescentes, que compõem a maior parte de sua base de usuários, interagindo com bots que podem fingir ser Harry Styles ou um terapeuta. Um relatório recente da Wired destacou problemas com os chatbots personalizados da Character.AI imitando pessoas reais sem seu consentimento, incluindo um que se fazia passar por um adolescente que foi assassinado em 2006.
Devido à forma como chatbots como a Character.ai geram respostas que dependem do que o usuário insere, eles caem em um vale estranho de perguntas complicadas sobre conteúdo gerado por usuários e responsabilidade que, até agora, não possuem respostas claras.
A Character.AI agora anunciou várias mudanças na plataforma, com a chefe de comunicações, Chelsea Harrison, dizendo em um e-mail ao The Verge: “Estamos de coração partido pela trágica perda de um de nossos usuários e queremos expressar nossas mais profundas condolências à família.”
Algumas das mudanças incluem:
Mudanças em nossos modelos para menores (menores de 18 anos) que são projetados para reduzir a probabilidade de encontrar conteúdo sensível ou sugestivo.
Melhor detecção, resposta e intervenção relacionadas a entradas de usuários que violam nossos Termos ou Diretrizes da Comunidade.
Um aviso revisado em cada chat para lembrar aos usuários que a IA não é uma pessoa real.
Notificação quando um usuário passou uma sessão de uma hora na plataforma com maior flexibilidade ao usuário durante o progresso.
“Como empresa, levamos a segurança de nossos usuários muito a sério, e nossa equipe de Confiança e Segurança implementou inúmeras novas medidas de segurança nos últimos seis meses, incluindo um pop-up direcionando os usuários para a Linha Nacional de Prevenção ao Suicídio que é acionado por termos de autoagressão ou ideação suicida”, disse Harrison. O Google não respondeu imediatamente ao pedido de comentário do The Verge.