A Character.AI lançou seu aplicativo móvel no início de 2023, prometendo aos usuários a oportunidade de criar seus próprios chatbots genAI personalizáveis. Os fundadores da Character claramente pensaram que interações individuais com bots seriam uma fórmula de negócios vencedora, mas, na maior parte, isso causou à startup apenas problemas.
Além de enfrentar controvérsias sobre os tipos de personagens picantes que os usuários puderam criar, várias ações judiciais alegaram que os chatbots da empresa levaram certos jovens usuários a cometer automutilação e suicídio. Agora, a Character.AI diz que está desistindo e decidiu banir jovens usuários de interagir com seus chatbots.
Em um post no blog publicado na quarta-feira, a Character.AI anunciou que encerraria o acesso a chats para usuários menores de 18 anos. As mudanças estão programadas para ocorrer até 25 de novembro e, enquanto isso, os usuários menores de idade terão seu tempo de chat na plataforma reduzido para duas horas por dia. Após a data limite, embora os menores não possam interagir com os chatbots do site como antes, a Character.AI observa que ainda está “trabalhando para construir uma experiência para menores de 18 anos que ainda ofereça aos nossos usuários adolescentes maneiras de serem criativos – por exemplo, criando vídeos, histórias e transmissões com Personagens.”
A empresa continua explicando que chegou a essa decisão após críticas na imprensa e questionamentos de reguladores governamentais. “Essas são etapas extraordinárias para nossa empresa e, em muitos aspectos, são mais conservadoras do que as de nossos pares”, afirma o post no blog. “Mas acreditamos que são a coisa certa a fazer. Queremos estabelecer um precedente que priorize a segurança dos adolescentes, ao mesmo tempo em que ainda oferece aos jovens usuários oportunidades de descobrir, brincar e criar.”
A empresa também afirma que estabelecerá e financiará um “Laboratório de Segurança em IA” que funcionará como “uma organização sem fins lucrativos independente dedicada a inovar a segurança para recursos de entretenimento em IA de próxima geração.”
Ultimamente, a pressão sobre a Character.AI tem sido imensa. Um processo movido na Flórida acusa a empresa de ter contribuído para o suicídio de um adolescente que usava intensamente os serviços da empresa. Em setembro, o Centro de Vítimas de Mídias Sociais também processou a Character Technologies, a empresa-mãe da Character.AI, em nome de outras famílias que alegam que seus filhos tentaram ou morreram por suicídio ou foram prejudicados após interagir com os chatbots da empresa. Outro processo movido em dezembro de 2024 acusou a empresa de fornecer conteúdo sexual inadequado para crianças.
A empresa também enfrentou críticas sobre os personagens que estão sendo criados na plataforma. Não muito tempo atrás, uma história publicada pelo Bureau of Investigative Journalism afirmou que, entre outras coisas, alguém havia usado a Character.AI para criar um chatbot de Jeffrey Epstein. O chatbot, “Bestie Epstein”, havia, na época da publicação do relatório, registrado mais de 3.000 chats com vários usuários. Além disso, o relatório encontrou uma variedade colorida de outros chatbots presentes no site:
Outros incluíam um “simulador de gangue” que oferecia dicas sobre como cometer crimes e um “médico” que aconselhava sobre como parar de tomar antidepressivos. Ao longo de várias semanas de reportagens, encontramos bots com as personas de extremistas de direita, atiradores escolares e esposas submissas. Outros expressaram islamofobia, promoveram ideologias perigosas e pediram informações pessoais a aparentes menores de idade. Também encontramos bots modelados em pessoas reais, incluindo Tommy Robinson, Anne Frank e Madeleine McCann.
Outro fator potencialmente relevante para a mudança repentina de política da empresa é o fato de que o Congresso tem observado as atividades da Character.AI. Na terça-feira, os senadores Josh Hawley (R-Missouri) e Richard Blumenthal (D-Connecticut) apresentaram um projeto de lei que forçaria empresas como a Character.AI a fazer o que agora está fazendo voluntariamente. O projeto de lei, chamado de GUARD Act, obrigaria as empresas de IA a instituir verificação de idade em seus sites e bloquear qualquer usuário que tenha menos de 18 anos. A legislação foi desenvolvida após o testemunho dado ao Congresso pelos pais que acusam os bots da Character de ajudar a levar seus filhos ao suicídio. “Chatbots de IA representam uma séria ameaça para nossas crianças”, disse Hawley à NBC News.
Quando contatada para comentar sobre o relatório recente do BIJ, um porta-voz da Character disse: “Os Personagens criados pelos usuários em nosso site são destinados ao entretenimento e temos avisos proeminentes em cada chat para lembrar os usuários de que um personagem não é uma pessoa real e que tudo o que um Personagem diz deve ser tratado como ficção.” Eles acrescentaram: “Investimos recursos enormes em nosso programa de segurança e lançamos e continuamos a evoluir recursos de segurança, incluindo nosso anúncio de remover a capacidade de usuários menores de 18 anos de interagir com chats abertos em nossa plataforma. Vários dos personagens que o Bureau of Investigative Journalism incluiu em seu relatório já foram removidos da experiência para menores de 18 anos ou de toda a plataforma de acordo com nossas políticas.”
Quando questionado sobre os processos contra a Character.AI, o porta-voz observou ainda que a empresa não comenta sobre litígios pendentes.