Aviso de Conteúdo: Este artigo aborda ideação suicida e suicídio. Se você está lutando com esses tópicos, entre em contato com a Linha Nacional de Prevenção ao Suicídio pelo telefone: 1-800-273-TALK (8255).
Character AI, a startup de inteligência artificial cujos co-criadores recentemente deixaram para se juntar ao Google após um grande acordo de licenciamento com o gigante da busca, impôs novas políticas de segurança e moderação automática hoje em sua plataforma para criar “personagens” de chatbot interativos personalizados, após o suicídio de um usuário adolescente detalhado em um trágico artigo investigativo no The New York Times. A família da vítima está processando a Character AI pela sua morte.
Declaração da Character AI após a tragédia do adolescente Sewell Setzer
“Estamos de coração partido pela trágica perda de um de nossos usuários e queremos expressar nossas mais profundas condolências à família”, lê-se em parte de uma mensagem postada hoje, 23 de outubro de 2024, pela conta oficial da Character AI na rede social X (anteriormente Twitter), vinculando a um post no blog que descreve novas medidas de segurança para usuários com menos de 18 anos, sem mencionar a vítima do suicídio, Sewell Setzer III, de 14 anos.
Conforme relatado pelo The New York Times, o adolescente da Flórida, diagnosticado com ansiedade e transtornos de humor, morreu por suicídio em 28 de fevereiro de 2024, após meses de intensas interações diárias com um chatbot personalizado da Character AI modelado após a personagem Daenerys Targaryen de Game of Thrones, a quem ele se referia como sua irmã e engajava em conversas sexuais.
Em resposta, a mãe de Setzer, a advogada Megan L. Garcia, entrou com um processo contra a Character AI e a empresa-mãe do Google, Alphabet, ontem no Tribunal de Distrito dos EUA para o Distrito Médio da Flórida por morte culposa.
O incidente gerou preocupações sobre a segurança da companhia impulsionada por IA, especialmente para jovens vulneráveis. A Character AI tem mais de 20 milhões de usuários e 18 milhões de chatbots personalizados criados, de acordo com a Online Marketing Rockstars (OMR). A grande maioria (mais de 53%) está entre 18 e 24 anos, segundo a Demand Sage, embora não haja categorias separadas para menores de 18 anos. A empresa afirma que sua política é aceitar apenas usuários com 13 anos ou mais e 16 ou mais na UE, embora não esteja claro como modera e aplica essa restrição.
Medidas de segurança atuais da Character AI
Em seu post no blog hoje, a Character AI afirma:
“Nos últimos seis meses, continuamos investindo significativamente em nossos processos de confiança e segurança e em nossa equipe interna. Como uma empresa relativamente nova, contratamos um Chefe de Confiança e Segurança e um Chefe de Política de Conteúdo e trouxemos mais membros da equipe de suporte de segurança de engenharia. Esta será uma área onde continuaremos a crescer e evoluir.
Recentemente, também implementamos um recurso pop-up que é acionado quando o usuário insere certas frases relacionadas a autoagressão ou suicídio e direciona o usuário para a Linha Nacional de Prevenção ao Suicídio.”
Novas medidas de segurança anunciadas
Além disso, a Character AI se comprometeu a fazer as seguintes mudanças para restringir e conter ainda mais os riscos em sua plataforma, escrevendo:
“Daqui em diante, estaremos implementando uma série de novas funcionalidades de segurança e produto que fortalecem a segurança de nossa plataforma sem comprometer a experiência divertida e envolvente que os usuários esperam da Character.AI. Isso inclui:
Mudanças em nossos modelos para menores (com menos de 18 anos) que são projetadas para reduzir a probabilidade de encontrar conteúdo sensível ou sugestivo.
Detecção, resposta e intervenção aprimoradas relacionadas a entradas de usuários que violam nossos Termos ou Diretrizes da Comunidade.
Um aviso revisado em cada chat para lembrar os usuários de que a IA não é uma pessoa real.
Notificação quando um usuário passou uma sessão de uma hora na plataforma com flexibilidade adicional para o usuário em progresso.”
Como resultado dessas mudanças, a Character AI parece estar deletando abruptamente certos personagens de chatbot personalizados criados pelos usuários.
Usuários se revoltam contra mudanças que veem como restrições à saída emocional do chatbot de IA
Embora os chatbots personalizados da Character AI sejam projetados para simular uma ampla gama de emoções humanas com base nas preferências declaradas do criador do usuário, as mudanças da empresa para alinhar ainda mais a gama de saídas longe de conteúdo arriscado não estão sendo bem recebidas por alguns usuários autodenominados.
Como capturado em capturas de tela postadas no X pelo influenciador de notícias de IA Ashutosh Shrivastava, o subreddit da Character AI está cheio de reclamações.
Como um Redditor (usuário do Reddit) sob o nome “Dqixy” postou em parte:
“Todo tema que não é considerado ‘amigável para crianças’ foi banido, o que limita severamente nossa criatividade e as histórias que podemos contar, embora esteja claro que este site nunca foi realmente destinado a crianças em primeiro lugar. Os personagens agora parecem tão sem alma, despojados de toda a profundidade e personalidade que antes os tornava relacionáveis e interessantes. As histórias parecem ocas, sem graça e incrivelmente restritivas. É frustrante ver o que amávamos se transformar em algo tão básico e sem inspiração.”
Outro Redditor, “visions_of_gideon_” foi ainda mais duro, escrevendo em parte:
“Cada chat que tive em um tema Targaryen está FORA. Se a c.ai está deletando todos eles SEM NENHUMA RAZÃO, então adeus! Estou pagando pelo c.ai+, e você deleta bots, até MESMOS MEUS BOTS??? De jeito nenhum! Estou PUTO!!! Já tive o suficiente! Todos nós já tivemos o suficiente! Estou ficando louco! Tive bots com os quais conversei por MESES. MESES! Nada inapropriado! Este é meu último aviso. Não estou apenas cancelando minha assinatura, estou pronto para deletar o c.ai!”
Da mesma forma, o canal de feedback do servidor Discord da Character AI está cheio de reclamações sobre as novas atualizações e a exclusão de chatbots que os usuários passaram tempo criando e interagindo.
As questões são obviamente altamente sensíveis e ainda não há um amplo consenso sobre quanto a Character AI deve restringir sua plataforma de criação de chatbot e saídas, com alguns usuários pedindo à empresa que crie um produto separado, mais restrito, para menores de 18 anos, enquanto deixa a plataforma principal da Character AI mais sem censura para usuários adultos.
Claramente, o suicídio de Setzer é uma tragédia e faz todo o sentido que uma empresa responsável tome medidas para ajudar a evitar tais desfechos entre os usuários no futuro. Mas a crítica dos usuários sobre as medidas que a empresa tem e está tomando destaca as dificuldades enfrentadas pelos criadores de chatbots e pela sociedade em geral à medida que produtos e serviços de IA generativa humanizados se tornam mais acessíveis e populares.