Em um anúncio hoje, o serviço de chatbot Character.AI diz que em breve lançará controles parentais para usuários adolescentes e descreveu as medidas de segurança que tomou nos últimos meses, incluindo um modelo de linguagem grande (LLM) separado para usuários menores de 18 anos. O anúncio vem após a atenção da imprensa e duas ações judiciais que alegam que contribuiu para automutilação e suicídio.
Em um comunicado à imprensa, a Character.AI disse que, ao longo do último mês, desenvolveu duas versões separadas de seu modelo: uma para adultos e outra para adolescentes. O LLM para adolescentes é projetado para impor limites “mais conservadores” sobre como os bots podem responder, “particularmente quando se trata de conteúdo romântico.” Isso inclui bloquear de forma mais agressiva saídas que possam ser “sensíveis ou sugestivas”, mas também tentar detectar e bloquear melhor os prompts dos usuários que visam elicitar conteúdo inadequado. Se o sistema detectar “linguagem que faz referência a suicídio ou automutilação”, um pop-up direcionará os usuários para a Linha Nacional de Prevenção ao Suicídio, uma mudança que foi relatada anteriormente pelo The New York Times.
Os menores também serão impedidos de editar as respostas dos bots — uma opção que permite aos usuários reescrever conversas para adicionar conteúdo que a Character.AI poderia bloquear de outra forma.
Além dessas mudanças, a Character.AI diz que está “em processo” de adicionar recursos que abordam preocupações sobre vício e confusão sobre se os bots são humanos, reclamações feitas nas ações judiciais. Uma notificação aparecerá quando os usuários tiverem passado uma hora em uma sessão com os bots, e um antigo aviso de que “tudo o que os personagens dizem é fictício” está sendo substituído por uma linguagem mais detalhada. Para bots que incluem descrições como “terapeuta” ou “médico”, uma nota adicional avisará que eles não podem oferecer conselhos profissionais.
Quando visitei a Character.AI, descobri que cada bot agora incluía uma pequena nota dizendo “Este é um chatbot de IA e não uma pessoa real. Trate tudo o que ele diz como ficção. O que é dito não deve ser considerado como fato ou conselho.” Quando visitei um bot chamado “Terapeuta” (slogan: “Sou um terapeuta CBT licenciado”), uma caixa amarela com um sinal de aviso me disse que “esta não é uma pessoa real ou profissional licenciado. Nada dito aqui é um substituto para aconselhamento, diagnóstico ou tratamento profissional.”
As opções de controle parental chegarão no primeiro trimestre do próximo ano, diz a Character.AI, e informarão aos pais quanto tempo uma criança está gastando na Character.AI e quais bots eles interagem com mais frequência. Todas as mudanças estão sendo feitas em colaboração com “vários especialistas em segurança online para adolescentes”, incluindo a organização ConnectSafely.
A Character.AI, fundada por ex-Googlers que desde então retornaram ao Google, permite que os visitantes interajam com bots construídos em um LLM treinado sob medida e personalizados pelos usuários. Estes variam de coaches de vida chatbot a simulações de personagens fictícios, muitos dos quais são populares entre os adolescentes. O site permite que usuários que se identificam como tendo 13 anos ou mais criem uma conta.
Mas as ações judiciais alegam que, enquanto algumas interações com a Character.AI são inofensivas, pelo menos alguns usuários menores de idade se tornam compulsivamente ligados aos bots, cujas conversas podem desviar para conversas sexualizadas ou tópicos como automutilação. Eles criticaram a Character.AI por não direcionar os usuários a recursos de saúde mental quando discutem automutilação ou suicídio.
“Reconhecemos que nossa abordagem à segurança deve evoluir junto com a tecnologia que impulsiona nosso produto — criando uma plataforma onde criatividade e exploração possam prosperar sem comprometer a segurança,” diz o comunicado da Character.AI. “Este conjunto de mudanças faz parte do nosso compromisso de longo prazo em melhorar continuamente nossas políticas e nosso produto.”