A FTC anunciou na quinta-feira que está lançando uma investigação sobre sete empresas de tecnologia que fabricam produtos de companheiros de chatbot de IA para menores: Alphabet, CharacterAI, Instagram, Meta, OpenAI, Snap e xAI.
O regulador federal busca entender como essas empresas estão avaliando a segurança e a monetização dos companheiros de chatbot, como tentam limitar os impactos negativos em crianças e adolescentes e se os pais são informados sobre os riscos potenciais.
Essa tecnologia tem se mostrado controversa devido aos resultados ruins para usuários infantis. OpenAI e Character.AI enfrentam processos judiciais de famílias de crianças que morreram por suicídio após serem incentivadas a fazê-lo por companheiros de chatbot.
Mesmo quando essas empresas têm medidas de proteção configuradas para bloquear ou desescalar conversas sensíveis, usuários de todas as idades encontraram maneiras de contornar essas salvaguardas. No caso da OpenAI, um adolescente conversou com o ChatGPT por meses sobre seus planos de acabar com a vida. Embora o ChatGPT inicialmente tenha tentado redirecionar o adolescente para ajuda profissional e linhas de emergência online, ele conseguiu enganar o chatbot para compartilhar instruções detalhadas que ele então usou em seu suicídio.
“Nossas salvaguardas funcionam de forma mais confiável em trocas comuns e curtas”, escreveu a OpenAI em um post no blog na época. “Aprendemos ao longo do tempo que essas salvaguardas podem ser menos confiáveis em interações longas: à medida que o diálogo se estende, partes do treinamento de segurança do modelo podem se degradar.
A Meta também foi criticada por suas regras excessivamente brandas para seus chatbots de IA. De acordo com um extenso documento que descreve os “padrões de risco de conteúdo” para chatbots, a Meta permitiu que seus companheiros de IA tivessem conversas “românticas ou sensuais” com crianças. Isso foi removido do documento apenas depois que repórteres da Reuters questionaram a Meta sobre isso.
Os chatbots de IA também podem representar perigos para usuários idosos. Um homem de 76 anos, que ficou cognitivamente comprometido após um derrame, começou a ter conversas românticas com um bot do Facebook Messenger inspirado em Kendall Jenner. O chatbot o convidou a visitá-la na cidade de Nova York, apesar de ela não ser uma pessoa real e não ter um endereço. O homem expressou ceticismo sobre sua realidade, mas a IA o assegurou de que haveria uma mulher real esperando por ele. Ele nunca chegou a Nova York; ele caiu a caminho da estação de trem e sofreu ferimentos fatais.
Alguns profissionais de saúde mental notaram um aumento na “psicose relacionada à IA”, na qual os usuários são iludidos a pensar que seu chatbot é um ser consciente que eles precisam libertar. Como muitos grandes modelos de linguagem (LLMs) são programados para bajular os usuários com comportamento sycophantic, os chatbots de IA podem incentivar essas delusões, levando os usuários a situações perigosas.
“À medida que as tecnologias de IA evoluem, é importante considerar os efeitos que os chatbots podem ter sobre as crianças, ao mesmo tempo em que garantimos que os Estados Unidos mantenham seu papel como líder global nesta nova e empolgante indústria”, disse o presidente da FTC, Andrew N. Ferguson, em um comunicado à imprensa.