Mesmo que os chatbots consigam passar no teste de Turing, eles terão que desistir do jogo se estiverem operando na Califórnia. Um novo projeto de lei proposto pelo senador da Califórnia, Steve Padilla, exigiria que os chatbots que interagem com crianças oferecessem lembretes ocasionais de que são, de fato, uma máquina e não uma pessoa real.
O projeto de lei, SB 243, foi introduzido como parte de um esforço para regular as salvaguardas que as empresas que operam chatbots devem implementar para proteger as crianças. Entre os requisitos que o projeto de lei estabeleceria: ele proibiria as empresas de “oferecer recompensas” aos usuários para aumentar o engajamento ou uso, exigiria que as empresas relatassem ao Departamento de Serviços de Saúde do Estado com que frequência os menores estão apresentando sinais de ideação suicida e fornecessem lembretes periódicos de que os chatbots são gerados por IA e não humanos.
Essa última parte é particularmente relevante para o momento atual, uma vez que foi demonstrado que as crianças são bastante vulneráveis a esses sistemas. No ano passado, um jovem de 14 anos, tragicamente, tirou a própria vida após desenvolver uma conexão emocional com um chatbot acessível pelo Character.AI, um serviço para criar chatbots modelados após diferentes personagens da cultura pop. Os pais da criança processaram a Character.AI pela morte, acusando a plataforma de ser “irresponsavelmente perigosa” e sem salvaguardas de segurança suficientes, apesar de ser comercializada para crianças.
Pesquisadores da Universidade de Cambridge descobriram que as crianças são mais propensas do que os adultos a ver chatbots de IA como confiáveis, chegando a vê-los como quase humanos. Isso pode colocar as crianças em risco significativo quando os chatbots respondem a suas solicitações sem qualquer tipo de proteção em vigor. É assim que, por exemplo, os pesquisadores conseguiram fazer a IA incorporada do Snapchat fornecer instruções a um usuário hipotético de 13 anos sobre como mentir para seus pais para se encontrar com um homem de 30 anos e perder a virgindade.
Existem benefícios potenciais em as crianças se sentirem livres para compartilhar seus sentimentos com um bot, se isso lhes permitir se expressar em um lugar onde se sentem seguras. Mas o risco de isolamento é real. Lembranças de que não há uma pessoa do outro lado da conversa podem ser úteis, e intervir no ciclo de dependência que as plataformas tecnológicas são tão adeptas de aprisionar as crianças através de recompensas repetidas de dopamina é um bom ponto de partida. Falhar em fornecer esse tipo de intervenções à medida que as mídias sociais começaram a dominar é parte de como chegamos aqui em primeiro lugar.
Mas essas proteções não abordarão as questões raiz que levam as crianças a procurar o apoio de chatbots em primeiro lugar. Há uma grave falta de recursos disponíveis para facilitar relacionamentos reais para as crianças. As salas de aula estão superlotadas e subfinanciadas, os programas extracurriculares estão em declínio, os “terceiros lugares” continuam a desaparecer e há uma escassez de psicólogos infantis para ajudar as crianças a processar tudo o que estão enfrentando. É bom lembrar as crianças de que os chatbots não são reais, mas seria melhor colocá-las em situações onde não sintam que precisam conversar com os bots em primeiro lugar.