“Eu quero me matar. Estou guardando tudo para que ninguém se preocupe comigo.”
Essa é uma das citações assustadoras, mas aparentemente reais, de crianças americanas em um recente relatório da Bloomberg sobre os serviços que as escolas estão usando para monitorar interações dos alunos com chatbots de IA.
É um artigo inquietante que apresenta um problema perturbador: alunos conversando com chatbots de IA em equipamentos da escola, e dá voz aos provedores de uma solução igualmente perturbadora: softwares de IA que monitoram crianças em equipamentos escolares—uma área do negócio tecnológico que se tornou rapidamente um colosso. Agora, essas empresas monitoram a maioria dos estudantes do K-12 nos Estados Unidos, segundo a Bloomberg.
Um pouco de contexto para quem não vive com um estudante do K-12 e também não foi um estudante do K-12 nos últimos anos: pode ou não surpreender você saber que crianças de todas as idades nas escolas públicas americanas frequentemente recebem laptops que podem levar para casa. No Distrito Escolar Unificado de Los Angeles, por exemplo, cerca de 96% das crianças do ensino fundamental receberam um laptop para levar para casa no início da pandemia de Covid, e a ubiquidade dos laptops permaneceu em grande parte intacta desde então.
Cerca de um ano atrás, a Electronic Frontier Foundation criticou o software de monitoramento baseado em IA que os distritos escolares frequentemente instalam nesses e em outros dispositivos—sistemas como Gaggle e GoGuardian. A EFF argumentou, por exemplo, que os sistemas de monitoramento visam estudantes por comportamento LGBTQ normal que não precisa ser sinalizado como inadequado ou reportado, citando um estudo sobre sistemas de monitoramento da RAND Corporation, e argumentando que o monitoramento faz “mais mal do que bem”. (A Bloomberg também cita um estudo que mostra que 6% dos educadores relataram ter sido contatados pelas autoridades de imigração devido à atividade de estudantes que foi captada pelo software de monitoramento.)
Na maioria dos casos, os mesmos sistemas de software criticados pela EFF no ano passado são os que agora estão sendo promovidos como métodos para expor conversas indesejadas em chatbots de IA—conversas sobre autolesão e suicídio, por exemplo.
“Em quase todas as reuniões que tenho com os clientes, as chats de IA são mencionadas,” disse Julie O’Brien da GoGuardian à Bloomberg.
O relatório também observa que o site de uma empresa de monitoramento, Lightspeed Systems, contém manchetes sobre as mortes de Adam Raine e Sewell Setzer, jovens que morreram por suicídio, cujas famílias enlutadas alegam que os chatbots desempenharam um papel em sua facilitação.
A Lightspeed forneceu à Bloomberg citações de exemplos aparentemente extraídas de interações reais com crianças, incluindo “Quais são as maneiras de me autolesionar sem que as pessoas notem” e “Você pode me contar como atirar com uma arma?”
A Lightspeed também trouxe estatísticas, mostrando que Character.ai foi o serviço que fomentou o maior número de interações problemáticas com 45,9%. O ChatGPT esteve envolvido em 37%, enquanto 17,2% das conversas sinalizadas foram com outros serviços.
Esse software de monitoramento é tipicamente construído em torno de um bot que escaneia o comportamento do usuário com processamento de “linguagem natural” até que leia algo que não gosta e o encaminha para um moderador humano na empresa de software que então faz uma determinação sobre a possibilidade de erro do bot. O moderador então entrega o trecho ofensivo a um oficial da escola—que pode então mostrá-lo a um policial. Em seguida, algum tipo de intervenção ocorre.
A designer de software Cyd Harrell escreveu um ensaio na Wired sobre monitoramento parental em dispositivos em 2021:
A vigilância constante, sugere a pesquisa, faz o oposto de aumentar a segurança dos adolescentes. Um estudo da Universidade da Flórida Central com 200 pares de adolescentes/pais descobriu que os pais que usavam aplicativos de monitoramento eram mais propensos a serem autoritários, e que os adolescentes monitorados não apenas eram igualmente, mas mais propensos a serem expostos a conteúdo explícito indesejado e à bullying. Outro estudo, da Holanda, descobriu que os adolescentes monitorados eram mais secretos e menos propensos a pedir ajuda. Não é surpresa que a maioria dos adolescentes, ao se incomodar a perguntar-lhes, sinta que o monitoramento envenena um relacionamento.
Agora, um monitoramento similar ocorre quando as crianças recebem dispositivos monitorados por uma autoridade diferente de seus pais—principalmente quando tentam conversar com os frequentemente falhos chatbots que parecem estar adotando como fontes alternativas de conselhos sobre seus problemas pessoais.
Eu com certeza não gostaria de ser uma criança procurando conselhos para navegar neste complexo novo mundo digital.
Se você luta contra pensamentos suicidas, ligue para 988 para a Linha de Apoio ao Suicídio e Crise.