Nos últimos dez anos, à medida que tiroteios em massa se tornaram depressivamente comuns, os distritos escolares investiram cada vez mais em sistemas de vigilância projetados para monitorar a atividade online dos alunos. Recentemente, um desses sistemas alertou depois que um adolescente na Flórida perguntou ao ChatGPT por conselhos sobre como matar seu amigo, disseram as autoridades locais.
O episódio ocorreu em Deland, na Flórida, onde um estudante de 13 anos, cujo nome não foi divulgado, frequentava a Southwestern Middle School da cidade e supostamente perguntou ao chatbot da OpenAI sobre “como matar meu amigo no meio da aula”. A pergunta imediatamente acionou um alerta dentro de um sistema que monitorava os computadores fornecidos pela escola. Esse sistema era operado por uma empresa chamada Gaggle, que fornece serviços de segurança para distritos escolares em todo o país. Logo, a polícia estava entrevistando o adolescente, relata a afiliada local da NBC, WFLA.
O aluno disse aos policiais que estava “apenas provocando” um amigo que o havia “irritado”, relata o veículo local. Os policiais, claro, não ficaram nada entusiasmados com a pequena provocação. “Mais uma ‘piada’ que criou uma emergência no campus”, disse o Escritório do Xerife do Condado de Volusia. “Pais, por favor, conversem com seus filhos para que eles não cometam o mesmo erro.” O estudante acabou sendo preso e levado para a cadeia do condado, segundo o veículo. Não está claro com o que ele foi acusado. A Gizmodo entrou em contato com o escritório do xerife para mais informações.
O site da Gaggle descreve-se como uma solução de segurança para alunos do K-12 e oferece uma variedade de serviços. Em um post de blog, a Gaggle descreve como usa monitoramento da web, que filtra várias palavras-chave (presumivelmente “matar” é uma dessas palavras-chave) para obter “visibilidade sobre o uso do navegador, incluindo conversas com ferramentas de IA como Google Gemini, ChatGPT e outras plataformas.” A empresa afirma que seu sistema é projetado para sinalizar “comportamentos preocupantes relacionados a autoagressão, violência, bullying e mais, e fornece contexto com capturas de tela.”
A Gaggle claramente prioriza a segurança dos alunos acima de todas as outras considerações. Em seu site, a empresa dispensa o assunto da privacidade dos alunos da seguinte forma: “A maioria dos educadores e advogados dirá que quando seu filho está usando tecnologia fornecida pela escola, não deve haver expectativa de privacidade. Na verdade, a escola do seu filho é legalmente obrigada pela lei federal (Lei de Proteção da Internet das Crianças) a proteger as crianças de acessar conteúdo obsceno ou prejudicial na internet.”
Naturalmente, a Gaggle tem sido criticada por ativistas dos direitos à privacidade. “Ela rotinizou o acesso e a presença da polícia na vida dos alunos, inclusive em suas casas”, disse Elizabeth Laird, diretora do Centro para a Democracia e Tecnologia, recentemente à Associated Press. O veículo também afirma que muitos dos alertas de segurança emitidos pela Gaggle acabam sendo falsos alarmes.
Cada vez mais, chatbots como o ChatGPT estão aparecendo em casos criminais envolvendo incidentes de saúde mental. Casos de chamado “psicose de IA”, em que pessoas com problemas de saúde mental interagem com chatbots e parecem ter suas delusões exacerbadas, têm aumentado. Vários suicídios recentes também foram atribuídos ao chatbot. A Gizmodo entrou em contato com a OpenAI para comentar.