Mark Massaro tem ensinado Composição em Inglês no Florida Southwestern State College há anos, mas seu trabalho se tornou significativamente mais difícil em 2023. Não muito depois que aplicativos de IA como o ChatGPT se tornaram disponíveis gratuitamente, a educação superior em todo os EUA foi atingida por um tsunami de trapaças automatizadas. Os alunos têm usado a IA para escrever ensaios — e a tendência parece estar piorando com o passar do tempo. Massaro disse que, de 25 alunos em suas aulas, não é incomum que até cinco entreguem trabalhos que parecem ter sido escritos por IA.
Quando o ChatGPT foi lançado, e ficou claro que os alunos estavam usando-o para trapacear, Massaro diz que costumava passar os trabalhos por vários scanners de IA por dia. Se a maioria deles rotulasse a prosa como gerada por IA, ele acreditava neles. Agora, no entanto, a escola não permite que eles enviem o trabalho dos alunos para tais aplicativos, pois isso poderia ser considerado uma violação de sua privacidade. Também não ajuda que a precisão dos detectores de IA seja pouco confiável.
Em vez disso, Massaro diz que deve depender de sua própria astúcia para avaliar se um trabalho foi conjurado de forma ilegítima ou não. Para isso, ele montou uma lista de sinais reveladores de que um trabalho é de IA. Sempre que um trabalho é entregue, ele consulta essa lista. Ele compartilhou alguns desses sinais de alerta com a Gizmodo, criando uma imagem mais clara das condições infernais que a IA impôs aos educadores da América.
Demais Em Traços
Uma dica de que um trabalho pode ser gerado é a abundância de traços em. Por algum motivo, aplicativos como o ChatGPT gostam de incluir muitos desses pequenos. Agora, Massaro tem um teste que faz. Se suspeitar que um aluno gerou seu ensaio com IA, ele o chama até sua mesa e pede que ele produza um traço em no computador. Frequentemente, o aluno nem sabe como fazer isso, ele disse. “Eu digo, seu trabalho está cheio de traços, apenas me mostre como você fez isso”, disse ele. Se o aluno tiver dificuldades, é óbvio o que aconteceu.
Sem Indentações
Massaro diz que, ao contrário das estipulações de estilo do ensaio universitário tradicional, é comum que textos copiados e colados de um chatbot não tenham indentações de parágrafo. A saída do ChatGPT e similares notavelmente não precisa de indentações. Se o trabalho de um aluno for caracterizado por grandes blocos de texto, há uma boa chance de que um robô o tenha escrito.
Gramática Perfeita e Conteúdo Superficial
Se um aluno entrega um trabalho perfeitamente redigido que não tem muito a dizer, isso pode ser outro sinal revelador de geração algorítmica, disse Massaro. Embora haja muitos alunos que podem ser bons escritores, mas não têm muitas ideias originais, a escrita gerada automaticamente tem várias características que se tornam óbvias com o tempo. Massaro descreve o estilo da IA como apresentando “comprimento uniforme de sentenças e parágrafos”, em que cada “parágrafo tem mais ou menos o mesmo tamanho, com uma sensação rítmica e mecânica.” A escrita também pode ter um “tom hiperformal”, disse ele, que é frequentemente caracterizado por uma “voz acadêmica excessivamente polida que não é típica do trabalho dos alunos.”
Sem Histórico de Rascunho
Outro sinal de alerta é a total ausência de qualquer participação no processo de elaboração em sala de aula, disse Massaro. Como parte de suas aulas de composição, Massaro realiza revisões entre pares e conferências. Um aluno também pode alegar que se reuniu com o Centro de Escrita da escola para montar o ensaio, mas, na realidade, não fez isso. Quando os alunos entregam esses ensaios, eles também podem incluir “vocabulário incomum para o aluno” que é caracterizado por “saltos súbitos na sofisticação não vistos em trabalhos anteriores ou discussões em sala de aula.”
Escrita Impessoal
Massaro disse que ocasionalmente distribui trabalhos de reflexão pessoal. Um aluno que realmente escreve o trabalho com base, digamos, em suas experiências trabalhando na loja 7-Eleven local, incluirá todo tipo de detalhes pessoais estranhos que uma IA nunca pensaria em inventar, disse Massaro. Por outro lado, se o trabalho for gerado automaticamente, pode divagar de forma muito abstrata sobre a importância da “amizade” para a humanidade, ele riu.
Entradas de Prompt Restantes
Surpreendentemente, alguns alunos foram tão descuidados com suas trapaças que deixaram entradas de prompt de suas interações com um chatbot no ensaio final que entregaram, diz Massaro.
Citações Falsas
É bem conhecido que a IA tem o hábito de “alucinar” informações. Em um trabalho de um aluno, essas referências geradas por IA se manifestarão de várias formas diferentes, incluindo informações claramente incorretas ou inventadas e citações falsas. Isso pode criar horas de trabalho adicional para Massaro, pois ele é forçado a investigar se um fato obscuro em um ensaio é real ou não. Isso às vezes inclui examinar revistas acadêmicas e livros reais que foram citados nos trabalhos dos alunos, mas que podem não apresentar as citações incluídas na bibliografia do aluno (porque são falsas).
Confrontar um aluno sobre trapaça pode ser estranho e difícil, disse Massaro, embora geralmente seja fácil dizer o que aconteceu logo de cara, ele acrescentou. Frequentemente, um aluno culpado admitirá que usou IA ou simplesmente não responderá ao e-mail de Massaro (muitos de seus alunos são remotos). Alunos inocentes geralmente protestam, e Massaro disse que tende a acreditar neles.
A maior decepção sobre o aumento da escrita por IA é que está roubando dos alunos a capacidade de cultivar sua própria identidade intelectual e criativa, disse ele. “Este é o momento em que eles deveriam estar encontrando sua voz”, disse ele. Em vez disso, a IA está falando (e pensando) por eles.