Na semana passada, um juiz proferiu uma opinião de 223 páginas que criticou o Departamento de Segurança Interna por como tem realizado operações contra imigrantes indocumentados em Chicago. Enterrado em uma nota de rodapé estavam duas frases que revelaram que pelo menos um membro da aplicação da lei usou o ChatGPT para escrever um relatório que deveria documentar como o oficial usou força contra um indivíduo.
A decisão, escrita pela juíza do tribunal distrital dos EUA, Sara Ellis, questionou a forma como membros do Serviço de Imigração e Controle de Alfândega e outras agências se comportaram durante a chamada “Operação Midway Blitz”, que resultou na prisão de mais de 3.300 pessoas e mais de 600 mantidas sob custódia do ICE, incluindo conflitos violentos repetidos com manifestantes e cidadãos. Esses incidentes deveriam ser documentados pelas agências em relatórios de uso da força, mas a juíza Ellis notou que frequentemente havia inconsistências entre o que aparecia nas gravações das câmeras corporais dos oficiais e o que acabava no registro escrito, resultando em sua avaliação de que os relatórios eram pouco confiáveis.
Mais do que isso, porém, ela afirmou que pelo menos um relatório nem mesmo foi escrito por um oficial. Em vez disso, segundo sua nota de rodapé, as gravações da câmera corporal revelaram que um agente “pediu ao ChatGPT para compilar uma narrativa para um relatório com base em uma breve frase sobre um encontro e várias imagens.” O oficial supostamente submeteu a saída do ChatGPT como o relatório, apesar do fato de que foi fornecido com informações extremamente limitadas e provavelmente preencheu o restante com suposições.
“Na medida em que os agentes usam o ChatGPT para criar seus relatórios de uso da força, isso mina ainda mais sua credibilidade e pode explicar a imprecisão desses relatórios quando vistos à luz das gravações das [câmeras corporais],” escreveu Ellis na nota de rodapé.
Segundo a Associated Press, não se sabe se o Departamento de Segurança Interna tem uma política clara sobre o uso de ferramentas de IA generativa para criar relatórios. Presume-se que, pelo menos, isso está longe de ser uma boa prática, considerando que a IA generativa preencherá lacunas com informações completamente fabricadas quando não tiver nada para extrair de seus dados de treinamento.
O DHS tem uma página dedicada ao uso de IA na agência e implantou seu próprio chatbot para ajudar os agentes a completar “atividades do dia a dia” após passar por testes com chatbots comercialmente disponíveis, incluindo o ChatGPT, mas a nota de rodapé não indica que a ferramenta interna da agência foi o que foi usado pelo oficial. Sugere que a pessoa que preencheu o relatório foi ao ChatGPT e carregou as informações para completar o relatório.
Não é surpresa que um especialista tenha dito à Associated Press que este é o “pior cenário” para o uso de IA pela aplicação da lei.