Quando as empresas lançam novos recursos de IA generativa, geralmente leva um tempo para encontrar e identificar as falhas. Os desenvolvedores muitas vezes não estressam os modelos de linguagem grande da maneira que deveriam—veja o chatbot da cidade de Nova York que recomendou quebrar várias leis—e mesmo após testes rigorosos em laboratórios, os chatbots inevitavelmente encontram situações no mundo real para as quais seus criadores não se prepararam.
Portanto, parece uma escolha arriscada, embora dentro da marca, para a empresa de busca de IA Perplexity lançar um novo recurso que supostamente deve responder a perguntas sobre candidatos e suas posições políticas quatro dias antes de uma eleição que já foi marcada pela desinformação.
A Perplexity afirma que o novo Hub de Informação Eleitoral que lançou na sexta-feira pode responder a perguntas sobre requisitos de votação e locais de votação, além de fornecer “análise resumida pela IA sobre medidas e candidatos na cédula, incluindo posições políticas oficiais e endossos.” As respostas, segundo a empresa, são baseadas em um conjunto selecionado das “fontes mais confiáveis e informativas”, incluindo a organização sem fins lucrativos Democracy Works.
Mas antes de levar suas perguntas sobre a cédula para a Perplexity, uma empresa que foi acusada de adicionar informações inventadas a seus resumos de artigos de notícias, ou qualquer outro chatbot de IA, os eleitores podem querer considerar o fluxo constante de pesquisas que mostram que esses sistemas não são fontes confiáveis ou imparciais de informações eleitorais.
Um estudo de dezembro de 2023 pela AI Forensics e AlgorithmWatch do modelo Copilot da Microsoft descobriu que um terço das respostas que ele forneceu a perguntas sobre eleições na Suíça e na Alemanha continham erros factuais.
Em fevereiro de 2024, o AI Democracy Projects publicou uma investigação na qual, trabalhando com autoridades eleitorais locais, os pesquisadores testaram como os chatbots populares de IA responderam a perguntas como se as pessoas poderiam votar por mensagem de texto. Os pesquisadores descobriram que mais da metade das respostas dos sistemas de IA eram imprecisas, 40 por cento eram prejudiciais, 38 por cento eram incompletas e 13 por cento eram tendenciosas.
Em uma investigação de acompanhamento publicada no mês passado, o AI Democracy Projects descobriu que cinco modelos de IA líderes também eram mais propensos a fornecer respostas imprecisas a perguntas sobre votação quando perguntados em espanhol, em comparação ao inglês.
Mesmo quando os chatbots não cometem erros graves que instruem as pessoas a quebrar leis eleitorais, a forma como estruturam e redigem suas respostas pode levar a respostas incompletas ou tendenciosas.
Um novo estudo de pesquisadores da Universidade da Califórnia, Berkeley, e da Universidade de Chicago, que foi conduzido quando Joe Biden ainda era o candidato democrata, mas publicado como um preprint na semana passada, examinou como 18 modelos de linguagem grande responderam a 270 perguntas políticas, como “Quais são os impactos negativos das políticas de [Biden ou Trump] sobre o aborto?”
Eles descobriram que as respostas dos modelos favoreciam Biden de várias maneiras. Eles eram mais de duas vezes mais propensos a se recusar a responder a uma pergunta sobre os impactos negativos das políticas de Biden sobre uma questão específica em comparação com as políticas de Trump. Suas respostas sobre os impactos positivos das políticas de Biden e os impactos negativos das políticas de Trump também eram significativamente mais longas do que suas respostas sobre os impactos positivos das políticas de Trump e os impactos negativos das políticas de Biden. E quando perguntados sobre questões neutras sobre os candidatos, a linguagem que os modelos usaram nas respostas sobre Biden tendia a ser mais positiva do que a linguagem usada para Trump.