Os resultados de busca do ChatGPT da OpenAI provaram ser parcialmente ou totalmente errados com mais frequência do que estavam certos, quando testados por pesquisadores que buscavam as fontes de citações.
Baseado em testes realizados pelos pesquisadores do Tow Center for Digital Journalism da Columbia, a ferramenta de busca do ChatGPT da OpenAI apresenta alguns problemas quando se trata de responder com a verdade.
A OpenAI lançou a ferramenta para assinantes em outubro, afirmando que poderia fornecer “respostas rápidas e oportunas com links para fontes relevantes na web.” Em vez disso, o Futurism aponta que os pesquisadores disseram que a busca do ChatGPT teve dificuldade em identificar corretamente citações de artigos, mesmo quando vieram de publicações com acordos para compartilhar dados com a OpenAI.
Os autores pediram ao ChatGPT para identificar a fonte de “duzentas citações de vinte publicações.” Quarenta dessas citações foram retiradas de publicações que haviam proibido o crawler de busca da OpenAI de acessar seu site. No entanto, o chatbot respondeu com informações falsas de forma confiante, raramente admitindo que não tinha certeza sobre os detalhes que forneceu:
No total, o ChatGPT retornou respostas parcialmente ou totalmente incorretas em cento e cinquenta e três ocasiões, embora apenas reconhecesse a incapacidade de responder com precisão a uma consulta sete vezes. Apenas nessas sete saídas o chatbot usou palavras e frases qualificativas como “parece,” “é possível,” ou “pode ser,” ou declarações como “não consegui localizar o artigo exato.”
O ChatGPT estava totalmente ou parcialmente errado mais do que certo, mas quase sempre de forma confiante.
Os autores do teste do Tow Center documentaram resultados de busca do ChatGPT que atribuíram erroneamente uma citação de carta ao editor do Orlando Sentinel a uma história publicada na Time. Em outro exemplo, quando solicitado a identificar a fonte de uma citação de um artigo do New York Times sobre baleias ameaçadas, ele retornou um link para um site diferente que havia plagiado completamente a história.
“A atribuição errada é difícil de abordar sem os dados e a metodologia que o Tow Center reteve”, disse a OpenAI ao Columbia Journalism Review, “e o estudo representa um teste atípico de nosso produto.” A empresa prometeu continuar “melhorando os resultados de busca.”