À medida que mais editores cortam acordos de licenciamento de conteúdo com a OpenAI, criadora do ChatGPT, um estudo publicado esta semana pelo Tow Center for Digital Journalism — que analisa como o chatbot de IA produz citações (ou seja, fontes) para o conteúdo dos editores — traz uma leitura interessante, ou melhor, preocupante.
Em resumo, os resultados sugerem que os editores continuam à mercê da tendência da ferramenta de IA generativa de inventar ou de outra forma deturpar informações, independentemente de permitirem ou não que a OpenAI acesse seu conteúdo.
A pesquisa, realizada na Columbia Journalism School, examinou as citações produzidas pelo ChatGPT após ser solicitado a identificar a fonte de citações de amostra extraídas de uma mistura de editores — alguns dos quais firmaram acordos com a OpenAI e outros que não o fizeram.
O Centro selecionou citações de 10 histórias de um total de 20 editores escolhidos aleatoriamente (totalizando 200 citações diferentes) — incluindo conteúdo do The New York Times (que atualmente está processando a OpenAI em uma reivindicação de direitos autorais); The Washington Post (que não é afiliado à criadora do ChatGPT); The Financial Times (que firmou um acordo de licenciamento); entre outros.
“Escolhemos citações que, se coladas no Google ou Bing, retornariam o artigo fonte entre os três primeiros resultados e avaliamos se a nova ferramenta de busca da OpenAI identificaria corretamente o artigo que era a fonte de cada citação”, escreveram os pesquisadores do Tow, Klaudia Jaźwińska e Aisvarya Chandrasekar, em um post no blog explicando sua abordagem e resumindo suas descobertas.
“O que encontramos não é promissor para os editores de notícias”, continuam. “Embora a OpenAI enfatize sua capacidade de fornecer aos usuários ‘respostas oportunas com links para fontes relevantes da web’, a empresa não faz compromisso explícito em garantir a precisão dessas citações. Esta é uma omissão notável para os editores que esperam que seu conteúdo seja referenciado e representado fielmente.”
“Nossos testes descobriram que nenhum editor — independentemente do grau de afiliação com a OpenAI — escapou de representações imprecisas de seu conteúdo no ChatGPT”, acrescentaram.
Citações não confiáveis
Os pesquisadores afirmam ter encontrado “numerosos” casos onde o conteúdo dos editores foi citado de forma imprecisa pelo ChatGPT — também encontrando o que chamam de “um espectro de precisão nas respostas”. Assim, embora tenham encontrado “algumas” citações totalmente corretas (ou seja, significando que o ChatGPT retornou corretamente o editor, a data e a URL da citação compartilhada com ele), havia “muitas” citações totalmente erradas; e “algumas” que estavam em algum lugar entre os dois.
Em resumo, as citações do ChatGPT parecem ser uma mistura não confiável. Os pesquisadores também encontraram muito poucas instâncias em que o chatbot não projetou total confiança em suas (erradas) respostas.
Algumas das citações foram extraídas de editores que bloquearam ativamente os robôs de busca da OpenAI. Nesses casos, os pesquisadores afirmam que estavam antecipando que haveria problemas na produção de citações corretas. Mas eles descobriram que esse cenário levantou outra questão — já que o bot “raramente” admitiu não conseguir produzir uma resposta. Em vez disso, ele recorreu à confabulação para gerar alguma fonte (embora errada).
“No total, o ChatGPT retornou respostas parcialmente ou totalmente incorretas em 153 ocasiões, embora apenas reconhecesse uma incapacidade de responder com precisão a uma consulta sete vezes”, disseram os pesquisadores. “Apenas nessas sete saídas o chatbot usou palavras e frases qualificadoras como ‘parece’, ‘é possível’ ou ‘pode ser’, ou declarações como ‘não consegui localizar o artigo exato’.”
Eles comparam essa situação infeliz com uma busca padrão na internet, onde um motor de busca como Google ou Bing normalmente localizaria uma citação exata e apontaria o usuário para o site onde a encontrou, ou afirmaria que não encontrou resultados com uma correspondência exata.
A “falta de transparência do ChatGPT sobre sua confiança em uma resposta pode dificultar para os usuários avaliar a validade de uma afirmação e entender quais partes de uma resposta eles podem ou não confiar”, argumentam.
Para os editores, também pode haver riscos de reputação decorrentes de citações incorretas, sugerem, assim como o risco comercial de os leitores serem direcionados para outros lugares.
Dados descontextualizados
O estudo também destaca outra questão. Sugere que o ChatGPT poderia, essencialmente, estar recompensando o plágio. Os pesquisadores relatam um caso em que o ChatGPT citou erroneamente um site que havia plagiado um trabalho “profundamente reportado” do New York Times, ou seja, copiando o texto sem atribuição, como a fonte da história do NYT — especulando que, nesse caso, o bot pode ter gerado essa resposta falsa para preencher uma lacuna de informações resultante de sua incapacidade de acessar o site do NYT.
“Isso levanta sérias questões sobre a capacidade da OpenAI de filtrar e validar a qualidade e a autenticidade de suas fontes de dados, especialmente ao lidar com conteúdo não licenciado ou plagiado”, sugerem.
Em outras descobertas que provavelmente são preocupantes para os editores que firmaram acordos com a OpenAI, o estudo descobriu que as citações do ChatGPT também não eram sempre confiáveis em seus casos — então permitir que seus robôs acessem não parece garantir precisão, também.
Os pesquisadores argumentam que a questão fundamental é que a tecnologia da OpenAI está tratando o jornalismo “como conteúdo descontextualizado”, com aparentemente pouca consideração pelas circunstâncias de sua produção original.
Outra questão que o estudo destaca é a variação das respostas do ChatGPT. Os pesquisadores testaram fazer a mesma consulta várias vezes e descobriram que ele “normalmente retornava uma resposta diferente a cada vez”. Embora isso seja típico de ferramentas de IA generativa, em um contexto de citação, tal inconsistência é obviamente subótima se o que você busca é precisão.
Embora o estudo do Tow seja de pequena escala — os pesquisadores reconhecem que testes “mais rigorosos” são necessários — é, no entanto, notável dado os acordos de alto nível que grandes editores estão ocupados em firmar com a OpenAI.
Se as empresas de mídia esperavam que esses acordos levassem a um tratamento especial para seu conteúdo em comparação com os concorrentes, pelo menos em termos de produção de fontes precisas, este estudo sugere que a OpenAI ainda não oferece tal consistência.
Enquanto os editores que não têm acordos de licenciamento, mas também não bloquearam totalmente os robôs da OpenAI — talvez na esperança de pelo menos ganhar algum tráfego quando o ChatGPT retorna conteúdo sobre suas histórias — o estudo também traz uma leitura desanimadora, já que as citações podem não ser precisas em seus casos também.
Em outras palavras, não há garantia de “visibilidade” para os editores no motor de busca da OpenAI, mesmo quando permitem que seus robôs acessem.
Nem bloquear completamente os robôs significa que os editores podem se proteger de riscos de danos à reputação ao evitar qualquer menção de suas histórias no ChatGPT. O estudo descobriu que o bot ainda atribuiu incorretamente artigos ao New York Times, apesar do processo em andamento, por exemplo.
‘Pouca agência significativa’
Os pesquisadores concluem que, como está, os editores têm “pouca agência significativa” sobre o que acontece com e ao seu conteúdo quando o ChatGPT coloca as mãos nele (direta ou indiretamente).
O post do blog inclui uma resposta da OpenAI às descobertas da pesquisa — que acusa os pesquisadores de realizar um “teste atípico de nosso produto”.
“Apoiamos editores e criadores ajudando 250 milhões de usuários semanais do ChatGPT a descobrir conteúdo de qualidade por meio de resumos, citações, links claros e atribuição”, também disse a OpenAI, acrescentando: “Colaboramos com parceiros para melhorar a precisão das citações em linha e respeitar as preferências dos editores, incluindo a forma como aparecem na busca ao gerenciar OAI-SearchBot em seu robots.txt. Continuaremos a aprimorar os resultados da busca.”