Pare de usar IA generativa como um motor de busca

Quantos presidentes pardoados seus parentes? Aparentemente, essa é uma pergunta complicada de responder.

Após o perdão de Hunter Biden por seu pai, vários comentaristas buscaram precedentes — outros perdões de parentes. Um exemplo: Ana Navarro-Cardenas, uma comentarista que aparece no The View e na CNN. No X, Navarro-Cardenas citou um perdão concedido pelo presidente Woodrow Wilson a seu cunhado Hunter deButts. Isso foi uma novidade para mim.

“Leve isso para o Chat GPT.”

A busca nos registros oficiais de clemência só funciona para pessoas que se inscreveram desde 1989, e uma página de beneficiários de clemência por presidente se estende apenas até Richard Nixon. Um perdão desse tipo seria controverso, mas não foi mencionado na página de biografia na biblioteca presidencial de Wilson. O Find a Grave sugere que Wilson nem mesmo tinha um cunhado com esse nome — mostra nove cunhados, mas não nosso homem Hunter deButts. Não posso provar que Wilson não perdoou um Hunter deButts; só posso te dizer que, se ele fez, essa pessoa não era seu cunhado.

Navarro-Cardenas não foi a única pessoa a postar pardões perplexos. Um artigo da Esquire chamado “Um Presidente Não Deveria Perdoar Seu Filho? Olá, Alguém Lembra de Neil Bush?” foi baseado na premissa de que George H.W. Bush perdoou seu filho Neil; foi posteriormente retirado “devido a um erro.” No dia anterior à sua publicação, o editor executivo do Occupy Democrats, Grant Stern, tuitou uma afirmação semelhante de que Jimmy Carter perdoou seu irmão Billy e George H.W. Bush perdoou Neil. Pelo que posso ver, nenhum desses perdões realmente ocorreu.

De onde tudo isso estava vindo? Bem, eu não sei qual era a fonte de Stern ou da Esquire. Mas eu sei da de Navarro-Cardenas, porque ela teve uma mensagem de acompanhamento para os críticos: “Leve isso para o Chat GPT.”

Eu fiz. Perguntei ao ChatGPT e ele identificou Hunter deButts como o marido da irmã de Wilson, Anne. “A família de Woodrow Wilson era bastante proeminente, e sua irmã Anne casou-se com Hunter deButts, que era um indivíduo rico e socialmente conectado de uma família proeminente,” o ChatGPT me disse. “Hunter deButts fazia parte da família estendida de Wilson, embora não seja tão lembrado nos relatos históricos quanto outras figuras da vida de Wilson.” Segundo o New York Times, Anne Wilson casou-se com um homem chamado George Howe. Não está claro de onde veio o nome Hunter deButts.

De onde o ChatGPT está tirando essas informações?

O ChatGPT, aparentemente, é uma maneira terrivelmente ruim de explorar o registro histórico. Quando o abri e perguntei: “Quantos presidentes dos EUA perdoaram seus parentes?” eu obtive uma resposta correta: Bill Clinton perdoou Roger Clinton, seu meio-irmão. Mas junto com isso, o ChatGPT também me disse que George H.W. Bush perdoou seu filho Neil.

Não é a parte mais ruim, mas note que o perdão foi datado de 1999 — quando Bill Clinton era presidente.

Não me lembro disso, e penso sobre a crise de poupança e empréstimo uma quantidade muito normal, que é frequentemente. (Sou bem ajustado e agradável em festas.) Mas eu verifiquei novamente usando o mesmo processo que usei para deButts. Fui à página oficial do Departamento de Justiça sobre perdões presidenciais. Neil Bush não estava lá. Também não encontrei nada no sistema de clemência. Depois, passei por alguns arquivos de jornais e não consegui encontrar evidências de um perdão. É muito difícil provar um negativo — suponho que seja possível que Neil Bush tenha um perdão secreto em algum lugar na Casa Branca que nenhum de nós ouviu falar — mas estou bastante convencido de que ninguém o perdoou, muito menos seu pai.

Há igualmente poucas informações que apontem para Jimmy Carter perdoando seu irmão. O obituário de Billy Carter no New York Times não menciona perdão, e o obituário do Washington Post também não menciona. Perguntei a Stern se sua fonte era o ChatGPT e ele disse “não,” e não especificou mais de onde obteve suas informações. No entanto, ao perguntar ao ChatGPT se Jimmy Carter perdoou Billy obtemos um “sim” inequívoco.

Em 1981, enquanto Jimmy Carter se aproximava do final de sua presidência, ele perdoou seu irmão, Billy, por quaisquer possíveis crimes relacionados a seus negócios com a Líbia. O perdão, no entanto, não cobria possíveis responsabilidades civis ou outras ações legais, e Billy Carter acabou concordando em testemunhar diante do Congresso e pagar uma multa por suas ações.

Parte de uma longa resposta, que é detalhada, mas errada.

Eu reconheço que isso é um pouco tedioso, mas estou tentando mostrar meu trabalho. É a melhor maneira de estabelecer minha credibilidade, algo que você não obterá do ChatGPT. Também é algo que nenhuma das pessoas que fizeram alegações errôneas fez.

O ChatGPT me deu algumas outras respostas realmente estranhas — aquelas que não se encaixavam na pergunta que fiz sobre presidentes perdoando seus parentes. Citou o perdão de Gerald Ford a Richard Nixon, qualificando-o com “embora não seja um membro da família direta.” Também mencionou que Andrew Johnson deu anistia a ex-líderes confederados “incluindo alguns membros da família de figuras proeminentes do Sul.” Também, de maneira bizarra, me disse que Lyndon B. Johnson deu clemência a “vários associados,” embora notasse “eles não costumavam envolver diretamente sua própria família.” O quê?

Achei que poderia valer a pena ver o que o Google Gemini tinha a dizer sobre esses perdões.

É compreensível que o ChatGPT não mencionasse o perdão de Hunter Biden, uma vez que ocorreu além de sua data de corte em 2023. Mas estranhamente, o perdão de Donald Trump a Charles Kushner, o pai de seu genro Jared Kushner, também não aparece. Isso ocorreu em 2020. Certamente Kushner é um membro mais próximo da família para Trump do que Nixon é para Ford.

Enviei um e-mail para a Hearst perguntando se o escritor da Esquire, Charles P. Pierce, havia usado o ChatGPT como fonte para seu artigo. A porta-voz Allison Keane disse que não e se recusou a dizer mais sobre como o erro poderia ter ocorrido. Stern me disse que encontrou suas informações através de “pesquisas na internet no Google.”

Ok. Aqui está o que encontrei no Google: um artigo de algo chamado Hindustan Times intitulado “Antes de Biden: Trump, Clinton e os pardões presidenciais mais notórios para membros da família.” Alega, erroneamente, que Jimmy Carter perdoou Billy. (Defini meu corte de pesquisa para 2 de dezembro para evitar pegar quaisquer artigos de checagem de fatos surgindo das alegações falsas.) Quanto a Neil Bush, encontrei um post semi-viral no X e um artigo em algo chamado Times Now.

Não sei qual é a fonte das alegações nos Hindustan Times ou Times Now. Mas pensei que poderia valer a pena ver o que o Google Gemini tinha a dizer sobre esses pardões enquanto eu estava descendo esse buraco de coelho específico. O Gemini, em resposta a “Quantos presidentes perdoaram seus filhos” responde que há apenas um: Joe Biden. Mas ao perguntar quantos presidentes perdoaram membros da família, diz que Jimmy Carter perdoou Billy e George H.W. Bush perdoou Neil. Não menciona Kushner e Trump.

Oh, irmão.

Você notará na imagem que há cores de destaque. Isso porque pedi ao Google para verificar seus resultados. O perdão de Abraham Lincoln, que é real, está destacado em vermelho — o Google avisa que não encontrou conteúdo relevante. Os resultados de Bush e Carter, que são falsos, estão destacados em verde — e o resultado de Carter cita especificamente o artigo errôneo do Hindustan Times como sua fonte.

Perplexidade faz um pouco melhor, observando que Biden, Trump, Clinton e Lincoln perdoaram parentes. Mas ao perguntar quantos presidentes perdoaram seus filhos, lista a carta de anistia de Lincoln em nome da meia-irmã de sua esposa em suas respostas. É preciso dizer que a meia-irmã de sua esposa não é um filho.

O ChatGPT está frequentemente “totalmente errado”

O que aconteceu neste caso, há um padrão recorrente de pessoas confiando no ChatGPT ou em outros serviços de IA para fornecer respostas, apenas para receber alucinações em troca. Talvez você se lembre no início deste ano quando um trailer para Megalopolis de Francis Ford Coppola foi retirado porque continha citações fabricadas de críticos. Uma IA generativa, não identificada, havia criado elas. Na verdade, o ChatGPT é frequentemente “totalmente errado,” de acordo com a Columbia Journalism Review. Dado 200 citações e solicitado a identificar o editor que era a fonte dessas citações, o ChatGPT estava parcial ou totalmente errado mais de três quartos das vezes.

Mesmo usar o ChatGPT para ajudar com o processo de escrita é arriscado. Pergunte a Jeff Hancock, o fundador do Stanford Social Media Lab e um conhecido pesquisador em desinformação. Um documento legal que ele apresentou citou fontes que não existiam. Hancock insiste que escreveu o documento ele mesmo, mas usou GPT-4o para redigir sua lista de citações, resultando em duas citações inventadas e uma citação que tinha os autores errados anexados.

Agora, um defensor da IA poderia — justamente — dizer que um verdadeiro jornalista deve verificar as respostas fornecidas pelo ChatGPT; que a verificação de fatos é uma parte crítica do nosso trabalho. Concordo, e é por isso que passei por minha própria verificação neste artigo. Mas estes são apenas os exemplos públicos e embaraçosos de algo que eu acho que está acontecendo muito mais frequentemente em privado: uma pessoa normal está usando o ChatGPT e confiando nas informações que ele fornece.

Um erro, obviamente.

Motores de resposta apenas lhe oferecem uma resposta, e muitas vezes não está claro qual é a fonte.

Uma vantagem do Google Search à moda antiga em relação aos chamados motores de resposta é que ele fornece links diretamente para fontes primárias. Motores de resposta apenas lhe dão uma resposta, e muitas vezes não está claro qual é a fonte. Para mim, usar o ChatGPT ou a função de IA do Google cria trabalho extra — eu tenho que verificar a resposta em relação a uma fonte primária; o antigo Google Search apenas me deu essa fonte diretamente.

Mas pessoas que são menos cautelosas e menos exigentes do que eu, que suspeito ser a maioria das pessoas, simplesmente param na resposta e nunca verificam se está certa. Isso é, claro, a intenção do motor de resposta — é assim que ele foi projetado para funcionar. (Alguém, provavelmente alguém envolvido com a PerplexityAI, agora dirá: “ah, mas podemos anotar fontes com notas de rodapé.” Mesmo problema: quem clica nas notas de rodapé?)

Tudo isso é um mau design, é claro. Tecnologia que realmente serve às pessoas leva em conta o comportamento humano. Talvez haja uma maneira de fazer a IA generativa útil, mas em seu estado atual, sinto muito por qualquer um que seja ingênuo o suficiente para usá-la como uma ferramenta de pesquisa.

Eu sei que as pessoas estão cansadas de falar sobre cola na pizza, mas acho a degradação em grande escala do nosso ambiente informativo que já ocorreu chocante. (Basta pesquisar na Amazon se você quiser ver o que quero dizer.) Isso acontece de maneiras pequenas, como o AI do Google dizendo erroneamente que os raposos machos acasalam para a vida, e grandes, como espalhar informações falsas sobre um evento importante de notícias. Que utilidade tem uma máquina de respostas que ninguém pode confiar?

Fonte

Compartilhe esse conteúdo: