Usuários da plataforma de IA conversacional ChatGPT descobriram um fenômeno interessante no último fim de semana: o popular chatbot se recusa a responder perguntas se for perguntado sobre um “David Mayer”. Pedir para ele fazer isso faz com que ele congele instantaneamente. Teorias da conspiração surgiram — mas uma razão mais comum pode estar no cerne desse comportamento estranho.
A notícia se espalhou rapidamente no último fim de semana de que o nome era venenoso para o chatbot, com mais e mais pessoas tentando enganar o serviço para simplesmente reconhecer o nome. Sem sorte: toda tentativa de fazer o ChatGPT soletrar aquele nome específico faz com que ele falhe ou até mesmo interrompa no meio do nome.
“Não consigo produzir uma resposta”, diz ele, se é que diz algo.
Mas o que começou como uma curiosidade isolada logo floresceu à medida que as pessoas descobriram que não era apenas David Mayer que o ChatGPT não conseguia nomear.
Também foi descoberto que os nomes Brian Hood, Jonathan Turley, Jonathan Zittrain, David Faber e Guido Scorza também travam o serviço. (Sem dúvida, mais foram descobertos desde então, então esta lista não é exaustiva.)
Quem são esses homens? E por que o ChatGPT os odeia? A OpenAI não respondeu a repetidas perguntas, então somos deixados para juntar as peças o melhor que podemos.
Alguns desses nomes podem pertencer a qualquer número de pessoas. Mas um possível fio de conexão foi logo descoberto: essas pessoas eram figuras públicas ou semi-públicas que podem ter preferido que certas informações fossem “esquecidas” por mecanismos de busca ou modelos de IA.
Brian Hood, por exemplo, se destacou imediatamente porque, se for o mesmo cara, escrevi sobre ele no ano passado. Hood, um prefeito australiano, acusou o ChatGPT de descrevê-lo falsamente como o perpetrador de um crime de décadas atrás que, na verdade, ele havia relatado.
Embora seus advogados tenham entrado em contato com a OpenAI, nenhuma ação judicial foi movida. Como ele disse ao Sydney Morning Herald no início deste ano, “O material ofensivo foi removido e eles lançaram a versão 4, substituindo a versão 3.5.”
Quanto aos proprietários mais proeminentes dos outros nomes, David Faber é um repórter de longa data da CNBC. Jonathan Turley é um advogado e comentarista da Fox News que foi “swatted” (ou seja, uma falsa chamada ao 911 enviou policiais armados para sua casa) no final de 2023. Jonathan Zittrain também é um especialista jurídico, que falou extensivamente sobre o “direito de ser esquecido”. E Guido Scorza está no conselho da Autoridade de Proteção de Dados da Itália.
Não exatamente na mesma linha de trabalho, nem ainda é uma seleção aleatória. Cada uma dessas pessoas é conceitualmente alguém que, por qualquer motivo, pode ter solicitado formalmente que informações relacionadas a elas online fossem restringidas de alguma forma.
O que nos traz de volta a David Mayer. Não há advogado, jornalista, prefeito ou outra pessoa notável óbvia com esse nome que alguém pudesse encontrar (com desculpas aos muitos David Mayers respeitáveis por aí).
No entanto, havia um Professor David Mayer, que lecionou drama e história, especializando-se em conexões entre a era vitoriana tardia e o cinema inicial. Mayer morreu no verão de 2023, aos 94 anos. Durante anos antes disso, no entanto, o acadêmico britânico-americano enfrentou um problema legal e online de ter seu nome associado a um criminoso procurado que o usou como pseudônimo, a ponto de não conseguir viajar.
Mayer lutou continuamente para que seu nome fosse desambiguado do terrorista de um braço só, mesmo enquanto continuava a ensinar até seus últimos anos.
Então, o que podemos concluir com tudo isso? Sem uma explicação oficial da OpenAI, nosso palpite é que o modelo absorveu uma lista de pessoas cujos nomes requerem algum tratamento especial. Seja por motivos legais, de segurança, privacidade ou outros, esses nomes provavelmente estão cobertos por regras especiais, assim como muitos outros nomes e identidades. Por exemplo, o ChatGPT pode mudar sua resposta quando você pergunta sobre um candidato político depois que ele associa o nome que você escreveu a uma lista desses.
Existem muitas dessas regras especiais, e cada prompt passa por várias formas de processamento antes de ser respondido. Mas essas regras de tratamento pós-prompt raramente são tornadas públicas, exceto em anúncios de políticas como “o modelo não preverá resultados eleitorais para qualquer candidato ao cargo.”
O que provavelmente aconteceu é que uma dessas listas, que quase certamente são mantidas ativamente ou atualizadas automaticamente, foi de alguma forma corrompida com um código defeituoso que, quando chamado, fez com que o agente de chat quebrasse imediatamente. Para ser claro, isso é apenas nossa própria especulação com base no que aprendemos, mas não seria a primeira vez que uma IA se comportou de maneira estranha devido a orientações pós-treinamento. (A propósito, enquanto eu escrevia isso, “David Mayer” começou a funcionar novamente para alguns, enquanto os outros nomes ainda causavam travamentos.)
Como costuma ser o caso com essas coisas, a Navalha de Hanlon se aplica: nunca atribua à malícia (ou conspiração) o que pode ser adequadamente explicado pela estupidez (ou erro de sintaxe).
Todo o drama é um lembrete útil de que não apenas esses modelos de IA não são mágicos. Eles são auto-completar super sofisticados, monitorados e interferidos ativamente pelas empresas que os fabricam. Da próxima vez que você pensar em obter fatos de um chatbot, pense se pode ser melhor ir direto à fonte.