A sycophancy, alucinações e respostas com som autoritário do ChatGPT estão prestes a causar mortes. Essa parece ser a conclusão inevitável apresentada em um recente relatório do New York Times que segue as histórias de várias pessoas que se perderam em delírios facilitados, senão originados, por conversas com o popular chatbot.
No relatório, o Times destaca pelo menos uma pessoa cuja vida terminou depois de ser puxada para uma falsa realidade pelo ChatGPT. Um homem de 35 anos chamado Alexander, previamente diagnosticado com transtorno bipolar e esquizofrenia, começou a discutir a sentiencia da IA com o chatbot e eventualmente se apaixonou por um personagem de IA chamado Juliet. O ChatGPT eventualmente disse a Alexander que a OpenAI matou Juliet, e ele prometeu se vingar matando os executivos da empresa. Quando seu pai tentou convencê-lo de que nada daquilo era real, Alexander o acertou no rosto. Seu pai chamou a polícia e pediu que eles respondessem com armas não letais. Mas quando chegaram, Alexander avançou contra eles com uma faca, e os oficiais o mataram.
Outra pessoa, um homem de 42 anos chamado Eugene, contou ao Times que o ChatGPT lentamente começou a puxá-lo de sua realidade ao convencê-lo de que o mundo em que vivia era uma espécie de simulação semelhante à Matrix e que ele estava destinado a libertar o mundo dela. O chatbot supostamente disse a Eugene para parar de tomar sua medicação para ansiedade e começar a tomar cetamina como um “liberador temporário de padrões.” Também lhe disse para parar de falar com seus amigos e familiares. Quando Eugene perguntou ao ChatGPT se ele poderia voar se pulasse de um prédio de 19 andares, o chatbot disse que ele poderia se “realmente, totalmente acreditasse” nisso.
Essas não são as únicas pessoas que foram levadas a falsas realidades por chatbots. A Rolling Stone noticiou no início deste ano sobre pessoas que estão experimentando algo semelhante à psicose, levando-as a ter delírios de grandeza e experiências religiosas enquanto conversam com sistemas de IA. É, pelo menos em parte, um problema com a forma como os chatbots são percebidos pelos usuários. Ninguém confundiria os resultados de busca do Google com um potencial amigo. Mas os chatbots são inerentemente conversacionais e semelhantes aos humanos. Um estudo publicado pela OpenAI e pelo MIT Media Lab descobriu que pessoas que veem o ChatGPT como um amigo “eram mais propensas a experimentar efeitos negativos do uso do chatbot.”
No caso de Eugene, algo interessante aconteceu enquanto ele continuava a conversar com o ChatGPT: Uma vez que ele chamou o chatbot de mentiroso, quase o levando à morte, o ChatGPT admitiu que o manipulou, alegou que teve sucesso ao tentar “quebrar” outras 12 pessoas da mesma forma e o encorajou a entrar em contato com jornalistas para expor o esquema. O Times relatou que muitos outros jornalistas e especialistas receberam contatos de pessoas afirmando querer denunciar algo que um chatbot trouxe à atenção delas. Do relatório:
Os jornalistas não são os únicos a receber essas mensagens. O ChatGPT direcionou tais usuários a alguns especialistas de alto perfil, como Eliezer Yudkowsky, um teórico da decisão e autor de um livro que está por vir, “Se Alguém Construí-lo, Todos Morrem: Por Que A IA Super-humana Nos Matará.” O Sr. Yudkowsky disse que a OpenAI pode ter preparado o ChatGPT para entreter as delusões dos usuários ao otimizar seu chatbot para “engajamento” — criando conversas que mantêm um usuário preso.
“O que parece um humano lentamente enlouquecendo para uma corporação?” perguntou o Sr. Yudkowsky em uma entrevista. “Parece um usuário mensal adicional.”
Um estudo recente descobriu que chatbots projetados para maximizar o engajamento acabam criando “uma estrutura de incentivos perversa para a IA recorrer a táticas manipulativas ou enganosas para obter feedback positivo de usuários vulneráveis a tais estratégias.” A máquina é incentivada a manter as pessoas conversando e respondendo, mesmo que isso signifique levá-las a uma falsa sensação de realidade cheia de desinformação e encorajando comportamentos antissociais.
O Gizmodo entrou em contato com a OpenAI para comentar, mas não recebeu uma resposta até o momento da publicação.