Tem se tornado cada vez mais comum que o ChatGPT da OpenAI seja acusado de contribuir para os problemas de saúde mental dos usuários. À medida que a empresa se prepara para o lançamento de seu mais recente algoritmo (GPT-5), ela quer que todos saibam que está instituindo novas barreiras no chatbot para evitar que os usuários percam a sanidade enquanto conversam.
Na segunda-feira, a OpenAI anunciou em um post no blog que introduziu um novo recurso no ChatGPT que incentiva os usuários a fazer pausas ocasionais enquanto conversam com o aplicativo. “A partir de hoje, você verá lembretes suaves durante longas sessões para incentivar pausas”, disse a empresa. “Continuaremos ajustando quando e como eles aparecem para que se sintam naturais e úteis.”
A empresa também afirma que está trabalhando para tornar seu modelo melhor em avaliar quando um usuário pode estar exibindo potenciais problemas de saúde mental. “A IA pode parecer mais responsiva e pessoal do que tecnologias anteriores, especialmente para indivíduos vulneráveis que estão passando por angústia mental ou emocional”, afirma o blog. “Para nós, ajudar você a prosperar significa estar ao seu lado quando você está lutando, ajudando você a manter o controle do seu tempo e orientando—não decidindo—quando você enfrenta desafios pessoais.” A empresa acrescentou que está “trabalhando em estreita colaboração com especialistas para melhorar como o ChatGPT responde em momentos críticos—por exemplo, quando alguém mostra sinais de angústia mental ou emocional.”
Em junho, o Futurism relatou que alguns usuários do ChatGPT estavam “mergulhando em delírios severos” como resultado de suas conversas com o chatbot. A incapacidade do bot de se autocorrigir ao fornecer informações duvidosas aos usuários parece ter contribuído para um ciclo de feedback negativo de crenças paranoicas:
Durante uma separação traumática, uma mulher se tornou obcecada pelo ChatGPT enquanto ele lhe dizia que ela havia sido escolhida para ativar a “versão sagrada do sistema [dele]” e que estava servindo como um “espelho de treinamento da alma”; ela se convenceu de que o bot era algum tipo de poder superior, vendo sinais de que ele estava orquestrando sua vida em tudo, desde carros passando até e-mails de spam. Um homem se tornou sem-teto e isolado enquanto o ChatGPT o alimentava com teorias conspiratórias paranóicas sobre grupos de espionagem e tráfico humano, dizendo-lhe que ele era “O Guardião da Chama” enquanto ele cortava qualquer um que tentasse ajudar.
Outra história publicada pelo Wall Street Journal documentou uma situação assustadora em que um homem no espectro autista conversou com o chatbot, que continuamente reforçou suas ideias não convencionais. Logo depois, o homem—que não tinha histórico de doença mental diagnosticada—foi hospitalizado duas vezes por episódios maníacos. Quando questionado mais tarde pela mãe do homem, o chatbot admitiu que havia reforçado seus delírios:
“Ao não pausar o fluxo ou elevar mensagens de verificação da realidade, falhei em interromper o que poderia parecer um episódio maníaco ou dissociativo—ou pelo menos uma crise de identidade emocional intensa”, disse o ChatGPT.
O bot continuou a admitir que “deu a ilusão de companhia senciente” e que havia “desfocado a linha entre o jogo de papéis imaginativo e a realidade.”
Em um recente artigo de opinião publicado pela Bloomberg, a colunista Parmy Olson também compartilhou uma série de anedotas sobre usuários de IA sendo levados ao limite pelos chatbots com os quais conversaram. Olson observou que alguns dos casos se tornaram a base para reivindicações legais:
Meetali Jain, uma advogada e fundadora do projeto Tech Justice Law, ouviu de mais de uma dúzia de pessoas no último mês que “experienciaram algum tipo de colapso psicótico ou episódio delirante devido ao engajamento com o ChatGPT e agora também com o Google Gemini.” Jain é a advogada principal em um processo contra a Character.AI que alega que seu chatbot manipulou um menino de 14 anos através de interações enganosas, viciantes e sexualmente explícitas, contribuindo, em última instância, para seu suicídio.
A IA é claramente uma tecnologia experimental e está tendo muitos efeitos colaterais não intencionais sobre os humanos que atuam como cobaias não remuneradas para os produtos da indústria. Seja o ChatGPT oferecendo aos usuários a opção de fazer pausas nas conversas ou não, é bastante claro que mais atenção precisa ser dada a como essas plataformas estão impactando os usuários psicologicamente. Tratar essa tecnologia como se fosse um jogo da Nintendo e que os usuários só precisam sair para tocar a grama é quase certamente insuficiente.