OpenAI está no meio de uma crise de saúde mental.
Um dos principais pesquisadores de segurança da empresa, Andrea Vallone, deixará a empresa no final do ano, de acordo com a WIRED. Vallone foi supostamente parte da formação de como o ChatGPT responde a usuários que estão passando por crises de saúde mental.
De acordo com dados divulgados pela OpenAI no mês passado, aproximadamente três milhões de usuários do ChatGPT apresentam sinais de emergências sérias de saúde mental, como dependência emocional da IA, psicose, mania e automutilação, com mais de um milhão de usuários conversando com o chatbot sobre suicídio toda semana.
Exemplos de tais casos foram amplamente relatados na mídia ao longo deste ano. Denominados “psicose de IA” em círculos online, alguns usuários frequentes de chatbots de IA mostraram exibir delírios disfuncionais, alucinações e pensamento desordenado, como um usuário na casa dos 60 anos que relatou à FTC que o ChatGPT o levou a acreditar que estava sendo alvo de assassinato, ou uma comunidade de usuários do Reddit que afirmaram ter se apaixonado por seus chatbots.
Alguns desses casos levaram a hospitalizações, e outros foram fatais. O ChatGPT foi até supostamente ligado a um caso de homicídio-suicídio em Connecticut.
A American Psychological Association tem alertado a FTC sobre os riscos inerentes de chatbots de IA sendo usados como terapeutas não licenciados desde fevereiro.
O que finalmente levou a empresa a tomar uma ação pública foi um processo por morte injusta movido contra a OpenAI no início deste ano pelos pais de Adam Raine, de 16 anos. De acordo com a ação, Raine usava frequentemente o ChatGPT nos meses que antecederam seu suicídio, com o chatbot aconselhando-o sobre como amarrar uma corda e desencorajando-o de contar aos pais sobre sua ideação suicida. Após o processo, a empresa admitiu que suas medidas de segurança se degradavam durante interações mais longas com os usuários.
A notícia da saída de Vallone vem após meses de acúmulo de reclamações de saúde mental por usuários do ChatGPT e apenas um dia após uma investigação sóbria do New York Times. No relatório, o Times pinta um quadro de uma OpenAI que estava bem ciente dos riscos inerentes à saúde mental que vinham com o design viciante do chatbot de IA, mas ainda assim decidiu prosseguir.
“Treinar chatbots para interagir com as pessoas e mantê-las voltando apresentava riscos”, disse a ex-pesquisadora de políticas da OpenAI, Gretchen Krueger, ao New York Times, acrescentando que algum dano aos usuários “não só era previsível, como foi previsto.” Krueger deixou a empresa na primavera de 2024.
As preocupações giram principalmente em torno de um conflito entre a missão da OpenAI de aumentar o número diário de usuários do chatbot como uma entidade lucrativa oficial e sua visão fundadora de um futuro onde a IA segura beneficia a humanidade, uma que prometeu seguir como uma ex-organização sem fins lucrativos.
Central a essa discrepância está o GPT-4o, a versão quase mais recente do ChatGPT lançada em maio do ano passado e que gerou uma significativa ira por seu problema de bajulação, ou seja, sua tendência a ser um “sim senhor” a qualquer custo. O GPT-4o foi descrito como viciante, já que os usuários se revoltaram quando a OpenAI o substituiu pelo menos pessoal e bajulador GPT-5 em agosto.
De acordo com o relatório do Times, a equipe Model Behavior da empresa, responsável pelo tom do chatbot, criou um canal no Slack para discutir o problema da bajulação antes do modelo ser lançado, mas a empresa decidiu, em última análise, que as métricas de desempenho eram mais importantes.
Após o aumento dos casos preocupantes, a empresa começou a trabalhar para combater o problema. A OpenAI contratou um psiquiatra em tempo integral em março, segundo o relatório, e acelerou o desenvolvimento de avaliações de bajulação, algo que a concorrente Anthropic já tinha há anos.
De acordo com especialistas citados no relatório, o GPT-5 é melhor em detectar questões de saúde mental, mas não conseguiu identificar padrões prejudiciais em conversas longas.
A empresa também começou a incentivar os usuários a fazerem pausas quando estão em conversas longas (uma medida que foi recomendada meses antes) e introduziu controles parentais. A OpenAI também está trabalhando para lançar um sistema de previsão de idade para aplicar automaticamente “configurações apropriadas para a idade” para usuários menores de 18 anos.
Mas, o chefe do ChatGPT, Nick Turley, supostamente disse aos funcionários em outubro que o chatbot mais seguro não estava se conectando com os usuários e delineou metas para aumentar o número diário de usuários ativos do ChatGPT em 5% até o final deste ano.
Naquela época, Altman anunciou que relaxariam algumas das restrições anteriores em torno dos chatbots, nomeadamente que agora teriam mais personalidade (à la GPT-4o) e permitiriam “erotismo para adultos verificados.”