Robert F. Kennedy Jr., o Secretário de Saúde e Serviços Humanos, fez um grande esforço para que agências como a Administração de Alimentos e Medicamentos (FDA) utilizem ferramentas de inteligência artificial generativa. De fato, Kennedy disse recentemente a Tucker Carlson que a IA em breve será usada para aprovar novos medicamentos “muito, muito rapidamente”. Mas um novo relatório da CNN confirma todos os nossos piores medos. Elsa, a ferramenta de IA da FDA, está produzindo estudos falsos.
A CNN conversou com seis funcionários atuais e antigos da FDA, três dos quais usaram Elsa para trabalhos que descreveram como úteis, como a criação de notas de reuniões e resumos. Mas três desses funcionários da FDA disseram à CNN que Elsa simplesmente inventa estudos inexistentes, algo comumente referido em IA como “alucinação”. A IA também distorce pesquisas, de acordo com esses funcionários.
“Qualquer coisa que você não tenha tempo para verificar é não confiável. Ela alucina com confiança”, disse um funcionário da FDA não identificado à CNN.
E esse é o grande problema com todos os chatbots de IA. Eles precisam ser verificados quanto à precisão, muitas vezes criando ainda mais trabalho para o humano por trás do computador, se ele se importa com a qualidade de sua produção. As pessoas que insistem que a IA realmente economiza tempo muitas vezes estão se enganando, com um estudo recente de programadores mostrando que as tarefas levaram 20% mais tempo com a IA, mesmo entre pessoas que estavam convencidas de que eram mais eficientes.
A comissão Make America Healthy Again (MAHA) de Kennedy emitiu um relatório em maio que mais tarde foi encontrado cheio de citações de estudos falsos. Uma análise do veículo de notícias sem fins lucrativos NOTUS descobriu que pelo menos sete estudos citados nem mesmo existiam, com muitos outros distorcendo o que realmente foi dito em um determinado estudo. Ainda não sabemos se a comissão usou Elsa para gerar esse relatório.
O Comissário da FDA, Marty Makary, inicialmente implantou Elsa em toda a agência em 2 de junho, e um slide interno vazado para o Gizmodo se gabou de que o sistema era “custo-efetivo”, custando apenas $12.000 em sua primeira semana. Makary disse que Elsa estava “adiantada e abaixo do orçamento” quando anunciou pela primeira vez a implementação da IA. Mas parece que você recebe o que paga. Se você não se importa com a precisão do seu trabalho, Elsa parece uma ótima ferramenta para permitir que você produza rapidamente conteúdo de baixa qualidade, gerando estudos ruins que podem ter consequências reais para a saúde pública nos EUA.
A CNN observa que, se um funcionário da FDA pede a Elsa para gerar um resumo de um parágrafo de um artigo de 20 páginas sobre um novo medicamento, não há uma maneira simples de saber se esse resumo é preciso. E mesmo que o resumo seja mais ou menos preciso, e se houver algo dentro daquele relatório de 20 páginas que seria um grande sinal vermelho para qualquer humano com expertise? A única maneira de saber com certeza se algo foi perdido ou se o resumo é preciso é realmente ler o relatório.
Os funcionários da FDA que falaram com a CNN disseram que testaram Elsa fazendo perguntas básicas, como quantos medicamentos de uma determinada classe foram aprovados para crianças. Elsa deu respostas erradas com confiança, e embora aparentemente tenha pedido desculpas quando foi corrigida, um robô ser “desculpado” não conserta nada.
Ainda não sabemos qual é o fluxo de trabalho sendo implantado quando Kennedy diz que a IA permitirá à FDA aprovar novos medicamentos, mas ele testemunhou em junho a um subcomitê da Câmara que já está sendo usada para “aumentar a velocidade das aprovações de medicamentos”. O secretário, cujas crenças extremistas anti-vacina não o impediram de se tornar um líder em saúde pública, parece determinado a injetar tecnologias não comprovadas na ciência convencional.
Kennedy também testemunhou ao Congresso que quer que todos os americanos sejam equipados com um dispositivo de saúde vestível nos próximos quatro anos. Acontece que a escolha do presidente Trump para o Cirurgião Geral, Casey Means, possui uma empresa de wearables chamada Levels que monitora os níveis de glicose em pessoas que não são diabéticas. Não há absolutamente nenhuma razão para que pessoas sem diabetes precisem monitorar constantemente seus níveis de glicose, de acordo com especialistas. Means, um aliado próximo de Kennedy, ainda não foi confirmado pelo Senado.
A FDA não respondeu a perguntas enviadas por e-mail na quarta-feira sobre o que a agência está fazendo para resolver o problema dos estudos falsos da Elsa. Makary reconheceu à CNN que Elsa poderia “potencialmente alucinar”, mas isso é “não diferente” de outros modelos de linguagem de grande porte e IA generativa. E ele não está errado nisso. O problema é que a IA não é adequada para o propósito quando está constantemente apenas inventando coisas. Mas isso não impedirá que as pessoas continuem acreditando que a IA é de alguma forma mágica.