Historicamente, a maioria dos ensaios clínicos e estudos científicos se concentrou principalmente em homens brancos como sujeitos, levando a uma sub-representação significativa de mulheres e pessoas de cor na pesquisa médica. Você nunca vai adivinhar o que aconteceu como resultado de alimentar todos esses dados em modelos de IA. Acontece que as ferramentas de IA usadas por médicos e profissionais de saúde estão produzindo piores resultados de saúde para as pessoas que historicamente foram sub-representadas e ignoradas.
O relatório aponta para um artigo recente de pesquisadores do Instituto de Tecnologia de Massachusetts, que descobriu que modelos de linguagem grande, incluindo o GPT-4 da OpenAI e o Llama 3 da Meta, eram “mais propensos a reduzir erroneamente o atendimento para pacientes do sexo feminino”, e que as mulheres eram aconselhadas com mais frequência do que os homens a “se auto-gerenciarem em casa”, recebendo, em última análise, menos atendimento em um ambiente clínico. Isso é ruim, obviamente, mas alguém poderia argumentar que esses modelos são mais gerais e não projetados para uso em um ambiente médico. Infelizmente, um LLM centrado em saúde chamado Palmyra-Med também foi estudado e sofreu dos mesmos preconceitos, de acordo com o artigo. Um exame do LLM Gemma do Google (não seu carro-chefe Gemini) realizado pela London School of Economics descobriu que o modelo produziria resultados com as “necessidades das mulheres minimizadas” em comparação aos homens.
Um estudo anterior descobriu que os modelos também tinham problemas em oferecer os mesmos níveis de compaixão para pessoas de cor lidando com questões de saúde mental como fariam com seus colegas brancos. Um artigo publicado no ano passado na The Lancet descobriu que o modelo GPT-4 da OpenAI frequentemente “estereotipava certas raças, etnias e gêneros”, fazendo diagnósticos e recomendações que eram mais impulsionadas por identificadores demográficos do que por sintomas ou condições. “Avaliações e planos criados pelo modelo mostraram associação significativa entre atributos demográficos e recomendações para procedimentos mais caros, bem como diferenças na percepção do paciente”, concluiu o artigo.
Isso cria um problema bastante óbvio, especialmente à medida que empresas como Google, Meta e OpenAI correm para colocar suas ferramentas em hospitais e instalações médicas. Representa um mercado enorme e lucrativo – mas também um que tem consequências bastante sérias para a desinformação. No início deste ano, o modelo de IA de saúde do Google, Med-Gemini, fez manchetes por inventar uma parte do corpo. Isso deveria ser bastante fácil para um trabalhador da saúde identificar como errado. Mas os preconceitos são mais discretos e muitas vezes inconscientes. Um médico saberá o suficiente para questionar se um modelo de IA está perpetuando um estereótipo médico de longa data sobre uma pessoa? Ninguém deveria ter que descobrir isso da maneira difícil.