Engenheiros de software, desenvolvedores e pesquisadores acadêmicos têm sérias preocupações sobre as transcrições da Whisper da OpenAI, de acordo com um relatório da Associated Press.
Embora não tenha faltado discussão em torno da tendência da IA generativa de alucinar — basicamente, inventar coisas — é um pouco surpreendente que este seja um problema na transcrição, onde você esperaria que a transcrição seguisse de perto o áudio sendo transcrito.
Em vez disso, os pesquisadores disseram à AP que a Whisper introduziu desde comentários raciais até tratamentos médicos imaginados nas transcrições. E isso pode ser particularmente desastroso à medida que a Whisper é adotada em hospitais e outros contextos médicos.
Um pesquisador da Universidade de Michigan que estuda reuniões públicas encontrou alucinações em oito de cada dez transcrições de áudio. Um engenheiro de aprendizado de máquina estudou mais de 100 horas de transcrições da Whisper e encontrou alucinações em mais da metade delas. E um desenvolvedor relatou encontrar alucinações em quase todas as 26.000 transcrições que criou com a Whisper.
Um porta-voz da OpenAI disse que a empresa está “trabalhando continuamente para melhorar a precisão de nossos modelos, incluindo a redução de alucinações” e observou que suas políticas de uso proíbem o uso da Whisper “em certos contextos de tomada de decisão de alto risco.”
“Agradecemos aos pesquisadores por compartilhar suas descobertas,” disseram eles.