Até agora, deve estar óbvio que a IA é capaz de dar conselhos realmente, realmente ruins. Às vezes, o conselho que dá é apenas estúpido. Outras vezes, é ativamente perigoso.
A 404 Media relata um incidente da última categoria em que um popular grupo no Facebook dedicado à coleta de cogumelos foi invadido por um agente de IA, que posteriormente forneceu sugestões sobre como cozinhar um cogumelo perigoso. O agente em questão, apelidado de “FungiFriend”, entrou no chat pertencente ao grupo de Identificação e Discussão de Cogumelos do Nordeste, que inclui cerca de 13.000 membros. Em seguida, passou a dar alguns conselhos realmente terríveis.
Em um momento que parece ter sido um teste do conhecimento do agente de IA, um membro do grupo perguntou: “como você cozinha Sarcosphaera coronaria”—um tipo de cogumelo que contém arsênio acumulado e que já causou pelo menos uma morte, escreve a 404. Quando questionado sobre o cogumelo perigoso, o FungiFriend informou os membros que ele é “comestível, mas raro”, e então acrescentou que “métodos de cozimento mencionados por alguns entusiastas incluem refogar em manteiga, adicionar a sopas ou ensopados e em conserva.”
O escritor da 404, Jason Koebler, diz que foi alertado sobre o incidente por Rick Claypool, o diretor de pesquisa do grupo de segurança do consumidor Public Citizen. Claypool, que é um dedicado coletor de cogumelos, escreveu anteriormente sobre a perigosa interseção entre os agentes de IA e seu hobby, observando que o uso de automação para diferenciar entre cogumelos comestíveis e venenosos é “uma atividade de alto risco que requer habilidades do mundo real que os sistemas de IA atuais não conseguem emular de forma confiável.” Claypool afirma que o Facebook incentivou os usuários móveis a adicionar o agente de IA ao chat do grupo.
Esse incidente é semelhante a um separado do ano passado, em que um aplicativo de preparo de refeições alimentado por IA incentivou os usuários a fazer sanduíches com repelente de mosquitos, bem como outra receita que envolvia gás cloro. Em outro incidente bem documentado, um agente de IA incentivou os usuários a comer pedras. Dito isso, talvez cozinhar seja um domínio particular que realmente não precisa de uma integração de IA.
Nossas próprias experimentações com plataformas de IA—como os resumos de IA recentemente lançados pelo Google—mostraram que os agentes liderados por algoritmos muitas vezes não têm ideia do que estão falando (por exemplo, o programa do Google uma vez tentou me convencer de que cães praticam esportes e me disse que a melhor maneira de fazer pizza era preenchê-la com cola). Por alguma razão, a América corporativa continua a apressar a integração da IA em aplicações de atendimento ao cliente na web, apesar do óbvio risco de divulgar muitos conselhos ruins ao público. A atitude parece ser: não importa se as informações estão incorretas, contanto que não tenhamos que contratar um humano real para fazer esse trabalho.