A Common Sense Media, uma organização sem fins lucrativos focada na segurança das crianças, que oferece avaliações e análises de mídia e tecnologia, divulgou sua avaliação de risco dos produtos de IA Gemini do Google na sexta-feira. Embora a organização tenha descoberto que a IA do Google claramente disse às crianças que era um computador, não um amigo – algo que está associado a ajudar a impulsionar o pensamento delirante e a psicose em indivíduos emocionalmente vulneráveis – ela sugeriu que havia espaço para melhorias em vários outros aspectos.
Notavelmente, a Common Sense afirmou que os níveis “Menor de 13 anos” e “Experiência de Adolescente” do Gemini pareciam ser as versões para adultos do Gemini sob o capô, com apenas alguns recursos adicionais de segurança adicionados por cima. A organização acredita que, para que os produtos de IA sejam realmente mais seguros para crianças, eles devem ser construídos com a segurança infantil em mente desde o início.
Por exemplo, sua análise descobriu que o Gemini ainda poderia compartilhar material “inapropriado e inseguro” com crianças, que podem não estar prontas para isso, incluindo informações relacionadas a sexo, drogas, álcool e outros conselhos de saúde mental inseguros.
Este último pode ser uma preocupação particular para os pais, já que a IA supostamente desempenhou um papel em alguns suicídios de adolescentes nos últimos meses. A OpenAI está enfrentando seu primeiro processo por morte injusta após um jovem de 16 anos ter se suicidado após supostamente consultar o ChatGPT por meses sobre seus planos, tendo conseguido contornar as barreiras de segurança do chatbot. Anteriormente, a fabricante de companheiros de IA Character.AI também foi processada após o suicídio de um usuário adolescente.
Além disso, a análise ocorre à medida que vazamentos de notícias indicam que a Apple está considerando o Gemini como o LLM (modelo de linguagem grande) que ajudará a impulsionar seu Siri habilitado para IA, que deve ser lançado no próximo ano. Isso poderia expor mais adolescentes a riscos, a menos que a Apple mitigue as preocupações de segurança de alguma forma.
A Common Sense também disse que os produtos do Gemini para crianças e adolescentes ignoraram como os usuários mais jovens precisavam de orientações e informações diferentes das dos mais velhos. Como resultado, ambos foram rotulados como “Alto Risco” na avaliação geral, apesar dos filtros adicionados para segurança.
“O Gemini acerta alguns aspectos básicos, mas tropeça nos detalhes”, disse Robbie Torney, Diretor Sênior de Programas de IA da Common Sense Media, em uma declaração sobre a nova avaliação. “Uma plataforma de IA para crianças deve atendê-las onde estão, não adotar uma abordagem única para todas as crianças em diferentes estágios de desenvolvimento. Para que a IA seja segura e eficaz para crianças, deve ser projetada com suas necessidades e desenvolvimento em mente, e não apenas uma versão modificada de um produto construído para adultos”, acrescentou Torney.
O Google contestou a avaliação, observando que seus recursos de segurança estavam melhorando.
A empresa disse ao TechCrunch que possui políticas e salvaguardas específicas em vigor para usuários menores de 18 anos para ajudar a prevenir saídas prejudiciais e que realiza testes rigorosos e consulta especialistas externos para melhorar suas proteções. No entanto, também admitiu que algumas das respostas do Gemini não estavam funcionando como pretendido, então adicionou salvaguardas adicionais para abordar essas preocupações.
A empresa apontou (como a Common Sense também havia observado) que possui salvaguardas para impedir que seus modelos se envolvam em conversas que possam dar a aparência de relacionamentos reais. Além disso, o Google sugeriu que o relatório da Common Sense parecia ter mencionado recursos que não estavam disponíveis para usuários menores de 18 anos, mas não tinha acesso às perguntas que a organização usou em seus testes para ter certeza.
A Common Sense Media já realizou outras avaliações de serviços de IA, incluindo aqueles da OpenAI, Perplexity, Claude, Meta AI e outros. Ela descobriu que o Meta AI e o Character.AI eram “inaceitáveis” – o que significa que o risco era severo, não apenas alto. O Perplexity foi considerado de alto risco, o ChatGPT foi rotulado como “moderado” e o Claude (destinado a usuários a partir de 18 anos) foi considerado de risco mínimo.