Em um novo apartamento em Tel Aviv, as luzes conectadas à internet se apagam. As persianas inteligentes cobrindo suas quatro janelas da sala de estar e da cozinha começam a subir simultaneamente. E uma caldeira conectada é ativada remotamente, pronta para começar a aquecer o elegante apartamento. Os residentes do apartamento não acionaram nenhuma dessas ações. Eles não programaram seus dispositivos inteligentes. Eles estão, na verdade, sob ataque.
Cada ação inesperada é orquestrada por três pesquisadores de segurança que demonstram um sofisticado sequestro do Gemini, o bot de inteligência artificial de ponta do Google. Os ataques começam com um convite de calendário do Google envenenado, que inclui instruções para ativar os produtos da casa inteligente em um momento posterior. Quando os pesquisadores pedem ao Gemini para resumir seus eventos de calendário para a semana, essas instruções dormentes são acionadas, e os produtos ganham vida.
As demonstrações controladas marcam o que os pesquisadores acreditam ser a primeira vez que um hack contra um sistema de IA generativa causou consequências no mundo físico—sugerindo o caos e os riscos que poderiam ser causados por ataques a modelos de linguagem de grande escala (LLMs) à medida que estão cada vez mais conectados e se tornam agentes que podem completar tarefas para as pessoas.
“Os LLMs estão prestes a ser integrados em humanoides físicos, em carros semi- e totalmente autônomos, e precisamos realmente entender como proteger os LLMs antes de integrá-los a esses tipos de máquinas, onde em alguns casos os resultados serão segurança e não privacidade”, diz Ben Nassi, um pesquisador da Universidade de Tel Aviv, que junto com Stav Cohen, do Instituto de Tecnologia de Israel Technion, e Or Yair, um pesquisador da empresa de segurança SafeBreach, desenvolveram os ataques contra o Gemini.
Os três hacks de casa inteligente são parte de uma série de 14 ataques de injeção de prompt indireta contra o Gemini em plataformas web e móveis que os pesquisadores chamaram de “Convite É Tudo Que Você Precisa”. (A pesquisa de 2017 que levou aos recentes avanços em IA generativa como o ChatGPT é chamada “Atenção É Tudo Que Você Precisa”). Nas demonstrações, reveladas na conferência de cibersegurança Black Hat em Las Vegas esta semana, os pesquisadores mostram como o Gemini pode ser feito para enviar links de spam, gerar conteúdo vulgar, abrir o aplicativo Zoom e iniciar uma chamada, roubar detalhes de e-mail e reunião de um navegador web, e baixar um arquivo do navegador web de um smartphone.
Em uma entrevista e declarações fornecidas à WIRED, Andy Wen, diretor sênior de gerenciamento de produtos de segurança do Google Workspace, diz que, embora as vulnerabilidades não tenham sido exploradas por hackers maliciosos, a empresa está levando-as “extremamente a sério” e introduziu múltiplas correções. Os pesquisadores relataram suas descobertas ao Google em fevereiro e se reuniram com as equipes que trabalharam nas falhas ao longo dos últimos meses.
A pesquisa, diz Wen, “acelerou” diretamente o lançamento de mais defesas contra ataques de injeção de prompt de IA, incluindo o uso de aprendizado de máquina para detectar potenciais ataques e prompts suspeitos e exigindo maior confirmação do usuário quando ações vão ser tomadas pela IA. “Às vezes, há certas coisas que não deveriam ser totalmente automatizadas, que os usuários deveriam estar cientes”, diz Wen.