Como as empresas podem se proteger contra as vulnerabilidades únicas dos agentes de IA? Considere tratá-los como suas próprias identidades.
Este artigo faz parte da edição especial da VentureBeat, “O playbook de resiliência cibernética: Navegando na nova era de ameaças”.
A IA generativa levanta questões de segurança interessantes, e conforme as empresas entram no mundo agente, essas questões de segurança aumentam.
Quando os agentes de IA entram nos fluxos de trabalho, eles precisam acessar dados e documentos sensíveis para realizar seu trabalho – tornando-os um risco significativo para muitas empresas preocupadas com a segurança.
“O uso crescente de sistemas multi-agente introduzirá novas vetores de ataque e vulnerabilidades que podem ser exploradas se não forem devidamente protegidas desde o início”, disse Nicole Carignan, VP de IA cibernética estratégica na Darktrace. “Mas os impactos e danos dessas vulnerabilidades podem ser ainda maiores devido ao volume crescente de pontos de conexão e interfaces que os sistemas multi-agente possuem.”
Por que os agentes de IA representam um alto risco de segurança
Os agentes de IA – ou IA autônoma que executa ações em nome dos usuários – tornaram-se extremamente populares nos últimos meses. Idealmente, eles podem ser conectados a fluxos de trabalho tediosos e realizar qualquer tarefa, desde algo tão simples quanto encontrar informações baseadas em documentos internos até fazer recomendações para os funcionários humanos tomarem.
Mas eles apresentam um problema interessante para os profissionais de segurança das empresas: eles devem ter acesso a dados que os tornam eficazes, sem acidentalmente abrir ou enviar informações privadas para outros. Com os agentes realizando mais tarefas que os funcionários humanos costumavam fazer, a questão da precisão e responsabilidade vem à tona, potencialmente se tornando uma dor de cabeça para as equipes de segurança e conformidade.
Chris Betz, CISO da AWS, disse à VentureBeat que a geração aumentada de recuperação (RAG) e os casos de uso agente são “um ângulo fascinante e interessante” em segurança.
“As organizações precisarão pensar sobre como é o compartilhamento padrão em sua organização, porque um agente encontrará na busca qualquer coisa que apoie sua missão”, disse Betz. “E se você compartilhar documentos em excesso, precisa pensar sobre a política de compartilhamento padrão em sua organização.”
Os profissionais de segurança devem então perguntar se os agentes devem ser considerados funcionários digitais ou software. Quanto acesso os agentes devem ter? Como eles devem ser identificados?
Vulnerabilidades dos agentes de IA
A IA generativa trouxe mais consciência às empresas sobre as potenciais vulnerabilidades, mas os agentes poderiam expô-las a ainda mais problemas.
“Ataques que vemos hoje impactando sistemas de agente único, como envenenamento de dados, injeção de prompt ou engenharia social para influenciar o comportamento do agente, poderiam ser vulnerabilidades dentro de um sistema multi-agente”, disse Carignan.
As empresas devem prestar atenção ao que os agentes são capazes de acessar para garantir que a segurança dos dados permaneça forte.
Betz apontou que muitas questões de segurança em torno do acesso de funcionários humanos podem se estender aos agentes. Portanto, tudo “se resume a garantir que as pessoas tenham acesso às coisas certas e apenas às coisas certas”. Ele acrescentou que, quando se trata de fluxos de trabalho de agentes com várias etapas, “cada uma dessas etapas é uma oportunidade” para hackers.
Dar aos agentes uma identidade
Uma resposta poderia ser a emissão de identidades de acesso específicas para os agentes.
Um mundo onde modelos raciocinam sobre problemas ao longo de dias é “um mundo onde precisamos pensar mais sobre registrar a identidade do agente, bem como a identidade do humano responsável pela solicitação do agente em toda a nossa organização”, disse Jason Clinton, CISO do provedor de modelos Anthropic.
Identificar funcionários humanos é algo que as empresas vêm fazendo há muito tempo. Eles têm trabalhos específicos; eles têm um e-mail que usam para fazer login em contas e serem rastreados por administradores de TI; eles têm laptops físicos com contas que podem ser bloqueadas. Eles recebem permissão individual para acessar alguns dados.
Uma variação desse tipo de acesso e identificação de funcionários poderia ser implantada para os agentes.
Tanto Betz quanto Clinton acreditam que esse processo pode levar os líderes das empresas a repensar como fornecem acesso à informação para os usuários. Isso poderia até levar as organizações a reformular seus fluxos de trabalho.
“Usar um fluxo de trabalho agente oferece a oportunidade de delimitar os casos de uso para cada etapa ao longo do caminho aos dados que precisa como parte do RAG, mas apenas os dados que precisa”, disse Betz. Ele acrescentou que fluxos de trabalho agentes “podem ajudar a resolver algumas dessas preocupações sobre compartilhamento excessivo”, porque as empresas precisam considerar quais dados estão sendo acessados para completar ações. Clinton acrescentou que em um fluxo de trabalho projetado em torno de um conjunto específico de operações, “não há razão para que a etapa um precise ter acesso aos mesmos dados que a etapa sete precisa.”
A auditoria tradicional não é suficiente
As empresas também podem procurar plataformas agentes que lhes permitam espiar como os agentes funcionam. Por exemplo, Don Schuerman, CTO do provedor de automação de fluxo de trabalho Pega, disse que sua empresa ajuda a garantir a segurança dos agentes, informando o usuário sobre o que o agente está fazendo.
“Nossa plataforma já está sendo usada para auditar o trabalho que os humanos estão fazendo, então também podemos auditar cada passo que um agente está fazendo”, disse Schuerman à VentureBeat.
O mais novo produto da Pega, AgentX, permite que os usuários humanos alternem para uma tela que descreve as etapas que um agente realiza. Os usuários podem ver em que ponto da linha do tempo do fluxo de trabalho o agente está e obter um resumo de suas ações específicas.
Auditorias, cronogramas e identificação não são soluções perfeitas para os problemas de segurança apresentados pelos agentes de IA. Mas à medida que as empresas exploram o potencial dos agentes e começam a implantá-los, respostas mais direcionadas podem surgir à medida que a experimentação com IA continua.