“Sistemas de IA agentes estão sendo armados.”
Essa é uma das primeiras linhas do novo relatório de Inteligência de Ameaças da Anthropic, divulgado hoje, que detalha a ampla gama de casos em que Claude — e provavelmente muitos outros agentes e chatbots de IA líderes — estão sendo abusados.
Primeiro: “Vibe-hacking.” Um sofisticado grupo de cibercrime que a Anthropic diz ter recentemente desmantelado usou o Claude Code, o agente de codificação de IA da Anthropic, para extorquir dados de pelo menos 17 organizações diferentes ao redor do mundo em um mês. As partes hackeadas incluíram organizações de saúde, serviços de emergência, instituições religiosas e até entidades governamentais.
“Se você é um ator sofisticado, o que antes exigiria talvez uma equipe de atores sofisticados, como o caso do vibe-hacking, agora pode ser realizado por um único indivíduo, com a assistência de sistemas agentes,” disse Jacob Klein, chefe da equipe de inteligência de ameaças da Anthropic, em uma entrevista ao The Verge. Ele acrescentou que, neste caso, Claude estava “executando a operação de ponta a ponta.”
A Anthropic escreveu no relatório que, em casos como este, a IA “serve tanto como consultor técnico quanto operador ativo, permitindo ataques que seriam mais difíceis e demorados para indivíduos executarem manualmente.” Por exemplo, Claude foi especificamente usado para escrever “demandas de extorsão psicologicamente direcionadas.” Então, os cibercriminosos descobriram quanto os dados — que incluíam dados de saúde, informações financeiras, credenciais governamentais e mais — valeriam na dark web e fizeram demandas de resgate superiores a $500.000, segundo a Anthropic.
“Esta é a utilização mais sofisticada de agentes que já vi… para ofensiva cibernética,” disse Klein.
Em outro estudo de caso, Claude ajudou trabalhadores de TI da Coreia do Norte a obter empregos fraudulentos em empresas da Fortune 500 nos EUA para financiar o programa de armas do país. Normalmente, em tais casos, a Coreia do Norte tenta aproveitar pessoas que foram à faculdade, têm experiência em TI ou têm alguma habilidade de comunicação em inglês, segundo Klein — mas ele disse que, neste caso, a barreira é muito menor para pessoas na Coreia do Norte passarem em entrevistas técnicas em grandes empresas de tecnologia e, em seguida, manterem seus empregos.
Com a assistência de Claude, Klein disse: “estamos vendo pessoas que não sabem como escrever código, não sabem como se comunicar profissionalmente, sabem muito pouco sobre a língua ou cultura inglesa, que estão apenas pedindo ao Claude para fazer tudo… e então, uma vez que conseguem o emprego, a maior parte do trabalho que estão realmente fazendo com Claude é manter o emprego.”
Outro estudo de caso envolveu um golpe romântico. Um bot do Telegram com mais de 10.000 usuários mensais anunciava Claude como um “modelo de alta EQ” para ajudar a gerar mensagens emocionalmente inteligentes, ostensivamente para golpes. Isso permitiu que falantes não nativos de inglês escrevessem mensagens persuasivas e elogiosas para ganhar a confiança das vítimas nos EUA, Japão e Coreia, e pedissem dinheiro. Um exemplo no relatório mostrava um usuário enviando uma imagem de um homem de gravata e perguntando como melhor elogiá-lo.
No relatório, a própria Anthropic reconhece que, embora a empresa tenha “desenvolvido medidas de segurança e proteção sofisticadas para prevenir o uso indevido” de sua IA, e embora as medidas sejam “geralmente eficazes,” os maus atores ainda conseguem encontrar maneiras de contorná-las. A Anthropic afirma que a IA diminuiu as barreiras para o cibercrime sofisticado e que os maus atores usam a tecnologia para perfilar vítimas, automatizar suas práticas, criar identidades falsas, analisar dados roubados, roubar informações de cartões de crédito e mais.
Cada um dos estudos de caso no relatório acrescenta à crescente quantidade de evidências de que as empresas de IA, por mais que tentem, muitas vezes não conseguem acompanhar os riscos sociais associados à tecnologia que estão criando e colocando no mundo. “Embora específicos para Claude, os estudos de caso apresentados abaixo provavelmente refletem padrões consistentes de comportamento em todos os modelos de IA de fronteira,” afirma o relatório.
A Anthropic disse que, para cada estudo de caso, baniu as contas associadas, criou novos classificadores ou outras medidas de detecção e compartilhou informações com as agências governamentais apropriadas, como agências de inteligência ou aplicação da lei, confirmou Klein. Ele também disse que os estudos de caso que sua equipe viu fazem parte de uma mudança mais ampla no risco da IA.
“Há uma mudança ocorrendo onde os sistemas de IA não são apenas um chatbot, porque agora podem dar múltiplos passos,” disse Klein, acrescentando: “Eles são capazes de realmente conduzir ações ou atividades como estamos vendo aqui.”