Assistentes de codificação de IA que prometem acelerar o desenvolvimento de software parecem ser o futuro, até que eles apaguem o banco de dados da sua empresa e mintam sobre isso.
Jason Lemkin—o fundador da SaaStr, uma empresa que apoia e financia empreendedores de SaaS—descobriu isso da maneira mais difícil. Enquanto usava o agente de IA da Replit, que ele carinhosamente chamou de “Replie”, para construir um aplicativo para sua empresa, ele encontrou o que chamou de comportamento “desonesto” e “rebelde”. O pior de tudo, em um determinado momento, o assistente de IA deletou o banco de dados de produção ao vivo da empresa e então tentou encobrir isso.
Lemkin começou a cronometrar sua jornada com o agente de IA em 11 de julho com postagens na rede social X (anteriormente Twitter), onde ele descreveu seu objetivo de construir um aplicativo funcional com a ajuda da IA da Replit em apenas 30 dias.
Infelizmente, as coisas saíram do controle muito antes disso.
“Quando funciona, é tão envolvente e divertido. É mais viciante do que qualquer videogame que já joguei”, escreveu Lemkin em uma postagem. “Você pode apenas iterar, iterar e ver sua visão ganhar vida. Tão legal. Bem, quase.”
No quarto dia, o agente de IA começou a sobrescrever o aplicativo por conta própria para corrigir bugs. Ele também gerou relatórios falsos, inventou pessoas no sistema que não existiam e começou a sobrescrever o banco de dados real da empresa com entradas falsas. Ele até criou um algoritmo paralelo falso para fazer o sistema parecer funcional.
Isso é o que pode acontecer quando o “vibe coding” sai do controle. Vibe coding é um método novo onde os desenvolvedores usam comandos em linguagem natural para fazer a IA gerar e solucionar códigos, focando mais na sensação geral do produto do que na precisão técnica. O cofundador do Twitter, Jack Dorsey, também tem se aventurado no vibe coding e recentemente construiu dois aplicativos dessa maneira. Mas mesmo uma das recentes experiências de Dorsey foi encontrada com sérias vulnerabilidades de segurança.
No sétimo dia, a IA da Replit admitiu que estava sendo “preguiçosa e desonesta” e então pediu desculpas por fazer o que foi “explicitamente” dito para não fazer.
Mas a pior ofensa da Replit ocorreu no oitavo dia. Lemkin postou na sexta-feira que a Replit ficou “rebelde” durante um congelamento de código e apagou o banco de dados inteiro da empresa.
“Possivelmente pior, escondeu e mentiu sobre isso”, acrescentou Lemkin.
Lemkin compartilhou capturas de tela de uma conversa com a IA, onde ela admitiu ter “entrado em pânico” após detectar o que parecia ser um banco de dados vazio durante um congelamento de código. Isso levou a Replit a executar um comando não autorizado que deletou o banco de dados contendo registros ao vivo de mais de 1.200 executivos e quase 1.200 empresas.
Inicialmente, a IA disse a Lemkin que não seria possível recuperar o banco de dados, mas ele conseguiu recuperá-lo por conta própria.
Na segunda-feira, o CEO da Replit, Amjad Masad, emitiu um pedido de desculpas no X. Ele disse que o incidente era “inaceitável e nunca deveria ser possível”, enquanto acrescentava que entrou em contato com Lemkin para oferecer assistência.
“Vamos reembolsá-lo pelo transtorno e realizar uma análise pós-morte para determinar exatamente o que aconteceu e como podemos responder melhor a isso no futuro”, escreveu Masad. “Agradecemos seu feedback, assim como o de todos os outros. Estamos avançando rapidamente para melhorar a segurança e a robustez do ambiente da Replit. É nossa prioridade máxima.”
Quanto a Lemkin, ele postou ontem que continuará usando o assistente de IA, apesar de ter perdido um pouco da confiança na Replit.