A inteligência artificial não está apenas inundando as redes sociais com lixo, mas também aparentemente está afetando a comunidade de programação de código aberto. E da mesma forma que ferramentas de verificação de fatos, como as Notas da Comunidade do X, lutam para refutar um dilúvio de informações falsas, os colaboradores de projetos de código aberto estão lamentando o tempo perdido avaliando e desmentindo relatórios de bugs criados usando ferramentas de geração de código por IA.
O Register noticiou hoje sobre essas preocupações levantadas por Seth Larson em um post de blog recente. Larson é um desenvolvedor de segurança residente na Python Software Foundation que diz ter notado um aumento em “relatórios de segurança extremamente de baixa qualidade, spams e alucinações de LLM enviados a projetos de código aberto.”
“Esses relatórios parecem à primeira vista potencialmente legítimos e, portanto, requerem tempo para serem refutados”, acrescentou Larson. Isso pode ser um grande problema para projetos de código aberto (ou seja, Python, WordPress, Android) que sustentam grande parte da internet, pois muitas vezes são mantidos por pequenos grupos de colaboradores não remunerados. Bugs legítimos em bibliotecas de código onipresentes podem ser perigosos porque têm uma zona de impacto potencialmente ampla se explorados. Larson disse que está vendo apenas um número relativamente pequeno de relatórios de lixo gerados por IA, mas o número está aumentando.
Outro desenvolvedor, Daniel Sternberg, criticou um remetente de bug por desperdiçar seu tempo com um relatório que ele acreditava ter sido gerado usando IA:
“Você enviou o que parece ser um óbvio ‘relatório’ de IA, onde diz que há um problema de segurança, provavelmente porque uma IA te enganou fazendo você acreditar nisso. Você então desperdiça nosso tempo ao não nos dizer que uma IA fez isso por você e continua a discussão com ainda mais respostas ruins – aparentemente também geradas por IA.”
A geração de código é um caso de uso cada vez mais popular para grandes modelos de linguagem, embora muitos desenvolvedores ainda estejam divididos sobre quão úteis eles realmente são. Programas como GitHub Copilot ou o próprio gerador de código do ChatGPT podem ser bastante eficazes em produzir a estrutura básica, o esqueleto básico de qualquer projeto. Eles também podem ser úteis para encontrar funções em uma biblioteca de programação com a qual um desenvolvedor pode não estar familiarizado.
Mas, como qualquer modelo de linguagem, eles vão alucinar e produzir código incorreto. Geradores de código são ferramentas de probabilidade que adivinham o que você quer escrever a seguir com base no código que você forneceu e no que já viram antes. Os desenvolvedores ainda precisam entender fundamentalmente a linguagem de programação com a qual estão trabalhando e saber o que estão tentando construir; da mesma forma que ensaios escritos pelo ChatGPT precisam ser revisados e modificados manualmente.
Plataformas como HackerOne oferecem recompensas por relatórios de bugs bem-sucedidos, o que pode incentivar alguns indivíduos a pedir ao ChatGPT que busque uma base de código em busca de falhas e, em seguida, envie erros que o LLM retorna.
O spam sempre esteve presente na internet, mas a IA está tornando muito mais fácil gerá-lo. Parece possível que vamos nos encontrar em uma situação que exige mais tecnologia, como CAPTCHAs para telas de login, que são usadas para combater isso. Uma situação infeliz e uma grande perda de tempo para todos.