Um chatbot de atendimento ao cliente descreve com confiança um produto que não existe. Uma IA financeira inventa dados de mercado. Um bot de saúde fornece conselhos médicos perigosos. Essas alucinações de IA, antes descartadas como peculiaridades engraçadas, tornaram-se problemas de milhões de dólares para empresas que correm para implantar inteligência artificial.
Hoje, a Patronus AI, uma startup de San Francisco que recentemente garantiu 17 milhões de dólares em financiamento da Série A, lançou o que chama de primeira plataforma autoatendida para detectar e prevenir falhas de IA em tempo real. Pense nisso como um corretor ortográfico sofisticado para sistemas de IA, pegando erros antes que cheguem aos usuários.
Dentro da rede de segurança da IA: Como funciona
“Muitas empresas estão lidando com falhas de IA em produção, enfrentando problemas como alucinações, vulnerabilidades de segurança e comportamento imprevisível”, disse Anand Kannappan, CEO da Patronus AI, em uma entrevista ao VentureBeat. Os riscos são altos: pesquisas recentes da empresa descobriram que modelos de IA líderes como o GPT-4 reproduzem conteúdo protegido 44% das vezes quando solicitados, enquanto até mesmo modelos avançados geram respostas inseguras em mais de 20% dos testes básicos de segurança.
O momento não poderia ser mais crítico. À medida que as empresas correm para implementar capacidades de IA generativa — desde chatbots de atendimento ao cliente até sistemas de geração de conteúdo — elas estão descobrindo que as medidas de segurança existentes são insuficientes. Ferramentas de avaliação atuais, como o LlamaGuard da Meta, apresentam precisão abaixo de 50%, tornando-se pouco melhores do que uma moeda.
A solução da Patronus AI introduz várias inovações que podem remodelar a forma como as empresas implantam IA. Talvez a mais significativa seja o recurso “avaliadores juízes”, que permite que as empresas criem regras personalizadas em inglês simples.
“Você pode personalizar a avaliação exatamente como as necessidades do seu produto”, disse Varun Joshi, líder de produto da Patronus AI, ao VentureBeat. “Nós deixamos os clientes escreverem em inglês o que querem avaliar e verificar.” Uma empresa de serviços financeiros pode especificar regras sobre conformidade regulatória, enquanto um prestador de serviços de saúde pode se concentrar na privacidade do paciente e na precisão médica.
Da detecção à prevenção: O avanço técnico
A pedra angular do sistema é o Lynx, um modelo revolucionário de detecção de alucinações que supera o GPT-4 em 8,3% na detecção de imprecisões médicas. A plataforma opera em duas velocidades: uma versão de resposta rápida para monitoramento em tempo real e uma versão mais completa para análises mais profundas. “As versões pequenas podem ser usadas para guardrails em tempo real, e as grandes podem ser mais apropriadas para análise offline”, disse Joshi ao VentureBeat.
Além da verificação de erros tradicional, a empresa desenvolveu ferramentas especializadas como o CopyrightCatcher, que detecta quando sistemas de IA reproduzem conteúdo protegido, e o FinanceBench, o primeiro benchmark da indústria para avaliar o desempenho da IA em questões financeiras. Essas ferramentas trabalham em conjunto com o Lynx para fornecer cobertura abrangente contra falhas de IA.
Além de simples guardrails: Remodelando a segurança da IA
A empresa adotou um modelo de preços pay-as-you-go, começando em 15 centavos por milhão de tokens para avaliadores menores e 5 dólares por milhão de tokens para os maiores. Essa estrutura de preços pode aumentar dramaticamente o acesso a ferramentas de segurança de IA, tornando-as disponíveis para startups e pequenas empresas que anteriormente não podiam pagar por monitoramento sofisticado de IA.
A adoção inicial sugere que grandes empresas veem a segurança da IA como um investimento crítico, não apenas como um recurso desejável. A empresa já atraiu clientes como HP, AngelList e Pearson, além de parcerias com gigantes da tecnologia como Nvidia, MongoDB e IBM.
O que diferencia a Patronus AI é seu foco na melhoria, em vez de apenas na detecção. “Podemos realmente destacar a extensão do texto específico onde a alucinação está”, explicou Kannappan. Essa precisão permite que os engenheiros identifiquem e corrijam rapidamente problemas, em vez de apenas saber que algo deu errado.
A corrida contra as alucinações de IA
O lançamento ocorre em um momento crucial no desenvolvimento da IA. À medida que modelos de linguagem grandes como GPT-4 e Claude se tornam mais poderosos e amplamente utilizados, os riscos de falhas de IA crescem proporcionalmente. Um sistema de IA que alucina pode expor as empresas a responsabilidade legal, danificar a confiança do cliente ou pior.
Movimentos regulatórios recentes, incluindo a ordem executiva de IA do presidente Biden e a Lei de IA da UE, sugerem que as empresas em breve enfrentarão requisitos legais para garantir que seus sistemas de IA sejam seguros e confiáveis. Ferramentas como a plataforma da Patronus AI podem se tornar essenciais para a conformidade.
“Uma boa avaliação não é apenas proteger contra um resultado ruim — é profundamente sobre melhorar seus modelos e melhorar seus produtos”, enfatiza Joshi. Essa filosofia reflete uma abordagem em amadurecimento para a segurança da IA, passando de simples guardrails para melhoria contínua.
O verdadeiro teste para a Patronus AI não é apenas capturar erros — será acompanhar a evolução acelerada da IA. À medida que os modelos de linguagem se tornam mais sofisticados, suas alucinações podem se tornar mais difíceis de detectar, como encontrar falsificações cada vez mais convincentes.
Os riscos não poderiam ser maiores. Cada vez que um sistema de IA inventa fatos, recomenda tratamentos perigosos ou gera conteúdo protegido, ele erode a confiança que essas ferramentas precisam para transformar negócios. Sem guardrails confiáveis, a revolução da IA corre o risco de tropeçar antes de realmente começar.
No final, é uma verdade simples: se a inteligência artificial não conseguir parar de inventar coisas, pode ser os humanos que acabarão pagando o preço.