Para obter o melhor possível de uma consulta de IA, as organizações precisam dos melhores dados possíveis.
A resposta que muitas organizações tiveram que superar esse desafio é a geração aumentada por recuperação (RAG). Com RAG, os resultados são baseados em dados de um banco de dados. Acontece que nem toda RAG é a mesma, e otimizar um banco de dados para os melhores resultados possíveis pode ser desafiador.
O fornecedor de banco de dados MongoDB não é estranho ao mundo da IA ou da RAG. O banco de dados homônimo da empresa já está sendo usado para RAG, e a MongoDB também lançou iniciativas de desenvolvimento de aplicações de IA. Embora a empresa e seus usuários — como o gigante médico Novo Nordisk — tenham tido sucesso com a IA gen, ainda há mais a ser feito.
Em particular, a alucinação e a precisão continuam sendo um problema que impede algumas organizações de colocar a IA gen em produção. Para esse fim, a MongoDB anunciou hoje a aquisição da Voyage AI, uma empresa privada que desenvolve modelos avançados de incorporação e recuperação. A Voyage levantou 20 milhões de dólares em financiamento em outubro de 2024 em uma rodada apoiada pelo gigante de dados em nuvem Snowflake. A aquisição trará a expertise da Voyage AI em geração de incorporação e reranking — componentes críticos para busca e recuperação impulsionadas por IA — diretamente para a plataforma de banco de dados da MongoDB.
“Nos últimos anos, e especialmente à medida que as organizações tentaram pensar em como poderiam construir aplicações impulsionadas por IA, tornou-se cada vez mais claro que a qualidade e a confiança das aplicações que eles constroem, ou a falta delas, estava se tornando uma das barreiras para aplicar IA a casos de uso críticos”, disse Sahir Azam, CPO da MongoDB, ao VentureBeat.
Quais são os desafios da alucinação? A RAG não os resolve?
A ideia básica por trás da RAG é que, em vez de depender simplesmente de uma base de conhecimento a partir de dados treinados, o motor de IA gen pode obter dados fundamentados a partir de um banco de dados.
Criar uma RAG altamente precisa é bastante complexo, e ainda há um risco potencial de alucinações — um desafio enfrentado pela MongoDB e seus usuários. Embora Azam tenha se recusado a fornecer qualquer exemplo ou incidente específico em que a IA gen RAG falhou com um usuário, ele observou que a precisão é sempre uma preocupação.
Melhorar a precisão e reduzir a alucinação envolve múltiplas etapas. A primeira é melhorar a qualidade da recuperação (o ‘R’ em RAG).
“Em muitos casos, a qualidade da recuperação não é boa o suficiente”, disse Tengyu Ma, fundador e CEO da Voyage AI, ao VentureBeat. “Na etapa de recuperação, se eles não estão recuperando informações relevantes, então a recuperação não é muito útil, e o modelo de linguagem grande (LLM) alucina porque precisa adivinhar algum contexto.”
Os modelos da Voyage AI agora parte da MongoDB ajudam a melhorar a RAG em algumas maneiras-chave:
Modelos e rerankers específicos de domínio: Estes são treinados em grandes quantidades de dados não estruturados de verticais específicas, permitindo que eles entendam melhor a terminologia e a semântica desses domínios.
Personalização e ajuste fino: Os usuários podem ajustar o mecanismo de recuperação para conjuntos de dados e casos de uso únicos.
A concorrência da MongoDB
A MongoDB não é o primeiro nem o único fornecedor a reconhecer a necessidade e o valor de ter tecnologia de incorporação e rerankers altamente otimizadas. Afinal, essa é uma das razões pelas quais a Snowflake investiu na Voyage AI e está usando os modelos da empresa.
É importante notar que, mesmo após ser adquirida pela MongoDB, os modelos da Voyage AI ainda estarão disponíveis para a Snowflake e para outros usuários da Voyage AI. A grande diferença é que a Voyage AI agora será cada vez mais integrada nas plataformas de banco de dados da MongoDB.
Integrar diretamente modelos avançados de incorporação em um banco de dados é uma abordagem adotada por outros fornecedores de banco de dados rivais também. Em junho de 2024, a DataStax anunciou sua própria tecnologia RAGStack que combina modelos avançados de incorporação e recuperação.
Azam argumentou que a MongoDB é um pouco diferente, no entanto. Para um, é um banco de dados operacional, ao contrário de um banco de dados analítico. Além disso, ao invés de apenas fornecer insights e análises, a MongoDB ajuda a alimentar transações e operações do mundo real. A MongoDB também é o que é conhecido como um “banco de dados de modelo de documento”, que tem uma estrutura diferente de um banco de dados relacional tradicional. Essa estrutura não depende de colunas e tabelas, que não são particularmente boas em representar informações sobre dados não estruturados (um elemento crítico para aplicações de IA).
“Somos a única tecnologia de banco de dados que combina a gestão de metadados sobre a informação de um cliente, as operações e transações, que é o coração do que está acontecendo nos negócios, bem como a base para recuperação — tudo com um único sistema”, disse Azam.
Por que a Voyage AI é importante para fluxos de trabalho de IA agentic
A necessidade de modelos de incorporação e recuperação altamente precisos está sendo ainda mais acelerada pela IA agentic.
“A IA agentic ainda precisa de métodos de recuperação, porque um agente não pode tomar decisões fora de contexto”, disse Ma. “Às vezes, na verdade, múltiplos componentes de recuperação são usados em uma única decisão.”
Ma observou que a Voyage AI está atualmente trabalhando em modelos específicos que são altamente personalizados para casos de uso de IA agentic. Ele explicou que a IA agentic pode usar diferentes tipos de consultas que ainda podem se beneficiar de mais otimização.
À medida que a IA gen se move cada vez mais para casos de uso operacionais, a necessidade de remover o risco de alucinações é claramente primordial. Embora a MongoDB tenha tido sucesso com a IA gen, Azam espera que a integração da Voyage AI abra novos casos de uso críticos.
“Se agora pudermos dizer: ‘Ei, podemos lhe dar bem mais de 90% de precisão para suas aplicações que hoje podem, em alguns casos, chegar apenas a 30 ou 60% de precisão para os resultados’, a abertura se amplia em termos dos tipos de oportunidades que as pessoas podem aplicar IA em seus aplicativos de software”, disse Azam.