Qwant, o motor de busca focado em privacidade da França, e Ecosia, um motor de busca sem fins lucrativos baseado em Berlim que usa a receita de anúncios para financiar o plantio de árvores e outras iniciativas climáticas, estão se unindo em uma joint venture para desenvolver seu próprio índice de busca europeu.
A dupla espera que essa movimentação ajude a impulsionar a inovação em seus respectivos motores de busca — incluindo, especialmente, em torno da IA generativa — além de reduzir a dependência de índices de busca fornecidos por gigantes da tecnologia como Microsoft (Bing) e Google. Ambos atualmente dependem das APIs de busca do Bing, enquanto a Ecosia também utiliza os resultados de busca do Google.
O aumento dos custos das APIs é um motivador claro para a mudança de reduzir essa dependência das grandes empresas de tecnologia, com a Microsoft aumentando drasticamente os preços das APIs de busca do Bing no ano passado.
Nem a Ecosia nem a Qwant deixarão de usar o Bing ou o Google completamente. No entanto, eles pretendem diversificar a tecnologia central que suporta seus serviços com seu próprio índice. Isso reduzirá seus custos operacionais e servirá como uma base técnica para impulsionar seu próprio desenvolvimento de produtos à medida que as tecnologias de GenAI assumem um papel mais central em muitos serviços digitais voltados para o consumidor.
Ambos os motores de busca já experimentaram a integração de recursos de GenAI. Espere mais nesse sentido, embora não estejam planejando desenvolver modelos de IA por conta própria. Eles afirmam que continuarão a depender do acesso à API de grandes modelos de linguagem (LLMs) de plataformas principais para alimentar essas adições.
A dupla também está aberta a outras empresas europeias se juntarem a eles em sua busca por mais soberania na pilha tecnológica — pelo menos como clientes para o índice de busca, já que planejam licenciar o acesso por meio de uma API. Outras formas de parceria também poderiam ser consideradas, disseram eles ao TechCrunch.
“A porta está aberta e estamos prontos para conversar com qualquer um”, disse o CEO da Qwant, Olivier Abecassis. “Mas também queremos focar e realmente garantir a capacidade de investir com nossos acionistas existentes.”
“Sabemos que vamos alimentar a empresa nos próximos anos, e sabemos que nossos acionistas estão prontos para apoiá-la e realmente esperam que nos movamos rapidamente”, acrescentou. “Vamos discutir com investidores para acelerar os desenvolvimentos e fazer mais — e com outros para se juntarem à parceria. Portanto, o plano é realmente se mover o mais rápido possível.”
A IA gera riscos e oportunidades
A IA está gerando um duplo senso de urgência para ambas as partes, à medida que rapidamente cria um cenário de novas oportunidades e potenciais armadilhas.
“Com o surgimento de ferramentas de IA, há uma demanda diferente agora por um índice de busca”, sugeriu o CEO da Ecosia, Christian Kroll. “Os dois provedores, Bing e Google, estão basicamente se tornando mais relutantes em tornar seu índice acessível. E, claro, como um motor de busca, precisamos de um índice. Portanto, isso é parcialmente a razão pela qual queremos garantir que temos acesso.”
“Mas também há agora um momento único em que você pode usar esse tipo de índice para criar uma experiência muito diferente — usando IA generativa para criar uma experiência diferente — e não queremos ser restringidos no uso dessa tecnologia.”
Kroll também apontou para um ambiente regulatório na Europa que está ansioso para fomentar a inovação tecnológica local, a fim de fortalecer a autonomia estratégica do bloco, como outra razão para fazer uma aposta em um índice de busca caseiro agora.
“A oportunidade simplesmente melhorou muito”, disse ele. “Com a [Lei de Mercados Digitais da UE], pela primeira vez, dados de ‘clique e consulta’, por exemplo, serão compartilhados por outros motores de busca — então temos acesso a isso. Além disso, o acesso às plataformas é diferente do que costumava ser. Portanto, temos pensado sobre isso há muito tempo, mas agora é o momento certo para realmente fazê-lo.”
“Acreditamos que, se quisermos obter uma experiência de usuário significativa em GenAI, precisamos de acesso a modelos LLM”, acrescentou Abecassis. “Mas também precisamos de acesso à tecnologia de busca.”
A combinação de modelos GenAI com informações atualizadas obtidas por meio de consultas de busca será fundamental para avançar a utilidade do produto de busca, argumentou ele.
“Acreditamos que a combinação dos dois será a próxima experiência do usuário para busca”, disse ele. “Busca e GenAI não são exatamente a mesma coisa. Acreditamos que ambos se beneficiarão um do outro, e a mistura será única.”
“O Google decidiu ter dois produtos fortes, mas não misturá-los. E posso entender quando olho para o modelo de negócios legado do Google. Mas no futuro, algo acontecerá entre [essas tecnologias] e é isso que queremos vivenciar. E para isso, qualquer jogador no mercado precisará de acesso a uma tecnologia de busca. É por isso que queremos propor [isso] ao mercado.”
Rumo a uma perspectiva europeia
A nova joint venture da dupla, que está sendo chamada de Perspectiva de Busca Europeia, está sendo estabelecida com uma divisão de propriedade 50:50. (Nota: EUP é o acrônimo escolhido por eles, em vez de ESP.)
A Ecosia e a Qwant não estão divulgando quanto cada uma está investindo, mas disseram que seus acionistas estão apoiando. Além disso, como uma entidade separada, a EUP estará fora do modelo de negócios sem fins lucrativos anterior — permitindo que ela levante capital externo (assumindo que os investidores possam ser persuadidos a se envolver).
O índice deve começar a atender o tráfego de busca baseado na França para Ecosia e Qwant no primeiro trimestre do próximo ano. Ele então se expandirá para incluir uma “porção significativa” do tráfego na Alemanha até o final de 2025.
O inglês seria o terceiro idioma que eles pretendem adicionar, disseram a dupla, acrescentando que mais idiomas europeus poderiam seguir no futuro, se o impulso aumentar.
Do lado operacional, a equipe de engenharia da Qwant se mudará para a EUP, enquanto Abecassis — que assumiu o cargo de CEO do motor de busca há pouco mais de um ano — também será o CEO da joint venture.
A Qwant foi adquirida por um grupo de tecnologia em nuvem chamado Synfonium no ano passado, que é apoiado pelos fundadores da empresa francesa de computação em nuvem OVHcloud, com o objetivo de construir um “campeão europeu” para serviços em nuvem.
Discutindo o plano para a EUP em uma chamada com o TechCrunch, Abecassis explicou que a Qwant estava trabalhando no desenvolvimento de seu próprio índice de busca mesmo antes de ser adquirida pela Synfonium. Esses esforços agora se moverão para a EUP, ele confirmou, com a equipe e os ativos de propriedade intelectual sendo transferidos.
Unir forças com a Ecosia aumenta as chances de sucesso, sugeriu, pois expande o pool de dados disponíveis para desenvolver o índice, além de aumentar o investimento no projeto e permitir um desenvolvimento mais rápido, como a possibilidade de contratar mais engenheiros.
A Ecosia tem cerca de 20 milhões de usuários mensais globalmente, enquanto a Qwant tem cerca de 6 milhões de usuários na França.
“Se quisermos ser realmente eficientes, precisamos envolver mais pessoas… e ser mais ambiciosos”, disse Abecassis, recontando como a Qwant abordou a Ecosia para pedir que considerasse uma parceria no desenvolvimento do índice de busca.
“Para a Qwant, é uma grande oportunidade de construir uma tecnologia melhor — porque as tecnologias de busca são boas se forem usadas… Portanto, quanto mais a tecnologia for usada, mais dinheiro você pode investir, mas também mais dados você obtém. Uma das razões pelas quais o Google é tão forte é que se baseia em toneladas de dados.”
As duas empresas compartilham algumas características que tornam a parceria uma boa combinação cultural, com ambas as alternativas de busca sendo desenvolvidas na Europa e tendo modelos de negócios que buscam fazer algo diferente em comparação com o padrão de capitalismo de vigilância das grandes empresas de tecnologia. A EUP, por sua vez, terá sede em Paris.
“Construir tal tecnologia do zero é quase impossível”, acrescentou Abecassis. “Quanto mais usuários tivermos e mais conjuntos de dados tivermos, mais valiosa será a tecnologia.”
Kroll disse que a Ecosia está trazendo expertise, dados e financiamento para a parceria — observando que, além de desenvolver o motor de busca, haverá outras tecnologias que a EUP precisará desenvolver, como widgets que podem ser servidos como parte dos resultados de busca.
A dupla espera que a parceria aumente a eficiência dos resultados de busca que podem entregar a seus respectivos usuários, à medida que a EUP aperfeiçoa seus algoritmos de classificação — mesmo que cada motor de busca continue a desenvolver sua própria experiência de usuário distinta.
Alternativas de classificação de busca
O motor de busca concorrente Brave, que assim como a Qwant tem um apelo que destaca a privacidade, já construiu seu próprio índice de busca. Ele até removeu as últimas chamadas de API para buscas baseadas em texto no mês de abril do ano passado, quando anunciou seu serviço como uma “verdadeira alternativa à busca das grandes empresas de tecnologia.”
Questionado sobre isso, Abecassis sugeriu que o índice da Brave se aproxima mais do Google e do Bing na abordagem técnica. Enquanto isso, ele enfatizou que a EUP está sendo construída do zero, afirmando que será “muito diferente” e fornecerá resultados de busca mais diversos.
“Não apenas copiamos o Google ou a Microsoft e aprendemos com eles”, enfatizou. “Nós realmente indexamos todos os documentos que estão disponíveis. Nós entendemos os documentos e, em seguida, temos uma equipe que trabalha para encontrar a melhor correspondência entre um documento e a [consulta de busca].”
“Portanto, é verdade que provavelmente existem alguns atalhos para construir tal tecnologia copiando os principais. Nós decidimos seguir em uma direção diferente e construir tudo do zero. É mais difícil, mas acreditamos que é mais sustentável.”
Uma grande diferença em comparação com a busca das grandes empresas de tecnologia é que o índice de busca da EUP fornecerá resultados “focados em privacidade”. O que isso significa na prática? Abecassis disse que isso é resultado da tecnologia desenvolvida pela Qwant que não personaliza os resultados de busca com base no usuário (como o Google faz).
“Vamos continuar a trabalhar sem nenhum [dado do usuário] personalizando os resultados”, disse ele. “Então, melhoraremos nosso algoritmo com base nos dados que estão disponíveis.”
“Acho que é uma grande vitória — uma grande vitória em termos de privacidade”, acrescentou Kroll sobre a escolha da abordagem técnica. Mas ele também enfatizou o valor estratégico de ter uma infraestrutura de busca feita na Europa em um momento de crescente instabilidade geopolítica.
“De uma perspectiva europeia… o que significa [a dependência da infraestrutura de busca] para a dependência da União Europeia? Especialmente considerando [os resultados das eleições nos EUA]… Se o governo dos EUA decidisse que não queria mais fornecer resultados de busca para os europeus, nós na Europa teríamos que voltar a usar listas telefônicas.”
“Há um elemento de privacidade, mas também há um elemento de soberania de dados, que eu acho muito importante”, acrescentou. “Eu, claro, espero que os EUA e a Europa sempre permaneçam aliados fortes. Mas não sei para onde os EUA estão indo, e também não sei para onde a Europa está indo. Portanto, esse é um elemento muito importante.”
Um negócio caro?
O TechCrunch perguntou à Brave sobre sua própria decisão de construir um índice de busca. Eles nos disseram que, antes de mudar para sua própria tecnologia, “sempre corríamos o risco de a Microsoft nos impor restrições ou simplesmente nos cortar” — então a mudança foi destinada a libertar o negócio de uma dependência arriscada.
“De acordo com nossa equipe de avaliação de qualidade, que realiza avaliações cegas para qualidade dos resultados, estamos no mesmo nível que o Google e melhores que o Bing nos países que medimos (aqueles em que a Busca Brave é o padrão para os usuários do navegador Brave)”, a empresa também disse, acrescentando que a Busca Brave é “o motor de busca que mais cresce desde o Bing” com mais de 1 bilhão de consultas por mês.
Discutindo os custos de desenvolver o índice, a Brave descreveu o processo como “longo e muito caro” — apontando para sua aquisição em 2021 do motor de busca de código aberto Tailcat, uma tecnologia cujo desenvolvimento, segundo disseram, remonta a 2014.
“Há uma razão pela qual existem apenas três índices de busca independentes totalmente desenvolvidos no Ocidente”, acrescentou a Brave.
A empresa licencia seu índice de busca por meio da API de Busca Brave. A API está sendo usada por “muitas empresas líderes no espaço de IA”, segundo a Brave, que acrescentou que está rapidamente se tornando uma fonte de receita “significativa”.
O TechCrunch também perguntou ao engenheiro de busca Peter Popov sobre os custos envolvidos na construção de um índice de busca. Popov passou 15 anos na gigante de busca russa Yandex, trabalhando em busca e classificação principais, e agora é VP de anúncios na VK.
“De forma muito aproximada, um índice de busca, que inclui hardware e o custo de escrever uma busca, não custa muito mais do que $10 milhões”, disse Popov, considerando tal despesa como “não um investimento muito grande”. Ele sugeriu que os avanços em IA tornaram mais fácil produzir resultados de busca de qualidade sem precisar de vastas quantidades de usuários alimentando dados, “usando modelos LLM modernos que contêm conhecimento de semântica de busca de forma nativa.”
Ao mesmo tempo, ele alertou que há um desafio crescente sobre onde os bots de busca podem — ou não podem — rastrear livremente. Esse é um problema, pois um índice de busca precisa de amplo acesso a fontes de informação para ser útil ao atender às consultas dos usuários.
“Plataformas proprietárias são frequentemente bastante hostis a tentativas de coletar informações”, disse Popov ao TechCrunch.
“Criar um índice de busca para toda a Internet não é uma tarefa tão difícil do ponto de vista técnico. O volume de informações úteis na internet cresce mais lentamente do que o poder computacional. A propósito, um dos problemas para escalar IA é precisamente o volume relativamente pequeno de tais informações.”
“A internet útil para busca de informações não é tão grande assim”, continuou ele. “Não existe uma internet de sites para buscar agora. E espere, dessas [plataformas mainstream], apenas a Wikipedia está aberta para busca. Portanto, isso deixa a busca na Wikipedia.
“Depois da Wikipedia, não há muitos sites úteis como arxiv.org ou grandes bibliotecas online. Informações desse tipo podem ser usadas de duas maneiras — ou fornecendo dados durante o treinamento da rede, ou alimentando a rede neural com resultados de busca durante a inferência, caso em que a busca é um dos componentes do funcionamento do LLM.”
Em outras palavras, para que um índice de busca seja útil, ele também precisa ser capaz de rastrear livremente a internet. Mas com as grandes empresas de tecnologia guardando mais zelosamente as informações dentro de suas próprias plataformas atualmente, à medida que os gigantes competem para monetizar os dados dos usuários novamente para o treinamento de LLMs, isso também está complicando o negócio de tentar sair da sombra deles, indexando a internet para busca… De uma rocha para um lugar difícil, então.