Um novo modelo de geração de imagens misterioso está superando modelos da Midjourney, Black Forest Labs e OpenAI no benchmark crowdsourced Artificial Analysis.
O modelo, que se chama “red_panda”, está cerca de 40 pontos Elo à frente do próximo modelo melhor classificado, o Flux1.1 Pro da Black Forest Labs, na tabela de classificação de texto-para-imagem da Artificial Analysis. A Artificial Analysis usa Elo, um sistema de classificação originalmente desenvolvido para calcular o nível relativo de habilidade de jogadores de xadrez, para comparar o desempenho dos vários modelos que testa.
Semelhante ao benchmark comunitário de IA Chatbot Arena, a Artificial Analysis classifica modelos por meio de crowdsourcing. Para modelos de imagem, a Artificial Analysis seleciona dois modelos aleatoriamente e os alimenta com um prompt único. Em seguida, apresenta o prompt e as imagens resultantes, e os usuários escolhem qual deles acredita que reflete melhor o prompt.
É verdade que há algum viés nesse processo de votação. Os eleitores da Artificial Analysis são, em sua maioria, entusiastas de IA, e suas escolhas podem não refletir as preferências da comunidade mais ampla de usuários de IA generativa.
Mas o red_panda também é um dos modelos com melhor desempenho na tabela de classificação em termos de velocidade de geração. O modelo leva uma mediana de cerca de 7 segundos para gerar uma imagem — mais de 100 vezes mais rápido que o DALL-E 3 da OpenAI.
Então, de onde veio o red_panda? Qual empresa o fez? E quando podemos esperar seu lançamento? Todas boas perguntas. Os laboratórios de IA estão cada vez mais usando benchmarks comunitários para criar expectativa antes de um anúncio, portanto, pode não demorar muito até que descubramos.