Qual LLM você deve usar? Token Monster combina automaticamente múltiplos modelos e ferramentas para você

Token Monster, uma nova plataforma de chatbot de IA, lançou sua prévia alfa, com o objetivo de mudar a forma como os usuários interagem com grandes modelos de linguagem (LLMs).

Desenvolvido por Matt Shumer, co-fundador e CEO da OthersideAI e seu popular assistente de escrita de IA Hyperwrite AI, o principal ponto de venda do Token Monster é sua capacidade de direcionar os prompts dos usuários para os melhores LLMs disponíveis para a tarefa em questão, proporcionando resultados aprimorados ao aproveitar os pontos fortes de múltiplos modelos.

Atualmente, existem sete LLMs principais disponíveis através do Token Monster. Assim que um usuário digita algo na caixa de entrada de prompt, o Token Monster usa pré-prompts desenvolvidos por meio de iteração pelo próprio Shumer para analisar automaticamente a entrada do usuário, decidir qual combinação de múltiplos modelos disponíveis e ferramentas conectadas são mais adequadas para respondê-la e, em seguida, fornecer uma resposta combinada aproveitando os pontos fortes desses modelos. Os LLMs disponíveis incluem:

Anthropic Claude 3.5 Sonnet
Anthropic Claude 3.5 Opus
OpenAI GPT-4.1
OpenAI GPT-4o
Perplexity AI PPLX (para pesquisa)
OpenAI o3 (para raciocínio)
Google Gemini 2.5 Pro

Diferentemente de outras plataformas de chatbot, o Token Monster identifica automaticamente qual LLM é o melhor para tarefas específicas – assim como quais ferramentas conectadas ao LLM seriam úteis, como pesquisa na web ou ambientes de codificação – e orquestra um fluxo de trabalho multi-modelo.

“Estamos apenas construindo os conectores para tudo e, em seguida, um sistema que decide o que usar quando,” disse Shumer.

Por exemplo, pode utilizar Claude para criatividade, o3 para raciocínio e PPLX para pesquisa, entre outros. Essa abordagem elimina a necessidade de os usuários escolherem manualmente o modelo certo para cada prompt, simplificando o processo para qualquer um que deseje resultados de alta qualidade e personalizados.

Destaques do recurso

A prévia alfa, que está atualmente gratuita para inscrição em tokenmonster.ai, permite que os usuários façam upload de uma variedade de tipos de arquivos, incluindo Excel, PowerPoint e Docs.

Inclui também recursos como extração de página da web, sessões de conversação persistentes e um “modo RÁPIDO” que redireciona automaticamente para o melhor modelo sem entrada do usuário.

No coração do Token Monster está o OpenRouter, um serviço de terceiros que atua como um gateway para múltiplos LLMs, e no qual Schumer investiu uma pequena quantia, por sua própria admissão.

Essa arquitetura permite que Token Monster acesse uma gama de modelos de diferentes provedores sem a necessidade de construir integrações separadas para cada um.

Estrutura de preços e disponibilidade

Neste momento, o Token Monster não cobra uma taxa mensal fixa.

Em vez disso, os usuários pagam apenas pelos tokens que consomem através do OpenRouter, tornando-o flexível para diferentes níveis de uso.

Segundo Shumer, esse modelo foi inspirado pela Cline, uma ferramenta que permite que usuários com altos gastos acessem poder ilimitado de IA, permitindo que eles obtenham melhores resultados simplesmente usando mais recursos computacionais.

Fluxos de trabalho de múltiplas etapas produzem respostas mais ricas de LLM

Os fluxos de trabalho de IA do Token Monster vão além do simples direcionamento de prompts.

Em um exemplo, o chatbot pode começar com uma fase de pesquisa usando APIs de pesquisa na web, passar esses dados para o o3 para identificar lacunas de informação, depois criar um esboço com o Gemini 2.5 Pro, redigir texto com o Claude Opus e refiná-lo com o Claude 3.5 Sonnet.

Essa orquestração de múltiplas etapas é projetada para fornecer respostas mais ricas e completas do que um único LLM poderia gerar sozinho.

A plataforma também inclui a capacidade de salvar sessões, com dados armazenados de forma segura usando o serviço de banco de dados online de código aberto Supabase. Isso garante que os usuários possam retornar a projetos em andamento sem perder seu trabalho, ao mesmo tempo que ainda lhes dá controle sobre quais dados são salvos e quais são efêmeros.

Um CEO não tradicional

Em um experimento notável, a liderança do Token Monster foi entregue ao modelo Claude da Anthropic.

Shumer anunciou que está comprometido em seguir cada decisão tomada pelo “CEO Claude”, chamando isso de um teste para ver se uma IA pode gerenciar uma empresa de forma eficaz.

“Ou revolucionamos a gestão para sempre ou cometemos um grande erro,” escreveu ele no X.

Emergindo da polêmica Reflection 70-B

O lançamento do Token Monster ocorre menos de um ano após Shumer enfrentar controvérsia sobre seu lançamento e eventual retratação do Reflection 70B, uma versão ajustada do Llama 3.1 da Meta que foi inicialmente promovida como o modelo de código aberto mais altamente performático do mundo, mas que rapidamente se tornou alvo de críticas e acusações de fraude após pesquisadores de terceiros não conseguirem reproduzir seu desempenho declarado em testes de referência de terceiros.

Shumer se desculpou e disse que os problemas surgiram devido a erros cometidos devido à velocidade. O episódio destacou os desafios e riscos do desenvolvimento rápido de IA e a importância da transparência no lançamento de modelos.

Integrações MCP chegando a seguir

Shumer disse que sua equipe do Token Monster também está explorando novas capacidades, como integração com servidores do Protocolo de Contexto de Modelo (MCP) que permitem que sites e empresas tenham LLMs utilizem seu conhecimento, ferramentas e produtos para realizar tarefas de ordem superior além da simples geração de texto ou imagem.

Isso permitiria que o Token Monster se conectasse aos dados e serviços internos de um usuário, abrindo possibilidades para que ele gerenciasse tarefas como gerenciamento de tickets de suporte ao cliente ou interfacing com outros sistemas de negócios.

Shumer enfatizou que o Token Monster ainda está em seus estágios iniciais. Embora já suporte um conjunto de recursos poderosos, a plataforma continua a ser um produto alfa e deve passar por iterações e atualizações rápidas à medida que mais usuários fornecem feedback. “Vamos continuar iterando e adicionando coisas,” disse ele.

Um experimento promissor

Para usuários que desejam aproveitar o poder combinado de múltiplos LLMs sem a complicação da troca de modelos, o Token Monster pode ser uma escolha atraente. Ele foi projetado para funcionar para pessoas que não querem passar horas ajustando prompts ou testando diferentes modelos por conta própria, permitindo que o roteamento automático do sistema e fluxos de trabalho de múltiplas etapas lidem com a complexidade.

À medida que as capacidades do Token Monster crescem, será interessante ver como usuários e empresas o adotam – e como seu experimento com gestão liderada por IA se desenrola. Por enquanto, é uma adição promissora ao panorama em rápida expansão de chatbots de IA e assistentes digitais.

Fonte

Compartilhe esse conteúdo: