Sabemos disso há algum tempo, mas agora é certo: a corrida da IA generativa é tanto uma competição por desenvolvedores quanto por usuários finais.
Um exemplo disso: hoje, a xAI de Elon Musk, a startup derivada da rede social X que usa seus dados para treinar novos modelos de linguagem de grande porte (LLMs) como a família Grok, anunciou que sua interface de programação de aplicativos (API) agora está aberta ao público e, com isso, vem $25 gratuitos por mês em créditos de API até o final do ano.
Dado que já é novembro, isso significa apenas 2 meses de créditos gratuitos, ou $50 no total.
Musk anunciou anteriormente que a API da xAI estava aberta em beta há três semanas, mas aparentemente a adesão não foi suficiente para seu gosto, daí o incentivo adicional de créditos gratuitos para desenvolvedores.
$25 por mês com 2 meses restantes é realmente uma grande vantagem?
Não parece muito vindo do homem mais rico do mundo e multi-bilionário, e não é realmente em uma base por usuário nem em agregado, mas pode ser suficiente para atrair alguns desenvolvedores a pelo menos conferir as ferramentas e a plataforma da xAI para construir aplicativos em cima dos modelos Grok.
Especificamente, a API da xAI é precificada em $5 por milhão de tokens de entrada e $15 por milhão de saída, em comparação com $2,50/$10 para o modelo GPT-4o da OpenAI e $3/$15 para o modelo Claude 3.5 Sonnet da Anthropic. No final das contas, isso significa que o crédito de $25 da xAI não levará o desenvolvedor muito longe — apenas cerca de dois milhões de tokens de entrada e um milhão de saída por mês. Para referência, um milhão de tokens é equivalente a 7-8 romances em palavras.
O limite de contexto, ou quantos tokens podem ser inseridos ou saídos em uma interação através da API, é em torno de 128.000, semelhante ao GPT-4o da OpenAI e abaixo da janela de 200.000 tokens da Anthropic, e bem abaixo da extensão da janela de contexto de 1 milhão do Google Gemini 1.5 Flash.
Além disso, em meu breve teste da xAPI, consegui acessar apenas grok-beta e apenas texto, sem capacidades de geração de imagem como as encontradas no Grok 2 (impulsionado pelo modelo Flux.1 da Black Forest Labs).
Novos modelos Grok chegando em breve
De acordo com o post do blog da xAI, isso é na verdade “uma prévia de um novo modelo Grok que está atualmente nas etapas finais de desenvolvimento”, e um novo “modelo de visão Grok estará disponível na próxima semana.”
Além disso, a xAI observa que o grok-beta suporta “chamadas de função”, ou a capacidade do LLM de receber comandos de um usuário e acessar funções de outros aplicativos e serviços conectados, até mesmo executá-los em nome do usuário (se o aplicativo conectado permitir tal acesso).
Compatível com a concorrência
Além disso, a conta da xAI na rede social X postou que a API da xAI é “compatível com SDKs da OpenAI e Anthropic”, ou os kits de desenvolvimento de software de diferentes ferramentas da web usadas por desenvolvedores dessas plataformas, o que significa que deve ser relativamente fácil trocar esses modelos pelo grok-beta ou outros na plataforma da xAI.
A xAI de Musk recentemente ativou seu supercluster “Colossus” de 100.000 GPUs Nvidia H100 em Memphis, Tennessee, que está sendo usado para treinar seus novos modelos — o maior ou um dos maiores do mundo — então aparentemente essa instalação já está em pleno funcionamento.
O que você acha? É suficiente para fazer os desenvolvedores do público da VentureBeat tentarem construir em cima da xAI? Deixe-me saber: [email protected].