Quando a OpenAI revelou seu modelo de IA o3 “raciocínio” em dezembro, a empresa se juntou aos criadores do ARC-AGI, um marco projetado para testar IA altamente capaz, para mostrar as capacidades do o3. Meses depois, os resultados foram revisados e agora parecem um pouco menos impressionantes do que inicialmente.
Na semana passada, a Arc Prize Foundation, que mantém e administra o ARC-AGI, atualizou seus custos de computação aproximados para o o3. A organização originalmente estimou que a configuração de melhor desempenho do o3 testada, o o3 alto, custava cerca de $3.000 para resolver um único problema do ARC-AGI. Agora, a Arc Prize Foundation acha que o custo é muito mais alto — possivelmente em torno de $30.000 por tarefa.
A revisão é notável porque ilustra quão caros os modelos de IA mais sofisticados de hoje podem acabar sendo para certas tarefas, pelo menos no início. A OpenAI ainda não precificou o o3 — nem o lançou, sequer. Mas a Arc Prize Foundation acredita que a precificação do modelo o1-pro da OpenAI é um proxy razoável.
Para contextualizar, o o1-pro é o modelo mais caro da OpenAI até agora.
“Nós acreditamos que o o1-pro é uma comparação mais próxima do verdadeiro custo do o3 […], devido à quantidade de computação usada no tempo de teste”, disse Mike Knoop, um dos co-fundadores da Arc Prize Foundation, ao TechCrunch. “Mas isso ainda é um proxy, e mantivemos o o3 rotulado como uma prévia em nossa tabela de classificação para refletir a incerteza até que o preço oficial seja anunciado.”
Um preço alto para o o3 alto não seria fora de questão, dada a quantidade de recursos computacionais que o modelo supostamente utiliza. De acordo com a Arc Prize Foundation, o o3 alto usou 172x mais computação do que o o3 baixo, a configuração de menor computação do o3, para abordar o ARC-AGI.
Além disso, rumores estão circulando há algum tempo sobre planos caros que a OpenAI está considerando introduzir para clientes empresariais. No início de março, o The Information informou que a empresa pode estar planejando cobrar até $20.000 por mês por “agentes” de IA especializados, como um agente desenvolvedor de software.
Alguns podem argumentar que mesmo os modelos mais caros da OpenAI custarão bem menos do que um contratado ou funcionário humano típico exigiria. Mas, como apontou o pesquisador de IA Toby Ord em um post no X, os modelos podem não ser tão eficientes. Por exemplo, o o3 alto precisou de 1.024 tentativas em cada tarefa no ARC-AGI para alcançar sua melhor pontuação.