O próxima modelo principal da OpenAI pode não representar um salto tão grande quanto seus predecessores, de acordo com um novo relatório da The Information.
Funcionários que testaram o novo modelo, codinome Orion, relataram que, embora seu desempenho supere os modelos existentes da OpenAI, houve menos melhoria do que eles viram na transição do GPT-3 para o GPT-4.
Em outras palavras, a taxa de melhoria parece estar desacelerando. De fato, o Orion pode não ser confiavelmente melhor do que os modelos anteriores em algumas áreas, como programação.
Em resposta, a OpenAI criou uma equipe de fundações para descobrir como a empresa pode continuar a melhorar seus modelos diante de um suprimento decrescente de novos dados de treinamento. Essas novas estratégias incluem, supostamente, treinar o Orion com dados sintéticos produzidos por modelos de IA, além de realizar mais melhorias nos modelos durante o processo pós-treinamento.
A OpenAI não respondeu imediatamente a um pedido de comentário. Em resposta a relatórios anteriores sobre planos para seu modelo principal, a empresa disse: “Não temos planos de lançar um modelo codinome Orion este ano.”