A Meta anunciou a mais nova adição à sua família de modelos de IA generativa Llama: Llama 3.3 70B.
Em uma postagem no X, Ahmad Al-Dahle, VP de IA generativa da Meta, disse que o Llama 3.3 70B oferece o desempenho do maior modelo Llama da Meta, Llama 3.1 405B, mas com uma eficiência de custo muito melhor.
“Ao aproveitar os mais recentes avanços em técnicas de pós-treinamento… este modelo melhora o desempenho central a um custo significativamente mais baixo”, disse Al-Dahle.
Ahmad Al-Dahle publicou um gráfico mostrando o Llama 3.3 70B superando o Gemini 1.5 Pro do Google, o GPT-4o da OpenAI e o recém-lançado Nova Pro da Amazon em uma série de benchmarks da indústria, incluindo o MMLU, que avalia a capacidade de um modelo de entender e gerar texto. Por e-mail, um porta-voz da Meta disse que o modelo deve oferecer melhorias em áreas como matemática, conhecimento geral, seguimento de instruções e uso de aplicativos.
O Llama 3.3 70B, que está disponível para download na plataforma de desenvolvimento de IA Hugging Face e em outras fontes, incluindo o site oficial do Llama, é a mais recente jogada da Meta para dominar o campo da IA com modelos “abertos” que podem ser usados e comercializados para uma variedade de propósitos.
Os termos da Meta restringem como certos desenvolvedores podem usar seus modelos Llama; plataformas com mais de 700 milhões de usuários mensais devem solicitar permissão especial da empresa. Mas para muitos desenvolvedores e empresas, não é irrelevante que os modelos Llama não sejam “abertos” no sentido mais estrito. De acordo com a Meta, seus modelos Llama acumularam mais de 650 milhões de downloads.
A Meta também aproveitou o Llama para seus próprios fins. A Meta AI, o assistente de IA da empresa, que é alimentado inteiramente por modelos Llama, agora tem quase 600 milhões de usuários ativos mensais, de acordo com uma postagem no Instagram do CEO Mark Zuckerberg na sexta-feira. Zuckerberg afirma que a Meta AI está a caminho de ser o assistente de IA mais utilizado do mundo.
A natureza aberta do Llama tem sido uma bênção e uma maldição para a Meta.
Em novembro, um relatório surgiu de que pesquisadores militares chineses usaram um modelo Llama para desenvolver um chatbot de defesa. A Meta respondeu tornando seus modelos Llama disponíveis para parceiros de defesa dos EUA.
A Meta também expressou preocupações sobre sua capacidade de cumprir com a Lei de IA, a lei da UE que estabelece um quadro legal e regulatório para a IA — chamando a implementação da lei de “muito imprevisível”. A questão para a empresa são as disposições relacionadas ao GDPR, a lei de privacidade da UE, referentes ao treinamento de IA. A Meta treina modelos de IA com dados públicos de usuários do Instagram e Facebook que não optaram por sair — dados que na Europa estão sujeitos a garantias do GDPR.
Reguladores da UE solicitaram no início deste ano que a Meta interrompesse o treinamento com dados de usuários europeus enquanto avaliavam a conformidade da empresa com o GDPR. A Meta cedeu, ao mesmo tempo em que endossou uma carta aberta pedindo “uma interpretação moderna” do GDPR que não “rejeite o progresso”.
A Meta, não imune aos desafios técnicos que outros laboratórios de IA estão enfrentando, está aumentando sua infraestrutura de computação para treinar e servir futuras gerações de modelos Llama. A empresa anunciou na quarta-feira que construiria um centro de dados de IA de $10 bilhões na Louisiana — o maior centro de dados de IA que já construiu.
Zuckerberg disse na chamada de resultados do Q4 da Meta em agosto que, para treinar o próximo conjunto importante de modelos Llama, Llama 4, a empresa precisará de 10 vezes mais computação do que o necessário para treinar o Llama 3.
Treinar grandes modelos de linguagem pode ser um negócio caro. Os gastos de capital da Meta aumentaram quase 33% para $8,5 bilhões no Q2 de 2024, em comparação com $6,4 bilhões no ano anterior, impulsionados por investimentos em servidores, centros de dados e infraestrutura de rede.