Goste ou não, os grandes modelos de linguagem rapidamente se tornaram parte de nossas vidas. E devido às suas intensas necessidades de energia e água, eles também podem estar nos fazendo entrar mais rapidamente em um caos climático. Alguns LLMs, no entanto, podem estar liberando mais poluição que aquece o planeta do que outros, segundo um novo estudo.
Consultas feitas a alguns modelos geram até 50 vezes mais emissões de carbono do que outros, de acordo com um novo estudo publicado na Frontiers in Communication. Infelizmente, e talvez não surpreendentemente, modelos que são mais precisos tendem a ter os maiores custos de energia.
É difícil estimar quão ruins os LLMs são para o meio ambiente, mas alguns estudos sugeriram que o treinamento do ChatGPT usou até 30 vezes mais energia do que o americano médio usa em um ano. O que não se sabe é se alguns modelos têm custos de energia mais acentuados do que seus pares ao responder perguntas.
Pesquisadores da Hochschule München University of Applied Sciences, na Alemanha, avaliaram 14 LLMs que variam de 7 a 72 bilhões de parâmetros—os alavancadores e botões que ajustam a compreensão e geração de linguagem de um modelo—em 1.000 perguntas de referência sobre vários assuntos.
Os LLMs convertem cada palavra ou partes de palavras em um prompt em uma sequência de números chamada token. Alguns LLMs, particularmente os modelos de raciocínio, também inserem “tokens de pensamento” especiais na sequência de entrada para permitir cálculos e raciocínios internos adicionais antes de gerar a saída. Essa conversão e os cálculos subsequentes que o LLM realiza nos tokens consomem energia e liberam CO2.
Os cientistas compararam o número de tokens gerados por cada um dos modelos que testaram. Modelos de raciocínio, em média, criaram 543,5 tokens de pensamento por pergunta, enquanto modelos concisos exigiram apenas 37,7 tokens por pergunta, descobriu o estudo. No mundo do ChatGPT, por exemplo, o GPT-3.5 é um modelo conciso, enquanto o GPT-4o é um modelo de raciocínio.
Esse processo de raciocínio aumenta as necessidades de energia, descobriram os autores. “O impacto ambiental de questionar LLMs treinados é fortemente determinado por sua abordagem de raciocínio”, disse Maximilian Dauner, autor do estudo e pesquisador da Hochschule München University of Applied Sciences, em um comunicado. “Descobrimos que modelos habilitados para raciocínio produziram até 50 vezes mais emissões de CO2 do que modelos de resposta concisa.”
Quanto mais precisos os modelos eram, mais emissões de carbono eles produziam, constatou o estudo. O modelo de raciocínio Cogito, que possui 70 bilhões de parâmetros, atingiu até 84,9% de precisão—mas também produziu três vezes mais emissões de CO2 do que modelos de tamanho semelhante que geram respostas mais concisas.
“Atualmente, vemos um claro trade-off entre precisão e sustentabilidade inerente às tecnologias de LLM”, disse Dauner. “Nenhum dos modelos que manteve as emissões abaixo de 500 gramas de CO2 equivalente alcançou mais de 80% de precisão ao responder corretamente as 1.000 perguntas.” CO2 equivalente é a unidade usada para medir o impacto climático de vários gases de efeito estufa.
Outro fator foi o assunto. Perguntas que exigiam raciocínio detalhado ou complexo, por exemplo, álgebra abstrata ou filosofia, levaram a até seis vezes mais emissões do que assuntos mais diretos, de acordo com o estudo.
Há algumas ressalvas, no entanto. As emissões dependem muito de como as redes de energia locais estão estruturadas e dos modelos que você examina, então não está claro quão generalizáveis são essas descobertas. Ainda assim, os autores do estudo disseram que esperam que o trabalho encoraje as pessoas a serem “seletivas e reflexivas” sobre o uso de LLM.
“Os usuários podem reduzir significativamente as emissões pedindo à IA para gerar respostas concisas ou limitando o uso de modelos de alta capacidade a tarefas que realmente exigem esse poder”, disse Dauner em um comunicado.