Por que alguns modelos de IA expelem 50 vezes mais gases de efeito estufa para responder à mesma pergunta – Gizmodo

Por que alguns modelos de IA emitem até 50 vezes mais gases de efeito estufa para responder à mesma pergunta

Quer você goste ou não, os grandes modelos de linguagem (LLMs) rapidamente se tornaram parte integrante de nossas vidas. Devido às intensas demandas de energia e água, eles podem também estar contribuindo para acelerar a crise climática.

Um novo estudo publicado na revista Frontiers in Communication revela que, para determinadas consultas, alguns modelos geram até 50 vezes mais emissões de carbono do que outros. Curiosamente, os modelos mais precisos tendem a consumir mais energia.

Embora seja difícil estimar exatamente o impacto ambiental dos LLMs, pesquisas anteriores sugeriram que o treinamento do ChatGPT consumiu até 30 vezes mais energia do que a média anual de um americano. Agora, questiona-se se alguns desses modelos têm custos energéticos ainda mais elevados ao responder perguntas.

Pesquisadores da Hochschule München University of Applied Sciences, na Alemanha, avaliaram 14 modelos de linguagem com tamanhos variando de 7 a 72 bilhões de parâmetros – os ajustes que refinam a compreensão e a geração de linguagem – utilizando 1.000 questões de avaliação sobre diversos temas.

Os LLMs convertem cada palavra ou parte de palavra de um prompt em uma sequência de números, chamados tokens. Alguns modelos, especialmente os que possuem capacidade de raciocínio, também inserem tokens especiais de “pensamento” na entrada para executar cálculos e processamentos internos adicionais antes de gerar a resposta. Essa conversão, junto com os cálculos subsequentes, consome energia e libera CO2.

Na comparação realizada, os cientistas verificaram que modelos voltados ao raciocínio geraram, em média, 543,5 tokens de pensamento por pergunta, enquanto modelos mais diretos necessitaram de apenas 37,7 tokens. Por exemplo, no universo do ChatGPT, o GPT-3.5 é considerado um modelo conciso, ao passo que o GPT-4o incorpora mecanismos de raciocínio.

Esse processo de raciocínio significativo eleva as necessidades energéticas dos modelos. Como explicou o pesquisador Maximilian Dauner, “o impacto ambiental das consultas aos LLMs é fortemente determinado pela abordagem de raciocínio empregada”. Modelos que realizam análises mais complexas podem produzir até 50 vezes mais emissões de CO2 do que aqueles que oferecem respostas mais concisas.

O estudo também apontou que, quanto maior a precisão dos modelos, maiores são suas emissões de carbono. Por exemplo, o modelo de raciocínio Cogito, com 70 bilhões de parâmetros, atingiu uma precisão de 84,9%, mas também gerou três vezes mais emissões de CO2 do que modelos de tamanho similar que produzem respostas mais enxutas.

Dauner destacou que “atualmente existe uma clara relação de troca entre precisão e sustentabilidade nas tecnologias de LLM. Nenhum dos modelos que manteve as emissões abaixo de 500 gramas de CO2 equivalente alcançou uma precisão superior a 80% ao responder corretamente todas as perguntas.”

Além do método de raciocínio, o assunto das questões também impacta as emissões. Perguntas que exigem um raciocínio detalhado ou complexo – como aquelas que envolvem álgebra abstrata ou filosofia – podem provocar até seis vezes mais emissões do que questões de teor mais simples.

Por fim, os autores ressaltam que as emissões dependem fortemente de como as redes de energia locais estão estruturadas e das características específicas de cada modelo, o que dificulta a generalização dos resultados. Ainda assim, esperam que o estudo incentive os usuários a serem mais seletivos e criteriosos no uso desses modelos.

Segundo Dauner, é possível reduzir significativamente as emissões solicitando à IA que gere respostas concisas ou utilizando modelos de alta capacidade apenas para tarefas que realmente necessitem desse poder computacional.