Alerta sobre a interpretação dos tokens intermediários
Uma equipe de pesquisa da Arizona State University alerta para o perigo de interpretar os passos intermediários em modelos de linguagem como processos de pensamento humano. Segundo os pesquisadores, essa interpretação equivocada pode ter consequências significativas tanto para a pesquisa quanto para a aplicação da inteligência artificial.
Em um artigo de posicionamento, os autores argumentam que considerar as chamadas “cadeias de pensamento” como evidência de raciocínio semelhante ao humano é enganoso e potencialmente prejudicial. A equipe, liderada por Subbarao Kambhampati, critica a humanização dos tokens intermediários, classificando-a como um tipo de “pensamento de culto à carga”. Embora essas sequências possam se assemelhar ao resultado de uma mente humana, elas são geradas estatisticamente e não possuem conteúdo semântico ou significado algorítmico real, criando apenas uma falsa sensação de transparência e controle.
Muitos dos chamados modelos de raciocínio, como o R1 da Deepseek ou a série O da OpenAI, dividem tarefas em uma série de etapas intermediárias antes de produzirem a resposta final. Em interfaces de chat, por exemplo, esses fragmentos visíveis costumam ser erroneamente interpretados como sinais de um raciocínio genuíno.
No entanto, os pesquisadores afirmam que esses tokens são apenas fragmentos superficiais de texto, sem representar traços significativos de um processo de pensamento. Não há evidências de que o estudo detalhado dessas etapas revele de fato o funcionamento interno dos modelos ou os torne mais compreensíveis ou controláveis.
Pesquisa enganosa e confiança mal direcionada
O estudo alerta que esses equívocos podem ter sérias implicações para a pesquisa em IA. Alguns cientistas, por exemplo, passaram a tentar tornar as “cadeias de pensamento” mais interpretáveis ou utilizar características como seu comprimento e clareza para medir a complexidade dos problemas, mesmo sem evidências concretas que comprovem tais relações.
Para ilustrar seu argumento, os autores relatam experimentos em que modelos foram treinados com etapas intermediárias propositalmente sem sentido ou até mesmo incorretas. Em alguns cenários, esses modelos chegaram a ter um desempenho melhor do que aqueles treinados com cadeias de raciocínio logicamente coerentes. Outros estudos apontaram quase nenhuma correlação entre a correção dos passos intermediários e a precisão da resposta final.
Por exemplo, o modelo Deepseek R1-Zero, que misturava inglês e chinês nos tokens intermediários, apresentou melhores resultados do que uma variante posterior otimizada para legibilidade. O aprendizado por reforço pode ensinar os modelos a gerar qualquer tipo de token intermediário – o único fator decisivo é se a resposta final está correta.
Além disso, toques considerados “humanos”, como a inserção de palavras como “aha” ou “hmm”, são frequentemente interpretados como sinais de verdadeiro insight. No entanto, segundo os pesquisadores, esses elementos são apenas continuidades estatísticas esperadas. Conforme destacado por Kambhampati, é comum encontrar exemplos em que as etapas intermediárias contêm erros evidentes, mas a resposta final permanece correta.
Tentar interpretar esses fragmentos desordenados é comparado a ler um teste de Rorschach: dada a inconsistência e a falta de sentido claro, acaba-se projetando significados pessoais sobre padrões aleatórios, o que pouco contribui para a compreensão real do processo de raciocínio.
Pesquisas adicionais demonstram que, mesmo quando os modelos produzem etapas intermediárias cheias de inconsistências ou erros, eles ainda conseguem chegar à resposta correta – não porque esses fragmentos indiquem um raciocínio genuíno, mas porque funcionam como complementos úteis aos prompts. Outros estudos observam que os modelos frequentemente alternam entre estratégias para resolver problemas de forma ineficiente, especialmente em tarefas mais complexas, sugerindo que as etapas intermediárias atuam mais na formatação da saída do que na melhoria efetiva do raciocínio.
Foco na verificação, não no antropomorfismo
A equipe da Arizona State defende que os modelos atuais de raciocínio não estão, de fato, “pensando”. Em vez disso, eles aprimoram o uso de sinais de feedback e verificação durante o treinamento, de forma que o que parece ser um processo passo a passo é, na verdade, apenas um subproduto da otimização.
Os pesquisadores ressaltam que os tokens intermediários devem ser encarados como uma ferramenta de engenharia de prompts, e não como janelas para a mente da inteligência artificial. A prioridade, segundo eles, deve ser melhorar o desempenho do modelo, não torná-lo similar ao raciocínio humano. Uma das sugestões é utilizar um segundo modelo para gerar etapas intermediárias que aumentem a precisão, mesmo que essas etapas não façam sentido do ponto de vista semântico. O que realmente importa é se esses complementos ajudam o modelo a alcançar a resposta correta.
