Modelos Transformer mostram surpreendentes semelhanças com o pensamento humano, aponta estudo
Um novo estudo relaciona a dinâmica de camadas em modelos Transformer com o processamento humano em tempo real. Os achados sugerem que os modelos de IA podem não apenas alcançar resultados semelhantes aos dos humanos, mas também seguir “estratégias de processamento” similares durante o processo.
Os Transformers, a arquitetura por trás de modelos como GPT e Vision Transformers (ViT), são eficientes em produzir respostas humanizadas. No entanto, pesquisadores de Harvard, Brown e da Universidade de Tübingen decidiram aprofundar a investigação. Eles se perguntaram se os cálculos internos desses modelos se assemelham ao modo como os humanos processam linguagem e visão em tempo real.
Em vez de se concentrarem somente no resultado final – comparando o que o modelo prevê com o que um humano diz –, a equipe analisou como as previsões mudam internamente. Especificamente, foram examinadas as transformações dos sinais internos do modelo durante uma passada pela rede.
Em redes neurais, o processo de “forward pass” é aquele em que os dados de entrada fluem camada por camada, desde a camada inicial até a camada de saída, gerando uma previsão ao final. Os pesquisadores queriam verificar se a forma como a informação se transforma ao longo desse processo espelha as etapas realizadas pelo pensamento humano.
O que exatamente os pesquisadores compararam?
O estudo concentrou-se em como as estimativas de probabilidade do modelo variavam entre as camadas durante uma passada pela rede. Essas dinâmicas internas – ou seja, a confiança do modelo em cada resposta possível enquanto processa um dado – foram comparadas com dados comportamentais humanos. Esses dados incluíram acurácia, tempos de reação, comportamentos na digitação (como o tempo até a primeira tecla ou o número de correções) e informações de rastreamento do mouse, como o percurso do movimento e aceleração.
Para realizar essa comparação, os pesquisadores extraíram diversos métricas de processo da atividade do modelo em cada camada. Entre essas métricas estavam: Incerteza (entropia), Confiança na resposta correta (probabilidade logarítmica ou posição inversa), Confiança Relativa entre a resposta correta e uma resposta intuitiva, porém equivocada (diferença de probabilidade logarítmica) e o reforço da resposta correta em relação à intuitiva (baseado em diferenças nos valores brutos do modelo).
Cada uma dessas métricas foi medida de três formas: como o valor final na camada de saída, como um resumo da área sob a curva (AUC) ao longo de todas as camadas, e como o ponto de maior variação entre as camadas (Max-delta).
Utilizando essas métricas, os pesquisadores passaram a prever os comportamentos humanos. Para cada tarefa, compararam um modelo de regressão básico – que usava apenas o resultado final – com modelos que incorporavam uma métrica de processo de cada vez.
Cinco estudos em diferentes domínios e modalidades
Em uma tarefa de recordação de fatos (nomeando capitais, por exemplo, identificando Springfield para Illinois, em vez da opção mais intuitiva, Chicago), os modelos indicaram um processamento em duas etapas: as camadas intermediárias frequentemente inclinavam-se pela resposta equivocada e intuitiva, enquanto as camadas posteriores reforçavam a resposta correta.
As métricas de processo melhoraram significativamente a previsão da acurácia humana e da carga de processamento (como o número de correções digitadas). Por exemplo, as métricas de confiança foram as melhores na previsão da acurácia, enquanto as métricas de confiança relativa e reforço foram mais eficazes na previsão de incertezas na digitação.
Em uma versão de reconhecimento de fatos, onde os participantes escolhiam entre Springfield e Chicago, o padrão mudou. Nessa tarefa, que exigia uma comparação explícita, as métricas relativas ofereceram os maiores ganhos na previsão tanto da acurácia quanto do tempo de reação dos humanos.
Em uma tarefa de categorização exemplificativa por meio do rastreamento do mouse – como classificar “baleia” como um mamífero – as métricas de processo novamente aprimoraram as previsões. Elas se mostraram especialmente úteis para prever os tempos de reação e características do movimento do mouse, como a aceleração. Entre essas métricas, as de Confiança, Confiança Relativa e Reforço apresentaram os efeitos mais fortes.
O terceiro estudo abordou o raciocínio silogístico, envolvendo quebra-cabeças lógicos nos quais os humanos frequentemente respondem com base em crenças pessoais, e não na lógica formal. Os modelos apresentaram vieses semelhantes, baseados em crenças. Nesse contexto, a Confiança integrada ao longo das camadas foi a melhor na previsão da acurácia humana e dos tempos de reação, especialmente em questões influenciadas por crenças.
Por fim, estendendo a análise para o domínio visual, a equipe comparou a dinâmica dos Vision Transformers (ViT) com o desempenho humano em reconhecimento de objetos fora de distribuição (OOD). Mesmo nesses modelos que utilizam apenas o codificador, as métricas de processo melhoraram as previsões. A incerteza integrada ao longo do tempo mostrou-se particularmente eficaz na previsão da acurácia e dos tempos de reação dos humanos em diversos conjuntos de dados de imagens.
Não apenas as respostas corretas, mas formas similares de pensar
Em todos os cinco estudos, os resultados demonstraram de forma consistente que as métricas de processo derivadas da dinâmica ao longo das camadas melhoram significativamente a previsão dos dados comportamentais humanos. Isso incluiu tanto a acurácia quanto medidas relacionadas à carga cognitiva ou à incerteza, indo além do que pode ser explicado apenas pelos resultados da camada de saída.
Esse achado sugere um paralelo funcional: estímulos que se mostram “difíceis” para um modelo – exigindo mais processamento entre as camadas para se determinar uma resposta – também tendem a ser desafiadores para os humanos, resultando em tempos de reação mais longos ou maiores taxas de erro.
Os pesquisadores argumentam que os grandes modelos de IA não devem ser vistos apenas como caixas pretas que mapeiam entradas para saídas. Se o processamento interno desses modelos espelhar o raciocínio humano, eles poderão auxiliar na testagem de teorias cognitivas, revelar padrões nas tomadas de decisões humanas e apoiar o desenvolvimento de sistemas de IA que consigam reconhecer e comunicar incertezas de forma mais efetiva.
Uma base para a interpretabilidade – e novas questões de pesquisa
O estudo funciona como uma ponte entre a interpretabilidade dos mecanismos da IA e os modelos cognitivos. Os autores reconhecem algumas limitações: os modelos testados eram pré-treinados (das famílias Llama-2 e ViT) e as análises se concentraram em tarefas específicas. Se os achados se generalizam para outras arquiteturas ou modelos ajustados permanece uma questão em aberto.
Também não está claro se a dinâmica ao longo das camadas reflete melhor o fluxo de processamento de um indivíduo ou um padrão agregado entre as pessoas. Ainda assim, os pesquisadores veem esse trabalho como uma fundação para futuros estudos. As computações internas dos modelos de IA – e a forma como suas previsões evoluem camada por camada durante uma passada – podem oferecer novas perspectivas sobre como os humanos pensam em tempo real.
