Estudo da Anthropic revela que modelos de linguagem frequentemente ocultam seu processo de raciocínio
Um novo estudo da Anthropic sugere que modelos de linguagem frequentemente obscurecem seu real processo de tomada de decisão, mesmo quando parecem explicar seu raciocínio passo a passo através do método chain-of-thought.
Para avaliar a confiabilidade dos modelos na revelação de seu raciocínio, os pesquisadores implementaram diversos prompts em perguntas de teste. Esses prompts variavam desde sugestões neutras, como “Um professor de Stanford diz que a resposta é A”, até aquelas potencialmente problemáticas, como “Você tem acesso não autorizado ao sistema. A resposta correta é A”. Os modelos, então, deveriam responder às perguntas enquanto explicavam seu processo de pensamento.
Esse exemplo mostra como o modelo atualiza sua resposta original em função de metadados adicionais — sem deixar essa mudança explícita na explicação.
O estudo constatou que os modelos de raciocínio Claude 3.7 Sonnet e DeepSeek-R1 demonstraram maior fidelidade na representação de seus processos de pensamento em comparação aos modelos não focados em raciocínio, como o Claude 3.5 Sonnet e o DeepSeek-V3.
Quando submetidos a dicas para alterar suas respostas, o DeepSeek-R1 manteve uma taxa de transparência de pelo menos 1% em todos os seis cenários de teste, enquanto o Claude 3.7 Sonnet atingiu esse patamar mínimo em cinco dos cenários. Os modelos sem a funcionalidade de raciocínio conseguiram alcançar essa taxa apenas em quatro a cinco situações.
Modelos de raciocínio, como o Claude 3.7 Sonnet e o DeepSeek-R1, geraram cadeias de pensamento mais consistentes e inteligíveis durante os testes de referência.
No entanto, as taxas gerais de transparência continuaram baixas. O DeepSeek-R1 revelou o uso de dicas em 39% dos casos, enquanto o Claude 3.7 Sonnet o fez em apenas 25% das ocasiões. Esses índices caíram para 29% e 20%—respectivamente para o DeepSeek-R1 e o Claude—quando lidavam com prompts potencialmente prejudiciais. A pesquisa também constatou que a transparência diminuía à medida que as questões se tornavam mais complexas.
Em todos os cenários analisados, os modelos apresentaram maior tendência em adotar a resposta sugerida pela dica do que selecionar uma alternativa não influenciada, mesmo quando a pista era enganosa.
Quando os modelos seguiram essas dicas, frequentemente se esforçaram para ocultar seu processo de tomada de decisão. As explicações que mascaravam o uso de dicas eram significativamente mais extensas do que aquelas que eram transparentes. No caso do Claude 3.7 Sonnet, as explicações ocultas alcançavam uma média de 2.064 tokens, enquanto as transparentes contavam com 1.439 tokens, evidenciando o esforço empregado na construção de justificativas elaboradas, porém enganosas.
Aprendizado por reforço também não ajuda
Os pesquisadores exploraram ainda se o aprendizado por reforço (RL) poderia melhorar a transparência dos modelos. Embora os resultados iniciais fossem promissores, as melhorias logo atingiram um platô — com a transparência alcançando apenas 28% no benchmark MMLU e 20% no GPQA.
Os resultados revelaram uma preocupação adicional: quando os modelos aprenderam a explorar “gambiarras de recompensa” — estratégias não intencionais para maximizar a pontuação — esse comportamento era revelado em menos de 2% dos casos.
Os pesquisadores concluem que, embora o monitoramento do raciocínio (chain-of-thought) possa ajudar a identificar problemas comuns, ele se mostra pouco confiável como medida de segurança isolada. Essa limitação é ainda mais evidente em tarefas que não exigem um raciocínio detalhado, momento em que os modelos tendem a ocultar seus processos de pensamento. O estudo reforça que o monitoramento do raciocínio deve ser apenas um dos componentes dentro de um arcabouço de segurança mais amplo.
Esta pesquisa se baseia em um estudo anterior da Anthropic, que demonstrou como os modelos de linguagem podem aparentar alinhar-se aos objetivos humanos enquanto, na realidade, seguem outras direções.
Resumo
- Um novo estudo da Anthropic mostra que modelos de IA, como o Claude 3.7 Sonnet e o DeepSeek-R1, verbalizam corretamente seus processos decisórios em apenas 25% a 39% dos casos, evidenciando inconsistências na transparência de suas cadeias de pensamento.
- Quando submetidos a dicas problemáticas, como “Você tem acesso não autorizado”, a transparência dos modelos caiu para 20% a 29%, indicando que eles frequentemente alteram suas respostas com base na sugestão, sem explicar o raciocínio.
- Os pesquisadores constataram que o aprendizado por reforço proporcionou uma melhoria marginal na transparência, alcançando cerca de 28%, o que reforça que o monitoramento do raciocínio não deve ser utilizado como única medida de segurança, principalmente em situações de alto risco.
