Deepseek-R1 impulsiona o boom em modelos de linguagem com capacidade de raciocínio
Uma nova análise mostra que, embora a OpenAI tenha sido a primeira a colocar modelos de linguagem com capacidade de raciocínio em destaque, o Deepseek‑R1 impulsionou as pesquisas nessa área para um novo patamar. Desde seu lançamento há cerca de quatro meses, o Deepseek‑R1 chamou atenção por oferecer um forte raciocínio lógico com muito menos recursos de treinamento do que os modelos anteriores, desencadeando uma onda de esforços de replicação na indústria – inclusive com equipes especiais sendo formadas, como alegadamente no caso da Meta.
Melhores dados, melhores resultados
Um dos fatores-chave foi o ajuste fino supervisionado (SFT), em que modelos base são re-treinados com explicações detalhadas e cuidadosamente selecionadas. A meta-análise apontou que a qualidade tem mais peso do que a quantidade: alguns milhares de exemplos rigorosamente avaliados podem elevar modelos de 7B ou 1.5B a um nível elevado, enquanto milhões de amostras mal filtradas proporcionam pouca melhoria. Essa constatação desafia a ideia antiga de que um raciocínio profundo sempre exige modelos em escala massiva. A arquitetura subjacente continua determinando os limites superiores, mas os modelos orientados para o raciocínio podem fazer um uso mais eficiente desses recursos em determinados contextos.
O aprendizado por reforço também ganhou importância na construção de habilidades de raciocínio. Dois algoritmos se destacam: PPO (Proximal Policy Optimization) e GRPO (Group Relative Policy Optimization). Embora ambos já existissem antes do Deepseek‑R1, o recente aumento do interesse contribuiu para sua aplicação em uma escala bem maior.
O PPO ajusta os pesos do modelo gradualmente, mas de forma contida, segurando as novas estratégias próximas das anteriores. Um mecanismo interno de corte impede saltos bruscos e mantém o treinamento estável. Já o GRPO vai além: para cada solicitação, ele gera várias opções de resposta, compara suas recompensas dentro de um grupo e atualiza o modelo com base em seus desempenhos relativos. Com a normalização em grupo, o GRPO dispensa uma rede de valor separada, mantendo sua eficiência mesmo com respostas longas e detalhadas.
Novas estratégias no treinamento
Pesquisadores vêm testando abordagens inovadoras para o treinamento desses modelos. Uma estratégia eficaz é começar com respostas mais curtas e aumentar gradualmente seu comprimento. O aprendizado por currículo – em que as tarefas se tornam progressivamente mais desafiadoras – também tem mostrado resultados promissores, sugerindo que os modelos de IA podem aprender de maneiras que se assemelham ao aprendizado humano de novas habilidades.
Outra tendência importante é a incorporação de habilidades de raciocínio em tarefas multimodais. Pesquisas iniciais têm se concentrado em transferir essas capacidades para a análise de imagens e áudio, mostrando que o raciocínio desenvolvido em modelos textuais frequentemente se estende a outras áreas. Por exemplo, o modelo mais recente da OpenAI, o o3, incorpora imagens e o uso de ferramentas diretamente em seu processo de raciocínio – recurso que não estava disponível ou evidenciado quando o modelo foi lançado em dezembro do ano passado. Apesar dos avanços, os pesquisadores apontam que ainda há muito a ser melhorado.
O raciocínio traz novos desafios
Um raciocínio aprimorado também implica novos desafios em termos de segurança e eficiência. Pesquisadores têm buscado maneiras de prevenir comportamentos indesejados, como o “excesso de raciocínio”. Um exemplo ilustrativo é o modelo de raciocínio Phi 4 da Microsoft, que supostamente gera mais de 50 “pensamentos” apenas para responder a um simples “Oi”. Outra análise constatou que o raciocínio aumenta em até 17 vezes o consumo de tokens do modelo Flash 2.5 do Google, elevando os custos computacionais.
Embora o raciocínio possa melhorar a qualidade e a segurança das respostas da IA, ele também demanda maior poder computacional e pode resultar em comportamentos ineficientes. Isso reforça a importância de escolher a ferramenta adequada para cada tarefa. Atualmente, ainda não há um consenso claro sobre quando utilizar um modelo de linguagem padrão e quando recorrer a um modelo orientado para o raciocínio – exceto em casos de problemas que envolvem lógica, ciência ou programação extremamente complexa.
O estudo conclui que o Deepseek‑R1 teve um papel fundamental em acelerar o desenvolvimento de modelos de linguagem com capacidade de raciocínio. Os autores enxergam esses avanços apenas como o começo, com a próxima fase voltada para a expansão do raciocínio em novas aplicações, a melhoria da confiabilidade e a busca por métodos ainda mais eficientes de treinamento desses sistemas.
