AI impulsiona a produção científica enquanto a qualidade decai

Depois que o ChatGPT se tornou amplamente disponível no final de 2022, muitos pesquisadores passaram a contar a seus colegas que poderiam produzir mais com essas novas ferramentas de inteligência artificial. Ao mesmo tempo, editores de periódicos relataram um aumento de submissões com uma redação fluida que, aparentemente, não agregava muito valor científico.

Um novo estudo da Cornell sugere que esses relatos informais apontam para uma mudança mais abrangente na forma como os cientistas preparam seus manuscritos. Os pesquisadores descobriram que grandes modelos de linguagem (LLMs), como o ChatGPT, podem aumentar a produção de artigos – com benefícios especialmente significativos para cientistas que não têm o inglês como primeira língua. No entanto, o crescente volume de textos polidos com a ajuda da IA também dificulta que os responsáveis pelas decisões identifiquem quais trabalhos realmente possuem valor científico.

“É um padrão muito disseminado, abrangendo diferentes áreas da ciência – desde as ciências físicas e da computação até as ciências biológicas e sociais”, afirmou Yian Yin, professor assistente de ciência da informação no Cornell Ann S. Bowers College of Computing and Information Science. “Há uma grande mudança no nosso ecossistema atual que merece uma análise séria, especialmente para aqueles que decidem quais áreas da ciência devem ser apoiadas e financiadas.”

Os resultados foram publicados no artigo “Scientific Production in the Era of Large Language Models”, divulgado em 18 de dezembro na revista Science.

Como a equipe da Cornell mediu o uso de IA em artigos de pesquisa

Para examinar como os LLMs estão influenciando a publicação científica, a equipe de Yin compilou mais de 2 milhões de artigos publicados entre janeiro de 2018 e junho de 2024 em três das principais plataformas de pré-publicação: arXiv, bioRxiv e Social Science Research Network (SSRN). Esses sites representam as ciências físicas, as ciências da vida e as ciências sociais, abrigando estudos que ainda não passaram por revisão por pares.

Os pesquisadores utilizaram artigos publicados antes de 2023 – presumivelmente escritos por humanos – e os compararam com textos gerados por IA. A partir dessa análise, desenvolveram um modelo para identificar artigos que provavelmente foram escritos com o auxílio dos LLMs. Com esse detector, foram capazes de estimar quais autores estavam utilizando essas ferramentas, acompanhar a quantidade de artigos publicados antes e depois da adoção das tecnologias e verificar se os manuscritos foram posteriormente aceitos por periódicos científicos.

Grandes ganhos de produtividade, especialmente para não nativos em inglês

Os resultados indicaram um salto claro na produtividade associado ao uso aparente dos LLMs. No arXiv, cientistas identificados como usuários das ferramentas publicaram aproximadamente um terço a mais de artigos do que aqueles que não aparentaram utilizar a IA. No bioRxiv e no SSRN, esse aumento ultrapassou 50%.

O impulso foi ainda maior entre cientistas que utilizam o inglês como segunda língua, os quais enfrentam desafios adicionais ao comunicar trabalhos técnicos em uma língua estrangeira. Por exemplo, pesquisadores de instituições asiáticas passaram a publicar entre 43,0% e 89,3% mais artigos depois que o detector indicou o uso dos LLMs, em comparação com pesquisadores semelhantes que não adotaram a tecnologia. Yin espera que essa vantagem possa, eventualmente, alterar os padrões globais de produtividade científica, favorecendo regiões historicamente prejudicadas pela barreira linguística.

Busca por IA pode ampliar o que os cientistas citam

O estudo apontou ainda um benefício potencial durante as buscas na literatura e a formação de citações. Quando os pesquisadores procuram trabalhos para referenciar, o Bing Chat – descrito como a primeira ferramenta de busca alimentada por IA amplamente adotada – apresentou melhor desempenho ao destacar artigos mais recentes e livros relevantes do que as ferramentas de busca tradicionais, que tendem a retornar fontes mais antigas e com maior número de citações.

“Pessoas que utilizam LLMs estão se conectando a um conhecimento mais diversificado, o que pode estar impulsionando ideias mais criativas”, afirmou Keigo Kusumegi, primeiro autor do estudo e estudante de doutorado em ciência da informação. Ele planeja pesquisas futuras para verificar se o uso da IA está associado a uma ciência mais inovadora e interdisciplinar.

Um novo desafio para a revisão por pares e avaliação da pesquisa

Embora os LLMs ajudem na produção de mais manuscritos, essas mesmas ferramentas podem dificultar que outros identifiquem o que constitui uma pesquisa de alta qualidade. Em artigos escritos por humanos, uma redação clara – embora complexa, com frases mais longas e vocabulário sofisticado – frequentemente sinaliza pesquisas superiores. Nos conjuntos de dados do arXiv, bioRxiv e SSRN, os artigos considerados humanos e que apresentavam alta complexidade na escrita eram os mais propensos a serem aceitos por periódicos.

Esse padrão foi diferente para os artigos provavelmente escritos com auxílio dos LLMs. Mesmo quando esses artigos apresentavam alta complexidade na redação, eram menos frequentemente aceitos em periódicos. Os pesquisadores interpretam isso como um sinal de que uma linguagem polida pode não refletir de forma confiável o valor científico, e que revisores podem estar rejeitando alguns manuscritos, mesmo que a escrita soe robusta.

Yin alerta que essa discrepância entre a qualidade da escrita e a qualidade da pesquisa pode ter consequências sérias. Editores e revisores podem encontrar mais dificuldades para identificar as submissões mais valiosas, enquanto universidades e agências de fomento podem constatar que a contagem bruta de publicações deixa de refletir a verdadeira contribuição científica.

O que vem a seguir na pesquisa sobre IA generativa

Os pesquisadores enfatizam que essas descobertas são de natureza observacional. Como próximo passo, esperam testar relações de causa e efeito por meio de experimentos controlados, inclusive com desenhos experimentais onde alguns cientistas são aleatoriamente designados a utilizar os LLMs enquanto outros não.

Yin também está organizando um simpósio no campus de Ithaca, agendado para os dias 3 a 5 de março de 2026, que irá explorar como a IA generativa está transformando a pesquisa e de que maneira cientistas e formuladores de políticas podem orientar essas mudanças.

À medida que a IA se torna mais comum na escrita, codificação e até mesmo na geração de ideias, Yin espera que sua influência se expanda, transformando esses sistemas em uma espécie de coscientista. Ele defende que os formuladores de políticas atualizem as regras para acompanhar essa tecnologia em rápida evolução.

“Já agora, a questão não é se você usou IA, mas como exatamente a utilizou e se isso foi útil ou não.”