Há uma controvérsia se formando em torno dos estudos “gerados por IA” submetidos ao ICLR deste ano, uma conferência acadêmica consolidada no campo da inteligência artificial.
Pelo menos três laboratórios de IA — Sakana, Intology e Autoscience — afirmam ter utilizado a IA para produzir estudos aceitos em workshops do ICLR, onde os organizadores avaliam os trabalhos para publicação na trilha específica de workshops.
A Sakana informou os líderes do ICLR antes de submeter seus artigos gerados por IA e obteve o consentimento dos revisores. Em contrapartida, os laboratórios Intology e Autoscience não seguiram esse procedimento, conforme confirmou um porta-voz do ICLR.
Vários acadêmicos especializados em IA recorreram às redes sociais para criticar as manobras realizadas pela Intology e pela Autoscience, alegando que essas empresas estariam se apropriando indevidamente do processo científico de revisão por pares.
“Todos esses artigos de cientistas de IA estão utilizando os espaços de revisão por pares como se fossem avaliações humanas, mas ninguém consentiu em oferecer esse trabalho gratuitamente”, escreveu Prithviraj Ammanabrolu, professor assistente de ciência da computação da UC San Diego. “Isso me faz perder o respeito por todos os envolvidos, independentemente do quão impressionante seja o sistema. Por favor, informem os editores sobre isso.”
Como ressaltado pelos críticos, a revisão por pares é um processo que demanda muito tempo e trabalho, sendo realizado, na maioria das vezes, de forma voluntária. De acordo com uma pesquisa recente da Nature, 40% dos acadêmicos gastam entre duas e quatro horas na revisão de um único estudo. Esse esforço vem aumentando, já que o número de artigos submetidos à maior conferência de IA, a NeurIPS, chegou a 17.491 no ano passado – um acréscimo de 41% em relação aos 12.345 artigos apresentados em 2023.
A academia já enfrentava problemas com a geração de textos por IA. Uma análise apontou que entre 6,5% e 16,9% dos artigos submetidos a conferências de IA em 2023 provavelmente continham trechos sintéticos. Contudo, o uso da revisão por pares por empresas de IA para efetivamente avaliar e promover suas tecnologias é uma prática relativamente nova.
Em comunicações que destacavam seus resultados no ICLR, a Intology afirmou que os seus artigos receberam avaliações unânimes e que os revisores elogiaram a “ideia engenhosa” presente em um dos estudos gerados por IA.
Essa postura não foi bem recebida pelos acadêmicos. Ashwinee Panda, pesquisadora de pós-doutorado na Universidade de Maryland, afirmou que submeter artigos gerados por IA sem oferecer aos organizadores do workshop a possibilidade de recusar sua análise demonstrava “falta de respeito pelo tempo dos revisores humanos”.
“A Sakana entrou em contato perguntando se estaríamos dispostos a participar do experimento para o workshop que estou organizando no ICLR”, acrescentou Panda, “e eu (nós) dissemos não […] Acho que submeter artigos de IA a um espaço sem notificar os revisores é algo errado.”
Não é à toa que muitos pesquisadores permanecem céticos quanto ao valor dos artigos gerados por IA para justificar o esforço exigido pela revisão por pares.
A própria Sakana reconheceu que sua IA cometeu erros “embaraçosos” de citação e que somente um dos três artigos gerados para submissão teria alcançado o padrão necessário para a aceitação na conferência. Em respeito à transparência e às convenções do ICLR, a Sakana retirou seu artigo antes que ele fosse publicado.
Alexander Doria, cofundador da startup de IA Pleias, afirmou que a onda de submissões sintéticas feitas de forma discreta ao ICLR evidencia a necessidade de uma “agência pública ou empresa regulamentada” para realizar avaliações de alta qualidade de estudos gerados por IA mediante remuneração.
“As avaliações devem ser realizadas por pesquisadores devidamente compensados pelo seu tempo”, disse Doria em uma série de postagens, “pois a academia não existe para terceirizar avaliações gratuitas de IA.”
