Sakana afirma que seu artigo de IA passou pela revisão por pares — mas é um pouco mais complexo do que isso
A startup japonesa Sakana divulgou que sua inteligência artificial gerou o primeiro artigo científico revisado por pares. Contudo, embora a afirmação seja verdadeira, existem ressalvas significativas a serem consideradas.
O debate sobre o papel da IA no processo científico se intensifica a cada dia. Muitos pesquisadores ainda não acreditam que a IA esteja pronta para atuar como “co-cientista”, enquanto outros reconhecem seu potencial, mas afirmam que ainda estamos em fases iniciais.
A Sakana se alinha a essa última visão. Segundo a empresa, utilizou um sistema chamado The AI Scientist-v2 para gerar um artigo que foi submetido a um workshop do ICLR, uma conferência de longa data e reconhecida na área de inteligência artificial. Os organizadores do workshop, assim como a liderança do ICLR, teriam concordado em participar de um experimento de revisão cega dupla de manuscritos gerados por IA.
Em parceria com pesquisadores da University of British Columbia e da University of Oxford, a Sakana submeteu três artigos gerados pela IA para tratamento de revisão por pares. De acordo com a empresa, o The AI Scientist-v2 produziu os artigos de forma integral – elaborando as hipóteses científicas, os experimentos e os códigos experimentais, bem como as análises de dados, visualizações, textos e títulos.
Robert Lange, cientista de pesquisa e membro fundador da Sakana, explicou que as ideias de pesquisa foram geradas a partir do fornecimento, à IA, do resumo e da descrição do workshop. Esse procedimento garantiu que os trabalhos produzidos estivessem dentro do tema proposto e fossem submissões adequadas.
Dos três artigos, um foi aceito para o workshop do ICLR – um trabalho que adota uma perspectiva crítica em relação às técnicas de treinamento de modelos de IA. Contudo, a Sakana afirmou ter retirado imediatamente esse artigo antes de sua publicação, em nome da transparência e do respeito às convenções do ICLR.
“O artigo aceito não só apresenta um método promissor para o treinamento de redes neurais, como também evidencia desafios empíricos ainda não solucionados. Ele fornece um dado interessante para inspirar novas investigações científicas”, afirmou Lange.
No entanto, essa conquista não é tão grandiosa quanto parece à primeira vista. Em um post no blog, a Sakana admite que sua IA chegou, em determinados momentos, a cometer erros “embaraçosos” nas citações – como atribuir um método a um artigo de 2016 em vez de referenciar o trabalho original de 1997.
Além disso, o artigo da Sakana não passou por um nível tão rigoroso de análise quanto outras publicações revisadas por pares. Por ter sido retirado logo após a revisão inicial, o trabalho não recebeu uma meta-revisão, etapa na qual os organizadores do workshop poderiam, teoricamente, rejeitá-lo.
Outro ponto importante é que as taxas de aceitação em workshops de conferências costumam ser mais altas do que nas trilhas principais, fato que a Sakana menciona abertamente. Segundo a empresa, nenhum dos estudos gerados pela IA atingiu o padrão interno para a publicação no painel principal do ICLR.
Matthew Guzdial, pesquisador de IA e professor assistente na University of Alberta, classificou os resultados da Sakana como “um pouco enganosos”. Para ele, a seleção dos artigos entre os diversos gerados envolveu julgamento humano – evidenciando que a combinação entre humanos e IA pode ser eficaz, mas não significa que a IA, sozinha, seja capaz de promover avanços científicos.
Mike Cook, pesquisador do King’s College London especializado em inteligência artificial, questionou o rigor dos revisores e do próprio workshop. Segundo Cook, “novos workshops, como este, costumam ser avaliados por pesquisadores mais jovens. É importante notar que este workshop enfoca resultados negativos e dificuldades – o que é ótimo, pois já participei de um workshop semelhante – mas, possivelmente, é mais fácil para uma IA descrever um insucesso de maneira convincente.”
Cook ressaltou que não se surpreende com o fato de uma IA conseguir passar pela revisão por pares, já que a tecnologia se destaca na produção de textos com aparência humana. Trabalhos gerados, ainda que parcialmente, por IA já haviam conseguido passar pela revisão em periódicos antes, assim como os dilemas éticos que essa prática levanta para a comunidade científica.
As deficiências técnicas da IA – como sua tendência a “alucinar” informações – tornam muitos cientistas cautelosos quanto ao seu uso em pesquisas sérias. Além disso, há o temor de que a IA acabe gerando apenas “ruído” na literatura científica, sem realmente contribuir para o avanço do conhecimento.
Segundo Cook, “precisamos questionar se o resultado da Sakana demonstra a competência da IA para conceber e realizar experimentos ou apenas sua habilidade de vender ideias para os humanos – algo que, sabemos, já faz com excelência. Há uma diferença entre passar pela revisão por pares e efetivamente agregar conhecimento a um campo.”
Ao seu crédito, a Sakana não afirma que sua IA seja capaz de produzir trabalhos científicos revolucionários ou especialmente inovadores. O objetivo do experimento foi “estudar a qualidade da pesquisa gerada por IA” e evidenciar a necessidade urgente de estabelecer normas específicas para a ciência produzida por essa tecnologia.
Em suas considerações finais, a empresa destacou: “Existem questões complexas sobre se a ciência gerada por IA deve ser avaliada inicialmente por seus próprios méritos, a fim de evitar um viés contra ela. Seguiremos trocando opiniões com a comunidade científica sobre o estado dessa tecnologia, para garantir que, no futuro, seu único propósito não seja simplesmente passar pela revisão por pares – o que acabaria minando o verdadeiro significado desse processo.”
