A estudante da Universidade de Harvard, Maya Bodnick, queria ver se o GPT-4 poderia passar nos ensaios de primeiro ano de Harvard nas áreas de humanidades e ciências sociais.

Bodnick fez o GPT-4 escrever sete ensaios sobre temas como conceitos econômicos, presidencialismo na América Latina e uma análise literária de um trecho de Proust.

Em seguida, ela entregou os ensaios aos professores para avaliação, indicando, para fins de viés, que o ensaio havia sido escrito por ela ou pelo GPT-4. Na verdade, o GPT-4 escreveu todos os ensaios usando a tarefa de redação como estímulo.

O resultado: A. A. A. A-. B. B-. Pass. GPT-4 obteve uma média respeitável de 3,57 pontos, de acordo com Bodnick.

A estudante disse que enviou as respostas do GPT-4 sem edição, mas com duas ressalvas: ela juntou o ensaio a partir de várias respostas para atender ao limite de palavras, já que o GPT-4 gera no máximo 750 palavras de cada vez.

Ela também pediu aos revisores que ignorassem as citações ausentes que o GPT-4 não poderia fornecer. Essas citações normalmente fariam parte da nota.

Ótimas notas com elogios especiais e poucas críticas

Além de algumas notas excelentes, os revisores deram elogios especiais, como “escrito de forma bela” ou “ensaio bem articulado”. Em um dos ensaios sobre resolução de conflitos, o revisor criticou o estilo de escrita rebuscado, com muitos adjetivos e metáforas.

Quanto ao conteúdo, as análises também foram positivas, por exemplo, elogiando o alto nível de detalhes ou a abordagem estruturada para cada pergunta. A menor nota de “B-” foi dada ao ensaio sobre presidencialismo na América Latina, onde o revisor criticou o ensaio por ignorar avaliações positivas do presidencialismo, bem como aspectos econômicos.

“Acredito que podemos extrapolar do desempenho geralmente sólido do ChatGPT-4 que ensaios gerados por IA provavelmente podem obter notas de aprovação em aulas de artes liberais na maioria das universidades do país”, escreve Bodnick. Em Princeton ou UC Berkeley, essas notas poderiam ter sido B e C em vez de A e B. Ainda assim, o GPT-4 teria sido aprovado. Os sete ensaios podem ser visualizados aqui.

Um novo paradigma de aprendizagem e ensino

Bodnick acredita que a IA vai mudar completamente a forma como as humanidades e ciências sociais são ensinadas. Ela afirma que nunca foi tão fácil trapacear em uma tarefa de casa, e que a tecnologia provavelmente se tornará ainda melhor em coisas como citações.

Recentemente, grandes empresas de IA se voluntariaram para desenvolver um sistema de marca d'água. No entanto, a OpenAI retirou seu detector devido à falta de precisão, e o CEO da OpenAI, Sam Altman, tem expressado consistentemente dúvidas de que um sistema de reconhecimento de texto baseado em IA funcionará no médio e longo prazo.

Portanto, os testes terão que voltar, pelo menos em parte, para entrevistas presenciais em vez de ensaios, diz Bodnick. Ela vê o fato de o GPT-4 ter conseguido escrever seus ensaios como um indicativo de possíveis desenvolvimentos em sua futura profissão.

É por isso que, segundo ela, é importante que o sistema educacional use suas descobertas para refletir sobre como as carreiras estão mudando e como se preparar para elas – em vez de tentar identificar e punir ensaios feitos por IA.

“Minha reação inicial é que os estudantes de áreas de humanidades – que passam a maior parte de sua carreira acadêmica escrevendo ensaios – enfrentarão dificuldades ainda maiores em um mundo pós-IA. A IA não está apenas chegando para o ensaio universitário; ela está chegando para a classe cerebral.”