ハーバード大学の学生マヤ・ボドニックは、GPT-4がハーバード大学の人文・社会科学系の1年生の小論文に合格できるかどうかを確かめたかった。

ボドニックはGPT-4に、経済概念、ラテンアメリカの大統領主義、プルーストの一節の文学的分析といったテーマで7つの小論文を書かせた。

そして、偏見を避けるために、そのエッセイが彼女によって書かれたものであること、あるいはGPT-4によって書かれたものであることを示しながら、評価のために教授たちにエッセイを渡した。実際には、GPT-4はライティング課題を刺激としてすべての小論文を書いた。

結果は、A．B.B-.合格。ボドニックによれば、GPT-4の平均点は3.57点と立派だった。

この学生はGPT-4の解答を無編集で提出したというが、2つの注意点があった。GPT-4は一度に最大750語の解答を生成するため、字数制限を満たすために複数の解答からエッセイをつなぎ合わせたのだ。

彼女はまた、GPT-4が提供できなかった引用の欠落を無視するよう査読者に求めた。これらの引用は通常、ノートの一部となる。

特別な賞賛と批判が少ない素晴らしい成績

いくつかの素晴らしい評点に加えて、査読者は「美しく書かれている」とか「よく表現されたエッセイ」といった特別な賞賛を与えた。紛争解決に関するエッセイの1つでは、評者は形容詞や比喩を多用した遠回しな書き方を批判した。

内容に関しては、例えば詳細な記述や各設問に対する構造的なアプローチを称賛するなど、肯定的な分析も見られた。最低ランクの「B-」は、ラテンアメリカの大統領制に関するエッセイに与えられたもので、査読者は、大統領制に対する肯定的な評価や経済的側面を無視していると批判している。

「ChatGPT-4の全般的に堅実な成績から推測すると、AIが作成した小論文は、おそらく国内のほとんどの大学のリベラルアーツの授業で合格点を取ることができると思います」とボドニックは書いている。プリンストン大学やカリフォルニア大学バークレー校では、その成績はAやBではなく、BやCだったかもしれない。それでもGPT-4は合格していただろう。7つのエッセイはここで見ることができる。

学習と教育の新しいパラダイム

ボドニックは、AIが人文・社会科学の教育方法を完全に変えると信じている。彼女は、宿題のカンニングがかつてないほど簡単になり、引用のようなことがさらに得意になるだろうと主張している。

最近、大手AI企業が電子透かしシステムの開発を志願した。しかし、OpenAIは精度不足を理由に検出器を撤回し、OpenAIのCEOであるサム・アルトマンは、AIを使ったテキスト認識システムが中長期的に機能するかどうか一貫して疑問を表明している。

したがって、テストは少なくとも部分的には、試験ではなく対面インタビューに戻らなければならないだろう、とボドニックは言う。彼女は、GPT-4がエッセイを書くことができたという事実は、彼らの将来の職業における可能な発展を示していると見ている。

だからこそ、教育システムは、AIによる小論文を特定し罰しようとするのではなく、キャリアがどのように変化しているのか、そしてどのようにそれに備えるのかを考えるために、この研究結果を利用することが重要なのだと彼女は言う。

「私の最初の感想は、学問的キャリアの大半を小論文の執筆に費やしている人文科学系の学生は、AI後の世界ではさらに大きな困難に直面するだろうということです。AIは、大学の小論文にやってくるだけでなく、脳の授業にもやってくるのだ。”