GPT-4はトーランス創造的思考テスト(TTCT)に合格しました。

モンタナ大学の新しい研究によると、GPT-4を使用したChatGPTは、独創的な思考をする人の上位1%のスコアを獲得しました。

チャットボットの創造性は、何十年もの間、人間の創造性を評価するために使用されてきたTorrance Tests of Creative Thinking(TTCT)を使って評価された。

ChatGPTは8つの回答を生成し、人間の学生は24の回答を生成した。結果はScholastic Testing Serviceに提出されたが、AIが関与していることは知らされていなかった。

GPT-4と2,700人の学生の比較

GPT-4は、流暢さ(多数のアイデアを生み出す能力)と独創性(新しいアイデアを生み出す能力)においてトップ・パーセンタイルにランクされた。GPT-4は、柔軟性(さまざまなタイプやカテゴリのアイデアを生み出す能力)でわずかに低下し、97と参加者全員を上回った。

2016年にTTCTに参加した2,700人の学生と比較すると、GPT-4は大多数を上回った。

著者のエリック・グジック博士によると、前回のGPT-3の成績はもっと悪かったという。この経済学者は、ChatGPTが生成AIとして多くのアイデアを生み出すことを期待していた。しかし、このシステムが独創的なアイデアを生み出すことに驚いたという。

GPT-4は創造的か?

GPT-4は創造的なのだろうか?学会では、データをあまり解釈しないように注意しました。「とグジックは言う。しかし、GPT-4が人間と同等かそれ以上の創造的能力を発達させたという確かな証拠が得られた、とグジックは言う。

しかし、この結果は、我々がまだ人間の創造性を完全に理解していないことを示すものでもある、と彼は言う。

同氏は、起業家精神や地域や国のイノベーション・プロセスにおける「創造的」AIの大きな可能性を見ている。GPT-4のようなシステムは、真のゲームチェンジャーになるかもしれない。