サム・アルトマンは、ChatGPTを誕生させた研究戦略は出尽くし、今後の人工知能の進歩には新しいアイデアが必要だと語る。

新興企業OpenAIのチャットボットChatGPTの驚くべき機能は、人工知能への新たな関心と投資の波を巻き起こした。しかし先週末、オープンエイのCEOは、このボットを誕生させた研究戦略は進行中であると警告した。将来の進歩がどこから来るのか、正確には不明である。

OpenAIは近年、言語対応AIにおいて数々の目覚ましい進歩を遂げており、既存の機械学習アルゴリズムを利用し、以前は想像もできなかったような規模にまで拡張している。これらのプロジェクトの最新版であるGPT-4は、おそらく何兆ワードものテキストと何千もの強力なコンピューターチップを使って学習された。このプロセスには1億ドル以上の費用がかかった。

しかし、同社のCEOであるサム・アルトマンは、モデルを大きくすることでさらなる進歩は望めないと言う。「先週末にマサチューセッツ工科大学（MIT）で開催されたイベントで、彼は聴衆にこう語った。”他の方法でより良いものを作りましょう”

アルトマンの発言は、新しいAIアルゴリズムの開発・導入競争における予想外の展開を示唆している。OpenAIが11月にChatGPTを発表して以来、マイクロソフトはその基礎技術を使ってBing検索エンジンにチャットボットを追加し、グーグルはBardというライバルのチャットボットを発表した。多くの人々が、新世代のチャットボットを使って仕事や個人的な作業を手助けする実験を急いでいる。

一方、Anthropic、AI21、Cohere、Character.AIなど、資金力のあるスタートアップの多くは、OpenAIの技術に追いつこうと、膨大なリソースを投じて大規模なアルゴリズムを構築している。ChatGPTの初期バージョンはGPT-3の若干アップデートされたバージョンをベースにしていたが、ユーザーはより高性能なGPT-4を搭載したバージョンにもアクセスできるようになった。

アルトマンの発言は、GPT-4が、モデルをより大きくし、より多くのデータを与えるというOpenAIの戦略から生まれる最後の大きな進歩になる可能性を示唆している。彼は、どのような研究戦略や技術がGPT-4に取って代わる可能性があるかについては言及しなかった。GPT-4を説明した論文の中で、OpenAIは、モデルサイズを拡大することによる収穫の減少を示唆していると述べている。アルトマンによれば、同社が建設できるデータセンターの数や、その建設速度にも物理的な限界があるという。

Cohere社の共同設立者で、以前はグーグル社でAIに携わっていたニック・フロスト氏は、成長しても無限にうまくいくわけではないというアルトマンの意見は真実だと言う。彼はまた、GPT-4とそのライバルの中核をなす機械学習モデルの一種であるトランスフォーマーの進歩は、スケーリングの域を超えていると考えている。「トランスフォーマーをより良く、より有用なものにする方法はたくさんあり、その多くはモデルにパラメーターを追加する必要はありません」と彼は言う。フロスト氏によれば、新しいAIモデルの設計やアーキテクチャ、人間のフィードバックに基づく微調整は、多くの研究者がすでに模索している有望な方向性だという。

OpenAIの影響力のある言語アルゴリズム・ファミリーの各バージョンは、人工ニューラルネットワークで構成されている。このニューラルネットワークは、神経細胞が互いに作用する方法に大まかにインスパイアされたソフトウェアで、与えられたテキストのシーケンスに続くべき単語を予測するように訓練されている。

これらの言語モデルの最初のものであるGPT-2は、2019年に発表された。その最大の形態では、生の人工ニューロン間の調整可能な接続の数を示す指標である15億のパラメーターを持っていた。

当時、これはこれまでのシステムと比べて非常に大きなものだったが、これはOpenAIの研究者が、規模を拡大することでモデルがより首尾一貫したものになることを発見したおかげでもある。そして、2020年に発表されたGPT-2の後継機であるGPT-3はさらに大きく、1750億ものパラメーターを持つようになった。このシステムは、詩や電子メール、その他のテキストを生成する幅広い能力を備えているため、他の企業や研究機関が自社のAIモデルを同様の、あるいはさらに大きなサイズに拡張するよう説得するのに役立った。

ChatGPTが11月にデビューした後、ミームメーカーや 技術専門家たちは、GPT-4が登場すれば、眩暈がするほど大きく複雑なモデルになるだろうと推測した。しかし、オープンAIがついにこの新しい人工知能モデルを発表したとき、同社はその大きさを明らかにしなかった–おそらく、もはや大きさがすべてではないからだろう。マサチューセッツ工科大学のイベントで、アルトマンはGPT-4のトレーニングに1億ドルかかるのかと質問され、「それ以上です」と答えた。

オープンAIはGPT-4のサイズと内部構造を秘密にしているが、そのインテリジェンスの一部はすでにスケールを超えたところから来ている可能性がある。可能性として考えられるのは、ChatGPTの改良に使われた、人間からのフィードバックによる強化学習と呼ばれる手法だ。これは、人間がモデルの回答の質を判断することで、より質が高いと判断されやすい回答を提供するように導くというものだ。

GPT-4の卓越した能力は一部の専門家を驚かせ、AIが経済を変革する可能性だけでなく、誤った情報を広め、雇用をなくす可能性についても議論を巻き起こした。一部のAI専門家、イーロン・マスクを含む技術起業家、科学者たちは最近、GPT-4より強力なものの開発を半年間休止するよう求める公開書簡を書いた。

アルトマンは先週MITで、彼の会社が現在GPT-5を開発していないことを確認した。「書簡の以前のバージョンでは、OpenAIは現在GPT-5をトレーニングしていると書かれていました。「と彼は言った。