人工知能が人類を凌駕するという考えは何十年も前から議論されてきたが、ChatGPTのようなプログラムは、こうした懸念をさらに新たなものにしている。

では、私たちが高度な計算能力を持つ超知性をコントロールできるようになる可能性はどのくらいあるのだろうか？2021年の科学者たちが計算してみた。答えは？ほとんどありえない。

問題は、人間の理解をはるかに超えた超知能をコントロールするには、我々が分析できる超知能のシミュレーションが必要だということだ。しかし、もし我々がそれを理解できなければ、そのようなシミュレーションを作ることは不可能である。

AIがどのようなシナリオを作り得るのか理解できなければ、「人間に危害を加えない」といったルールを確立することはできない、と論文の著者たちは示唆している。ひとたび計算システムがプログラマーの能力を超えるレベルで作動すれば、もはや制限を課すことはできない。

超知能は、一般的に “ロボット倫理 “の旗印の下で研究されている問題とは根本的に異なる問題を提示する」と研究者たちは2021年に書いている。

「超知能は多面的であるため、人間には理解できないような目標を達成するために、多様な資源を動員できる可能性がある。

チームの推論の一部は、1936年にアラン・チューリングが提唱したハルティング問題に基づいている。この問題の中心は、コンピュータープログラムが結論と答えに到達する（つまり中断する）のか、それとも単に答えを見つけようと無限ループに留まるのか、ということである。

チューリングが巧妙な計算によって証明したように、ある特定のプログラムについてこれを知ることはできても、書かれる可能性のあるすべてのプログラムについてこれを知る方法を見つけることは論理的に不可能である。

超知的になったAIは、可能性のあるすべてのコンピュータプログラムを同時にメモリに保存することができる。

例えば、AIが人間に危害を加え、世界を破壊するのを阻止するために書かれたプログラムは、結論に達するかもしれないし、達しないかもしれない（そして停止する）。

ドイツのマックス・プランク人間発達研究所のコンピューター科学者イヤド・ラーワンは、「実際には、これでは封じ込めアルゴリズムは使えません」と言う。

研究者たちによれば、AIに倫理を教え、世界を破壊しないように指示する代わりに、超知能の能力を制限する方法がある。例えば、インターネットの一部や特定のネットワークからAIを締め出すのだ。

2021年の研究では、この考えも否定している。人工知能の到達範囲を制限することになると示唆しているのだ。人間の手の届かない問題を解決するために人工知能を使わないのであれば、なぜ人工知能を作るのかという議論である。

もし我々が人工知能を推し進めようとするならば、その不可解さゆえに、我々の手に負えない超知能がいつ到来するのかさえもわからなくなってしまうかもしれない。つまり、私たちは自分たちが向かっている方向について真剣に問い始める必要があるのだ。

実際、今年、イーロン・マスクやアップルの共同創業者スティーブ・ウォズニアックといった技術界の巨人たちは、人工知能の安全性を調査するため、少なくとも6カ月間は人工知能の研究を停止するよう人類に呼びかける公開書簡に署名した。

「人間に匹敵する知能を持つAIシステムは、社会と人類に重大なリスクをもたらす可能性がある。

「強力なAIシステムは、その効果がポジティブなものであり、そのリスクが管理可能なものであると確信できる場合にのみ開発されるべきである。

この研究は2021年1月に『Journal of Artificial IntelligenceResearch』に掲載された。