予測符号化理論は、脳の機能を説明する神経科学の主要な理論の一つです。 これはAIに役立つ可能性がありますか?
現在のAIシステムは、逆伝播によってトレーニングされた深層ニューラルネットワークに依存しています。 しかし、この方法には効率性や頑健性の欠如などの制約があり、脳のように機能する可能性は低いです。 神経科学の理論に着想を得た代替手法である「予測符号化」は、これらの制約を克服する候補とされています。
予測符号化は、脳が世界の内部モデルを持っていると仮定します。 上から下への接続は予測を低レベルに伝え、下から上への接続は予測エラーを伝えます。 脳は、この階層でエラーを最小化することで、推論と学習を実行します。
予測符号化はエネルギーフリーの最小化スキームとしての側面
VERSES AI研究所を主導する主に神経科学者カール・フリストンを含む、複数の研究所の研究者による新しい論文は、予測符号化の包括的な見解を提供しています。 この論文は、理論的な基盤、顕著な計算モデル、機械学習の問題へのさまざまな応用、神経科学での妥当性、およびハードウェアの考慮を含む予測符号化に関する幅広い情報を網羅しています。
彼らは、コーディング予測の鍵となる利点を、堅牢性と高度に並列かつニューロモーフィックな実装の可能性に見出しています。 さらに、これは大脳皮質の構造と機能に関する発見と一致しており、そのため生物学的にも妥当です。 彼らはまた、「コーディング予測とは何か」という認識が年を追うごとにどのように変化したかを探求しており、その定義を「コーディング予測は、ガウス階層的生成モデルに対する証拠の最大化（またはエネルギーフリーの最小化）のスキームである」とし、これはエネルギーフリーの原則に関するFristonの研究に続くものです。
コーディング予測は、強力な代替パラダイムとなる可能性があります
コーディング予測はまだ逆伝播に基づく方法と同じスケールには達していませんが、最近の進展は、脳をベースにした人工知能の進化に大いなる約束を示しています。 コーディング予測は、識別学習、自然言語処理、コンピュータビジョン、時間モデリング、ライフロングラーニング、ロボティクスなどのタスクで成功を収めており、いくつかの例ではMNISTやCIFAR10で逆伝播と同等の性能を発揮しています。
ただし、コーディング予測には潜在的な可能性がある一方で、チームは「大規模な適用にはまだ遠く、大規模なPCリサーチへのかなりの投資が必要かもしれない」と述べています。 研究の主な目標は、過去の研究結果を基にして研究者たちに新たな展望を提供し、コーディング予測の課題に焦
「ソフトウェアとハードウェアの両面から、コーディング予測の進化にはコミュニティ全体の努力が必要とされます。 特に、並列処理やスパースな計算、ローカルな計算など、提供される利点を活かすための計算スキームを開発することが求められます。 エネルギー効率の高い可能性も含まれます。 コーディング予測の研究における進展は、過去数十年にわたり一貫してきましたが、おそらく私たちはまだ、皮質や他の生体構造の逆工学によってもたらされる人工知能への恩恵を始めたばかりかもしれません。 」
（論文より）
より多くの研究を重ねることで、コーディング予測は人工知能の領域において強力な代替パラダイムとなる可能性があると彼らは示唆しています。 The Decoderの内容に基づいています。
