La théorie de la prédiction codée est l’une des principales théories en neurosciences qui décrit le fonctionnement du cerveau. Peut-elle être utile pour l’IA ?
Les systèmes d’IA actuels dépendent de réseaux de neurones profonds entraînés par rétropropagation. Cependant, cette méthode présente certaines limites, telles que l’inefficacité et le manque de robustesse, et il est peu probable qu’elle fonctionne comme le cerveau. Une approche alternative appelée codification prédictive, inspirée par les théories de neurosciences, est envisagée pour surmonter ces limites.
La codification prédictive postule que le cerveau possède un modèle interne du monde. Les connexions de haut en bas transmettent des prédictions aux niveaux inférieurs, tandis que les connexions de bas en haut transmettent des erreurs de prédiction. En minimisant ces erreurs dans une hiérarchie, le cerveau effectue l’inférence et l’apprentissage.
Codification prédictive en tant que schéma de minimisation d’énergie libre
Um novo artigo écrit par des chercheurs de divers laboratoires, principalement sous la direction du Laboratoire de Recherche en IA VERSES, incluant le célèbre neuroscientifique Karl Friston, propose une vue d’ensemble de la codification prédictive, couvrant les bases théoriques, les explications computationnelles saillantes, les diverses applications aux problèmes d’apprentissage automatique, la plausibilité en neurosciences et les considérations matérielles.
Ils considèrent que la codification prédictive présente des avantages clés en termes de robustesse et de potentiel pour des mises en œuvre hautement parallèles et neuromorphiques. De plus, elle est cohérente avec les découvertes sur la structure et la fonction corticale, et en tant que telle, elle est biologiquement plausible. Ils explorent également comment « la perception de ce qu’est la codification prédictive a évolué au fil des ans », avec leur définition étant « La codification prédictive est un schéma de maximisation des preuves (ou de minimisation de l’énergie libre) pour des modèles génératifs gaussiens hiérarchiques », suivant le travail de Friston sur le principe de l’énergie libre.
La Codification Prédictive pourrait devenir un puissant paradigme alternatif en IA
Bien que la codification prédictive n’ait pas encore atteint l’échelle des méthodes basées sur la rétropropagation, les récents progrès montrent une grande promesse pour faire progresser l’intelligence artificielle inspirée du cerveau. La codification prédictive a montré son succès dans des tâches telles que l’apprentissage discriminatif, le traitement du langage naturel, la vision par ordinateur, la modélisation temporelle, l’apprentissage tout au long de la vie et la robotique, avec certains exemples atteignant les performances de la rétropropagation sur MNIST ou CIFAR10.
Cependant, bien qu’il y ait un potentiel pour la codification prédictive, le domaine en est encore « loin des applications à grande échelle qui pourraient nécessiter d’importants investissements dans la recherche en PC », affirme l’équipe. L’objectif principal de la recherche, disent-ils, est d’encourager les chercheurs à construire sur les résultats des recherches antérieures et à se concentrer sur les défis de la codification prédictive.
« Il faudra un effort de la communauté pour faire progresser la codification prédictive tant du point de vue logiciel que matériel ; En particulier, pour développer des schémas computationnels exploitant les avantages offerts, tels que son parallélisme et ses calculs clairsemés, locaux et potentiellement efficaces en termes d’énergie. Bien que os progrès dans la recherche sur la codification prédictive été constants au cours des dernières décennies, nous commençons peut-être seulement à percevoir les avantages que l’ingénierie inverse du cortex et d’autres structures biologiques peut apporter à l’intelligence artificielle. »
De l’article
Avec davantage de recherches, ils suggèrent que la codification prédictive pourrait devenir un paradigme alternatif puissant dans le domaine de l’intelligence artificielle. Avec le contenu de The Decoder.
