La teoría de la codificación predictiva es una de las principales teorías de la neurociencia que describe el funcionamiento del cerebro. ¿Puede ser útil para la IA?
Los sistemas de IA actuales dependen de redes neuronales profundas entrenadas mediante retropropagación. Sin embargo, este método tiene algunas limitaciones, como ineficiencia y falta de robustez, y es poco probable que funcione como el cerebro. Un enfoque alternativo llamado codificación predictiva, inspirado en teorías de neurociencia, es un candidato para superar estas limitaciones.
La codificación predictiva postula que el cerebro tiene un modelo interno del mundo. Conexiones de arriba hacia abajo transmiten predicciones a niveles más bajos, mientras que conexiones de abajo hacia arriba transmiten errores de predicción. Al minimizar estos errores en una jerarquía, el cerebro realiza inferencias y aprendizaje.
Codificación predictiva como un esquema de minimización de energía libre
Un nuevo artículo de investigadores de varios laboratorios, liderados principalmente por el Laboratorio de Investigación de IA VERSES, que incluye al renombrado neurocientífico Karl Friston, ofrece una visión completa de la codificación predictiva, abarcando los fundamentos teóricos, cuentas computacionales prominentes, diversas aplicaciones en problemas de aprendizaje automático, plausibilidad en neurociencia y consideraciones de hardware.
Ellos ven ventajas clave en la codificación predictiva en términos de robustez y potencial para implementaciones altamente paralelas y neuromórficas. Además, es coherente con descubrimientos sobre la estructura y función cortical y, como tal, es biológicamente plausible. También exploran cómo «la percepción de lo que es la codificación predictiva ha cambiado a lo largo de los años», con su definición siendo «La codificación predictiva es un esquema de maximización de evidencia (o minimización de energía libre) para modelos generativos gaussianos jerárquicos», siguiendo el trabajo de Friston sobre el principio de la energía libre.
La Codificación Predictiva podría convertirse en un paradigma alternativo poderoso en IA
Aunque la codificación predictiva aún no ha alcanzado la escala de los métodos basados en retropropagación, los avances recientes muestran una gran promesa para avanzar en la inteligencia artificial inspirada en el cerebro. La codificación predictiva ha demostrado éxito en tareas como aprendizaje discriminatorio, procesamiento de lenguaje natural, visión por computadora, modelado temporal, aprendizaje a lo largo de la vida y robótica, con algunos ejemplos igualando el rendimiento de retropropagación en MNIST o CIFAR10.
Sin embargo, aunque existe potencial para la codificación predictiva, el campo aún está «lejos de aplicaciones a gran escala que podrían requerir inversiones significativas en investigación en hardware de cómputo», afirma el equipo. El objetivo principal de la investigación, afirman, es alentar a los investigadores a construir sobre los resultados de investigaciones anteriores y centrarse en los desafíos de la codificación predictiva.
«Será necesario un esfuerzo de la comunidad para avanzar en la codificación predictiva tanto desde el punto de vista del software como del hardware; en particular, para desarrollar esquemas computacionais que exploren las ventajas que ofrece, como su paralelismo y cálculos dispersos, locales y potencialmente eficientes en términos de energía. Aunque el progreso en la investigación en codificación predictiva ha sido constante en las últimas décadas, quizás solo estamos empezando a percibir los beneficios proporcionados a la inteligencia artificial mediante la ingeniería inversa de la corteza y otras estructuras biológicas.»
Del artículo
Con más investigación, sugieren que la codificación predictiva podría convertirse en un paradigma alternativo poderoso en el campo de la inteligencia artificial. Con contenido de The Decoder.
