A teoria da codificação preditiva é uma das principais teorias da neurociência que descreve o funcionamento do cérebro. Pode ser útil para a IA?
Os sistemas de IA atuais dependem de redes neurais profundas treinadas por retropropagação. No entanto, esse método possui algumas limitações, como ineficiência e falta de robustez, e é improvável que funcione como o cérebro. Uma abordagem alternativa chamada codificação preditiva, inspirada em teorias de neurociência, é uma candidata para superar essas limitações.
A codificação preditiva postula que o cérebro possui um modelo interno do mundo. Conexões de cima para baixo transmitem previsões para níveis mais baixos, enquanto conexões de baixo para cima transmitem erros de previsão. Ao minimizar esses erros em uma hierarquia, o cérebro realiza inferência e aprendizado.
Codificação preditiva como um esquema de minimização de energia livre
Um novo artigo de pesquisadores de vários laboratórios, liderados principalmente pelo Laboratório de Pesquisa de IA VERSES, incluindo o renomado neurocientista Karl Friston, oferece uma visão abrangente da codificação preditiva, abrangendo os fundamentos teóricos, contas computacionais proeminentes, diversas aplicações em problemas de aprendizado de máquina, plausibilidade na neurociência e considerações de hardware.
Eles veem vantagens-chave na codificação preditiva em termos de robustez e potencial para implementações altamente paralelas e neuromórficas. Além disso, ela é consistente com descobertas sobre a estrutura e função cortical e, como tal, é biologicamente plausível. Eles também exploram como “a percepção do que é a codificação preditiva mudou ao longo dos anos”, com sua definição sendo “A codificação preditiva é um esquema de maximização de evidências (ou minimização de energia livre) para modelos generativos gaussianos hierárquicos”, seguindo o trabalho de Friston sobre o princípio da energia livre.
A Codificação Preditiva pode se tornar um paradigma alternativo poderoso na IA
Embora a codificação preditiva ainda não tenha alcançado a escala dos métodos baseados em retropropagação, os progressos recentes mostram grande promessa para avançar na inteligência artificial inspirada no cérebro. A codificação preditiva demonstrou sucesso em tarefas como aprendizado discriminativo, processamento de linguagem natural, visão computacional, modelagem temporal, aprendizado ao longo da vida e robótica, com alguns exemplos igualando o desempenho da retropropagação no MNIST ou CIFAR10.
No entanto, embora haja potencial para a codificação preditiva, o campo ainda está “longe de aplicações em grande escala que poderiam exigir investimentos significativos em pesquisa em PC”, diz a equipe. O principal objetivo da pesquisa, afirmam, é incentivar os pesquisadores a construir sobre os resultados de pesquisas anteriores e focar nos desafios da codificação preditiva.
“Será necessário um esforço da comunidade para avançar na codificação preditiva tanto do ponto de vista de software quanto de hardware; em particular, para desenvolver esquemas computacionais que explorem as vantagens oferecidas, como seu paralelismo e cálculos esparsos, locais e potencialmente eficientes em termos de energia. Embora o progresso na pesquisa em codificação preditiva tenha sido consistente nas últimas décadas, talvez estejamos apenas começando a perceber os benefícios proporcionados à inteligência artificial pela engenharia reversa do córtex e de outras estruturas biológicas.”
Do Artigo
Com mais pesquisas, eles sugerem que a codificação preditiva poderia se tornar um paradigma alternativo poderoso na área da inteligência artificial. Com conteúdo do The Decoder.
