Por que o crescimento das redes neuronais muda o seu comportamento: físico compara IA com as leis dos sistemas complexos

As redes neuronais ganham novas propriedades através da especialização dos nós, enquanto nos sistemas físicos a informação permanece redundante

Redes neuronais e nós: a especialização nas redes de IA

A ideia de «More is Different», formulada pelo físico Philip Anderson em 1972, defende que as propriedades de sistemas complexos não podem ser deduzidas diretamente das leis que descrevem os seus componentes elementares. Num novo trabalho, o professor Ido Kanter, da Universidade de Bar-Ilan, em Israel, testou de que forma esta noção se manifesta nos sistemas modernos de inteligência artificial e comparou-os com sistemas físicos.

O estudo analisa o comportamento de modelos de redes neuronais a partir da teoria da informação. O foco da investigação recai sobre os elementos internos do modelo, designados por nós (nodes), e sobre a sua contribuição para a execução da tarefa global. Kanter compara a forma como a informação se distribui nestes sistemas à medida que a sua escala aumenta.

O trabalho mostra que, durante o treino, os nós de uma rede neuronal deixam de desempenhar as mesmas funções e passam a «especializar-se». Alguns nós concentram-se no reconhecimento de padrões específicos ou de características linguísticas concretas. Essa especialização conduz à repartição de funções no interior do sistema e à formação de uma certa cooperação entre os seus elementos.

Segundo Kanter, «mesmo um único nó dentro de um modelo linguístico pode conter informação relevante sobre a tarefa, mas, quando os nós trabalham em conjunto, as suas capacidades ultrapassam a soma das contribuições individuais». Ele descreve este comportamento como uma manifestação de emergência, ou seja, o aparecimento de novas propriedades do sistema através da interação entre as suas partes, em conformidade com o princípio de «mais é diferente».

No caso da física, de acordo com os resultados do trabalho, a imagem é distinta. Em muitos sistemas físicos, os componentes individuais refletem a mesma informação sobre o estado do sistema que o conjunto dos componentes. A adição de novos elementos não aumenta o volume de informação sobre o sistema, algo que Kanter descreve como «mais é o mesmo».

O autor também relaciona estes resultados com a neurobiologia. Com base em dados experimentais sobre aprendizagem dendrítica, um mecanismo de processamento de sinais nos neurónios, sugere que o cérebro biológico poderá utilizar elementos mais especializados e mais ricos em informação do que se costuma admitir.

O estudo conclui que a eficiência dos sistemas de inteligência artificial não depende apenas da sua dimensão, mas também da capacidade dos componentes internos para se especializarem e interagirem. Esta abordagem permite descrever quantitativamente a diferença entre sistemas físicos e sistemas artificiais e уточna o papel das propriedades emergentes na formação da inteligência.