EaPU e memristores: avanço na China para uma IA muito mais eficiente

Chips a gemer, contadores a disparar: investigadores na China dizem ter alcançado um avanço que pode tornar a inteligência artificial (IA) muito mais frugal em energia.

Hoje, centros de dados dedicados à IA consomem tanta electricidade como cidades inteiras. Enquanto as gigantes tecnológicas continuam a projectar novas salas de servidores, há quem ataque o problema noutro ponto: a tecnologia de base que define como as redes neuronais calculam e aprendem. Uma equipa chinesa apresenta agora uma abordagem que, além de reduzir o consumo, também lida melhor com as imperfeições do hardware moderno.

Porque é que a IA consome tanta electricidade hoje

Por trás do ChatGPT, de geradores de imagens e de assistentes de voz estão redes neuronais enormes. Normalmente, estes modelos correm em supercomputadores com grandes quantidades de processadores e placas gráficas. Cada sessão de treino implica milhares de milhões de operações, com dados a serem continuamente movimentados entre a memória e as unidades de cálculo.

É precisamente este vaivém que custa tanta energia. Mesmo quando os chips se tornam mais eficientes, a procura cresce ainda mais depressa devido ao aumento do tamanho dos modelos. Analistas já alertam que, nos próximos anos, o consumo eléctrico dos centros de dados poderá aumentar de forma acentuada por causa da IA.

Uma via alternativa são as chamadas arquitecturas in-memory: em vez de ir buscar dados à memória a toda a hora, as operações são feitas no próprio local onde a informação está guardada.

Memristores: calcular directamente na memória

A nova investigação centra-se em memristores. São componentes electrónicos cujo valor de resistência pode ser alterado de forma duradoura. De forma simples: “lembram-se” de quanta corrente passou anteriormente - daí o nome, que combina memory e resistor.

Em redes neuronais, os memristores podem guardar as intensidades de ligação - ou seja, os pesos. Em simultâneo, graças às suas propriedades físicas, também podem participar directamente no cálculo. Em teoria, isto reduz bastante o gasto energético, porque é preciso movimentar muito menos dados.

O obstáculo é conhecido: os memristores não são perfeitos. Têm pequenas imprecisões, flutuações e ruído. Para modelos de IA que dependem de valores numéricos exactos, isto é altamente problemático. Até agora, estas imperfeições degradavam tanto a qualidade e a estabilidade das redes que o ganho de eficiência, apesar de atractivo no papel, ficava dificilmente aproveitável.

A ideia por trás do EaPU: aceitar erros em vez de os combater

É aqui que entra o método vindo da China. Os investigadores desenvolveram um procedimento de treino chamado “error-aware probabilistic update”, abreviado EaPU. A ideia é pouco convencional: em vez de tentar corrigir à força todos os desvios, o sistema passa a tolerar pequenas falhas.

"A estratégia central do EaPU: só escrever quando um parâmetro precisa mesmo de mudar de forma clara - todas as mini-correcções são eliminadas."

Na prática, o processo funciona assim:

• A rede neuronal avalia, em cada passo de aprendizagem, quanto um peso teria de mudar.
• Alterações muito pequenas, abaixo de um limiar de tolerância, ficam sem intervenção.
• Em cada passo, apenas uma fracção minúscula dos pesos - menos de 0,1 por cento - é efectivamente escrita.
• O método é probabilístico: a realização (ou não) de uma actualização depende do tamanho do erro e de componentes aleatórias.

O detalhe decisivo é que escrever num memristor consome muito mais energia do que ler. Ao tornar a escrita extremamente rara, o principal “devorador” de energia praticamente desaparece.

Enorme poupança de energia e maior vida útil

A equipa descreve efeitos muito expressivos. Face a métodos anteriores de treino com memristores, o consumo energético durante a aprendizagem desce por um factor de 50. A comparação com sistemas clássicos baseados em placas gráficas é ainda mais marcante:

"Segundo cálculos do grupo, um sistema treinado com EaPU consome cerca de um milhão de vezes menos energia do que uma configuração comparável baseada em clusters modernos de GPU."

Há ainda um segundo benefício: cada operação de escrita desgasta o memristor e reduz a sua durabilidade. Se apenas uma pequena parte das células for escrita com frequência, os componentes aguentam muito mais. De acordo com o estudo, a vida útil esperada aumenta por um factor de 1.000.

De forma inesperada, os investigadores não reportam apenas menos consumo, mas também melhores resultados. A precisão das redes sobe cerca de 60 por cento quando comparada com abordagens anteriores baseadas em memristores. Assim, o desempenho aproxima-se do de supercomputadores convencionais.

Primeiros testes: remover ruído e recuperar detalhes em imagens

Para não ficar no plano teórico, os cientistas recorreram a uma matriz real de memristores à escala de nanómetros. Nessa plataforma, treinaram redes neuronais para duas tarefas:

• Remover ruído de imagens
• Reconstruir imagens com maior resolução (super-resolution)

Em ambos os casos, os modelos atingiram resultados comparáveis aos de métodos digitais convencionais - mas com um consumo energético muito inferior. A própria equipa sublinha que o hardware usado ainda tinha uma estrutura relativamente grosseira; por isso, assumem que componentes mais modernos, com geometria mais fina, poderão intensificar ainda mais estes efeitos.

Poderá isto também servir para grandes modelos de linguagem?

A pergunta surge naturalmente: será que o EaPU pode ser aplicado a grandes modelos de linguagem (LLM), isto é, sistemas à escala do ChatGPT e semelhantes? A resposta dos investigadores é que muito provavelmente sim, embora ainda não o tenham testado.

Os princípios de treino - muitos pesos, muitas correcções pequenas, elevada frequência de escrita - são semelhantes em modelos de imagem e de linguagem. Em LLM, o potencial de poupança seria particularmente elevado, já que entram em jogo milhares de milhões a biliões de parâmetros. Mesmo que apenas uma pequena percentagem continuasse a ser escrita com regularidade, a margem de redução seria enorme.

Os autores também realçam que o EaPU não está preso aos memristores. O conceito pode, em teoria, ser transposto para outros componentes, como:

• transístores ferroeléctricos
• memórias RAM magnetorresistivas (MRAM)
• outras tecnologias de memória neuromórfica

Desta forma, o EaPU pode tornar-se uma espécie de “planta” para hardware de IA de baixo consumo, independentemente da geração concreta de chips.

O que memristores e afins significam para quem não é da área

Para quem não trabalha diariamente com semicondutores, a forma mais simples de imaginar um memristor é como um regulador analógico com memória. Em vez de apenas “ligado” ou “desligado”, existem muitos níveis intermédios que ficam guardados de forma persistente. E é precisamente este tipo de gradações finas que uma rede neuronal precisa para reconhecer padrões.

Num computador tradicional, estes valores são guardados de forma digital e têm de ser carregados de novo a cada cálculo. Num array de memristores, os valores ficam num grelha física por onde passam correntes. Operações matemáticas que, no digital, exigiriam milhões de contas individuais podem ocorrer aqui de uma só vez como um processo físico.

A combinação de comportamento analógico, função de memória e processamento local torna estes componentes especialmente atractivos - sobretudo numa altura em que cada vez mais Estados e empresas procuram maneiras de não sobrecarregar ainda mais as redes eléctricas.

Oportunidades e questões em aberto para o futuro da IA

Para operadores de grandes centros de dados, uma adopção madura do EaPU em conjunto com hardware baseado em memristores poderia significar uma mudança real de trajectória. Um menor consumo energético reduz custos e também facilita a criação de novos locais, porque passa a ser necessária menos refrigeração e menos infra-estrutura.

Ao mesmo tempo, há interrogações por resolver: quão bem se integra um sistema destes nas actuais stacks de IA? Que ferramentas de software são necessárias para que os programadores não tenham de reescrever tudo de raiz? E quão estável é o comportamento de grandes matrizes de memristores ao longo de anos de utilização contínua?

O essencial é claro: se os resultados agora publicados se confirmarem à escala, a corrida por hardware de IA mais eficiente poderá acelerar substancialmente. Enquanto uns continuam a apostar em “quintas” de GPU cada vez maiores, este caminho sugere que um treino mais inteligente - capaz de conviver com a imprecisão - pode ter um impacto tão relevante quanto o próximo salto de chips.