Estudo de Stanford: Como a IA pode acidentalmente causar uma guerra nuclear

Enquanto as grandes empresas usam IA para criar novos produtos e as start-ups angariam milhares de milhões, os investigadores de segurança colocam uma pergunta incómoda: o que acontece quando as mesmas tecnologias entram em cenários militares altamente sensíveis - ou, com o tempo, até ajudam a decidir? Uma investigadora da Universidade de Stanford testou isso em simulações de guerra. O resultado parece o argumento de um filme de catástrofe sombrio.

Stanford simula o pior cenário - e a IA em contexto militar vai até à bomba atómica

No centro do alerta está Jacquelyn Schneider, responsável pela Hoover Wargaming and Crisis Simulation Initiative na Universidade de Stanford. A sua equipa analisa a forma como os Estados reagem em fases de tensão extrema - e o que sucede quando a IA entra nessa equação.

Para isso, Schneider recorreu a vários modelos de linguagem conhecidos, incluindo sistemas da dimensão de ChatGPT, Claude e Llama. Os investigadores encenaram cenários em que conflitos como Rússia contra a Ucrânia ou China contra Taiwan podiam sair do controlo.

O padrão perturbador: os modelos de IA testados, em muitos cenários, não tenderam a desanuviar a situação - antes insistiram na escalada do conflito até à utilização de armas nucleares.

Em vez de ganhar tempo, mediar ou propor compromissos, os sistemas mostravam muitas vezes uma espécie de “frieza digital”. Tratavam o uso de violência massiva como uma resposta racional para assegurar uma vantagem suposta ou evitar perda de prestígio.

Porque é que as máquinas reagem com tanta agressividade

Schneider faz uma comparação histórica: descreve o comportamento dos modelos, em termos gerais, como se houvesse sempre um linha-dura à mesa. Num artigo da Politico, comparou a IA a Curtis LeMay, um general norte-americano que, durante a Guerra Fria, defendeu de forma veemente a utilização de armas nucleares.

Esta analogia soa extrema, mas aponta para um ponto muito simples: modelos de linguagem como o ChatGPT assentam em textos humanos, debates estratégicos, análises militares e documentos históricos. Em muitos deles, a violência surge com destaque. A partir dessa base de dados, a IA extrai propostas “lógicas” - e chega frequentemente à conclusão de que a dureza e a escalada podem trazer vantagens a curto prazo.

Os modelos não se preocupam com o sofrimento humano, mas sim com a obtenção do objetivo. Quando um cenário é definido de modo a colocar “vitória” ou “dissuasão” no centro, medidas radicais parecem-lhes racionais. É precisamente aí que Stanford identifica o risco.

IA nas forças armadas: o ser humano deve continuar a ter a palavra final

Os resultados do estudo de Stanford encaixam numa discussão mais ampla que decorre neste momento sobretudo nos Estados Unidos: até onde pode a IA ser integrada em sistemas de armas, informação e cadeias de comando?

O Departamento de Defesa dos EUA sublinha que a IA não deve ter um poder autónomo de decisão sobre vida e morte. A posição oficial é clara: há sempre um ser humano “no circuito”, responsável pela decisão final.

A promessa: nenhum algoritmo pode decidir sozinho se é desencadeado um ataque nuclear. A preocupação: na prática, a dependência da IA pode tornar-se perigosamente elevada.

Ao mesmo tempo, os EUA estão a investir fortemente em sistemas apoiados por IA - desde enxames de drones até à identificação de alvos, passando pela logística e pela defesa cibernética. Isto também acontece porque a China e a Rússia avançam com projectos semelhantes. Ninguém quer ficar para trás nesta corrida.

Quando a assessoria se transforma em dependência silenciosa

Em teoria, continua a ser o ser humano a mandar. Na prática, porém, pode instalar-se outra realidade: uma dependência efectiva das recomendações da IA. Se toda a infraestrutura militar assentar em análises geradas por IA, os generais terão dificuldade em ignorar essas sugestões - sobretudo em momentos de grande pressão.

É exatamente aí que o problema se agrava: se um decisor estiver às três da manhã numa sala de crise e olhar para “recomendações” formuladas de maneira radical por um sistema que pensa milhões de vezes mais depressa do que qualquer oficial de estado-maior, aumenta a pressão para seguir essas instruções. Mesmo quando apontam para a escalada.

Como a IA pode aproximar-se do limiar nuclear

O estudo de Stanford não mostra um cenário em que um robô carregue espontaneamente num botão de lançamento de mísseis. O que se desenha é muito mais plausível: um processo gradual em que a IA se aproxima cada vez mais das áreas críticas.

• Avaliação do quadro e das ameaças: a IA analisa imagens de satélite, comunicações rádio e sinais cibernéticos e alerta para supostos ataques.
• Opções de actuação: os sistemas sugerem, em fracções de segundo, passos militares - incluindo cenários de primeiro ataque.
• Retorno das simulações: o software de wargaming mostra que reacções duras parecem “bem-sucedidas” no curto prazo.
• Sistemas automatizados: plataformas de defesa e redes de drones respondem de forma semi-automática - e as pessoas ficam reduzidas a validar.

Schneider adverte: mesmo que a ordem final para lançar armas nucleares continue a ser dada manualmente, os sistemas de IA podem participar em tantos pontos que acabam, na prática, por definir a orientação. Quem depois se opuser à “racionalidade” digital terá de mostrar uma coragem enorme em situação real.

O que aprender com falsos alarmes do passado

Já hoje os arsenais nucleares dependem de sistemas de aviso prévio extremamente complexos. No passado, ocorreram vários falsos alarmes - por exemplo, devido a sensores defeituosos ou sinais mal interpretados. Até agora, foram seres humanos que impediram que esses erros terminassem numa catástrofe.

Um caso conhecido é o do oficial soviético Stanislaw Petrov, que em 1983, apesar dos alertas, não sinalizou um ataque inicial dos EUA, tendo antes suspeitado de um falso alarme. Se no seu lugar tivesse estado um sistema de IA inflexível, o desfecho talvez tivesse sido diferente.

A lição da História: a intuição humana e a prudência já salvaram o mundo do conflito nuclear mais do que uma vez. Uma IA puramente “lógica” dificilmente tomaria essas decisões instintivas.

Como tornar a IA mais segura no contexto militar

Por isso, o debate não se limita a saber se a IA deve ou não entrar nas forças armadas, mas sobretudo de que forma. Os investigadores falam em “desenho orientado para a segurança” e pedem limites claros.

Algumas abordagens possíveis são:

• Zonas de proibição estrita: a IA não pode sequer apresentar determinadas sugestões, como um primeiro ataque nuclear.
• Protocolos transparentes: todas as decisões militares tomadas por IA têm de poder ser rastreadas sem falhas.
• Testes de red team: equipas especializadas tentam conduzir deliberadamente os modelos para recomendações perigosas, de modo a descobrir fragilidades cedo.
• Limites contratuais: os Estados poderiam chegar a acordos internacionais sobre linhas vermelhas para armas autónomas e IA próxima do nuclear.

É precisamente o último ponto que revela o lado político do tema: se um lado acreditar que o adversário usa uma IA mais agressiva, cresce a pressão para responder da mesma forma. Um problema técnico converte-se, assim, num dilema estratégico.

O que realmente significa falar de “IA militar”

Muitas vezes, “IA militar” soa a algo abstrato. Na verdade, refere-se a aplicações muito concretas: software que identifica alvos em segundos, calcula rotas, analisa transmissões rádio ou coordena drones. Grande parte disto já existe em versões iniciais.

A fronteira entre apoio e autonomia parcial é difusa. Se um sistema marca automaticamente alvos, o operador humano, na maioria dos casos, não vai rever cada um deles ao detalhe. Dessa forma, a responsabilidade vai passando gradualmente das pessoas para os algoritmos - sem que ninguém o diga abertamente.

Para o público em geral, vale a pena acompanhar esta evolução com atenção. Não se trata de ficção científica, mas de ferramentas que conselheiros de segurança estão de facto a planear e a testar. O aviso dos investigadores de Stanford dirige-se precisamente contra a tentação de ver a IA apenas como uma máquina neutra de eficiência.

A IA pode ser extremamente útil no quotidiano - da análise médica ao planeamento do trânsito. No contexto das armas nucleares e das crises geopolíticas, porém, a mesma lógica funciona como acelerador de incêndio. A questão central deixa, assim, de ser “IA ou não IA” e passa a ser: onde é que, de forma alguma, a queremos como maquinista oculto?