Armas autónomas e IA: quando a responsabilidade se dissolve

O ecrã emite um brilho suave dentro de um contentor escuro, enterrado algures num deserto que nenhum turista alguma vez verá. Uma grelha de pixels, um borrão em movimento, um pequeno quadrado que, de repente, muda para vermelho. Nenhuma mão humana agarra num joystick. Nenhum oficial grita “fogo”.
Um sistema de autoaprendizagem já tomou a decisão.

A muitos quilómetros dali, outro ecrã limitar-se-á a mostrar duas palavras: “alvo neutralizado”.

Em toda esta cadeia - do engenheiro de sapatilhas ao general de uniforme impecavelmente engomado - ninguém consegue explicar com precisão porque é que a máquina escolheu aquela assinatura térmica, aquele carro, aquela sombra.

E quanto mais estas armas aprendem sozinhas, mais difícil se torna apontar para uma única pessoa e dizer: tu és responsável.

A linha da frente é agora um algoritmo

Pergunte a um operador de drones o que mudou em dez anos e ele não começará por asas maiores ou câmaras melhores.
Vai falar-lhe de como a máquina passou a “ajudar” a decidir: o software desenha pequenos rectângulos à volta de corpos em movimento e, sem alarido, ordena-os por nível de ameaça.

Pouco a pouco, o papel humano desliza da acção para a supervisão.
De escolher para, muitas vezes, apenas aprovar.

Num dia calmo, isto parece eficiência.
Num dia caótico - com poeira, crianças, combatentes e civis no mesmo enquadramento - essa “ajuda” pode transformar-se numa armadilha.

Em 2020, imagens vindas da Líbia sugeriram aquilo que parece ter sido o primeiro uso registado de um drone de ataque totalmente autónomo, o Kargu-2 de fabrico turco.
Segundo o relatório da ONU, estava “programado para atacar alvos sem exigir conectividade de dados”.

Sem joystick. Sem comando em directo.
Apenas um conjunto de instruções e uma máquina capaz de procurar e atingir por conta própria.

Agora multiplique essa ideia, quase por copiar-e-colar, por programas nos EUA, na China, em Israel, na Rússia e na Coreia do Sul - cada um com regras próprias, bases de código diferentes e falhas ocultas.

De repente, a guerra passa a parecer menos uma sucessão de reuniões de estratégia e mais um conjunto de frotas de sistemas: todos a aprender, todos a optimizar, todos a empurrar humanos para carregarem em “confirmar”.

Tecnicamente, continua a existir uma cadeia de comando.
Juristas analisam procedimentos de selecção de alvos. Programadores testam conjuntos de dados. Oficiais autorizam o destacamento.

Ainda assim, quando um sistema autónomo se adapta no terreno a partir de padrões que ele próprio descobre, a relação entre causa e efeito fica turva.
Que linha exacta de código levou a confundir um agricultor com um combatente?

Terá o treino sobre-representado um tipo de rosto, uma forma de vestir, uma paisagem?
Ou o sistema terá criado uma regra interna que ninguém antecipou?

A responsabilização dissolve-se numa névoa de culpa partilhada e negação plausível.
Todos participam. Ninguém é exactamente culpado.

Como a responsabilização desaparece sem alarido

A mudança começa com uma promessa que soa quase inofensiva: “a IA só vai assistir; os humanos mantêm-se no circuito”.
Em slides de PowerPoint, esse “circuito” parece limpo: o humano no centro, a tecnologia como ferramenta.

Na prática, um sistema de autoaprendizagem tende a tornar-se o cérebro por defeito.
É mais rápido, responde em microssegundos e não se cansa nem sente medo.

Um operador exausto, a olhar para uma parede de ecrãs às 3 da manhã, confia com maior facilidade no rectângulo colorido à volta de uma figura do que na sua própria visão turva.
Com o tempo, a pergunta deixa de ser “O que devemos fazer?” e passa a ser “Porque haveríamos de ir contra a IA?”.

O padrão já existe na vida civil.
Pense em condutores que obedecem às instruções do GPS até ruas sem saída - ou mesmo até entrarem num rio.

Transfira isso para um campo de batalha, onde as decisões são letais e os dados são muito mais “sujos”.
Uma IA treinada sobretudo com imagens de combatentes armados pode reduzir o perigo em situações que lhe pareçam “diferentes” - ou aumentá-lo quando detecta uma postura familiar no contexto errado.

Num exercício real da NATO, uma IA de defesa antimíssil começou a classificar aeronaves amigas como hostis depois de se adaptar a um novo padrão.
Não ficou “fora de controlo”; limitou-se a fazer aquilo para que fora concebida: aprender.

Num teatro de operações real, esse tipo de aprendizagem pode apagar a fronteira entre erro e crime.

O direito e a ética avançam mais devagar do que o código chega à produção.
O direito da guerra tradicional pressupõe uma mente humana por detrás de cada ataque, capaz de ponderar proporcionalidade e distinção.

Sistemas de autoaprendizagem quebram essa premissa.
A responsabilidade pode repartir-se pelo fornecedor do software, pelo cliente militar, por quem fornece os dados, pelo oficial responsável e pelo decisor político.

Em conselhos de administração e audições parlamentares, já surgem expressões de conforto: “falha do sistema”, “comportamento inesperado”, “anomalia no modelo”.
Soa técnico - e também oportunamente conveniente.

Quando a máquina se torna o último actor visível numa cadeia mortal, há sempre o risco de a responsabilização humana sair da sala em silêncio.

Manter os humanos verdadeiramente no comando

Se as armas de autoaprendizagem vierem para ficar, a única atitude honesta é projectar contra a tentação de abandonar a responsabilidade.
E isso começa cedo, sem romantismos, logo na fase do quadro branco.

Qualquer equipa que construa ou utilize estes sistemas pode impor limites rígidos: nada de decisões letais totalmente autónomas, vetos humanos obrigatórios, registos claros de cada actualização do modelo.
Não como pormenores tardios, mas como escolhas centrais de concepção.

Alguns laboratórios já simulam cenários de “pior dia”, e não apenas demonstrações no melhor caso.
Testam como um operador reage sob stress quando a IA pressiona para atacar.
Quão fácil é dizer “não”.
Ou parar.

No plano prático, as forças armadas podem criar uma cultura em que ignorar a IA não é visto como fraqueza ou incompetência.
Isto parece abstracto, mas vive de hábitos muito concretos.

Nas sessões de debriefing, pode perguntar-se explicitamente: “Em que momento discordaste do sistema hoje?”
Não para punir, mas para normalizar a dúvida.

O treino pode incluir exercícios em que a IA está deliberadamente errada e os humanos são recompensados por detectarem o erro.
Porque, sejamos honestos: se o software estiver sempre certo nas simulações, ninguém o vai contestar na guerra.

Todos já sentimos aquela situação em que a máquina parece mais esperta do que nós.
Num campo de batalha, resistir a essa sensação pode literalmente ser a diferença entre um crime de guerra e a contenção.

Os planeadores militares detestam rastos documentais confusos, mas este é um rasto que não podem saltar.
Documentar claramente quem fez o quê, quando e com base em que recomendação é a única forma de mais tarde reconstruir uma decisão letal.

Os registos devem indicar: que versão do modelo estava activa nesse dia, que parâmetros estavam em vigor, que pontuações de confiança apareceram no ecrã, que alternativas foram apresentadas.
É um trabalho aborrecido e pouco glamoroso.

Mas sem isto, os inquéritos acabam por se reduzir a memórias vagas e troca de acusações.
Um engenheiro de armamento resumiu-o de forma crua:

“Se não escrevermos exactamente como o sistema pensa, um dia vamos acabar a dizer ‘foi a IA’ como se fosse um fantasma. E fantasmas não vão a tribunal.”

Para cidadãos e leitores longe do campo de batalha, a questão é que pressão podem exercer.
O debate público costuma chegar tarde, quando os sistemas já estão em uso.

Ainda assim, existem algumas alavancas claras:

• Pedir a representantes eleitos que apoiem proibições de sistemas letais totalmente autónomos.
• Exigir transparência sobre que ferramentas de IA o seu país exporta ou compra.
• Apoiar jornalistas e ONG que investigam guerra algorítmica.
• Questionar promessas de “zero baixas do nosso lado” que escondem riscos para os outros.

Sejamos honestos: ninguém lê documentos de aquisição de defesa por diversão todas as semanas.
No entanto, é precisamente nesses PDFs densos - que quase ninguém abre - que muitas decisões silenciosas sobre autonomia e responsabilização são tomadas.

Um futuro em que a guerra não tem rosto

Visto do limite desta tendência, o futuro parece estranhamente distante e íntimo ao mesmo tempo.
Distante, porque a tecnologia fica escondida atrás de carimbos de confidencialidade, siglas e portas seguras.
Íntimo, porque a lógica por trás dela já molda as aplicações do dia-a-dia.

Quando a aplicação de música, o feed de compras e as sugestões de notícias dizem que “aprendem” consigo, habituam-no a confiar em decisões opacas.
As armas de autoaprendizagem são essa mesma lógica - mas com a segurança desligada.

Se uma playlist o avaliar mal, salta uma faixa.
Se um drone de combate avaliar mal uma carrinha, as pessoas morrem - e o que sobra pode ser apenas um ficheiro de registo corrompido.

Há também um custo emocional profundo de que quase não falamos.
Os soldados já lidam com lesão moral: o fosso entre o que fizeram e aquilo que acreditam ser correcto.

Agora imagine regressar a casa com a consciência de que “o seu” sistema matou pessoas que nunca chegou a ver.
Sem confronto pessoal, sem ordens gritadas, sem rostos - só um padrão estatístico disparado a partir de outro continente.

Como se faz o luto por uma morte accionada por uma linha de código que não escreveu?
Como se perdoa a si próprio por ter confiado num mapa de calor?

Do outro lado, comunidades que vivem sob o zumbido de drones carregam uma ferida diferente: a sensação de terem sido julgadas e executadas por algo que nem sequer sabia o seu nome.

A lei tentará recuperar terreno. Serão redigidos tratados. Definir-se-ão linhas vermelhas - e depois testar-se-ão.
Alguns países prometerão nunca as ultrapassar; outros dirão que não podem dar-se ao luxo da contenção se os rivais avançarem a toda a velocidade.

Entretanto, engenheiros continuarão a melhorar modelos, a acrescentar parâmetros, a lançar correcções.
Cada actualização vendida como mais segura, mais precisa, mais controlada.

E, no entanto, a pergunta central não encolhe: quando uma arma aprende por si, quem suporta o peso das suas escolhas?

Talvez o verdadeiro perigo não seja as máquinas ficarem inteligentes demais.
Talvez seja os humanos acharem demasiado conveniente culpá-las.

Ponto-chave	Detalhe	Interesse para o leitor
Sistemas de autoaprendizagem remodelam a cadeia de comando	A IA empurra os humanos de decisores activos para aprovadores passivos, sobretudo sob stress.	Ajuda a perceber como a responsabilidade pode evaporar mesmo quando “há um humano no circuito”.
A responsabilização fragmenta-se	Engenheiros, oficiais, fornecedores e políticos partilham parcelas de culpa, enquanto o modelo continua a mudar.	Esclarece porque é tão difícil punir ataques ilegais na era de algoritmos adaptativos.
Ainda são possíveis salvaguardas concretas	Limites de concepção, veto humano, registos transparentes e pressão pública podem travar a deriva para o matar totalmente autónomo.	Mostra onde a sua voz e o seu voto podem realmente contar num domínio opaco.

Perguntas frequentes

• As armas letais totalmente autónomas já estão a ser usadas? Evidências apontam para pelo menos um ataque autónomo com drone na Líbia, e vários exércitos estão a testar sistemas que conseguem seleccionar e atacar alvos com intervenção humana mínima.
• Qual é a diferença entre armas “automatizadas” e “autónomas”? Sistemas automatizados seguem regras fixas; sistemas autónomos, de autoaprendizagem, podem adaptar o comportamento com base em novos dados, gerando decisões que ninguém programou explicitamente.
• O direito internacional consegue mesmo lidar com a guerra guiada por IA? As leis existentes exigem julgamento humano no uso de força letal, mas não foram escritas a pensar em código que aprende sozinho, o que cria grandes zonas cinzentas que juristas e diplomatas só agora começam a mapear.
• Porque não proibir toda a IA em armas? Alguns usos de IA - como sensores defensivos ou ferramentas de desconflicção - podem reduzir acidentes; o debate mais difícil é onde traçar a linha entre assistência e delegação de escolhas letais.
• O que podem cidadãos comuns fazer, na prática? Apoiar regulação de armas autónomas, sustentar investigações sobre guerra algorítmica e pressionar representantes sobre exportações e políticas de aquisição influencia até onde esta tecnologia vai.