"Os dados são o novo petróleo da guerra, dos drones, dos algoritmos e da inteligência artificial"

Manifesta-se preocupada perante a possibilidade de as armas autónomas letais acabarem por tomar decisões independentemente dos seres humanos.

A RTVE.es entrevistou-a durante o Seminário Internacional sobre Segurança e Defesa da Associação de Jornalistas Europeus, realizado em Toledo com o título "Aliados e Ameaças".

P: Estamos a assistir a uma aceleração sem precedentes no desenvolvimento de sistemas de inteligência artificial para aplicações no domínio da defesa. Até onde irá esta revolução tecnológica?

R: Acredito que não há limites, porque a evolução será contínua. O que é preciso fazer é desenvolver a regulamentação desta tecnologia, porque a única área em que os seres humanos — incluindo governos, forças armadas, polícia e operadores destes sistemas — poderão agir livremente é quando existir um conjunto de regras que defina os limites das suas ações. 

A tecnologia é algo positivo e, claramente, o desenvolvimento tecnológico em Espanha está na vanguarda. Empresas como a Indra e a GTD estão na vanguarda deste mercado. Mas não podemos ter um Estado que acredite que o mercado é livre – por outras palavras, mais mercado e menos Estado. Essa é a posição dos EUA. Isto acarreta um risco óbvio, não só para os cidadãos que dependem dessa segurança, mas também para o próprio Estado, que poderia ser acusado de crimes de guerra se não houver restrições ou um quadro regulamentar vinculativo.

P: Qual é o principal risco que as armas autónomas representam? Já falou em várias ocasiões sobre o perigo de delegar decisões...

R: É verdade que os Estados — os agentes responsáveis por identificar e eliminar um inimigo — têm estado, até agora, nas mãos de seres humanos, e que a lei foi concebida para ser aplicada por um ser humano responsável. 

Por mais que os cientistas da computação e os engenheiros me digam o contrário — que o algoritmo é sempre controlado por um ser humano, que será sempre um ser humano a premir um pequeno botão para ativar o algoritmo —, isso não é verdade, porque existem zonas cinzentas em que a incerteza nos leva a confiar mais no algoritmo do que nos nossos próprios julgamentos. E é aí que pensamos: certamente que o algoritmo não cometerá um erro. É aí que reside o perigo de que tal decisão possa não ser justificada nem pelo direito da guerra nem pelo direito à autodefesa. Trata-se, portanto, de execuções extrajudiciais, o que não pode ser permitido.

P: Estaremos a reagir com a rapidez necessária a estes avanços tecnológicos?

R: Não, não estamos. É verdade que a lei sempre ficou para trás, mas agora não se trata apenas de estar atrasada – está a anos-luz de distância –, porque os engenheiros estão a demonstrar um desenvolvimento tão rápido destas tecnologias que é uma pena que a lei não tenha acompanhado o ritmo. 

De quem é a culpa? Em parte, é culpa dos profissionais do direito, que não perceberam que a ciência e a tecnologia estavam a avançar a um ritmo tão acelerado. Nós, profissionais do direito, continuamos na nossa zona de conforto, dentro da lei tal como sempre existiu, e acredito que estamos a caminhar para uma nova ordem jurídica. Estamos numa situação de crise, e a lei também tem de responder a esta situação e aos novos riscos que ela acarreta. 

O corte de energia, a pandemia da Covid — tudo isto nos fez perceber que o quadro regulamentar de que tanto nos orgulhávamos, o Estado de direito na Europa, não é suficiente.

P: No fim de contas, estão a esfregar-nos isso na cara porque não chegámos a tempo e não estamos a responder.

R: Há dez anos, escrevemos um livro sobre armas autónomas letais, e os jornalistas viram isso como ficção científica, como O Exterminador. Não estamos a falar de exterminadores. Há dez ou quinze anos, discutíamos a possibilidade de esses drones serem utilizados para assassinar seletivamente indivíduos dentro de um Estado – um Estado inimigo ou em guerra, ou mesmo um que não tivesse declarado guerra. Foram cometidas atrocidades utilizando este tipo de tecnologia. Será possível pôr fim a isto? No mínimo, a divulgação de informação torna-nos, enquanto cidadãos, conscientes do que está a ser utilizado no nosso território e, acima de tudo, de que estas são guerras desiguais. Mas não apenas entre países que possuem a tecnologia, mas também contra cidadãos que não deveriam ser alvo de ataques, uma vez que estas armas estão a ser utilizadas contra a população civil.

P: Não existe, atualmente, um quadro jurídico internacional vinculativo?

R: Um tratado que obrigasse os Estados a não desenvolverem nem utilizarem este tipo de tecnologia? Não há limites. Pelo menos, de momento, não. Isto deveria ser feito através da Convenção sobre Armas Convencionais, mas ainda não conseguimos concretizá-lo. Nós, os peritos, que temos estado em Genebra, não conseguimos, em 10 anos, redigir uma disposição que estabeleça que "as armas autónomas letais sem controlo humano significativo são proibidas". E é muito simples. Já falámos com militares ou não? Sim, é claro que quando não há controlo humano… Muito bem, então coloquemo-nos na pele de um Estado que utilize este tipo de arma de forma descontrolada. Poderia ser acusado de crimes contra a humanidade ou de genocídio. Mas ainda não chegámos a esse nível de progresso legislativo.

P: Que limites devem ser estabelecidos neste novo tratado, ou caso o Tratado sobre Armas Não Convencionais seja alterado?

R: O ponto-chave é que o operador deve ter controlo numa determinada fase do ciclo operacional do sistema de armas autónomas letais. Em determinado momento, um ser humano deve poder dizer: Estou no comando; quero que ajas; ou Quero que pares imediatamente. Nos casos em que não haja controlo humano, seja direto ou indireto, acreditamos que tal arma deve ser totalmente proibida. Não nos opomos ao desenvolvimento, mas opomo-nos a que o algoritmo possa decidir sobre a vida e a morte dos cidadãos. É verdade que, quando o sistema de armas autónomas interrompe um ataque — ou seja, quando está a agir em defesa e não ao ataque — e, além disso, não há nenhum ser humano como alvo, não há problema. Mas estamos a falar de armas capazes de matar seres humanos. Nesse caso, tem de ser traçada uma linha muito clara.

P: Mas será realmente possível garantir que o controlo humano se mantenha nestes sistemas cada vez mais autónomos?

R: O problema é que funcionam como caixas negras. A decisão de selecionar um alvo e eliminá-lo é algo que os seres humanos não conseguem compreender totalmente, porque o algoritmo opera num sistema tão complexo que nem sequer ele próprio consegue explicar por que razão tomou essa decisão relativamente a uma pessoa de cor, vestida de verde, que transporta uma batata — porque decidiu que essa pessoa é o inimigo e não a outra. 

A solução é clara: quando um ser humano não toma a decisão, quando a decisão desafia a razão — ou seja, quando o senso comum, a humanidade, a sanidade, a sensibilidade e até a intuição não fazem sentido. Isto é algo que não pode ser transmitido a um algoritmo, porque tudo o que este faz é replicar, e possui preconceitos brutais — os do próprio cientista da computação ou técnico que o configurou inicialmente. Esse algoritmo é sempre "bom"; é sempre uma réplica do que deveria ser, mas não é. Não é nem uma decisão humana nem uma decisão baseada no senso comum. Em última análise, por exemplo, se um crime de guerra for cometido por um sistema de inteligência artificial, não se trata nem de uma decisão humana nem de uma decisão baseada no senso comum. Pelo menos, ainda não.

P: Quem seria o responsável?

R: Isso é claro. Existe rastreabilidade. Até ao momento, podemos afirmar que foi criado por quem o lançou e autorizou a sua utilização em determinadas situações. Existe responsabilidade direta e existe também a responsabilidade por não terem tomado as precauções suficientes para proteger esses sistemas e por terem permitido que qualquer hacker ou Estado terrorista os utilizasse. 

Mas a questão é que, no momento em que se reconhecer que a inteligência artificial — ou seja, o algoritmo — funciona independentemente do processo de tomada de decisão ou até mesmo contraria os próprios interesses do Estado, por considerar que é melhor agir dessa forma do que conforme foi programado, ficará claro que, em tribunal, o Estado poderá dizer: Não, eu disse-lhe para agir de forma diferente; houve uma falha no algoritmo — não fui eu. Consequentemente, haverá uma falta de responsabilização e uma ruptura no nexo de causalidade entre o genocídio, o crime e a decisão de agir.

P: Em última análise, tal como algumas pessoas afirmam, será que podemos utilizar a inteligência artificial para reduzir o erro humano e até mesmo os danos colaterais?

R: Sim, claro, é certamente mais eficiente e mais barato. Os algoritmos não sentem o frio nem o calor, não comem e não há necessidade de pagar uma indemnização aos seus parceiros ou famílias. Algo que, no entanto, acontece com os soldados. Mas é claro que só porque são mais eficientes não significa que possamos delegar esse poder excessivo, porque não haverá ninguém para assumir a responsabilidade por essa decisão posteriormente. 

Na Academia, dizem que estamos a reduzir a probabilidade de os soldados cometerem crimes contra a população civil — sendo o abuso sexual o exemplo mais frequentemente citado — e que tais coisas nunca acontecerão. Esses soldados serão chamados a responder perante um tribunal. Por outro lado, por mais eficazes que sejam, os algoritmos nunca poderão ser responsabilizados se não houver supervisão humana. Se estivermos a falar de uma situação em que não há possibilidade de um ser humano supervisionar a decisão, então pode-se dizer: Bem, deve ser muito eficiente. Mas até que ponto não há rastreabilidade? Não se sabe o que esse algoritmo está a fazer.

P: Temos também o problema que esses preconceitos acabem por se refletir no campo de batalha.

R: Basicamente, isso reflete-se no campo de batalha porque os dados com que estes algoritmos foram alimentados — os dados armazenados na nuvem — provêm de pessoas não racializadas: pessoas brancas, caucasianos, homens. Temos muitos dados, mas não dispomos de tantos sobre pessoas de outras raças. Nesses casos, os algoritmos não serão tão eficazes, especialmente no que diz respeito a pessoas negras e àquelas com traços asiáticos. Não há informação suficiente para que essas decisões sejam verdadeiramente eficazes. Nesse contexto, o viés é ainda maior.

P: Não está preocupada com a possibilidade de estes avanços tecnológicos e as armas autónomas poderem cair nas mãos de atores não estatais?

R: Esse é um dos riscos: os atores não estatais. Mas existe outro risco, ainda maior: que a tecnologia se torne mais amplamente acessível e que estes drones fiquem mais baratos, caindo nas mãos de civis – cidadãos que acreditam ter o direito à autodefesa e que se armam com esses drones para decidir se permitem ou não a entrada, nas suas propriedades ou nas suas casas, de indivíduos que possam ser alvo de um ataque letal. 

Na minha opinião, os Estados Unidos, com a Segunda Emenda à Constituição, encorajam os cidadãos a armarem-se para a defesa do seu país, do seu estado e para a autodefesa. Vai ser um negócio lucrativo para as empresas tecnológicas que desejam afastar-se do fabrico de armas convencionais e passar a produzir armas equipadas com inteligência artificial, que serão muito mais baratas e letais. 

Onde reside o perigo? O perigo reside nos Estados ditatoriais, nos Estados párias, nos Estados sem escrúpulos que possam utilizá-las, mas, acima de tudo, na proliferação deste tipo de arma. 

Em sociedades como a dos Estados Unidos, que conta atualmente com mais de 300 milhões de armas de fogo em circulação — incluindo pistolas, espingardas de assalto e armas militares —, estas irão somar-se ao total, e não ser subtraídas. As pessoas não deixarão de possuir pistolas; pelo contrário, passarão também a possuir armas equipadas com IA. Isto resulta em 30.000 ou 40.000 mortes por ano nos Estados Unidos — ou seja, 10 em cada 100.000 pessoas —, mais do que na Europa. Por outras palavras, têm uma taxa de mortalidade civil mais elevada precisamente porque possuem armas para defesa pessoal. É uma contradição. Se se possui uma arma, é para salvar uma vida. Mas, no contexto americano, as armas estão a causar uma epidemia mortal. Se acrescentarmos a isto as armas equipadas com IA, assistiremos a um aumento do número de vítimas, homicídios e assassinatos.

P: Existe uma competição estratégica entre os Estados Unidos, a China e a Rússia que está a impulsionar esta corrida tecnológica. Existe o risco de uma nova corrida ao armamento, desta vez baseada na inteligência artificial?

R: É isso mesmo, já o temos aqui. A única coisa que precisamos de saber é que não está em causa apenas o dispositivo, mas também o código necessário para ler esses dados. Existem códigos de código aberto e códigos proprietários. A Europa está a perder a batalha para criar o seu próprio código e evitar ter de depender dos Estados Unidos e da China. Caso contrário, todos os dados dos europeus ficarão nas mãos de outros países que, é certo, têm sido aliados, mas que agora representam uma ameaça. O que devemos fazer? Creio que a Europa enfrenta o desafio de criar os seus próprios códigos e empresas e, acima de tudo, de não deixar isso nas mãos do setor privado, como os Estados Unidos estão a fazer — isso é perigoso. É perigoso que os monopólios de dados (Google, Amazon, Microsoft, etc.) tenham o controlo da segurança nas suas mãos.

P: A indústria de drones que estamos a criar é uma indústria europeia?

R: Se não formos capazes de desenvolver em conjunto esta estratégia europeia, sem disputas internas sobre a segurança nacional — ainda há Estados que desejam manter a sua soberania e não compreendem que a soberania já não é territorial, mas que existe uma soberania digital que transcende o território e está a ser contestada no ciberespaço — e enquanto não compreendermos esta mudança de paradigma, que é simultaneamente ontológica e epistemológica, não seremos capazes de proteger os cidadãos europeus. Temos de nos orgulhar mais deste modelo. Como diz Miguel Ángel Aguilar, precisamos de valores europeus, mais Estado e menos mercado, mais prevenção e menos repressão.

P: Estamos preparados para enfrentar os desafios éticos que esta transformação coloca?

R: Do ponto de vista tecnológico, a Europa está preparada. As questões éticas são claras e somos os primeiros a levantar estas questões nas Nações Unidas. Estamos preparados, mas precisamos de um impulso político ousado que tenha em conta as consequências da implementação ou adoção de legislação. Porque tudo isto tem também implicações económicas significativas para o PIB do país, que devem ser tidas em conta.

P: Que impacto poderão estas tecnologias ter na população civil?

R: Estas tecnologias não fazem distinção entre combatentes e civis. É evidente que, embora se estejam a tornar cada vez mais sofisticadas, é muito difícil fazer essa distinção no campo de batalha. Mas fora do campo de batalha, a implicação será que certos países poderão utilizá-las no setor privado, e não apenas através das suas forças de segurança. A polícia também irá recorrer a elas. Porque não? No Brasil, Bolsonaro já afirmou que a polícia não entraria em certos bairros e que, em vez disso, os drones armados desempenhariam funções policiais. Haverá esse tipo de risco — ou oportunidade — de a polícia poder substituir os agentes por drones, desde que sejam drones não letais. Desde que ajudem a incentivar a cooperação pública, serão bem-vindos; mas quando se tornarem drones letais e a população civil os exigir para seu próprio uso, haverá um claro perigo de desestabilização e perda de controlo.

P: Que lições devemos retirar dos conflitos atuais no que diz respeito à utilização destas armas, que já estão a ser utilizadas na Ucrânia, no Médio Oriente e no Mar Vermelho?

R: A lição é que a soberania já não é territorial, mas sim digital. Mas é verdade que o controlo sobre este tipo de armas deve andar a par da regulamentação. A lição é que não existe regulamentação e que os próprios Estados que as utilizam se encontram numa situação precária. Por conseguinte, a lição é clara: regulamentação, limites e informação ao público.

P: Alguma vez haverá um tratado internacional específico?

R: Estou convencida que sim, porque já estamos nisto há 10 anos. Se não acreditasse nesse tratado, não estaria aqui. Lembra-se? A Lady Di? A Lady Di que fez campanha contra as minas antipessoais. Todos diziam que era só para fazer figura, que nunca iriam conseguir proibi-las. Bem, antes de morrer, conseguiu que fossem proibidas. É verdade que alguns países perceberam que são minas de uso interno e que alguns países sem escrúpulos até as vendem. Mas 90 por cento dos países, especialmente os do mundo desenvolvido, já não as fabricam. A Espanha não as fabrica, por isso fizemos enormes progressos.

P: Que papel desempenham atualmente os dados na guerra?

R: Os dados tornaram-se o novo centro de gravidade; são o novo petróleo da guerra, dos drones, dos algoritmos e da inteligência artificial. Tudo é medido em termos de dados. Anteriormente, as empresas tinham de se dedicar a atividades extrativas e investir dinheiro em metais, mas agora os dados são gratuitos para as empresas monopolistas. E estão a utilizá-los para alimentar a inteligência artificial e os algoritmos, para que possam vender essa tecnologia. 

Estão a fazer isto porque nós, enquanto cidadãos, não nos apercebemos de que somos nós que estamos à venda. Venderam os nossos dados, a nossa informação biométrica e todas as nossas preferências. Mas nós entregámo-los de graça; não recebemos nada em troca. Dispõem agora de uma vasta quantidade de dados, sobretudo do mundo desenvolvido — de europeus e americanos — e vendem-nos ao melhor licitante. 

Atualmente, os governos não detêm qualquer poder; não controlam o código nem são donos dos dados, que estão nas mãos de empresas privadas, nomeadamente das operadoras de satélites, que utilizam esses dados.

Pilar Requena - RTVE / 29 junho 2026, 07:12

Edição e Tradução / Joana Bénard da Costa - RTP