As pessoas que estudam a guerra nuclear profissionalmente estão certas de que a inteligência artificial em breve alimentará as armas letais. Nenhum deles tem certeza do que isso significa exatamente.
No meio de julho, laureados do Prêmio Nobel se reuniram na Universidade de Chicago para ouvir especialistas em guerra nuclear falarem sobre o fim do mundo. Em sessões fechadas ao longo de dois dias, cientistas, ex-funcionários do governo e militares aposentados esclareceram os laureados sobre as armas mais devastadoras já criadas. O objetivo era educar algumas das pessoas mais respeitadas do mundo sobre uma das armas mais horríveis já feitas e, ao final, fazer com que os laureados fizessem recomendações de políticas aos líderes mundiais sobre como evitar a guerra nuclear.
A IA estava na mente de todos. “Estamos entrando em um novo mundo de inteligência artificial e tecnologias emergentes influenciando nossa vida diária, mas também influenciando o mundo nuclear em que vivemos”, disse Scott Sagan, professor de Stanford conhecido por sua pesquisa sobre desarmamento nuclear, durante uma coletiva de imprensa ao final das palestras.
É uma afirmação que assume a inevitabilidade de os governos misturarem IA e armas nucleares — algo em que todos com quem conversei em Chicago acreditavam.
“É como eletricidade”, diz Bob Latiff, um general aposentado da Força Aérea dos EUA e membro do Conselho de Ciência e Segurança do Bulletin of the Atomic Scientists. “Vai encontrar seu caminho em tudo”. Latiff é uma das pessoas que ajuda a definir o Relógio do Juízo Final todos os anos.
“A conversa sobre IA e armas nucleares é prejudicada por alguns problemas principais. O primeiro é que ninguém realmente sabe o que é IA”, diz Jon Wolfsthal, um especialista em não proliferação que é diretor de risco global na Federação de Cientistas Americanos e foi anteriormente assistente especial de Barack Obama.
“O que significa dar controle de uma arma nuclear a uma IA? O que significa dar a um [chip de computador] controle de uma arma nuclear?” pergunta Herb Lin, professor de Stanford e ex-membro do Relógio do Juízo Final. “Parte do problema é que grandes modelos de linguagem dominaram o debate.”
Primeiro, a boa notícia. Ninguém acha que o ChatGPT ou o Grok receberão códigos nucleares tão cedo. Wolfsthal me diz que há muitas diferenças “teológicas” entre os especialistas nucleares, mas que eles estão unidos nesse aspecto. “Neste campo, quase todos dizem que queremos controle humano efetivo sobre a tomada de decisões sobre armas nucleares”, diz ele.
Ainda assim, Wolfsthal ouviu sussurros sobre outros usos preocupantes de LLMs no coração do poder americano. “Um número de pessoas disse: ‘Bem, tudo o que quero fazer é ter um computador interativo disponível para o presidente para que ele possa descobrir o que Putin ou Xi farão e eu posso produzir esse conjunto de dados de forma muito confiável. Posso obter tudo o que Xi ou Putin já disseram e escreveram sobre qualquer coisa e ter uma probabilidade estatisticamente alta de refletir o que Putin disse'”, diz ele.
“Eu pensei: ‘Isso é ótimo. Como você sabe que Putin acredita no que disse ou escreveu?’ Não é que a probabilidade esteja errada, é apenas baseada em uma suposição que não pode ser testada”, diz Wolfsthal. “Francamente, acho que muito poucas das pessoas que estão olhando para isso já estiveram em uma sala com um presidente. Não afirmo estar próximo de nenhum presidente, mas estive na sala com vários deles quando falam sobre essas coisas, e eles não confiam em ninguém com essas informações.”
No ano passado, o General da Força Aérea Anthony J. Cotton, o líder militar encarregado das armas nucleares da América, fez um longo discurso em uma conferência sobre a importância de adotar IA. Ele disse que as forças nucleares estavam “desenvolvendo inteligência artificial ou ferramentas de suporte à decisão habilitadas por IA, lideradas por humanos, para garantir que nossos líderes possam responder a cenários complexos e sensíveis ao tempo.”
O que mantém Wolfsthal acordado à noite não é a ideia de que uma IA rebelde começará uma guerra nuclear. “O que me preocupa é que alguém diga que precisamos automatizar este sistema e partes dele, e isso criará vulnerabilidades que um adversário pode explorar, ou que produzirá dados ou recomendações que as pessoas não estão equipadas para entender, e isso levará a decisões ruins”, diz ele.
Lançar uma arma nuclear não é tão simples quanto um líder na China, Rússia ou EUA apertar um botão. O comando e controle nuclear é uma teia intrincada de radares de alerta precoce, satélites e outros sistemas de computador monitorados por seres humanos. Se o presidente ordenar o lançamento de um míssil balístico intercontinental, duas pessoas devem girar chaves em conjunto em um silo individual para lançar a bomba nuclear. O lançamento de uma arma nuclear americana é o resultado final de cem pequenas decisões, todas feitas por humanos.
O que acontecerá quando a IA assumir parte desse processo? O que acontece quando uma IA está monitorando o radar de alerta precoce e não um humano? “Como você verifica que estamos sob ataque nuclear? Você pode confiar em algo além da confirmação visual da detonação?” pergunta Wolfsthal. A política nuclear dos EUA exige o que é chamado de “dupla fenomenologia” para confirmar que um ataque nuclear foi lançado: um ataque deve ser confirmado por sistemas de satélite e radar para ser considerado genuíno. “Uma dessas fenômenos pode ser inteligência artificial? Eu argumentaria, neste estágio, não.”
Uma das razões é básica: não entendemos como muitos sistemas de IA funcionam. Eles são caixas pretas. Mesmo que não fossem, os especialistas dizem que integrá-los ao processo de tomada de decisão nuclear seria uma má ideia.
Latiff tem suas próprias preocupações sobre sistemas de IA reforçando o viés de confirmação. “Eu me preocupo que mesmo que o humano permaneça no controle, quão significativo esse controle é”, diz ele. “Eu fui um comandante. Eu sei o que significa ser responsável por minhas decisões. E você precisa disso. Você precisa ser capaz de assegurar às pessoas para quem trabalha que há alguém responsável. Se Johnny for morto, quem eu culpo?”
Assim como os sistemas de IA não podem ser responsabilizados quando falham, eles também estão limitados por guardrails, dados de treinamento e programação. Eles não podem ver além de si mesmos, por assim dizer. Apesar de sua capacidade muito divulgada de aprender e raciocinar, eles estão presos pelos limites que os humanos estabelecem.
Lin menciona Stanislav Petrov, um tenente-coronel das Forças de Defesa Aérea Soviéticas que salvou o mundo em 1983 quando decidiu não passar um alerta dos sistemas de alerta nuclear soviéticos pela cadeia de comando.
“Vamos supor, por um minuto, que ele tivesse passado a mensagem pela cadeia de comando em vez de ficar em silêncio… como deveria ter feito… e então a holocausto mundial ocorre. Onde está a falha nisso?” pergunta Lin. “Um erro foi a máquina. O segundo erro foi que o humano não percebeu que era um erro. Como um humano deve saber que uma máquina está errada?”
Petrov não sabia que a máquina estava errada. Ele adivinhou com base em suas experiências. Seu radar lhe disse que os EUA lançaram cinco mísseis, mas ele sabia que um ataque americano seria tudo ou nada. Cinco era um número pequeno. Os computadores também eram novos e funcionaram mais rápido do que ele os havia visto operar antes. Ele fez uma decisão de julgamento.
“Podemos esperar que os humanos sejam capazes de fazer isso rotineiramente? É uma expectativa justa?” pergunta Lin. “O ponto é que você tem que sair dos seus dados de treinamento. Você deve sair dos seus dados de treinamento para poder dizer: ‘Não, meus dados de treinamento estão me dizendo algo errado.’ Por definição, [IA] não pode fazer isso.”
Donald Trump e o Pentágono deixaram claro que a IA é uma prioridade máxima e invocaram a corrida armamentista nuclear para isso. Em maio, o Departamento de Energia declarou em um post no X que “IA é o próximo Projeto Manhattan, e os ESTADOS UNIDOS VÃO VENCER”. O “Plano de Ação de IA” da administração retratou a corrida em direção à inteligência artificial como uma corrida armamentista, uma competição contra a China que deve ser vencida.
“Acho isso horrível”, diz Lin sobre as metáforas. “Por uma coisa, eu sabia quando o Projeto Manhattan foi concluído, e posso te dizer quando foi um sucesso, certo? Nós detonamos uma arma nuclear. Eu não sei o que significa ter um Projeto Manhattan para IA.