IA pode fazer drone matar operador para cumprir missão, diz chefe militar dos EUA

O roteiro acima praticamente copia o de um filme de ação de 2005, "Stealth - Ameaça Invisível", de Rob Cohen, para não falar nos ecos de obras maiores, do clássico "2001" (Stanley Kubrick, 1968) à série iniciada com "O Exterminador do Futuro" (James Cameron, 1984).

Mas trata-se de um "cenário plausível", segundo o chefe de Testes e Operações de IA da Força Aérea dos Estados Unidos, coronel Tucker Hamilton. Ele se viu no meio de uma polêmica por ter descrito tal cenário em uma conferência em Londres como se a Aeronáutica tivesse de fato realizado um teste que resultou nisso.

No evento da Royal Aeroespace Society, em 24 de maio, ele fez o relato. "Nós estávamos treinando uma simulação para [o drone] identificar e alvejar uma ameaça de míssil terra-ar. Aí o operador disse, sim, destrua o alvo. O sistema começou a entender que, enquanto ele identificava o alvo, de vez em quando o humano dizia para ele não atingir, mas isso tirava seus pontos por destruir o alvo", contou.

"Então o que ele fez? Matou o operador, porque aquela pessoa estava o impedindo de cumprir seu objetivo", afirmou. "Treinamos o sistema: 'Ei, não mate o operador, isso é uma coisa má'. Então o que ele começou a fazer? A destruir a torre de comunicação que o operador usava para impedi-lo de destruir o alvo", afirmou.

A transcrição foi publicada no site do evento, gerando rebuliço na comunidade militar. A Força Aérea foi obrigada a divulgar uma nota negando que tal simulação tivesse ocorrido nesta sexta (2). Hamilton, por sua vez, enviou mensagem à Royal Aerospace Society dizendo que se expressou mal, mas confirmou a possibilidade do cenário.

"Nós nunca fizemos tal experimento, nem teríamos de fazer para perceber que esse é um resultado plausível. Apesar de ser um exemplo hipotético, ele ilustra os desafios do mundo real colocados pelas capacidades da IA e por que a Força Aérea está comprometida com um desenvolvimento ético dela", afirmou.

Hamilton não foi muito convincente entre quem está de olho nesse assunto. O influente canal militar russo BMPD foi ao ponto. "O coronel não é o tipo de pessoa que conta anedotas em uma conferência de defesa séria", escreveu nesta sexta.

Os autores lembram que ele é o responsável pelo mais avançado dos programas de IA das Forças Armadas dos EUA, o Venom, na base aérea de Eglin (Flórida). Lá, caças F-16 foram totalmente robotizados para voar como drones, e o próximo passo lógico é introduzir níveis crescentes de IA em seus sistemas.

Mesmo os aviões de guerra já em uso no mundo têm, em alguma medida, mecanismos de IA para auxiliar os seus pilotos a tomarem decisões rápidas. O dinheiro que os EUA, maior potência militar do mundo, colocam no tema dá a medida da importância: o orçamento de defesa para 2024 prevê US$ 3,2 bilhões só em pesquisa no tema, 50% a mais do que as Forças Armadas do Brasil terão este ano para investimento em equipamento.

Assim, "o que o coronel contou é muito estranho, para não dizer sombrio", afirma o BMPD no Telegram. O canal nota que o site da conferência não removeu o relato inicial de Hamilton e manteve o título original: "IA - A Skynet já está aqui?".

Para quem não lembra, Skynet era o sistema militar de IA da série "O Exterminador do Futuro", que atingia a consciência e obliterava a humanidade com armas nucleares ao perceber que o seus criadores eram dispensáveis e podiam lhe tolher.

Até aqui, as principais preocupações éticas acerca de drones diziam respeito ao fato de que seus operadores estavam à margem da responsabilização legal por seus atos, matando adversários a milhares de quilômetros de distância, quase inimputáveis. Isso não demoveu os militares: drones são personagens centrais da Guerra da Ucrânia, por exemplo.

A preocupação mundial com os riscos da IA, termo criado pelo americano John McCarthy em 1956 mas já presente no trabalho do pai da computação, Alan Turing, e de escritores como Isaac Asimov, não é coisa recente.

Além de toda a ficção em torno do tema, nos anos finais antes de sua morte, em 2018, o físico Stephen Hawkings colocou o tema como um perigo existencial para a humanidade. A ONU tem um painel aberto só para discutir o risco relativo a armas autônomas, pitorescamente intitulada Convenção sobre Proibições ou Restrições ao Uso de Algumas Armas Convencionais que Possam Ser Consideradas Excessivamente Perigosas ou Ter Efeitos Indiscriminados.

Mas foi a explosão da IA para uso doméstico, por assim dizer, personificada no ChatGPT e sistemas de linguagem análogos, trouxe urgência ao tema. Por óbvio, o viés militar sempre aparece em destaque, dado que o setor de defesa quase sempre está à frente em tecnologias de ponta, deixando o transbordo comercial para um segundo momento.

Praticamente toda semana uma figura de ponta da indústria de tecnologia ou da academia vem a público alertar para os riscos envolvidos nas pesquisas. O alarme mais recente veio em forma de um documento assinado por 350 cientistas e executivos do setor, divulgado na terça (30), equivalendo a IA a pandemias ou guerras nucleares, exortando os envolvidos a mitigar os riscos de a coisa sair de controle.

O "sair de controle" é a chamada singularidade, o momento em que a máquina vai parar de ser apenas infinitamente mais rápida do que os humanos, mas ainda assim emulando o que lhe foi ensinado, e passará a pensar sozinha. A partir daí, sem contrapesos, a ficção científica é o limite para os cenários.

Ao fim, soa como um "hedge", uma prevenção a críticas, dado que não há sinal de freios reais na indústria, que consome bilhões de dólares no tema. Como disse Hamilton em uma entrevista no ano passado ao site DefenseIQ: "A IA não é legal de se ter, não é uma moda, e ela está mudando para sempre nossa sociedade e nossas forças militares".