A integração acelerada de sistemas de inteligência artificial em plataformas militares está criando uma sensação perigosa de controle: a promessa de um "humano no circuito" tem servido mais como justificativa retórica do que como barreira técnica, expondo falhas de projeto, erosão de capacidades operacionais e riscos estratégicos que podem transformar erros técnicos em crises políticas e humanitárias.
Resumo executivo: risco real por trás da supervisão aparente
Atualmente, forças e indústrias de defesa estão incorporando ferramentas de IA em funções que vão do apoio à decisão até a seleção de alvos. Na prática, muitos projetos sustentam-se na noção de que um operador humano validará ou abortará ações automatizadas, criando uma falsa sensação de segurança. Essa configuração tende a degradar a vigilância humana por dois mecanismos principais: a monotonia da supervisão passiva — que reduz atenção e capacidade de intervenção — e a atrofia de competências em operadores que deixam de praticar intervenções críticas. Como resultado, confirmações humanas tornam-se performativas, normalizando falhas e ampliando o risco operacional quando o sistema falha de modo complexo e inesperado.
Antecedentes e lições históricas
A história técnica fornece precedentes claros: incidentes como o Therac‑25 demonstram como automação com "confirmação humana" pode ocultar defeitos graves de software e processos de projeto que incentivam comportamentos perigosos dos operadores. Naquele caso, mensagens de erro frequentes e a rotina de "press to proceed" habituaram os operadores a ignorar sinais de falha, culminando em overdoses letais. Similarmente, interrupções recentes em sistemas civis assistidos por IA mostram que ferramentas probabilísticas introduzem modos de falha novos e mal compreendidos. No contexto militar, esses fatores se combinam a sistemas altamente acoplados, pressão por decisão rápida e consequências de alto impacto, ampliando a probabilidade de que um erro técnico reverbere como incidente tático ou crise diplomática.
Legenda: Treinamento de soldados com drone de reconhecimento RQ‑28A em Fort Leonard Wood, exemplificando a integração de IA em sistemas táticos | Créditos: DOD
Impacto geopolítico: escalada, confiança e governança
Do ponto de vista estratégico, a ilusão de controle traz quatro impactos geopolíticos centrais. Primeiro, acelera uma corrida por capacidades autônomas onde decisões são cada vez mais delegadas a sistemas não determinísticos, reduzindo a previsibilidade entre adversários e elevando o risco de escalada acidental. Segundo, mina a confiança entre aliados quando sistemas de IA dos Estados providenciam resultados inesperados ou inconsistentes, complicando interoperabilidade e compartilhamento de informações sensíveis. Terceiro, expõe atores estatais e não estatais a vulnerabilidades exploráveis — desde exploração de falhas de projeto até campanhas de desinformação que capitalizam incidentes atribuíveis a "erro de sistema". Quarto, cria lacunas normativas: o uso contínuo de construções como "humano no circuito" como defesa regulatória retarda a necessidade de padrões técnicos, auditorias independentes e limites operacionais claros.
Para mitigar esses riscos, recomenda‑se uma agenda política e técnica coordenada: impor requisitos mínimos de auditabilidade e teste sob condições operacionais reais; redesenhar interfaces para garantir supervisão ativa (treinamento contínuo, intervenções forçadas e rotinas de validação); limitar o emprego de IA em funções letais até certificação robusta; e negociar mecanismos de transparência entre aliados — incluindo regras de engajamento, compartilhamento de modelos de avaliação de risco e protocolos de investigação para incidentes. Sem essas medidas, a dependência de garantias simbólicas transformará falhas técnicas em choques geopolíticos com impactos humanos e estratégicos duradouros.