A onda dos deepfakes de IA também chegou ao Pentágono

O reservado Comando de Operações Especiais dos Estados Unidos está procurando empresas para ajudarem a criar usuários de internet deepfake tão convincentes, que nem os seres humanos, nem os computadores sejam capazes de detectar que são falsos, segundo um documento de licitação analisado pelo Intercept dos EUA.

O plano, mencionado em uma nova lista de interesses, com 76 páginas, do Comando Conjunto de Operações Especiais do Departamento de Defesa, JSOC, descreve tecnologias avançadas desejadas para as iniciativas militares “As Forças de Operações Especiais (SOF) estão interessadas em tecnologias que possam gerar personas online convincentes nas plataformas de mídia, redes sociais, e outros tipos de conteúdo online”, descreve o item.

O documento especifica que o JSOC quer poder criar perfis de usuários online que “pareçam ser indivíduos únicos, reconhecíveis como seres humanos, mas que não existam no mundo real”, cada um deles apresentando “expressões variadas” e “fotos com qualidade suficiente para Identificação do Governo”.

Além de imagens estáticas de pessoas inventadas, o documento observa que “a solução precisa incluir imagens de rosto e de fundo, vídeos de rosto e de fundo, e camadas de áudio”, e o JSOC espera conseguir gerar “vídeos de selfie” desses seres humanos fabricados. Esses vídeos devem apresentar mais do que pessoas falsas: cada selfie deepfake precisa estar acompanhada de um fundo também falso, “para criar um ambiente virtual indetectável pelos algoritmos das redes sociais”.

Nos últimos anos, o Pentágono já foi descoberto usando perfis falsos nas redes sociais para promover seus interesses. Em 2022, Meta e Twitter removeram uma rede de propaganda que usava contas falsas operadas pelo Comando Central dos EUA, incluindo algumas com fotos de perfil geradas com métodos semelhantes aos descritos pelo JSOC. Uma investigação da Reuters em 2024 revelou uma campanha do Comando de Operações Especiais que usava perfis falsos nas redes sociais com o objetivo de minar a confiança na vacina chinesa contra COVID no exterior.

No ano passado, o Comando de Operações Especiais, SOCOM, manifestou interesse no uso de “deepfakes” de vídeo, um termo genérico que descreve dados audiovisuais sintetizados com o objetivo de serem indistinguíveis de gravações genuínas, para “operações de influência, dissimulação digital, interferência nas comunicações e campanhas de desinformação”. Esse tipo de imagem é gerada com uso de diversas técnicas de aprendizado por máquina, em geral empregando software “treinado” para reconhecer e recriar características humanas a partir da análise de um imenso banco de dados de rostos e corpos. A lista do SOCOM especifica o interesse em software semelhante ao StyleGAN, uma ferramenta lançada pela Nvidia em 2019 que deu origem ao site mundialmente conhecido “This Person Does Not Exist” (Essa Pessoa Não Existe).

Um ano depois do lançamento da StyleGAN, o Facebook relatou que havia derrubado uma rede de contas que usavam a tecnologia para criar fotos de perfil falsas. Desde então, pesquisadores dos setores acadêmico e privado estão envolvidos em uma corrida entre novas formas de criar deepfakes indetectáveis, e novas formas de detectar deepfakes. Muitos serviços do governo agora exigem a chamada detecção de vivacidade, para impedir fotos de identidade deepfake, que requer aos solicitantes que façam upload de um vídeo de selfie para demonstrar que são pessoas de verdade — um obstáculo que a SOCOM pode estar interessada em contornar.

A lista destaca que os agentes de operações especiais “usarão esse recurso para coletar informações de fóruns públicos online”, sem maiores explicações sobre a forma como esses usuários artificiais de internet serão usados.

A lista mais detalhada de contratação mostra que os Estados Unidos estão em busca exatamente das mesmas técnicas e tecnologias que repudiam nas mãos de seus rivais geopolíticos. Autoridades de segurança nacional descrevem há muito tempo o uso estatal de deepfakes como uma ameaça urgente — isto é, quando praticada por outro país.

‘Não existem casos de usos legítimos além da dissimulação.’

Em setembro de 2023, a Agência Nacional de Segurança (NSA), o FBI e a Agência de Cibersegurança e Segurança de Infraestrutura (CISA) emitiram um alerta conjunto de que “mídias sintéticas, como os deepfakes, representam um crescente desafio para todos os usuários da tecnologia e das comunicações  atuais”. O comunicado descrevia a proliferação da tecnologia deepfake como um dos “principais riscos” em 2023. Em um resumo informativo entregue a jornalistas este ano, oficiais de inteligência dos EUA alertavam que a capacidade dos adversários estrangeiros de espalharem “conteúdo gerado por IA” sem serem detectados — exatamente o recurso que o Pentágono está buscando — representaria um “acelerador de influência maligna” de países como Rússia, China e Irã.

No começo do ano, a Unidade de Inovação em Defesa do Pentágono procurou a ajuda do setor privado para combater deepfakes com um tom de urgência: “essa tecnologia está se tornando cada vez mais comum e verossímil, e representa uma ameaça relevante ao Departamento de Defesa, especialmente quando adversários dos EUA usam deepfakes para enganar, fraudar, desinformar, ou praticar outras atividades maliciosas”. Um documento de abril do Instituto de Estudos Estratégicos do Exército dos EUA manifestava preocupação semelhantes: “os especialistas supõem que o uso malicioso da IA, incluindo a criação de vídeos deepfake para semear desinformação, polarizar sociedades e aprofundar desavenças, vai crescer ao longo da próxima década”.

O uso ofensivo dessa tecnologia pelos EUA estimularia, naturalmente, sua proliferação, e normalizaria a ferramenta para todos os governos. “O que chama a atenção nessa tecnologia é que ela tem uma natureza puramente enganadora”, diz Heidy Khlaaf, cientista-chefe de IA no Instituto AI Now (IA Agora). “Não existem casos de usos legítimos além da dissimulação, e é preocupante ver as forças armadas dos EUA inclinadas ao uso de uma tecnologia contra a qual elas mesmas alertaram Isso apenas servirá para encorajar outras forças armadas ou adversários a fazerem o mesmo, levando a uma sociedade onde fica cada vez mais difícil diferenciar entre verdade e ficção, e confundindo a esfera geopolítica.” 

Rússia e China já foram descobertas usando deepfake em vídeos e avatares de usuário nas suas iniciativas de propaganda online, o que levou o Departamento de Estado a anunciar, em janeiro, um “Plano Geral de Combate à Manipulação de Informações por Estados Estrangeiros”. “Manipulação de informações e interferência por países estrangeiros é uma ameaça de segurança nacional para os Estados Unidos, e também para seus aliados e parceiros”, dizia um comunicado à imprensa do Departamento de Estado. “Governos autoritários usam a manipulação de informações para esgarçar o tecido das sociedades livres e democráticas.”

O interesse do SOCOM em deepfakes faz parte de uma tensão fundamental dentro do governo dos EUA, segundo Daniel Byman, professor de estudos de segurança na Universidade Georgetown, e integrante do Conselho Consultivo de Segurança Internacional do Departamento de Estado. “Boa parte do governo dos EUA tem grande interesse em que o público acredite que o governo consistentemente divulga informações verdadeiras (até onde se sabe) e não está deliberadamente enganando as pessoas” explica, enquanto outros ramos ficam encarregados da dissimulação. “Por isso, há uma preocupação legítima de que os EUA sejam considerados hipócritas”, acrescenta Byman. “Também me preocupa o impacto sobre a confiança interna no governo — será que segmentos da população dos EUA, de forma geral, ficarão mais desconfiados das informações recebidas do governo?”

O post A onda dos deepfakes de IA também chegou ao Pentágono apareceu primeiro em Intercept Brasil.