Agências federais estão adquirindo dezenas de algoritmos de IA proprietários para tarefas que podem afetar a segurança física e os direitos civis das pessoas, sem ter acesso a informações detalhadas sobre como os sistemas funcionam ou foram treinados, de acordo com dados recentemente divulgados.
A Alfândega e Proteção de Fronteiras e a Administração de Segurança do Transporte não têm documentação sobre a qualidade dos dados usados para construir e avaliar algoritmos que escaneiam os corpos dos viajantes em busca de ameaças, de acordo com os relatórios de inventário de IA de 2024 das agências.
A Administração de Saúde dos Veteranos está em processo de aquisição de um algoritmo de uma empresa privada que supostamente deve prever doenças crônicas entre veteranos, mas a agência disse que não está “claro como a empresa obteve os dados” sobre os registros médicos dos veteranos que usou para treinar o modelo.
E para mais de 100 algoritmos que podem impactar a segurança e os direitos das pessoas, a agência que usa os modelos não tinha acesso ao código-fonte que explica como eles funcionam.
À medida que a administração Trump se prepara para eliminar regras recentemente promulgadas para a aquisição e segurança de IA federais, os dados do inventário mostram o quanto o governo passou a depender de empresas privadas para seus sistemas de IA mais arriscados.
“Estou realmente preocupado com sistemas proprietários que tiram o poder democrático das agências para gerenciar e fornecer benefícios e serviços às pessoas”, disse Varoon Mathur, que até o mês passado era um conselheiro sênior de IA da Casa Branca responsável por coordenar o processo de inventário de IA. “Precisamos trabalhar lado a lado com fornecedores proprietários. Muitas vezes isso é benéfico, mas muitas vezes não sabemos o que eles estão fazendo. E se não tivermos controle sobre nossos dados, como vamos gerenciar o risco?”
Estudos internos e investigações externas descobriram problemas sérios com alguns algoritmos de alto risco de agências federais, como um modelo racialmente tendencioso que o IRS usou para determinar quais contribuintes auditar e um algoritmo de prevenção de suicídio do VA que priorizava homens brancos em detrimento de outros grupos.
Os inventários de 2024 fornecem a visão mais detalhada até agora de como o governo federal usa inteligência artificial e o que sabe sobre esses sistemas. Pela primeira vez desde que o inventário começou em 2022, as agências tiveram que responder a uma série de perguntas sobre se tinham acesso à documentação do modelo ou ao código-fonte e se haviam avaliado os riscos associados aos seus sistemas de IA.
Dos 1.757 sistemas de IA que as agências relataram usar ao longo do ano, 227 foram considerados propensos a impactar os direitos civis ou a segurança física, e mais da metade desses sistemas de maior risco foram desenvolvidos inteiramente por fornecedores comerciais. (Para 60 dos sistemas de alto risco, as agências não forneceram informações sobre quem os construiu. Algumas agências, incluindo o Departamento de Justiça, o Departamento de Educação e o Departamento de Transporte, ainda não publicaram seus inventários de IA, e agências militares e de inteligência não são obrigadas a fazê-lo).
Para pelo menos 25 sistemas que impactam a segurança ou os direitos, as agências relataram que “não existe documentação sobre manutenção, composição, qualidade ou uso pretendido dos dados de treinamento e avaliação”. Para pelo menos 105 deles, as agências disseram que não tinham acesso ao código-fonte. As agências não responderam à pergunta sobre documentação para 51 das ferramentas ou à pergunta sobre o código-fonte para 60 das ferramentas. Alguns dos sistemas de alto risco ainda estão em fase de desenvolvimento ou aquisição.
Sob a administração Biden, o Escritório de Gestão e Orçamento (OMB) emitiu novas diretrizes para as agências exigindo que realizassem avaliações minuciosas de sistemas de IA arriscados e garantissem que os contratos com fornecedores de IA concedam acesso às informações necessárias sobre os modelos, que podem incluir documentação de dados de treinamento ou o próprio código.
As regras são mais rigorosas do que qualquer coisa que os fornecedores de IA provavelmente encontrarão ao vender seus produtos para outras empresas ou para governos estaduais e locais (embora muitos estados estejam considerando projetos de lei sobre segurança de IA em 2025) e os fornecedores de software do governo se opuseram a elas, argumentando que as agências deveriam decidir que tipo de avaliação e transparência são necessárias caso a caso.
“Confie, mas verifique”, disse Paul Lekas, chefe de políticas públicas globais da Software & Information Industry Association. “Estamos cautelosos em relação a requisitos onerosos para desenvolvedores de IA. Ao mesmo tempo, reconhecemos que deve haver alguma atenção ao grau de transparência necessário para desenvolver esse tipo de confiança que o governo precisa para usar essas ferramentas.”
A Câmara de Comércio dos EUA, em comentários enviados ao OMB sobre as novas regras, disse que “o governo não deve solicitar nenhum dado de treinamento específico ou conjuntos de dados sobre modelos de IA que o governo adquire de fornecedores”. A Palantir, um importante fornecedor de IA, escreveu que o governo federal deve “evitar prescrever instrumentos de documentação rígidos demais e, em vez disso, dar aos provedores de serviços de IA e fornecedores a flexibilidade necessária para caracterizar o risco específico do contexto.”
Em vez de acesso a dados de treinamento ou código-fonte, os fornecedores de IA dizem que, na maioria dos casos, as agências deveriam se sentir confortáveis com cartões de pontuação de modelo – documentos que caracterizam os dados e técnicas de aprendizado de máquina que um modelo de IA emprega, mas não incluem detalhes técnicos que as empresas consideram segredos comerciais.
Cari Miller, que ajudou a desenvolver padrões internacionais para a compra de algoritmos e co-fundou o nonprofit AI Procurement Lab, descreveu os cartões de pontuação como uma solução de lobista que é “um bom ponto de partida, mas apenas um ponto de partida” para o que os fornecedores de algoritmos de alto risco deveriam ser contratualmente obrigados a divulgar.
“A aquisição é um dos mecanismos de governança mais importantes, é onde a borracha encontra a estrada, é a porta da frente, é onde você pode decidir se deve ou não deixar as coisas ruins entrarem”, disse ela. “Você precisa entender se os dados naquele modelo são representativos, se são tendenciosos ou não tendenciosos? O que eles fizeram com aqueles dados e de onde eles vieram? Veio tudo do Reddit ou Quora? Porque se veio, pode não ser o que você precisa.”
Como o OMB observou ao lançar suas regras de IA, o governo federal é o maior comprador único da economia dos EUA, responsável por mais de $100 bilhões em compras de TI em 2023. A direção que toma em relação à IA – o que exige que os fornecedores divulguem e como testa os produtos antes de implementá-los – provavelmente definirá o padrão para quão transparentes as empresas de IA são sobre seus produtos ao vender para agências governamentais menores ou até mesmo para outras empresas privadas.
O presidente eleito Trump sinalizou fortemente sua intenção de reverter as regras do OMB. Ele fez campanha em uma plataforma partidária que pedia a “revogação da Ordem Executiva perigosa de Joe Biden que prejudica a inovação em IA e impõe ideias radicais de esquerda ao desenvolvimento dessa tecnologia.”
Mathur, o ex-conselheiro sênior de IA da Casa Branca, disse que espera que a administração que está por vir não siga adiante com essa promessa e apontou que Trump deu início a esforços para construir confiança em sistemas de IA federais com sua ordem executiva em 2020.
Apenas conseguir que as agências inventariem seus sistemas de IA e respondam a perguntas sobre os sistemas proprietários que usam foi uma tarefa monumental, disse Mathur, que tem sido “profundamente útil”, mas requer acompanhamento.
“Se não tivermos o código, os dados ou o algoritmo, não conseguiremos entender o impacto que estamos tendo.”