As agências federais estão a adquirir dezenas de algoritmos proprietários de IA para tarefas que podem afetar a segurança física e os direitos civis das pessoas, sem terem acesso a informações detalhadas sobre como os sistemas funcionam ou foram treinados, de acordo com dados recentemente divulgados.
A Alfândega e Proteção de Fronteiras e a Administração de Segurança de Transporte não possuem documentação sobre a qualidade dos dados usados para construir e avaliar algoritmos que examinam os corpos dos viajantes em busca de ameaças, de acordo com o inventário de IA de 2024 das agências relatórios.
A Veterans Health Administration está em processo de aquisição de um algoritmo de uma empresa privada que supostamente prevê doenças crônicas entre veteranos, mas a agência disse que “não está claro como a empresa obteve os dados” sobre os registros médicos dos veteranos que usou para treinar o modelo.
E para mais de 100 algoritmos que podem impactar a segurança e os direitos das pessoas, a agência que utiliza os modelos não teve acesso ao código-fonte que explica como eles funcionam.
Como a próxima administração Trump se prepara para desfazer regras recentemente promulgadas para compras e segurança federais de IA, os dados do inventário mostram o quanto o governo passou a depender de empresas privadas para seus sistemas de IA mais arriscados.
“Estou realmente preocupado com os sistemas proprietários que tiram o poder democrático das agências para gerenciar e fornecer benefícios e serviços às pessoas”, disse Varoon Mathur, que até o início deste mês era consultor sênior de IA da Casa Branca responsável pela coordenação do AI. processo de inventário. “Temos que trabalhar lado a lado com fornecedores proprietários. Muitas vezes isso é benéfico, mas muitas vezes não sabemos o que eles estão fazendo. E se não tivermos controle sobre nossos dados, como vamos gerenciar os riscos?”
Estudos internos e investigações externas encontraram sérios problemas com algoritmos de alto risco de algumas agências federais, como um modelo racialmente preconceituoso o IRS usou para determinar quais contribuintes auditar e um VA algoritmo de prevenção de suicídio que priorizava os homens brancos em detrimento de outros grupos.
Os inventários de 2024 fornecem a visão mais detalhada de como o governo federal usa a inteligência artificial e o que sabe sobre esses sistemas. Pela primeira vez desde que o inventário começou em 2022, as agências tiveram de responder a uma série de perguntas sobre se tinham acesso à documentação do modelo ou ao código-fonte e se tinham avaliado os riscos associados aos seus sistemas de IA.
Dos 1.757 sistemas de IA que as agências relataram utilizar ao longo do ano, 227 foram considerados susceptíveis de afectar os direitos civis ou a segurança física e mais de metade desses sistemas de maior risco foram desenvolvidos inteiramente por fornecedores comerciais. (Para 60 dos sistemas de alto risco, as agências não forneceram informações sobre quem os construiu. Algumas agências, incluindo o Departamento de Justiça, o Departamento de Educação e o Departamento de Transportes ainda não publicaram os seus inventários de IA, e as forças armadas e de inteligência agências não são obrigadas a fazê-lo).
Para pelo menos 25 sistemas com impacto na segurança ou nos direitos, as agências relataram que “não existe documentação relativa à manutenção, composição, qualidade ou utilização pretendida dos dados de formação e avaliação”. Em pelo menos 105 deles, as agências afirmaram não ter acesso ao código-fonte. As agências não responderam à questão da documentação de 51 ferramentas ou à questão do código-fonte de 60 das ferramentas. Alguns dos sistemas de alto risco ainda estão em fase de desenvolvimento ou aquisição.
Sob a administração Biden, o Gabinete de Gestão e Orçamento (OMB) emitiu novas directivas às agências exigindo-lhes que executassem avaliações completas de sistemas de IA arriscados e para garantir que contratos com fornecedores de IA conceder acesso às informações necessárias sobre os modelos, que podem incluir documentação de dados de treinamento ou o próprio código.
As regras são mais vigorosas do que qualquer coisa que os fornecedores de IA possam encontrar ao vender seus produtos a outras empresas ou a governos estaduais e locais (embora muitos estados estejam considerando projetos de lei de segurança de IA em 2025) e os fornecedores de software governamental as rejeitaram, argumentando que as agências devem decidir que tipo de avaliação e transparência são necessárias, caso a caso.
“Confie, mas verifique”, disse Paul Lekas, chefe de políticas públicas globais da Software & Information Industry Association. “Estamos cautelosos com os requisitos onerosos para os desenvolvedores de IA. Ao mesmo tempo, reconhecemos que é necessário prestar alguma atenção ao grau de transparência necessário para desenvolver o tipo de confiança que o governo necessita para utilizar estas ferramentas.”
A Câmara de Comércio dos EUA, em comentários apresentados ao OMB sobre as novas regras, disse que “o governo não deve solicitar quaisquer dados de formação específicos ou conjuntos de dados sobre modelos de IA que o governo adquira de fornecedores”. Palantir, um importante fornecedor de IA, escreveu que o governo federal deveria “evitar prescrever excessivamente instrumentos de documentação rígidos e, em vez disso, dar aos prestadores de serviços e fornecedores de IA a margem de manobra necessária para caracterizar o risco específico do contexto”.
Em vez de acesso a dados de treinamento ou código-fonte, os fornecedores de IA dizem que, na maioria dos casos, as agências deveriam se sentir confortáveis com modelos de scorecards – documentos que caracterizam os dados e as técnicas de aprendizado de máquina que um modelo de IA emprega, mas não incluem detalhes técnicos que as empresas consideram comerciais. segredos.
Cari Miller, que ajudou a desenvolver padrões internacionais para algoritmos de compra e foi cofundadora do AI Procurement Lab, uma organização sem fins lucrativos, descreveu os scorecards como uma solução de lobby que “não é um mau ponto de partida, mas apenas um ponto de partida” para o que os fornecedores de produtos de alta qualidade os algoritmos de risco devem ser contratualmente obrigados a divulgar.
“As compras são um dos mecanismos de governança mais importantes, é onde a borracha encontra a estrada, é a porta de entrada, é onde você pode decidir se deixa ou não entrar o que é ruim”, disse ela. “É preciso entender se os dados desse modelo são representativos, são tendenciosos ou imparciais? O que eles fizeram com esses dados e de onde eles vieram? Tudo isso veio do Reddit ou do Quora? Porque se fosse, pode não ser o que você precisa.”
Como OMB observado ao implementar as suas regras de IA, o governo federal é o maior comprador individual na economia dos EUA, responsável por mais de 100 mil milhões de dólares em compras de TI em 2023. A direção que toma em relação à IA – o que exige que os fornecedores divulguem e como testa os produtos antes de implementá-los – provavelmente definirá o padrão de quão transparentes as empresas de IA são em relação aos seus produtos quando vendem para agências governamentais menores ou mesmo para outras empresas privadas.
O presidente eleito Trump sinalizou fortemente a sua intenção de reverter as regras do OMB. Ele fez campanha em uma plataforma partidária que pedia uma “revogação [of] A perigosa Ordem Executiva de Joe Biden que impede a inovação da IA e impõe ideias de esquerda radical no desenvolvimento desta tecnologia.”
Mathur, ex-conselheiro sênior de IA da Casa Branca, disse esperar que o novo governo não cumpra essa promessa e destacou que Trump deu início aos esforços para construir confiança nos sistemas federais de IA com seu ordem executiva em 2020.
Fazer com que as agências inventariassem os seus sistemas de IA e respondessem a perguntas sobre os sistemas proprietários que utilizam foi uma tarefa monumental, disse Mathur, que tem sido “profundamente útil”, mas requer acompanhamento.
“Se não tivermos o código, os dados ou o algoritmo, não seremos capazes de compreender o impacto que estamos causando”, disse ele.