Um órgão consultivo federal está solicitando que as agências de segurança do Canadá publiquem descrições detalhadas de seus usos atuais e pretendidos de sistemas de inteligência artificial e aplicativos de software.
Em um novo relatório, o National Security Transparency Advisory Group também pede que o governo analise a possibilidade de alterar a legislação que está sendo considerada pelo Parlamento para garantir a supervisão de como as agências federais usam a IA.
As recomendações estão entre as medidas mais recentes propostas pelo grupo, criado em 2019 para aumentar a responsabilização e a conscientização pública sobre políticas, programas e atividades de segurança nacional.
O governo considera o grupo um meio importante de implementar um compromisso federal de seis pontos para ser mais transparente sobre a segurança nacional.
As agências federais de inteligência e segurança responderam ao último relatório do grupo enfatizando a importância da abertura, embora algumas tenham apontado que a natureza de seu trabalho limita o que podem divulgar publicamente.
As agências de segurança já estão usando IA para tarefas que vão desde a tradução de documentos até a detecção de ameaças de malware. O relatório prevê uma dependência maior da tecnologia para analisar grandes volumes de texto e imagens, reconhecer padrões e interpretar tendências e comportamento.
À medida que o uso da IA se expande pela comunidade de segurança nacional, “é essencial que o público saiba mais sobre os objetivos e empreendimentos” dos serviços nacionais de fronteira, polícia e espionagem, diz o relatório.
“Mecanismos apropriados devem ser projetados e implementados para fortalecer a abertura sistêmica e proativa dentro do governo, ao mesmo tempo em que permitem melhor supervisão e revisão externas.”
À medida que o governo colabora com o setor privado em objetivos de segurança nacional, “abertura e engajamento” são facilitadores cruciais da inovação e da confiança pública, enquanto “o sigilo gera suspeita”, diz o relatório.
Um desafio fundamental para explicar o funcionamento interno da IA ao público é a “opacidade dos algoritmos e modelos de aprendizado de máquina” — a chamada “caixa preta” que pode significar que até mesmo as agências de segurança nacional perderão a compreensão de suas próprias aplicações de IA, observa o relatório.
Ottawa emitiu orientações sobre o uso federal de inteligência artificial, incluindo a exigência de realizar uma avaliação de impacto algorítmico antes da criação de um sistema que auxilie ou substitua o julgamento de tomadores de decisão humanos.
Receba notícias nacionais diárias
Receba as principais notícias do dia, além de manchetes políticas, econômicas e de atualidades, entregues na sua caixa de entrada uma vez por dia.
Também introduziu a Lei de Inteligência Artificial e Dados, atualmente em discussão no Parlamento, para garantir o design, o desenvolvimento e a implementação responsáveis de sistemas de IA.
No entanto, a lei e um novo comissário de IA não teriam jurisdição sobre instituições governamentais, como agências de segurança, o que levou o grupo consultivo a recomendar que Ottawa considerasse estender a lei proposta para cobri-las.
O Communications Security Establishment, agência de espionagem cibernética do Canadá, está há muito tempo na vanguarda do uso da ciência de dados para filtrar e analisar grandes quantidades de informações.
Aproveitar o poder da IA não significa remover os humanos do processo, mas sim capacitá-los a tomar melhores decisões, diz a agência.
Em seu último relatório anual, o CSE descreve o uso de seus supercomputadores de alto desempenho para treinar novos modelos de inteligência artificial e aprendizado de máquina, incluindo uma ferramenta de tradução personalizada.
A ferramenta, que pode traduzir conteúdo de mais de 100 idiomas, foi lançada no final de 2022 e disponibilizada aos principais parceiros de inteligência estrangeira do Canadá no ano seguinte.
O Cyber Center do CSE usou ferramentas de aprendizado de máquina para detectar campanhas de phishing direcionadas ao governo e identificar atividades suspeitas em redes e sistemas federais.
Em resposta ao relatório do grupo consultivo, o CSE destacou seus vários esforços para contribuir para a compreensão do público sobre inteligência artificial.
No entanto, indicou que o CSE “enfrenta limitações únicas dentro de seu mandato para proteger a segurança nacional”, o que pode representar dificuldades para a publicação de detalhes de seu uso atual e planejado de IA.
“Para garantir que nosso uso de IA permaneça ético, estamos desenvolvendo abordagens abrangentes para governar, gerenciar e monitorar a IA e continuaremos a nos basear nas melhores práticas e no diálogo para garantir que nossa orientação reflita o pensamento atual.”
O Serviço Canadense de Inteligência de Segurança, que investiga ameaças como atividades extremistas, espionagem e interferência estrangeira, recebeu com satisfação o relatório do grupo de transparência.
O serviço de espionagem disse que o trabalho está em andamento para formalizar planos e governança sobre o uso de inteligência artificial, com transparência sustentando todas as considerações. Mas acrescentou: “Dado o mandato do CSIS, há limitações importantes sobre o que pode ser discutido publicamente para proteger a integridade das operações, incluindo questões relacionadas ao uso de IA.”
Em 2021, Daniel Therrien, o comissário federal de privacidade na época, descobriu que a RCMP violou a lei ao usar software de reconhecimento facial de ponta para coletar informações pessoais.
Therrien disse que houve falhas graves e sistêmicas por parte da RCMP para garantir a conformidade com a Lei de Privacidade antes de coletar informações da empresa americana Clearview AI.
A tecnologia da Clearview AI permitiu a coleta de um grande número de imagens de várias fontes que podem ajudar forças policiais, instituições financeiras e outros clientes a identificar pessoas.
Em meio à preocupação com a Clearview AI, a RCMP criou o Programa de Integração de Tecnologia para avaliar a conformidade das técnicas de coleta com a legislação de privacidade.
O relatório do grupo consultivo de transparência insta os Mounties a contar mais ao público sobre a iniciativa. “Se todas as atividades realizadas sob o Programa de Integração forem secretas, a transparência continuará a sofrer.”
A RCMP disse que planeja publicar em breve um projeto de transparência que fornecerá uma visão geral dos princípios-chave do programa de integração para o uso responsável de tecnologias, bem como detalhes sobre as ferramentas que o programa avaliou.
A Polícia Montada disse que também está desenvolvendo uma política nacional sobre o uso de IA que incluirá um meio de garantir transparência sobre ferramentas e salvaguardas.
O grupo consultivo de transparência também repreende o governo pela falta de relatórios públicos sobre o progresso ou as realizações de seu compromisso de transparência. Ele recomenda uma revisão formal do compromisso com “relatórios públicos de iniciativas empreendidas, impactos até o momento e atividades futuras”.
A Segurança Pública do Canadá disse que as diversas recomendações do relatório foram compartilhadas com o vice-ministro do departamento e com a comunidade de segurança nacional mais ampla, incluindo comitês relevantes.
No entanto, o departamento não chegou a dizer se concordava com as recomendações nem a fornecer um cronograma para implementá-las.