Governos em diferentes partes do mundo estão transferindo decisões sociais vitais para sistemas automatizados. Ao fazer isso, desumanizam populações mais vulneráveis. O alerta é de Hajira Maryam, conselheira-chefe de inteligência artificial da Anistia Internacional, que desde 2022 atua com uma equipe voltada a investigar e denunciar violações cometidas a partir de sistemas automatizados de IA.
Em novembro, a partir do Laboratório de Responsabilidade Algorítmica (AAL), a Anistia acusou o governo dinamarquês de usar IA com critérios discriminatórios para investigar fraudes em benefícios sociais. Os critérios atingiam especialmente migrantes. Padrões semelhantes foram denunciados em países europeus e na Índia.
O uso da IA em sistemas anti-imigração também tem gerado alerta pelo grupo de direitos humanos. O avanço desses sistemas automatizados acontece enquanto uma onda anti-regulação avança no mundo, diz Maryam, em entrevista ao GLOBO.
A ativista esteve no Brasil em maio para participar do Festival 3i, que aconteceu no Rio de Janeiro. A conselheira da Anistia avalia que há uma mobilização crescente entre organizações de direitos humanos diante de riscos sociais da inteligência artificial que já estão em curto. Um dos maiores obstáculos, segundo ela, é romper com a narrativa dominante que enxerga a inteligência artificial como sinônimo de progresso neutro e infalível.
Por que a Anistia decidiu criar uma equipe dedicada à inteligência artificial?
Uma das razões centrais foi a necessidade de investigar a automação no setor público. Ou seja, como os governos ao redor do mundo estão usando ferramentas de inteligência artificial para tomar decisões sobre as pessoas. Um caso que teve influência-chave para criação do grupo foi o escândalo dos benefícios infantis na Holanda. Um sistema automatizado saiu completamente do controle e começou a rotular pessoas inocentes como fraudadoras. Mas também passamos a atuar com armas autônomas, tecnologia de reconhecimento facial e migração.
Desde então, a Anistia têm investigado problemas em automação de sistemas públicos de benefícios em diferentes países. O que têm encontrado?
Nós já investigamos problemas semelhantes na Dinamarca, que levou a publicação do relatório Coded Injustice (“Injustiça Codificada”, em português). Descobrimos que os sistemas de tomada de decisão para identificar fraudes na verdade estava gerando discriminação de pessoas já marginalizadas. A cidadania, por exemplo, era usada como um dos parâmetros para identificar fraudadores. Também investigamos o sistema de seguridade social da Suécia e da França. E, mais uma vez, encontramos padrões semelhante de discriminação.
É um risco concentrado na Europa?
Não. Fizemos uma investigação sobre sistema semelhante usado no estado de Telangana, na Índia. Estamos apurando com mais profundidade em quais contextos isso está ocorrendo, mas definitivamente é um fenômeno global. E vale destacar que não estamos falando só de big techs oferecendo esses serviços de automação, mas também de empresas menores, responsáveis por codificação, desenvolvimento de software e que atuam diretamente com autoridades públicas. Isso levanta também a questão da privatização da seguridade social. A autoridade de bem-estar é um órgão público. Será que devemos realmente dar tanto poder e acesso ao setor privado para decidir quem merece receber algo?
Vocês estão alertando também sobre o uso de inteligência artificial no contexto anti-imigação. O que muda com esses sistemas?
O que acontece é que uma enorme quantidade de dados é constantemente coletada sobre essas pessoas em um determinado país, o que leva a um aumento da vigilância e do monitoramento. E, se algo dá errado no sistema, é extremamente difícil ter acesso a recursos como apelações, reparações ou medidas corretivas. Não dá para ignorar também o papel do setor privado. Nos EUA, por exemplo, a principal empresa nesse setor é a Frontex. O risco é que esses sistemas beneficiem muito mais o modelo de negócios de empresas do que as pessoas que estão em situações de fragilidade.
Por que chamar a atenção para esses casos?
Porque isso afeta elas diretamente, certo? Esse é o ponto principal. E se a IA é usada por algum governo e gera um resultado negativo, é muito difícil contornar a burocracia para recorrer, buscar justiça e obter uma decisão justa sobre o que aconteceu. É um verdadeiro labirinto e pode ser extremamente desumanizante. O que temos observado é que, muitas vezes, os próprios assistentes sociais ou servidores públicos passam a acreditar somente na tecnologia.
Há uma preocupação crescente também sobre o uso de sistemas autônomos no contexto da guerra, como em Gaza. Qual é a responsabilidade das big techs nesse tipo de uso problemático da tecnologia?
Esses sistemas (de uso militar) têm operado, comprovadamente, como máquinas de assassinato em massa, o que é totalmente inaceitável. Nós fazemos parte de uma campanha chamada Ban Killer Robots (Proíbam os Robôs Assassinos), em que defendemos que sistemas como esses devem ser completamente proibidos e não utilizados. As empresas de tecnologia deveriam realizar processos de diligência prévia para garantir que os sistemas estejam em conformidade com os padrões de direitos humanos. Porque existem muitos problemas. Um deles é a transparência. Muitas dessas empresas operam com bastante opacidade e têm apoio e respaldo de governos.
Os EUA vêm adotando uma postura anti-regulação da IA. As normas para a tecnologia estão avançando na velocidade que deveriam?
Depois da volta de Trump, definitivamente não. E é muito interessante observar como as coisas mudam rapidamente. Até mesmo na União Europeia, agora, a desregulação virou tendência. Dizem que a regulação do AI Act (regulação europeia) é “rígida demais” e que gera dificuldades para as empresas. A agenda de desregulação e de entregar mais poder às empresas de tecnologia virou o novo normal. E isso é bastante preocupante. O que tentamos fazer com nossos esforços de advocacy é criar exemplos e mostrar ao mundo que é possível haver países com regulação de IA que respeite os direitos humanos.
As organizações de direitos humanos estão preparadas para lidar com esse tipo de pauta?
O maior desafio está nas narrativas. O tipo de discurso que tem dominado o mundo hoje é de que a IA vai aumentar a eficiência, que a sociedade será mais integrada e mais eficaz. O desafio que enfrentamos é confrontar essa narrativa mostrando que a IA não veio para nos salvar. Não diria que é um cenário apocalíptico, mas a IA já está nos causa danos reais. Talvez nem todos, mas alguém, em algum momento, vai ser vítima de viés ou discriminação por causa dessas ferramentas. É um problema multifacetado, mas definitivamente, sim, as organizações de direitos humanos estão se mobilizando nessa pauta.