Comparação da aplicação automatizada de regras de assistência social: sete sistemas documentados

Desde meados da década de 2010, governos de países ricos e de renda média automatizaram partes da aplicação das regras de assistência social: cruzamento de registros para detectar pagamentos excessivos, atribuição de pontuações de risco de fraude a pedidos e verificação da elegibilidade em registros nacionais. Sete desses sistemas estão agora excepcionalmente bem documentados porque tribunais, órgãos reguladores, parlamentos ou pesquisadores de direitos humanos os examinaram: o sistema de indicação de risco SyRI dos Países Baixos e o modelo de risco relativo aos benefícios de assistência infantil, o sistema de seguro-desemprego MiDAS de Michigan, o Robodebt da Austrália, os modelos de controle de fraude da Udbetaling Danmark da Dinamarca, o modelo de adiantamentos do crédito universal do Departamento de Trabalho e Pensões (DWP) do Reino Unido e o registro Social Card da Sérvia. Este estudo os compara segundo um conjunto comum de dimensões — o que o sistema fazia, quais dados usava, qual papel cabia aos seres humanos, quão transparente era, como suas decisões podiam ser contestadas e como terminou — para identificar quais padrões de falha se repetem e quais salvaguardas são respaldadas pelas evidências.

Principais conclusões

• Dois tipos distintos de sistema costumam ser agrupados. A automação de decisões (MiDAS, Robodebt e, na prática, o registro sérvio) produziu diretamente decisões desfavoráveis; a seleção por risco (SyRI, o modelo neerlandês de benefícios de assistência infantil, o sistema dinamarquês e o modelo do DWP) escolheu quem investigar. O primeiro tipo falha ao tomar decisões erradas em grande escala; o segundo, ao determinar quem é submetido a escrutínio.
• Os danos mais graves documentados decorreram da automação de decisões com inversão do ônus da prova. Uma análise citada pela IEEE Spectrum concluiu que o MiDAS julgou 40,195 casos de fraude exclusivamente por algoritmo, 85% deles incorretamente; o Robodebt cobrou cerca de US$ 1.73 billion em dívidas ilegais de aproximadamente 433,000 pessoas.
• Os sistemas de seleção falham por causa de variáveis substitutas. Nacionalidade (Países Baixos), «vínculo com o exterior» e padrões «incomuns» de composição familiar (Dinamarca), direcionamento por bairro (SyRI) e disparidades associadas a idade, deficiência, estado civil e nacionalidade (Reino Unido) são recorrentes. Nenhum dos sistemas de seleção publicou taxas de erro validadas por grupo.
• «Uma pessoa toma a decisão final» não protegeu as pessoas. Os funcionários neerlandeses não eram informados do motivo pelo qual um pedido recebia uma pontuação alta; assistentes sociais sérvios diziam aos requerentes «foi o novo sistema de Belgrado que decidiu»; o DWP recorreu às decisões dos responsáveis pelos casos para julgar seu modelo proporcional, antes de sua própria análise de equidade identificar disparidades.
• Os sistemas foram interrompidos por instituições externas, não por avaliações internas. Tribunais (SyRI em 2020; litígios sobre o Robodebt em 2019–2021), uma autoridade de proteção de dados (Países Baixos), uma investigação parlamentar e apurações de ONGs e jornalistas fizeram esse trabalho.
• As condições recorrentes que viabilizam esses sistemas são políticas e jurídicas: metas de economia, retórica sobre fraude, leis sem cláusulas de proteção para situações de vulnerabilidade, sigilo justificado pelo receio de «manipulação» e recursos individuais fracos ou lentos.

Pergunta de pesquisa e escopo

A pergunta é: entre os casos bem documentados de aplicação automatizada das regras de assistência social, quais características de concepção e condições institucionais estão associadas a danos graves, e quais salvaguardas funcionaram de fato?

Seleção dos casos. Foram incluídos casos em que um órgão externo com autoridade — um tribunal, regulador, inquérito parlamentar ou comissão real — ou uma investigação publicada e detalhada, baseada em documentos oficiais, examinou o sistema. Isso favorece os escândalos e não constitui uma amostra aleatória de algoritmos de assistência social; a maioria dos sistemas em uso nunca foi examinada. A OCDE informou em 2026 que apenas 10 dos 36 países da OCDE medem o impacto de algum caso de uso de IA governamental, pelo que não é possível avaliar a maioria que não foi examinada.

Dimensões. Cada caso é comparado quanto à função, aos dados, ao papel humano, à transparência, à via de contestação, ao resultado e ao órgão que o interrompeu ou expôs.

Contexto

Por que a fiscalização da assistência social é automatizada

Os benefícios sujeitos a condição de recursos geram grandes volumes de dados factuais, pequenos e verificáveis — rendimentos, composição do agregado familiar, residência — mantidos em diferentes bases de dados. O cruzamento desses dados é barato, e os governos enfrentam pressão política persistente em torno da fraude e do erro. O DWP do Reino Unido, por exemplo, justificou o seu modelo como parte dos esforços para reduzir os estimados £8 bilhões por ano perdidos com fraude e erro, segundo a reportagem do Guardian. No entanto, a Comissão Real australiana sobre o Robodebt ouviu provas de que «a fraude no sistema de assistência social era insignificante» e alertou que «a retórica contra a assistência social é um populismo fácil». A diferença entre a fraude percebida e a medida é um fator recorrente.

Um padrão mais antigo

Estes sistemas fazem parte de uma história mais longa. Automating Inequality (2018), de Virginia Eubanks, documentou como a automatização da elegibilidade, os modelos de risco e os registos nos EUA direcionaram o escrutínio para os agregados familiares pobres; os casos abaixo são as suas contrapartidas europeias e australianas, agora com registos jurídicos mais sólidos.

Método e fontes

As provas provêm de documentos jurídicos e regulatórios primários, quando disponíveis — a decisão do Tribunal Distrital de Haia sobre o SyRI e a intervenção amicus curiae do Relator Especial da ONU nesse caso, os comunicados do Procurador-Geral do Michigan sobre o acordo no caso Bauserman, as conclusões da Autoridade Neerlandesa de Proteção de Dados e o inquérito parlamentar neerlandês — e de investigações detalhadas baseadas em documentos oficiais: os relatórios da Amnesty International sobre a Dinamarca (2024) e a Sérvia (2023), a reportagem do Guardian sobre uma análise de equidade do DWP divulgada ao abrigo da legislação de liberdade de informação, o relato da IEEE Spectrum sobre o MiDAS e reportagens sobre o Tribunal Federal australiano e a Comissão Real. Para a análise da supervisão humana, são utilizados dois trabalhos revistos por pares: as experiências de Alon-Barkat e Busuioc (2023) e a análise de políticas públicas de Green (2022).

Limitações. Os relatórios de ONG são documentos de advocacy; as suas descrições factuais baseiam-se em registos oficiais obtidos ao abrigo de leis de acesso à informação, mas as suas conclusões jurídicas são contestadas pelos governos em causa (a Udbetaling Danmark da Dinamarca, por exemplo, rejeita a opinião da Amnesty de que os seus modelos constituem pontuação social proibida). A análise de equidade do DWP foi divulgada com partes importantes censuradas. Os números de erros do MiDAS provêm de uma análise relatada numa revista técnica, e não de uma decisão judicial. Não existem métricas de resultados comparáveis — falsos positivos, sanções indevidas, montantes recuperados — entre os casos.

Constatação 1: o que os sistemas faziam

Automatização de decisões

MiDAS. Um relato da IEEE Spectrum de 2018 informa que mais de 34.000 pessoas foram acusadas injustamente de fraude no seguro-desemprego em Michigan entre outubro de 2013 e setembro de 2015, e que uma análise concluiu que o MiDAS «julgou — apenas por algoritmo — 40,195 casos de fraude, com 85 por cento resultando em determinações de fraude incorretas». As penalidades eram severas — uma multa de 400% do valor reclamado, penhora de salários e retenção de reembolsos fiscais — e os advogados notaram um aumento de recursos bem-sucedidos antes de descobrirem que muitas acusações haviam sido geradas «sem qualquer intervenção humana ou possibilidade de revisão da acusação». Os requerentes processaram o estado em 2015 em Bauserman v. Unemployment Insurance Agency; depois de a Suprema Corte de Michigan ter decidido, em 2019, que a ação coletiva se limitava às pessoas de quem o dinheiro fora cobrado pela primeira vez em ou após 9 de março de 2015, e, em julho de 2022, que elas poderiam pedir indenização com base na constituição estadual, o estado concordou com um acordo de US$ 20 milhões, aprovado pelo Tribunal de Reclamações de Michigan em 29 de janeiro de 2024.

Robodebt. O Robodebt calculava dívidas distribuindo a renda anual informada à repartição fiscal ao longo de períodos de duas semanas para as pessoas que não apresentavam comprovantes; o Tribunal Federal foi informado de que US$ 1,73 bilhão haviam sido cobrados ilegalmente de cerca de 433.000 pessoas, e US$ 751 milhões recuperados de cerca de 381.000. Consulte o estudo completo sobre o Robodebt.

Sérvia. O registo Social Card não decide formalmente a elegibilidade, mas a Amnistia Internacional concluiu que «introduz a tomada de decisões semiautomatizada» por meio de notificações de alerta que desencadeiam revisões urgentes. Dados do Governo indicavam 176,000 beneficiários em agosto de 2023, 35,000 a menos do que em março de 2022, quando a lei entrou em vigor — uma diminuição que coincidiu com o registo, embora a Amnistia observe que não são claros os números exatos de indeferimentos atribuíveis ao sistema.

Seleção de risco

SyRI. O Tribunal Distrital de Haia regista que, entre 2008 e 2014, foram executados 160 projetos de equipas de intervenção e que, em 19 dos 21 projetos concluídos, foi aplicada uma «abordagem orientada para o bairro». Depois de a Lei SUWI ter sido alterada, com efeitos a partir de 1 de janeiro de 2014, foram realizados cinco projetos SyRI, incluindo projetos em bairros de Roterdão, Capelle aan den IJssel e Haarlem. O Estado recusou divulgar o modelo de risco e os indicadores, argumentando que, caso contrário, os cidadãos poderiam adaptar o seu comportamento.

O modelo neerlandês de abono de família é analisado num estudo separado: a autoridade de proteção de dados concluiu que a nacionalidade era utilizada como indicador e multou a administração fiscal em €2.75 milhões em 2021.

Dinamarca. A Amnistia relata que a Udbetaling Danmark (criada por lei em 2012) e a empresa de pensões ATP, que administra as prestações em seu nome, gerem uma Unidade Conjunta de Dados que combina registos relativos a milhões de residentes e utiliza modelos de definição de perfis para gerar listas de pessoas assinaladas para investigação; em 2019, foi noticiado que a agência utilizava cerca de 60 modelos de IA e aprendizagem automática. Um modelo, «Model Abroad», avalia a «ligação ao estrangeiro» dos beneficiários e dá prioridade à investigação de pessoas com «laços de intensidade média e elevada» com países não pertencentes ao EEE.

Reino Unido. O Guardian noticiou, em dezembro de 2024, que uma «análise de equidade» do DWP, realizada em fevereiro de 2024, detetou uma «disparidade estatisticamente significativa nos resultados» do modelo de aprendizagem automática utilizado para analisar pedidos de adiantamento do Universal Credit, em função da idade, deficiência, estado civil e nacionalidade; ainda não tinha sido realizada qualquer análise de equidade relativamente à raça, sexo, orientação sexual, religião, gravidez ou redesignação de género.

Conclusão 2: indicadores indiretos e qualidade dos dados

Características protegidas e respetivos indicadores indiretos

O tribunal no caso SyRI concluiu que a utilização do modelo de risco «comporta o risco de ocorrência de efeitos discriminatórios — intencionais ou não» e assinalou o argumento dos requerentes de que a focalização em bairros problemáticos «aumenta as probabilidades de detetar irregularidades nessas zonas», o que «por sua vez confirma a imagem do bairro como uma zona problemática». O relatório da Amnistia sobre a Dinamarca aponta o mesmo problema relativamente às métricas comparativas: os «laços de intensidade média e elevada» são definidos em relação aos outros beneficiários, e não com base em critérios objetivos.

Dados de má qualidade como fundamento de uma decisão

A Sérvia demonstra que não são necessários modelos sofisticados para causar danos. A Amnistia documenta o caso de uma mulher que perdeu a assistência social em fevereiro de 2023, depois de um grupo de defesa dos direitos humanos lhe ter depositado um auxílio de 20,000 dinares para ajudar a pagar o funeral da filha, que o registo assinalou como rendimento; e o de famílias Roma que perderam a assistência porque carros vendidos para sucata anos antes continuavam registados em seu nome. O cálculo por médias do Robodebt assentava numa suposição igualmente simples. Em ambos os casos, o erro consistiu em tratar um artefacto dos dados como um facto sobre a vida de uma pessoa.

Conclusão 3: os limites da intervenção humana no circuito

A maioria destes sistemas mantinha uma pessoa em alguma fase do processo. Isso não impediu os danos:

• Sem motivos, sem juízo. A Amnistia relata que os funcionários públicos neerlandeses que analisavam pedidos de abono de família classificados como de alto risco «não recebiam qualquer informação sobre o motivo pelo qual o sistema atribuía ao pedido uma pontuação de alto risco».
• Deferência. Requerentes sérvios disseram à Amnistia que os assistentes sociais atribuíam as decisões ao «novo sistema» e afirmavam não poder sobrepor-se às notificações; «Não há nada que eu possa fazer, foi o novo sistema de Belgrado que decidiu» foi a resposta documentada com maior frequência.
• Garantia por formalidade. Em meados de 2024, o DWP tinha afirmado que o modelo «não suscitava quaisquer preocupações imediatas de discriminação», em parte porque «a decisão final sobre se uma pessoa recebe uma prestação social continua a ser tomada por um ser humano».

As evidências experimentais tornam mais complexas as explicações simplistas. Alon-Barkat e Busuioc realizaram três experiências nos Países Baixos (com 605, 904 e 1,345 participantes; a última recorreu a uma amostra de funcionários públicos). Não encontraram evidências de viés de automatização generalizado — os participantes não seguiram os conselhos algorítmicos mais do que conselhos equivalentes de especialistas humanos —, mas detetaram adesão seletiva: no segundo estudo, os participantes tinham maior probabilidade de seguir conselhos alinhados com estereótipos de grupo. Esse padrão não se verificou entre os funcionários públicos inquiridos pouco depois do escândalo dos abonos de família, algo que os autores atribuem a uma maior sensibilização. Ben Green argumenta, de forma mais abrangente, que as políticas que exigem supervisão humana dos algoritmos governamentais assentam numa premissa frágil — as pessoas não são boas a supervisionar algoritmos — e podem legitimar sistemas deficientes; propõe, em vez disso, que as agências justifiquem a utilização de algoritmos e que a supervisão seja institucional, e não individual.

Conclusão 4: como os sistemas foram expostos e interrompidos

Tribunais: SyRI como precedente principal

A decisão sobre SyRI é o resultado jurídico mais claro. O tribunal avaliou a legislação sobre SyRI à luz do Artigo 8.º, n.º 2, da Convenção Europeia dos Direitos Humanos, que exige um «justo equilíbrio» entre o interesse público atendido e a interferência na vida privada. Concluiu que a legislação «contém salvaguardas insuficientes para proteger o direito ao respeito pela vida privada em relação aos indicadores de risco e ao modelo de risco», que era impossível verificar como a «simples árvore de decisão» do modelo havia sido gerada e que, portanto, «é difícil compreender como uma pessoa a quem os dados dizem respeito poderia defender-se do fato de ter sido elaborado um relatório de risco a seu respeito». A transparência, em outras palavras, foi tratada como condição prévia para a possibilidade de contestação. O Relator Especial da ONU sobre pobreza extrema e direitos humanos, Philip Alston, havia apresentado um parecer amicus curiae em apoio à ação dos requerentes em 26 de setembro de 2019, e a decisão registra que os requerentes foram apoiados no processo pela federação sindical FNV e pelo Relator Especial (parágrafo 6.92).

Reguladores e inquéritos

Nos Países Baixos, foi a autoridade de proteção de dados que transformou um escândalo político numa constatação jurídica sobre o próprio modelo, e um inquérito parlamentar que impôs a responsabilização política. Na Austrália, em contrapartida, a Comissão Real concluiu que o Ombudsman, o comissário de informação e o Tribunal Administrativo de Recursos representaram pouco «obstáculo à continuidade do Programa»; foram o litígio e a mudança de governo que produziram resultados.

Recursos individuais

Os recursos individuais ajudaram pessoas, mas raramente interromperam sistemas. Em Michigan, os recursos bem-sucedidos foram o sinal que revelou o MiDAS. Na Sérvia, a Anistia Internacional documenta o caso de uma mulher que conseguiu a reintegração com assistência jurídica gratuita na segunda tentativa, após passar meses sem apoio. A Comissão Real sobre o Robodebt concluiu que o sistema de tribunais era ineficaz como mecanismo sistêmico de controle.

O que as evidências não demonstram

• Não demonstra que a aplicação automatizada da lei não possa funcionar. A correspondência de dados bem concebida pode reduzir os erros sem esses danos; esses sistemas raramente são objeto de decisões judiciais e, por isso, estão sub-representados aqui.
• Não demonstra que a aprendizagem automática seja o principal perigo. Os sistemas mais prejudiciais — MiDAS e Robodebt — baseavam-se em regras e cálculos aritméticos. A opacidade, as variáveis substitutas e a inversão do ónus da prova são mais importantes do que o tipo de modelo.
• Não fornece taxas de erro comparáveis. Apenas o MiDAS tem uma taxa de erro comunicada para decisões automatizadas, e esta provém de uma revisão relatada em segunda mão.
• Não resolve os casos dinamarquês e britânico. Ambos os governos contestam as conclusões dos críticos; o registo documental é parcial e foi censurado.
• Não demonstra que uma única salvaguarda seja suficiente. Em todos os casos, faltavam várias salvaguardas ao mesmo tempo.

Implicações para a conceção institucional

1. Nunca trate uma correspondência de dados ou uma pontuação como prova. As conclusões desfavoráveis devem exigir provas que satisfaçam um revisor independente; o ónus deve continuar a caber à autoridade.
2. Separe a seleção da sanção. Ser assinalado para verificação não deve suspender pagamentos nem atribuir rótulos sem provas independentes e sem oportunidade de resposta.
3. Publique os fundamentos do modelo e o seu perfil de erros. O SyRI mostra que os tribunais considerarão modelos não divulgados incompatíveis com a proteção jurídica. As preocupações com a possibilidade de «manipulação» podem ser abordadas divulgando a lógica e os resultados da validação sem revelar os limiares em vigor.
4. Teste a existência de variáveis substitutas, não apenas de atributos protegidos, e teste todas as características protegidas antes da implementação — o DWP tinha testado apenas algumas.
5. Dê aos revisores os fundamentos e a autoridade necessários. Um revisor humano precisa de conhecer os fatores que motivaram um alerta, de ter tempo para investigar e de dispor de poderes explícitos para o anular, além de formação para evitar a deferência.
6. Crie mecanismos de ativação sistémicos. Quando os recursos contra um sistema são bem-sucedidos a uma taxa invulgar, um provedor de justiça ou regulador deve poder suspender o sistema enquanto se aguarda uma revisão.
7. Contabilize o custo total. As avaliações devem contabilizar as dívidas indevidas, os reembolsos, o contencioso e as indemnizações, e não apenas os montantes recuperados.

Questões em aberto

• Quantos sistemas automatizados de aplicação das regras relativas às prestações sociais estão em uso sem qualquer análise externa, e de que modo os registos poderiam torná-los visíveis?
• O tratamento, no Regulamento da UE relativo à IA, do acesso a serviços públicos essenciais como de alto risco, e a proibição da classificação social, alterarão práticas como a da Dinamarca — e quem decidirá os litígios sobre a classificação?
• É possível tornar significativos os testes de equidade quando os governos ocultam os grupos afetados?
• As medidas corretivas sistémicas, como as ações coletivas e as coimas impostas pelos reguladores, dissuadem danos futuros ou servem sobretudo para compensar danos passados?
• Como seria um exemplo positivo de referência — um sistema automatizado de aplicação da lei com taxas de erro publicadas, dados sobre contestação e auditoria independente?

Fontes

1. Rechtbank Den Haag (2020). Judgment of 5 February 2020, NJCM et al. v The State of the Netherlands (SyRI), ECLI:NL:RBDHA:2020:1878.
2. Charette, R. N. (2018). Michigan's MiDAS Unemployment System: Algorithm Alchemy Created Lead, Not Gold. IEEE Spectrum, 24 de janeiro de 2018.
3. Turner, R. (2021). Robodebt condemned as a 'shameful chapter' in withering assessment by federal court judge. ABC News.
4. The Conversation (2023). Robodebt royal commissioner makes multiple referrals for prosecution, condemning scheme as 'crude and cruel'.
5. Autoriteit Persoonsgegevens (2021). Tax Administration fined for discriminatory and unlawful data processing.
6. Amnesty International (2021). Xenophobic machines, EUR 35/4686/2021.
7. Parlementaire ondervragingscommissie Kinderopvangtoeslag (2020). Ongekend onrecht.
8. Amnesty International (2024). Coded Injustice: Surveillance and Discrimination in Denmark's automated welfare state, EUR 18/8709/2024.
9. Booth, R. (2024). Revealed: bias found in AI system used to detect UK benefits fraud. The Guardian, 6 de dezembro de 2024.
10. Amnesty International (2023). Trapped by automation: Poverty and discrimination in Serbia's welfare state, EUR 70/7443/2023.
11. Alon-Barkat, S. and Busuioc, M. (2023). Human–AI Interactions in Public Sector Decision Making: "Automation Bias" and "Selective Adherence" to Algorithmic Advice. Journal of Public Administration Research and Theory 33(1): 153–169.
12. Green, B. (2022). The flaws of policies requiring human oversight of government algorithms. Computer Law & Security Review 45: 105681.
13. Eubanks, V. (2018). Automating Inequality: How High-Tech Tools Profile, Police, and Punish the Poor. Nova Iorque: St. Martin's Press.
14. Carney, T. (2019). Robo-debt illegality: The seven veils of failed guarantees of the rule of law? Alternative Law Journal 44(1): 4–10.
15. OECD (2026). Digital Government Outlook 2026. OECD Publishing, Paris.
16. Alston, P. (2019). Brief by the United Nations Special Rapporteur on extreme poverty and human rights as Amicus Curiae in the case of NJCM c.s./De Staat der Nederlanden (SyRI), 26 de setembro de 2019.
17. Michigan Department of Attorney General (2024). Class Action Settlement Approved by Court of Claims in Bauserman v. State of Michigan Unemployment Insurance Agency, 30 de janeiro de 2024.
18. Michigan Department of Attorney General (2022). State of Michigan Announces Settlement of Civil Rights Class Action Alleging False Accusations of Unemployment Fraud, 20 de outubro de 2022.