Algocracia

Algocracia (governo por algoritmo) descreve sistemas nos quais o software, em vez de uma cadeia hierárquica de comando ou de regras escritas aplicadas por seres humanos, organiza e restringe o comportamento. Uma regra deixa de ser algo que um funcionário interpreta; ela passa a estar incorporada no código que determina quais opções estão disponíveis, que dados são coletados e qual resultado se segue.

O termo foi cunhado pelo sociólogo A. Aneesh para descrever como o trabalho com software distribuído globalmente era controlado por meio de plataformas de programação, em vez de supervisão burocrática. Mais tarde, filósofos e juristas o utilizaram para a tomada de decisões públicas: elegibilidade para benefícios sociais, detecção de fraudes, policiamento, imigração, fiscalização tributária e alocação de serviços públicos.

A algocracia difere da tecnocracia. Tecnocracia é o governo por especialistas humanos; algocracia é o governo por meio de sistemas cuja lógica pode ser opaca até mesmo para aqueles que os implementam. Ela difere da IA no governo quanto à ênfase: a preocupação não é a tecnologia em si, mas a mudança na forma como a autoridade é exercida e contestada.

Aneesh: da burocracia ao código

Aneesh contrastou três modos de organização: burocrático (regras e hierarquia), panóptico (visibilidade e vigilância) e algocrático (ambientes programados que moldam diretamente a ação). Em um sistema algocrático, um trabalhador ou cidadão não obedece a uma regra; simplesmente não consegue fazer nada que o sistema não permita. O controle está incorporado na arquitetura.

Danaher: a ameaça da algocracia

John Danaher argumentou que os sistemas algorítmicos de tomada de decisão ameaçam a legitimidade das decisões públicas. Segundo muitas concepções, procedimentos legítimos exigem que as pessoas afetadas possam compreender e participar do raciocínio que fundamenta as decisões. Se os algoritmos se tornarem mais precisos do que os seres humanos, mas menos compreensíveis, as sociedades enfrentarão um dilema: aceitar decisões opacas, porém melhores, ou insistir em decisões compreensíveis, porém piores. Danaher examinou estratégias de resistência e acomodação, incluindo a supervisão humana e o aprimoramento da compreensão humana, e duvidou que qualquer uma delas resolva plenamente o problema.

Regulação algorítmica

Karen Yeung definiu a regulação algorítmica como sistemas de tomada de decisão que regulam um domínio de atividade gerando e analisando dados continuamente para gerir riscos ou alterar comportamentos. Ela distinguiu sistemas reativos e preventivos e mostrou como eles deslocam a regulação das regras para o feedback em tempo real, muitas vezes sem as garantias processuais do direito administrativo.

O código é lei

O argumento de Lawrence Lessig de que a arquitetura do software regula tanto quanto a lei é um precursor: se o «código» do ciberespaço determina o que é possível, aqueles que o escrevem exercem uma forma de governança. Projetos de blockchain levam essa ideia adiante ao tratar contratos inteligentes como regras autoexecutáveis.

• Países Baixos, SyRI: o Sistema de Indicação de Risco do governo neerlandês vinculava bases de dados para sinalizar pessoas para investigação por fraude na assistência social. Em 5 de fevereiro de 2020, o Tribunal Distrital da Haia decidiu que a legislação que o autorizava violava o artigo 8.º da Convenção Europeia dos Direitos Humanos (respeito pela vida privada), citando transparência e salvaguardas insuficientes.
• Países Baixos, benefícios de assistência à infância: um relatório de inquérito parlamentar, Ongekend onrecht ("Injustiça sem precedentes", dezembro de 2020), concluiu que a administração tributária havia tratado indevidamente milhares de pais como fraudadores, utilizando a nacionalidade na avaliação de risco; o terceiro gabinete Rutte renunciou em janeiro de 2021.
• Austrália, Robodebt: de cerca de julho de 2015 a novembro de 2019, um programa automatizado calculava a média anual dos dados fiscais para cobrar dívidas de assistência social. Numa ação coletiva, a Commonwealth reconheceu que as dívidas baseadas exclusivamente na média dos rendimentos não tinham fundamento jurídico adequado, e o Tribunal Federal aprovou um acordo de $112 milhões em 11 de junho de 2021 (Prygodicz v Commonwealth (No 2) [2021] FCA 634). Uma Comissão Real apresentou o seu relatório em 7 de julho de 2023, com conclusões severas sobre a conceção e a administração do programa.
• Estados Unidos: Virginia Eubanks documentou sistemas automatizados de verificação de elegibilidade e de avaliação de risco para a proteção infantil em Indiana, Los Angeles e no condado de Allegheny, argumentando que concentram a vigilância sobre os pobres.
• Albânia: em 2025, o governo apresentou um sistema de IA chamado Diella como uma "ministra" das compras públicas, uma afirmação simbólica que demonstra como a autoridade algorítmica é agora enquadrada politicamente.
• Regulamentação: o Regulamento da União Europeia sobre Inteligência Artificial (Regulamento (UE) 2024/1689) classifica como de alto risco os sistemas de IA utilizados para avaliar a elegibilidade a benefícios e serviços públicos, exigindo gestão de riscos, supervisão humana e documentação.

• Novidade exagerada: as burocracias sempre utilizaram formulários, pontuações e listas de verificação; os críticos argumentam que a algocracia representa uma intensificação da administração baseada em regras, e não um novo regime.
• A precisão não é neutralidade: os dados de treinamento codificam decisões passadas, pelo que os sistemas podem reproduzir a discriminação mesmo sem utilizar atributos protegidos como dados de entrada.
• Viés de automação: os revisores humanos tendem a acatar os resultados das máquinas, pelo que as salvaguardas de "intervenção humana no processo" podem ser meramente nominais.
• Erros em larga escala: uma regra defeituosa aplicada automaticamente gera erros em massa antes que alguém os perceba, como demonstrou o Robodebt.
• Possibilidade de contestação: as pessoas afetadas muitas vezes não conseguem ver os dados ou a lógica utilizados contra elas, o que prejudica os direitos de recurso.
• Argumento otimista: os defensores argumentam que algoritmos transparentes e auditados podem ser mais consistentes e menos enviesados do que funcionários com poder discricionário, e que a comparação adequada é com decisões humanas falhas, não com um ideal.

As evidências da administração da assistência social e dos impostos mostram que os sistemas algocráticos podem causar danos em larga escala quando combinam lógica opaca, salvaguardas jurídicas frágeis e uma presunção de fraude. Tribunais e legislaturas começaram a responder com direitos à explicação e à revisão humana, avaliações de impacto e regulamentação baseada no risco. A possibilidade de conferir legitimidade à algocracia depende de escolhas de conceção que são políticas, não técnicas: o que é automatizado, quem pode auditar o sistema, como os erros são corrigidos e quem arca com o custo das falhas.

• John Danaher, "The Threat of Algocracy" (2016)
• A. Aneesh, "Global Labor: Algocratic Modes of Organization" (2009)
• Karen Yeung, "Algorithmic regulation: A critical interrogation" (2018)
• EU Artificial Intelligence Act, Regulation (EU) 2024/1689
• Virginia Eubanks, Automating Inequality (St. Martin's Press, 2018)
• Report of the Royal Commission into the Robodebt Scheme (2023)
• [Prygodicz v Commonwealth (No 2) [2021] FCA 634](https://www.judgments.fedcourt.gov.au/judgments/Judgments/fca/single/2021/2021fca0634)