Algocracia

La algocracia (gobierno mediante algoritmos) describe sistemas en los que el software, en lugar de las órdenes jerárquicas o de las normas escritas aplicadas por personas, organiza y restringe el comportamiento. Una norma deja de ser algo que interpreta un funcionario; queda incorporada en código que determina qué opciones están disponibles, qué datos se recopilan y qué resultado se produce.

El sociólogo A. Aneesh acuñó el término para describir cómo el trabajo de software distribuido globalmente se controlaba mediante plataformas de programación en lugar de mediante supervisión burocrática. Más tarde, filósofos y juristas lo aplicaron a la toma de decisiones públicas: la elegibilidad para prestaciones sociales, la detección del fraude, la actuación policial, la inmigración, la aplicación de la normativa tributaria y la asignación de servicios públicos.

La algocracia difiere de la tecnocracia. La tecnocracia es el gobierno de expertos humanos; la algocracia es el gobierno a través de sistemas cuya lógica puede ser opaca incluso para quienes los implementan. Difiere de la IA en el gobierno por el énfasis: la preocupación no es la tecnología en sí, sino el cambio en la forma de ejercer y disputar la autoridad.

Aneesh: de la burocracia al código

Aneesh contrastó tres modos de organización: burocrático (normas y jerarquía), panóptico (visibilidad y vigilancia) y algocrático (entornos programados que moldean directamente la acción). En un sistema algocrático, un trabajador o ciudadano no obedece una norma; simplemente no puede hacer nada que el sistema no permita. El control está integrado en la arquitectura.

Danaher: la amenaza de la algocracia

John Danaher sostuvo que los sistemas algorítmicos de toma de decisiones amenazan la legitimidad de las decisiones públicas. Según muchas concepciones, los procedimientos legítimos exigen que quienes se ven afectados puedan comprender y participar en el razonamiento que sustenta las decisiones. Si los algoritmos llegan a ser más precisos que las personas, pero menos comprensibles, las sociedades se enfrentan a un dilema: aceptar decisiones opacas pero mejores, o insistir en decisiones comprensibles pero peores. Danaher examinó estrategias de resistencia y adaptación, incluida la supervisión humana y el aumento de la comprensión humana, y dudó que alguna de ellas resuelva plenamente el problema.

Regulación algorítmica

Karen Yeung definió la regulación algorítmica como sistemas de toma de decisiones que regulan un ámbito de actividad mediante la generación y el análisis continuos de datos para gestionar riesgos o modificar comportamientos. Distinguió entre sistemas reactivos y preventivos, y mostró cómo desplazan la regulación desde las normas hacia la retroalimentación en tiempo real, a menudo sin las garantías procesales del derecho administrativo.

El código es ley

El argumento de Lawrence Lessig de que la arquitectura del software regula tanto como la ley es un antecedente: si el «código» del ciberespacio determina lo que es posible, quienes lo escriben ejercen una forma de gobernanza. Los proyectos de cadena de bloques llevan esta idea más lejos al tratar los contratos inteligentes como normas autoejecutables.

• Países Bajos, SyRI: el Sistema de Indicación de Riesgos del Gobierno neerlandés vinculó bases de datos para señalar a personas para que se investigaran por fraude en las prestaciones sociales. El 5 de febrero de 2020, el Tribunal de Distrito de La Haya determinó que la legislación que lo autorizaba infringía el artículo 8 del Convenio Europeo de Derechos Humanos (respeto de la vida privada), aludiendo a la falta de transparencia y de salvaguardias suficientes.
• Países Bajos, prestaciones por cuidado infantil: un informe de una comisión parlamentaria de investigación, Ongekend onrecht («Injusticia sin precedentes», diciembre de 2020), concluyó que la administración tributaria había tratado erróneamente a miles de padres como defraudadores y que se había utilizado la nacionalidad en la evaluación de riesgos; el tercer gabinete de Rutte dimitió en enero de 2021.
• Australia, Robodebt: desde aproximadamente julio de 2015 hasta noviembre de 2019, un sistema automatizado calculaba promedios anuales a partir de datos fiscales para determinar deudas por prestaciones sociales. En una demanda colectiva, la Commonwealth reconoció que las deudas basadas únicamente en promedios de ingresos carecían de fundamento jurídico adecuado, y el Tribunal Federal aprobó un acuerdo por valor de $112 million el 11 de junio de 2021 (Prygodicz v Commonwealth (No 2) [2021] FCA 634). Una Comisión Real presentó su informe el 7 de julio de 2023, con conclusiones muy severas sobre el diseño y la administración del sistema.
• Estados Unidos: Virginia Eubanks documentó sistemas automatizados de determinación de elegibilidad y de evaluación de riesgos para la protección infantil en Indiana, Los Ángeles y el condado de Allegheny, y sostuvo que concentran la vigilancia en las personas pobres.
• Albania: en 2025, el Gobierno presentó un sistema de IA llamado Diella como «ministra» de contratación pública, una afirmación simbólica que muestra cómo se enmarca ahora políticamente la autoridad algorítmica.
• Regulación: la Ley de Inteligencia Artificial de la UE (Reglamento (UE) 2024/1689) clasifica como de alto riesgo los sistemas de IA utilizados para evaluar la elegibilidad para prestaciones y servicios públicos, y exige gestión de riesgos, supervisión humana y documentación.

• Novedad exagerada: las burocracias siempre han utilizado formularios, puntuaciones y listas de verificación; los críticos sostienen que la algocracia es una intensificación de la administración basada en reglas, y no un régimen nuevo.
• La precisión no equivale a neutralidad: los datos de entrenamiento codifican decisiones pasadas, por lo que los sistemas pueden reproducir la discriminación incluso sin utilizar como datos de entrada atributos protegidos.
• Sesgo de automatización: los revisores humanos tienden a aceptar los resultados de las máquinas, por lo que las salvaguardias de «intervención humana» pueden ser meramente nominales.
• Errores a gran escala: una regla defectuosa aplicada automáticamente produce errores masivos antes de que alguien se dé cuenta, como demostró Robodebt.
• Posibilidad de impugnación: las personas afectadas a menudo no pueden ver los datos ni la lógica utilizados en su contra, lo que menoscaba el derecho a recurrir.
• Argumento optimista: sus defensores sostienen que los algoritmos transparentes y auditados pueden ser más coherentes y menos sesgados que los funcionarios que actúan con discrecionalidad, y que la comparación pertinente es con decisiones humanas defectuosas, no con un ideal.

Las pruebas procedentes de la administración de prestaciones sociales y de impuestos muestran que los sistemas algocráticos pueden causar daños a gran escala cuando combinan una lógica opaca, garantías jurídicas débiles y una presunción de fraude. Los tribunales y los órganos legislativos han comenzado a responder con derechos a recibir explicaciones y a una revisión humana, evaluaciones de impacto y regulación basada en el riesgo. La posibilidad de legitimar la algocracia depende de decisiones de diseño que son políticas, no técnicas: qué se automatiza, quién puede auditarlo, cómo se corrigen los errores y quién asume el coste de las equivocaciones.

• John Danaher, "The Threat of Algocracy" (2016)
• A. Aneesh, "Global Labor: Algocratic Modes of Organization" (2009)
• Karen Yeung, "Algorithmic regulation: A critical interrogation" (2018)
• EU Artificial Intelligence Act, Regulation (EU) 2024/1689
• Virginia Eubanks, Automating Inequality (St. Martin's Press, 2018)
• Report of the Royal Commission into the Robodebt Scheme (2023)
• [Prygodicz v Commonwealth (No 2) [2021] FCA 634](https://www.judgments.fedcourt.gov.au/judgments/Judgments/fca/single/2021/2021fca0634)