算法统治

算法统治（由算法统治）描述的是这样一种系统：软件而非层级式指挥或由人执行的成文规则，组织并约束行为。规则不再是由官员解释的东西，而是嵌入代码之中，由代码决定哪些选项可用、收集哪些数据，以及会产生什么结果。

社会学家 A. Aneesh 创造了这一术语，用以描述全球分布式软件工作如何通过编程平台而非官僚监督进行管理。此后，哲学家和法学学者将其用于公共决策领域：福利资格认定、欺诈检测、警务、移民、税收执法以及公共服务的分配。

算法统治不同于技术官僚统治。技术官僚统治是由人类专家统治；算法统治则是通过其逻辑可能连部署者都难以理解的系统实施统治。它与政府中的人工智能也有所不同：关注点并非技术本身，而是权力行使和争议方式的转变。

Aneesh：从官僚制到代码

Aneesh 对比了三种组织模式：官僚制（规则与层级）、全景敞视制（可见性与监控）和算法统治（直接塑造行动的程序化环境）。在算法统治系统中，劳动者或公民并非服从某项规则；他们只是无法做出系统不允许的任何事情。控制被建构在系统架构之中。

Danaher：算法统治的威胁

John Danaher 认为，算法决策系统威胁着公共决策的正当性。按照许多观点，正当程序要求受决策影响者能够理解并参与决策背后的推理。如果算法变得比人类更准确，却更难理解，社会便面临两难：接受不透明但更好的决策，还是坚持可理解但较差的决策。Danaher 考察了抵制和适应的策略，包括人类监督以及增进人类理解，并怀疑任何策略都能彻底解决这一问题。

算法监管

Karen Yeung 将算法监管定义为这样一种决策系统：通过持续生成和检索数据来管理风险或改变行为，从而监管某一活动领域。她区分了反应式与先发式系统，并指出这类系统如何将监管从规则转向实时反馈，而且往往缺少行政法所规定的程序保障。

代码即法律

Lawrence Lessig 关于软件架构与法律一样具有监管作用的论点，是这一思想的先声：如果网络空间的“代码”决定了什么是可能的，那么编写代码的人便行使着一种治理形式。区块链项目更进一步，将智能合约视为自动执行的规则。

• 荷兰，SyRI：荷兰政府的“系统风险指示”（System Risk Indication）将多个数据库关联起来，以标记可能需要接受福利欺诈调查的人员。2020年2月5日，海牙地方法院裁定，授权使用该系统的法律违反《欧洲人权公约》第8条（尊重私人生活），理由是透明度和保障措施不足。
• 荷兰，儿童保育津贴：议会调查报告 Ongekend onrecht（“前所未有的不公”，2020年12月）认定，税务机关错误地将数千名家长视为欺诈者，并在风险评估中使用国籍信息；第三届吕特内阁于2021年1月辞职。
• 澳大利亚，Robodebt：约从2015年7月至2019年11月，一项自动化计划通过对年度税务数据取平均值来追讨福利债务。在一项集体诉讼中，联邦政府承认，仅依据收入平均值计算的债务缺乏适当的法律依据；联邦法院于2021年6月11日批准了1.12亿澳元的和解方案（Prygodicz v Commonwealth (No 2) [2021] FCA 634）。皇家委员会于2023年7月7日提交报告，对该计划的设计和管理作出了严厉认定。
• 美国：弗吉尼亚·尤班克斯记录了印第安纳州、洛杉矶和阿勒格尼县的自动化资格审查系统和儿童福利风险系统，并指出这些系统将监控集中在穷人身上。
• 阿尔巴尼亚：政府于2025年将一个名为 Diella 的人工智能系统称为负责公共采购的“部长”；这一象征性说法表明，算法权威如今已成为政治话语的一部分。
• 监管：欧盟《人工智能法案》（《条例》（EU）2024/1689）将用于评估公共福利和服务资格的人工智能系统归类为高风险系统，要求进行风险管理、实施人工监督并留存文档。

• 新颖性被夸大：官僚机构一直以来都使用表格、评分和清单；批评者认为，算法统治是规则化行政的强化，而非一种新制度。
• 准确性不等于中立：训练数据编码了过去的决策，因此即使不将受保护属性作为输入，系统仍可能复制歧视。
• 自动化偏见：人工审核者往往倾向于服从机器输出，因此“人在回路中”的保障措施可能只是名义上的。
• 大规模错误：一项有缺陷的规则一旦自动应用，就会在有人察觉之前造成大量错误，Robodebt 已经表明了这一点。
• 可争议性：受影响者往往无法看到用于对付自己的数据或逻辑，这削弱了他们的上诉权。
• 乐观观点：支持者认为，透明且经过审计的算法可以比拥有自由裁量权的官员更一致、偏见更少；合理的比较对象应当是存在缺陷的人类决策，而非理想状态。

来自福利和税务管理领域的证据表明，当算法统治系统将不透明的逻辑、薄弱的法律保障和对欺诈的预设结合起来时，可能造成大规模损害。法院和立法机构已开始通过解释权和人工复核权、影响评估以及基于风险的监管作出回应。算法统治能否获得正当性，取决于政治而非技术层面的设计选择：哪些事项实现自动化、谁有权审计、如何纠正错误，以及由谁承担失误的代价。

• John Danaher, "The Threat of Algocracy" (2016)
• A. Aneesh, "Global Labor: Algocratic Modes of Organization" (2009)
• Karen Yeung, "Algorithmic regulation: A critical interrogation" (2018)
• EU Artificial Intelligence Act, Regulation (EU) 2024/1689
• Virginia Eubanks, Automating Inequality (St. Martin's Press, 2018)
• Report of the Royal Commission into the Robodebt Scheme (2023)
• [Prygodicz v Commonwealth (No 2) [2021] FCA 634](https://www.judgments.fedcourt.gov.au/judgments/Judgments/fca/single/2021/2021fca0634)