政府越来越多地使用算法评估风险、对申请进行分流并决定资格,但这些决定的正当性取决于受影响者是否接受这些决定。本研究回顾了有关这一问题的两类证据:关于“算法厌恶”和“算法欣赏”的行为实验,以及关于公共部门算法决策的调查实验和联合分析实验,并结合美国和英国的大型公众意见调查。现有证据不支持“人们会拒绝算法”这一简单论断。人们往往信任算法建议,有时甚至胜过人类建议,尤其是在被视为机械性的任务中,以及在他们本身并非专家时。但当算法是作出决定而非提供建议、决定涉及福利或司法等个人处境,且没有转由人类处理的途径时,支持率会大幅下降。各项研究中,最能持续提高接受度的因素包括申诉能力、有实质意义的人类参与、对个别决定作出解释、经证实的准确性,以及对部署该系统的组织的信任。在英国,公众对由AI决定福利资格的担忧比例从2022年的44%升至2024年的59%;认为申诉程序会让自己更安心的比例则从59%升至65%。
主要发现
- 厌恶与欣赏都确实存在;情境决定结果。 人们看到算法出错后,比看到人类出错后更快放弃使用算法(Dietvorst、Simmons和Massey),但非专业人士往往比起人类建议,更愿意采纳算法建议(Logg、Minson和Moore)。专家以及评估自己估算结果的人,对算法的欣赏程度较低。
- 提供建议比作出决定更容易被接受。 一项关于欧盟政策制定的预注册实验(n=572)发现,AI作为唯一决策者被视为不具正当性;而在人机混合决策的情形下,对其程序正当性和结果正当性的评价与现状无异(Starke和Lünich)。
- 个人和道德决策最容易引发抵制。 对于需要“人类技能”的任务,人们认为算法决策的公平性和可信度较低(Lee)。在美国,56%的人认为以犯罪风险评分决定假释不可接受,67-68%的人反对自动化视频面试分析和个人财务评分(Pew, 2018)。
- 申诉和人类参与最为重要。 在英国有关签证和停车许可的联合分析实验中,准确性、申诉制度、透明度、较低成本、不共享数据以及不由私营公司参与,均提高了接受度和感知公平性(Horváth及其同事)。在英国公众对提升其使用AI舒适度的因素所作的排序中,法律和监管(72%)以及申诉程序(65%)位居前列(Ada Lovelace Institute和Alan Turing Institute, 2024/25)。
- 解释有帮助,但开放代码并无助益。 解释作出决定的原因,比开放算法供人查阅更能提高信任;其效果因情境而异(Grimmelikhuijsen)。
- 部署者与部署的内容同样重要。 在德国,对预测性警务和癌症预测算法的接受度,与其说取决于算法测得的性能,不如说更多取决于人们对部署组织的信任以及问题的重要性(Wenzelburger及其同事)。
- 担忧正在上升。 在美国,对AI感到担忧多于兴奋的比例从2022年12月的38%升至2023年8月的52%;2024年,62%的美国成年人对政府有效监管AI缺乏信心或几乎没有信心(Pew)。
研究问题与范围
本研究提出的问题是:在什么条件下,人们会接受政府中由算法作出或辅助作出的决定?什么因素能增强此类决定的正当性?“接受”包括对人类与算法决策者的偏好、对公平性和信任的判断,以及对正当性的感知。本综述涵盖行为实验(主要涉及预测任务)、针对公共部门情境的调查实验和联合分析设计,以及大型代表性调查。研究重点关注美国和欧洲,几乎所有证据都来自这些地区;2022年的一项系统综述指出,关于公平性感知的证据“几乎完全来自西方民主制度背景”。
背景
欧洲和澳大利亚的两个失败案例构成了这场辩论的背景。在荷兰,一套用于儿童保育津贴的风险评分和欺诈检测制度错误地将数千个家庭视为诈骗者,并导致内阁于2021年1月辞职。在澳大利亚,自动化的“Robodebt”计划向福利领取者追缴了非法债务,皇家委员会于2023年对此作出认定。本图册的其他部分也记载了这两个案例。在英国,2020年疫情期间用于调整中学毕业成绩的算法,在公众抗议后被弃用。这些案例有着共同特征:涉及个人的重大利益决策、薄弱的申诉渠道,以及其逻辑未向受影响者说明的系统。
这场学术辩论有两个源头。自20世纪50年代保罗·米尔以来,心理学家已经表明,简单的统计规则往往比专家判断更善于预测,但人们抗拒使用这些规则,这种现象后来被称为“算法厌恶”。公共行政与合法性研究学者提出了另一个问题:关键不在于人们是否使用预测,而在于由算法作出或借助算法作出的决策是否正当。第二个问题源自程序正义理论。该理论认为,当人们认为程序公平、透明且受到尊重时,即便结果对自己不利,他们也会接受。
方法和来源
本文是对现有最有力证据的叙述性综述,依据研究设计质量及其与政府的相关性进行筛选。本文参考了两项关于算法厌恶的系统性综述(Burton、Stein和Jensen:61篇文章;Mahmud等人:80项研究)和一项关于公平感知的系统性综述(Starke、Baleis、Keller和Marcinkowski:58项研究);在欧洲和美国公共部门情境中开展的个别实验;皮尤研究中心的调查(2018、2023、2024);以及艾达·洛夫莱斯研究所和艾伦·图灵研究所针对英国公众开展的两轮调查(实地调查时间为2022年11月和2024年10月至11月)。经济合作与发展组织的《公共机构信任驱动因素调查》(2023年末在30个国家收集了近60,000份答复)为理解公众对政府的总体信任提供了背景。文中列出样本量和日期,以便读者判断证据的分量。
研究发现
厌恶与欣赏
Dietvorst、Simmons和Massey在五项研究中提出了“算法厌恶”一词。在这些研究中,参与者可以选择将自己的报酬与人类预测者或统计模型的预测挂钩。看过算法表现的参与者对它的信心较低,也较不愿意选择它,而非表现较差的人类预测者;“即便是那些看到算法表现优于人类的人也是如此”。其机制是一种不对称的宽容:看到同样的错误后,人们对算法失去信心的速度比对人类更快。
Logg、Minson和Moore在六项实验中发现了相反的结果:当普通人认为建议来自算法而非某个人时,他们更倾向于遵从建议;任务涉及从估算重量到预测歌曲受欢迎程度等不同内容。当人们在算法估算值和自己的估算值之间作选择时,这种欣赏有所减弱;在有经验的专业人士中也有所减弱,他们对算法建议的依赖程度低于普通人,代价是预测准确性下降。
两项系统综述对这些结果进行了整合。Burton、Stein 和 Jensen 回顾了1950年至2018年间的61篇同行评审文章,将厌恶情绪的成因归纳为预期与专业知识、决策自主权、激励、认知兼容性和不同的理性逻辑。Mahmud、Islam、Ahmed 和 Smolander 回顾了80项实证研究,将影响因素归纳为算法、个人、任务和高层因素,并指出任务因素和高层(社会与制度)因素研究不足。共同的启示是,厌恶情绪取决于具体条件:它取决于由谁作出判断、任务是什么,以及人们是否保有一定控制权。
调查证据也指向同一结论。Araujo、Helberger、Kruikemeier 和 de Vreese 在一项基于情境的调查实验中,向来自媒体、公共卫生和司法决策领域的958名全国样本受访者进行调查,发现受访者普遍担忧自动化决策的风险;在社会层面,他们对其公平性和实用性的看法不一,但在具体决策中,他们往往认为AI与人类专家不相上下,甚至更胜一筹。
在公共政策领域,Kennedy、Waggoner 和 Ward 针对政治事件预测和刑事再犯预测开展了实验。他们发现,“与此前有关算法厌恶的文献相反”,即便受试者对算法知之甚少,相较于其他建议来源,他们对算法的信任度仍然很高。一项联合实验显示,风险厌恶、训练数据的规模、人类参与决策环节以及开发者的声誉都会影响偏好。
谁来决策:混合决策与全自动决策的合法性
Starke 和 Lünich 在一项预注册在线实验(n=572)中比较了欧盟政策制定的三种安排:仅由政治人物决策、仅由AI决策,以及政治人物与AI协同工作。现行安排在参与性和可及性(输入合法性)方面评价最高。在过程(过程合法性)和结果(产出合法性)方面,现状与混合安排之间没有差异,但受访者认为由AI单独决策不具合法性。这一发现对制度设计十分重要:人们鲜明地区分了AI作为负有问责义务的官员的工具,与AI取代这些官员这两种情形。
Ingrams、Kaufmann 和 Jacobs 在一项税务审计调查实验中得出了相关结论:由AI主导的决策被认为比由人类作出的决策官僚主义色彩更低,但可信度也更低。效率与信任可能朝相反方向变化。
Lee 关于管理决策的实验说明了任务类型为何重要。对于排班等“机械性”任务,人们认为算法决策与人类决策同样公平、可信。对于招聘和评估等需要“人类技能”的任务,人们则认为算法决策不那么公平、可信,也会引发更多负面情绪;这被归因于算法被认为缺乏直觉,以及“被机器评估所带来的非人化体验”。Binns 及其同事发现,参与者对算法决策的正义感所涉及的维度,与对人类决策的正义感所涉及的维度相同;他们担忧任意性、泛化和尊严问题。这些担忧可用该论文标题中的一句话概括:“这是把一个人简化成一个百分比。”
并非所有人都更倾向于由人来决策。Miller 和 Keiser 在一项美国调查实验中发现,当被告知警察机构缺乏被动代表性时,黑人受访者认为自动化决策比警察更公平,也更偏好自动化决策;白人受访者则未呈现这一模式。当人们不信任人类决策者时,自动化可能显得更好。
哪些因素会提高接受度
| 设计特征 | 证据 | 影响方向 |
|---|---|---|
| 可向人工申诉 | 英国关于许可证的联合分析实验(Horváth 等人);英国调查排名(2022/23 年为 59%,2024/25 年为 65%) | 显著正向 |
| 有实质意义的人工参与 | 联合分析实验(Horváth 等人;Kennedy 等人);英国调查(44% 升至 55%) | 正向,不过在低风险的停车案例中,受访者并不偏好过多的人工裁量 |
| 解释个别决策 | 调查实验(Grimmelikhuijsen);英国调查(61% 希望了解针对自己的决策是如何作出的) | 正向;影响强于开放算法本身 |
| 经证实的准确性 | 联合分析实验(Horváth 等人) | 正向,但在德国的影响弱于情境因素(Wenzelburger 等人) |
| 不共享数据、不涉及私营公司 | 联合分析实验(Horváth 等人);83% 的英国受访者担心公共机构与私营公司共享数据以训练 AI | 正向 |
| 对部署机构的信任 | 调查(Wenzelburger 等人) | 显著正向 |
| 法律和监管机构批准 | 英国调查(法律:62% 升至 72%;监管机构批准:38% 升至 56%) | 正向且持续上升 |
Horváth、James、Banducci 和 Beduschi 在英国开展了一项预注册的联合分析实验,考察 AI 处理移民签证和停车许可证申请的情形。更多人工参与往往会提高接受度,但对感知公平性的影响较小;而在停车案例中引入大量人工裁量时,受访者更偏好有限的人工参与。人工参与对抵消 AI 的不利属性作用不大。相比之下,“高准确性、设有申诉机制、提高透明度、降低成本、不共享数据以及不涉及私营公司”,均提高了接受度和对程序公平性的感知。
Grimmelikhuijsen 在签证申请被拒和涉嫌福利欺诈这两种情境中,测试了透明度的两个要素:可访问性(能够查看算法)和可解释性(获知作出决策的原因)。与可访问性相比,可解释性对信任的影响更为显著;透明度会影响人们对人工决策者和算法的信任;而且,这些影响在两种情境下并不稳健。仅有“可访问性”层面的透明度并不足够。
Wenzelburger、König、Felfeli 和 Achtziger 对来自具有代表性的德国在线面板的 2,661 名受访者进行了调查,主题涉及预测性警务和皮肤癌预测。接受度“主要受”问题对个人的重要性以及对部署算法的机构的信任所影响;算法的客观性能重要性则低得多。
公众怎么说:大型调查
美国。 Pew于2018年对4,594名成年人开展的调查发现,58%认为计算机程序总会体现某种人类偏见。对于四种情景中的三种,多数受访者认为不可接受:自动化个人财务评分(68%认为不可接受)、自动分析求职面试视频(67%),以及用于假释决定的犯罪风险评估(56%认为不可接受,42%认为可以接受);41%认为自动筛选简历可以接受。Pew于2023年8月对11,201名成年人开展的调查发现,52%的人对日常生活中的人工智能感到担忧多于兴奋,高于2022年12月的38%。2024年8月,在5,410名成年人中,51%的人对人工智能感到担忧多于兴奋,62%的人对政府能否有效监管人工智能信心不足或毫无信心,55%的人希望对人工智能在其生活中的使用拥有更多控制权。
英国。 Ada Lovelace Institute和Alan Turing Institute的调查是关于公共部门用途最详尽的资料来源。
| 指标 | 2022/23(n=4,010,英国大不列颠) | 2024/25(n=3,513,英国) |
|---|---|---|
| 认为人工智能评估福利资格有益 | 46% | 47% |
| 对人工智能评估福利资格感到担忧 | 44% | 59% |
| 认为警方使用面部识别有益 | 86% | 91% |
| 法律和监管会提高接受度 | 62% | 72% |
| 明确规定向人工提出申诉的程序会提高接受度 | 59% | 65% |
| 更多的人类参与会提高接受度 | 44% | 55% |
| 监管机构批准会提高接受度 | 38% | 56% |
在2024/25年,63%的人表示不愿接受人工智能作出影响其生活的决定;62%的人表示,人工智能作出的决定应始终附有解释(其中37%希望由人类作出并解释决定);黑人及英国黑人受访者中,71%对人工智能评估福利资格感到担忧,而全国总体比例为59%;50%的人认为,在有关人工智能影响其生活的决策中,他们的观点没有得到体现。在2022/23年,对于谁应确保人工智能得到安全使用,独立监管机构是最受欢迎的选择(41%);在2024/25年,受访者最多可选择三个选项,58%选择了独立监管机构。
警方使用面部识别(91%认为有益)与福利资格评估(47%认为有益)之间的反差很有启发性。受访者似乎更能接受被视为针对他人或作为官员工具的人工智能,而不接受由其决定自身权益的人工智能。
证据未能说明什么
- 实际决策之后的行为。 大多数研究采用假设情景。关于实际收到自动化决定(例如福利申请被拒)的人如何判断其正当性、是否遵从或提出申诉,证据寥寥。
- 长期影响。 调查显示,自2022年以来担忧有所上升,但无法区分人们对政府使用人工智能的反应、对生成式人工智能普遍存在的反应,以及对新闻事件的反应。
- 保障措施在实际应用中的因果效应。 联合分析实验表明,申诉渠道和解释会提高受访者表述的接受度;但在实际服务中引入这些措施是否会提高信任,尚未通过现场实验检验。
- 全球普遍性。 现有证据绝大多数来自美国和西欧。
- 接受度的质量。 正如认同度研究文献和面部识别数据所表明的,人们可能会接受他们本不应接受的系统。高接受度并不证明系统公平。
对制度设计的启示
- 对于影响重大的个体决策,保留人类决策者,并将算法呈现为建议。关于混合决策正当性和“人类技能”类任务的证据,比其他任何设计选择都更支持这一做法。
- 将向人工申诉设为一项权利,而非礼遇。 这是与接受度最稳定相关的特征,也是防范错误的主要保障。
- 解释决定,而不只是解释系统。 英国的透明度记录等算法登记册有助于监督,但个别决定的解释对信任更为重要。
- 在高风险公共用途中避免共享私营部门数据和供应商角色不透明, 或公开说明其正当理由。
- 投入建设值得信赖的制度。 接受度取决于人们对部署机构的信任;不受信任的机构不会因为模型更好而挽回信任。
- 不要把接受度误当作正当性。 无论系统受欢迎与否,都应独立评估其准确性和公平性。
尚待探讨的问题
- 如果人们知道申诉成功的案例很少,申诉权能否提高信任?
- 人们如何判断人工智能与人类官员意见不一致时作出的决定?应由哪一方的判断优先?
- 自2022年以来担忧的上升,反映的是人们对公共服务中人工智能的实际体验,还是对生成式人工智能更广泛的焦虑?
- 在西方民主国家以外,人们的态度有何不同?在这些地方,人们对政府官员的信任可能较低。
- 公民大会等参与式程序能否提高未参与者对算法系统的正当性感知?
来源
- Dietvorst, B. J., Simmons, J. P. and Massey, C. (2015). Algorithm aversion: People erroneously avoid algorithms after seeing them err. Journal of Experimental Psychology: General 144(1), 114-126.
- Logg, J. M., Minson, J. A. and Moore, D. A. (2019). Algorithm appreciation: People prefer algorithmic to human judgment. Organizational Behavior and Human Decision Processes 151, 90-103.
- Burton, J. W., Stein, M.-K. and Jensen, T. B. (2020). A systematic review of algorithm aversion in augmented decision making. Journal of Behavioral Decision Making 33(2), 220-239.
- Mahmud, H., Islam, A. K. M. N., Ahmed, S. I. and Smolander, K. (2022). What influences algorithmic decision-making? A systematic literature review on algorithm aversion. Technological Forecasting and Social Change 175, 121390.
- Starke, C., Baleis, J., Keller, B. and Marcinkowski, F. (2022). Fairness perceptions of algorithmic decision-making: A systematic review of the empirical literature. Big Data & Society 9(2).
- Starke, C. and Lünich, M. (2020). Artificial intelligence for political decision-making in the European Union: Effects on citizens' perceptions of input, throughput, and output legitimacy. Data & Policy 2, e16.
- Kennedy, R. P., Waggoner, P. D. and Ward, M. M. (2022). Trust in Public Policy Algorithms. The Journal of Politics 84(2), 1132-1148.
- Lee, M. K. (2018). Understanding perception of algorithmic decisions: Fairness, trust, and emotion in response to algorithmic management. Big Data & Society 5(1).
- Binns, R., Van Kleek, M., Veale, M., Lyngs, U., Zhao, J. and Shadbolt, N. (2018). 'It's Reducing a Human Being to a Percentage': Perceptions of Justice in Algorithmic Decisions. 载于 Proceedings of the 2018 CHI Conference on Human Factors in Computing Systems。
- Miller, S. M. and Keiser, L. R. (2021). Representative Bureaucracy and Attitudes Toward Automated Decision Making. Journal of Public Administration Research and Theory 31(1), 150-165.
- Ingrams, A., Kaufmann, W. and Jacobs, D. (2022). In AI we trust? Citizen perceptions of AI in government decision making. Policy & Internet 14(2), 390-409.
- Grimmelikhuijsen, S. (2023). Explaining Why the Computer Says No: Algorithmic Transparency Affects the Perceived Trustworthiness of Automated Decision-Making. Public Administration Review 83(2), 241-262.
- Horváth, L., James, O., Banducci, S. and Beduschi, A. (2023). Citizens' acceptance of artificial intelligence in public services: Evidence from a conjoint experiment about processing permit applications. Government Information Quarterly 40(4), 101876.
- Wenzelburger, G., König, P. D., Felfeli, J. and Achtziger, A. (2024). Algorithms in the public sector. Why context matters. Public Administration 102(1), 40-60.
- Araujo, T., Helberger, N., Kruikemeier, S. and de Vreese, C. H. (2020). In AI we trust? Perceptions about automated decision-making by artificial intelligence. AI & Society 35(3), 611-623.
- 皮尤研究中心 (2018). Public Attitudes Toward Computer Algorithms, 2018年11月16日。
- 皮尤研究中心 (2023). Growing public concern about the role of artificial intelligence in daily life, 2023年8月28日。
- 皮尤研究中心 (2025). How the U.S. Public and AI Experts View Artificial Intelligence, 2025年4月3日。
- Ada Lovelace研究所与艾伦·图灵研究所 (2023). How do people feel about AI? (2022/23 survey findings).
- Ada Lovelace研究所与艾伦·图灵研究所 (2025). How do people feel about AI? (2024/25 survey findings).
- OECD (2024). OECD Survey on Drivers of Trust in Public Institutions - 2024 Results. OECD Publishing.