算法规制：批判性反思
Algorithmic Regulation: A Critical Interrogation
杨凯伦（Karen Yeung）
翻译：徐杨岚（电子科技大学公共管理学院硕士生）
郑礼秀（电子科技大学公共管理学院硕士生）
校对：贾开（电子科技大学公共管理学院副教授）
摘要
网络数字通信技术的革新，其中包括“大数据”、普适运算和云存储系统的兴起，这可能会产生一种新的社会秩序体系，本文称为“算法规制”。算法规制是指决策系统为达到预定目标，通过全面地收集与规制环境有关的众多动态组件直接发出的数据(连续实时地)，由此不断计算生成知识来管理风险或改变行为，以便识别并在必要时自动改进(或迅速改进)系统的操作。本研究对算法规制进行了描述性分析，将这些决策系统分类为反应式或先发制人式，并提供了一个分类方法，根据控制论过程的三个阶段中每一个阶段的不同配置，确定了八种不同形式的算法规制模型：在标准设定层面（适应性与固定行为标准）、信息收集和监控层面（历史数据与基于推断数据的预测）、制裁和行为改变层面（自动执行与推荐系统）层面。本文针对算法规制，描绘了与其相关的若干新兴辩论的轮廓，同时借鉴了规制治理研究、法律评论、监督研究和关键数据研究等方面的见解，以突出对算法规制合法性的各种担忧。
关键词
大数据，算法，监控，强制执行，自动化
原文
Yeung, K. (2018). Algorithmic regulation: a critical interrogation. Regulation & Governance, 12(4), 505-523.
“政府是时候进入大数据时代了，算法规制是一个时机成熟的想法。”一场所谓的大数据革命正在进行当中，许多人声称该革命对21世纪的社会所造成的破环，就犹如19世纪末期亨利·福特大规模生产系统所带来的影响一样(boyd & Crawford 2012)。尽管“大数据”有不同的定义，但我使用其来指代社会技术集合，它利用一种方法技术，将技术（由信息处理硬件和软件的配置构成，可以在很短的时间内筛选和分类大量数据）与一个过程（通过该过程应用算法过程来挖掘大量数字数据以找到该数据中的模式和相关性，将模式提炼为预测分析，并将分析应用于新数据）相结合(科恩2012，第1919页)。大数据的激动人心之处在于其可以识别人类认知无法检测的模式和相关性，将海量数据（通常为非结构化形式）转换为特定的、高度数据密集型的知识形式，从而创建一个新的知识生产模式（科恩2012，第1919 页）。行业、学术界和政府都十分欢迎这些技术，且都试图利用它们的巨大潜能来提升活动的质量和效率，包括规制任务，本文通过对“算法规制”现象的批判性研究来探讨这些问题。本论文借鉴了法律和社会科学文献中的选择性见解，突出了对算法能力的新批判以及自动化数据驱动系统的兴起，以进行决策和规范行为。本文的主要目地是描绘算法规制的新兴辩论的轮廓，为进一步研究提出问题，而不是提供明确的答案，其中论文一共分为四个部分。第一部分主要是论述算法规制的定义；第二部分构建算法规制系统的分类，该分类主要基于控制论过程三个阶段中的每个阶段的配置：特别是在标准设置层面（自适应与简单、固定的行为标准）、信息收集和监控层面（历史数据与基于推断数据的预测），以及制裁和行为改变层面（自动执行与推荐系统）；第三、第四和第五部分对算法规制进行了批判性分析，提出了对其合法性的担忧，这些问题主要是来自多个学术文献，包括规制治理和公共管理、法学研究、监督研究和关键数据研究；第六部分对全文进行了总结。尽管硅谷企业家蒂姆·奥莱利（Tim O’Reill）劝告政府采用算法规制来解决政策问题，但他并没有定义算法规制，而只是指出了他所声称地具有四个特征的各种技术系统:（i）对预期结果的深刻理解，(ii) 实时测量以确定是否正在实现该结果，(iii) 根据新数据进行调整的算法（即一组规则），(iv) 以及定期深入分析算法本身是否正确并按预期执行(蒂姆·奥莱利，O'Reilly 2013)。因为批判性分析需要更高的精确度和严格性，所以我首先明确算法规制的定义，探索将某事物描述为“算法”意味着什么，然后解释我如何理解“规制”一词。从最广泛的意义上讲，算法是通过将输入数据转换为所需输出来解决问题的编码程序（Gillespie 2014a，2014b）。虽然算法不需要在软件中实现，但计算机基本上是算法机器，旨在存储和读取数据，以受控方式将数学程序应用于数据，并提供新信息作为输出。即使仅限于软件，对算法也可能有不同的理解。软件工程师可能会采用对算法的技术理解，指的是组织和处理一组数据以快速实现预期结果的一系列逻辑步骤，这发生在“模型”生成之后，这一步骤旨在实现问题和目标在计算方面的形式化（Gillespie 2014a，2014b；Dourish 2016）。但是社会科学家通常使用该术语作为形容词来描述社会技术组合，其中不仅包括算法，还包括它们运行的计算网络、设计和操作它们的人员、它们所依据的数据（和用户），以及提供这些服务的机构，这些都与更广泛的社会尝试相关联，构成了知识生产权威体系的一部分。因此，Gillespie建议，当将某事描述为“算法”时，我们关心的是由算法设计者旨在在功能和意识形态上致力于计算知识的产生，而插入由社会技术信息系统产生的或与之相关的程序。对于 Gillespie来说，“最重要的是对程序的承诺，以及程序使操作人员与他人的接触以及他们对算法的干预保持距离”（2014b）。尽管计算算法包括对简单数学函数进行编码的算法，但围绕大数据的热潮很大程度上归因于复杂的机器学习算法，这些算法由大量（通常是非结构化）数据集提供，以计算方式运行，与传统的统计建模技术不同（Dourish 2016，第7页）。传统的统计建模要求分析师指定一个包含选定解释变量的数学函数，并通过回归分析来确定数据与这些分析选择之间的拟合优度。相比之下，机器学习不需要变量之间的函数关系的先验规范。相反，算法通过使用各种技术来挖掘数据以识别数据之间的模式和相关性，从而建立输入和输出之间关系的工作模型。该模型通过迭代学习逐渐改进，即通过测试其预测度并在错误时纠正它们，直到它识别出类似于传统统计中所理解的“最佳拟合线”的东西，以生成提供最强的输入和输出之间的预测关系的模型。因此，这种方法论有时被描述为“让数据说话”（Mayer-Schonberger & Cukier 2013，第6页）。虽然传统的统计回归模型处理10个左右的不同变量（例如性别、年龄、收入、职业、教育水平、收入等），或许可能有数千个样本量，但驱动预测分析工具的机器学习算法现在普遍使用的设计可用于处理数百（有时是数万）个变量（特征）和数百万或数十亿的样本量（Mackenzie 2015，第434页）。算法决策是指使用算法生成的知识系统来执行或进行决策，其简单性和复杂性可以有很大差异。算法规制是指利用算法决策的规制治理系统。尽管“规制”和“规制治理”这两个术语的范围和含义存在争议（Baldwin 等人，2010 年；Braithwaite 等人，2007 年），但本文采用了杰出的规制治理学者（Julia Black，2014）提供的定义：规制（或规制治理）是为了实现某些预先指定的目标而有意管理风险或改变行为的尝试。这种对规制的理解的几个特点值得强调。首先，尽管规制被广泛认为是政府的一项关键任务，但非政府部门主体也在采取规制措施（Black 2008）。正如公共交通管理部门可能会规制车辆移动以优化交通流量一样，脸书等社交媒体公司可能会规制用户的发帖和浏览行为以优化其财务回报。其次，受规制的人口的规模变化很大。它可能是指一个人采用某种系统或策略来调节自身行为的某些方面的有意行为（例如，一个人使用健身追踪设备帮助她确保达到最低水平的日常身体活动），通过寻求指导和影响大量人员或实体行为的规制系统，（例如数字汽车共享平台优步采用的算法系统，使司机能够以预先指定的费用向个人提供机动车辆运输服务，而无需任何先前的关系）。第三，因为规制首先是一种旨在实现预定目标的有意活动，任何规制系统都必须有某种系统“主管”（或“规制者”）来确定规制系统的总体目标。据此，我将算法规制称为决策系统，该系统调节活动领域，以便在受规制的环境里，从大量相关动态组件发出和直接收集（实时、连续）的数据中持续计算生成知识来管理风险或改变行为，以便识别并在必要时自动改进（或提示改进）系统的操作，以达到预先指定的目标。在第二次世界大战之后出现的跨学科控制论科学中，算法规制已经有了先例。控制论分析试图从对因果关系的线性理解转向通过循环因果关系或反馈来调查控制（Medina 2015）。算法规制的逻辑以及它使日常生活的“智能化”成为可能，取决于对原始数据的持续收集和分析以及元数据的结合，元数据记录设备使用的频率、时间和持续时间，并通过数字网络进行直接的机器对机器通信，允许通过算法挖掘组合数据以触发自动响应（Morozov 2014）。将规制理解为一个控制论过程，涉及任何控制系统的三个核心组成部分——即设定标准、目标或指标的方式（标准设定）；收集信息的方式（信息收集）；一旦发现偏差以改变行为以使其符合必要标准（执行和行为修正），以及执行这些标准的方法——可以确定各种形式的算法规制（Hood 等人，2001 年，第 23 页；Morgan & Yeung 2007，第3页）。本文的分类法为每个组件确定了两种替代配置，从而生成了总共八种不同的形式（表1）。首先，在标准制定层面，系统强制执行的行为规范可能是一种简单、固定（但可重新编程）的行为标准。这是算法干预的最基本形式，例如使用密码保护系统授权访问数字内容。或者，行为标准可能是自适应的，以促进规制系统旨在优化以产生系统稳定性的、任何固定的、总体的（但可重新编程的）系统目标的实现。后一种系统通常被描述为“复杂的”或“智能的”，例如智能交通系统，它们有效地自学如何通过机器学习过程识别最可靠的交通流量预测器，这些过程利用反复试验应用于不断更新的实时交通数据（吕等人，2015 年）。尽管这些系统允许行为变化，例如，车辆速度限制和/或交通灯周期的持续时间、时间和频率，取决于交通流量和分布，但总体目标是由系统主管预先指定和固定的：简单地说，以优化系统内的交通流量。
其次，在信息收集和监控层面，系统可以在反应的基础上运行，自动配置为实时挖掘历史性能数据以检测违规。简单的反应系统包括自动车辆超速检测系统，该系统利用测速摄像头实时识别超出规定速度限制的车辆，而复杂的反应系统包括信用卡欺诈检测系统，该系统利用机器学习技术来分析信贷支出模式持卡人，旨在发现可疑交易发生时，立即提醒信贷提供者和/或持卡人采取行动。或者，算法系统可以先发制人地检测违规，将机器学习算法应用于历史数据以推断并从而预测未来行为。简单的预测系统包括数字文本自动完成系统，而复杂的预先系统使新形式的个性化定价成为可能，将机器学习算法应用于从在线跟踪和在线用户行为测量中收集的数据，以高度细化的级别生成消费者档案，根据用户支付意愿和支付能力的算法评估，改变在线提供给个人的商品价格（Miller 2014）。第三，在执行和行为修改层面，系统可以在用户输入相关数据(或数据令牌)的基础上，自动管理指定的制裁或决定，无需人工干预，例如简单的反应式系统，如果用户未输入授权密码，则自动阻止对Web内容的访问。这些系统构成了一种强制行为（或强制）设计形式（Yeung & Dixon-Woods 2010），从而提供了立即“完美执行”的承诺（Zittrain 2009）。这些系统还可以根据算法对候选人的未来行为进行预测，从而先发制人地运行，例如自动评估寻求获得贷款融资、保险和就业机会等服务的个人申请的系统（O'Neil 2016）。虽然可能会授权人工操作员在稍后阶段审查和覆盖自动决策，但依赖自动化来制定和实施对个人具有真实、间接影响的决策。简单和复杂的系统都可配置为向人类决策者提供自动化的“帮助”或“建议”，其方法是在更大的受规制人群中对候选人进行优先排序。这些“推荐系统”旨在以底层软件算法确定最优方式指导或指导个人的决策过程，提供提示，将人类用户的注意力集中在数据集中的特定实体集上，而人类用户则保留正式的决策权，以网购推荐引擎为例（Yeung 2017）。每一种算法规制形式都可以被国家和非国家机构采用。一些系统可用于规范数百万人的行为，例如脸书的新闻转发系统（Luckerson 2015），而其他系统可能仅限于管理小团体内的关系。特别是，当用于管理合同各方之间的关系时，它们被其他人称为计算机中介合同，指的是缔约方之间的安排，利用网络通信系统的能力进行连续、实时的数字监控以检测、监控和强制执行合同条款的行为，从而克服传统合同的重大限制：委托人需要监督代理人的行为，以防止代理人“推卸责任”的诱惑，即以违背委托人利益的自利方式行事（Williamson 1975）。谷歌的首席经济学家Hal Varian 提供了两个以计算机为中介的合同案例，这些合同降低了委托人在这一方面的成本。首先，远程车辆监控系统可验证驾驶员的行为是否符合预期标准，从而使汽车租赁公司能够持续监控和验证驾驶员是否履行了以安全方式操作汽车的合同义务。其次，这些车辆监控系统实现了自动化远程执法，允许贷方轻松收回由个人贷款融资购买的汽车，若此人未能连续两个月还款，则车辆监控系统会通过自动锁定汽车的方式使其无法继续使用汽车(Varian 2014)。总之，这些形式的算法规制利用了一种控制模式，规制治理学者有时将其称为“架构”或“基于设计”的控制技术（Yeung 2008，2015）。在这种观点上，算法规制只是为了规制目的而使用设计的一种应用，它建立在3000多年前古埃及人设计的“水闸”逻辑之上，以防止未经授权进入一个保护的空间而无需人为干预（Beniger 1986）。尽管简单的反应算法系统，如数字密码保护系统，是基于相同的逻辑支持原始控制系统，但它们具有当代意义，因为数字传感器技术和存储容量现在已变得非常便宜，以至于为实现规制政策目标而使用这些系统已经变得切实可行（Rieder & Simon 2016）。因此，最近在菲律宾的一些公共便利设施中安装的宝洁公司的智能皂液器（通过运动传感器技术操作，当用户离开摊位时触发警报，只有在按下皂液分配按钮时才会停止），作为自动控制系统而言并不是特别新颖。然而，这些简单的算法系统值得被关注，因为它们作为影响多个用户行为的工具变得很有吸引力，而不是仅仅局限于传统方法，在公共卫生领域，通常需要一个劝告用户洗手的公共设施标志。尽管如此，当代算法规制可以在两个方面与简单的前数字化相区别。首先，配置复杂形式的算法规制以优化固定（但可重新编程）的总体系统目标，同时通过利用机器学习技术对从无处不在的数字传感器收集的大量数据源进行操作，不断跟踪行为，允许系统内行为标准的可变适应，提供了一种真正新颖的基于设计的控制形式。其次，先发制人的算法系统比传统形式的架构规制（例如减速带或门锁）强大得多，因为机器学习算法、网络通信基础设施和云计算使不仅仅跟踪和干预单个用户的行为成为可能，还能够几乎即时地对分布在一个广泛地理区域内的人口数据进行收集和分析，以识别与系统目标相偏差地行为，并越来越多地预测个人和人群的趋势，以揭示其分析结果，并自动地采取行动，从而产生“隐藏”的洞察力。正是这些系统根据算法识别海量数据集中非预期地相关性来预测未来行动或行为的能力，而这些相关性是人类认知（甚至普通计算技术）无法检测到的，系统预测的能力可产生“可操作的洞察力”，被广泛认为是大数据的“圣杯”（Ekbia 等人，2015年）。尽管我的分类法确定了八种不同形式的算法系统，但以下讨论主要区别反应式系统（基于历史数据的算法分析触发自动响应）与先发制人的系统（基于历史数据的算法评估预先采取行动以推断对未来行为的预测），借鉴各种规制治理文献和社会科学见解来阐明其潜在逻辑的差异。可以通过借鉴公共管理中所谓的“政府工具”文献中的见解来检查支持反应式算法系统的逻辑（Hood & Margetts 2007），这些文献探讨了公共管理人员用来监督和控制一组参与者及其活动的各种工具和技术（Ogus 1994；Murray & Scott 2002）。两种相关的规制控制方法与算法规制的激励逻辑产生共鸣：基于结果的规制和绩效管理系统。奥莱利（O'Reilly）对算法规制的热情似乎建立在他对以结果为中心的规制优越性的信念之上，他认为规制制度应该专注于实现可观察的（最好是可衡量的）实质性结果，而不是规制实现预期结果的过程（O'Reilly 2013）。这种说法与规制治理学者对输出（或性能）标准的区分产生共鸣，后者要求在供应点满足某些质量条件，但允许供应商选择如何满足这些条件和过程（或输入）标准，从而迫使供应商采用或禁止使用某些流程或材料（Ogus 1994，第 151 页）。这些文献对基于结果的标准的优缺点提供了更细致入微的观点。例如，从法律经济学分析的角度来看，与制定适当标准和规制合规性的行政成本相比，最重要的变量是获知实现规制目标的技术手段的成本。产出标准通常受到公司青睐，因为其可以自由决定如何实现规制目标，这使公司即使减缓技术创新也不会造成重大损失，而基于流程的标准容易过时并可能导致技术僵化（Ogus 1994，第166页）。然而，其他人观察到，对于许多消费者来说，“过程很重要”，许多人愿意为符合公平贸易、公平劳动或环境过程标准的产品支付更高的价格，即使他们的产出可能与那些以不符合所谓“道德”或“对社会负责”的生产过程的方式生产的产品没有区别（Kysar 2004；O’Rourke 2003）。因此，奥莱利（O'Reilly) 认为算法规制的结果驱动逻辑不太可能是一种优越的全面规制方法：需要更多的内容评估来确定最适合任何特定情况的规制形式（无论是算法还是其他）。此外，算法监管系统的目标可以被设置为优化程序目标而不被设置为优化实质性结果。换句话说，奥莱利的假设是基于一组特定的规范假设，即算法形式的规制必然指向实现实质性结果；正是这些充满价值的、政治的和意识形态的维度，被认为要基于流程的规制标准价值的学者所强调，这在第四部分的第一小节中得到了更充分的探讨。支持反应式算法系统的逻辑也非常类似于近期公共部门管理中突出的绩效管理技术 (Perrin 2015)。基于绩效的方法注重结果而不是政府程序和活动，该方法旨在推动公共部门管理的改进且已被广泛研究和批评。例如，在布莱尔政府从20世纪90年代后期开始采用的英国国民健康服务 (NHS) 中的“目标治理”研究中，贝文（Bevan）和胡德（Hood，2006）表明目标治理理论需要两组假设：稳健的比喻和游戏证明设计，他们的研究表明这是不合理的。因此，尽管NHS组织报告的绩效有了显著的改善，但由于游戏、误报或规避策略，这些改善的程度是真实的或仅是表面的尚不太清楚。同样，Perrin (2015) 观察到，在实践中，专注于衡量绩效结果的公共部门管理方法存在严重问题，出现了重大缺陷，包括：未能对实际表现提供有意义的说明；出现“目标转移”，强调“创造数字”而不是更大的计划目标；对管理人员施加巨大压力以扭曲结果（有时会造成破坏性后果）；掩盖显著的组内差异；抑制而不是提高性能；阻碍与绩效衡量范围之外的人的合作行动；未能为决策者提供有意义的指导，因为他们未能确定绩效结果的因果基础，并最终削弱了对政府的信任。这些担忧与最近对算法工具和系统的批评产生强烈共鸣，这些工具和系统被用来“淘汰”教师和其他被算法识别为“表现不佳”的员工，这种由算法做出的对某员工的评价往往与那些与其密切合作的人所做出的定性评价截然不同（O'Neil 2016）。算法规制的反应系统（即表1中列出的算法形式 1、2、5 和 6）利用了基于结果的规制和绩效管理的组合谱系，具有三个优势。首先，用无处不在的联网数字传感器取代人工监督，算法系统能够以大大降低的劳动力成本和人力来监控目标性能。其次，这些系统似乎提供了客观、可验证的证据，因为系统性能的知识是基于从嵌入环境的众多行为传感器直接收集的数据，从而阻止“游戏证明”设计的前景（Jurgenson 2014；Rieder & Simon 2016）。第三，这些系统动态运行，实时数据持续提供，允许系统几乎能够立即干预以指导或限制目标行为，从而避免因性能数据过时而引起的问题。尽管这些说法值得进一步审查，但在这样做之前，了解反应式和先发制人的算法系统之间的逻辑差异是有帮助的。特别是，尽管反应式系统的动态特性能够在违反行为标准时立即进行干预（相对于依赖间歇性、定期监控的静态规制形式提供了许多优势），但反应式算法系统并不能在违规发生之前实现预期干预。而算法之所以能在目前吸引众多目光关注的一大重要原因即是其具有先发制人的干预能力，这也是我将首先谈到的。虽然将预测算法用于情报收集、边境控制（Amoore 2013；Owen 2015）和数字媒体内容的传播等领域（Luckerson 2015）引起了公众和学术界的广泛关注，但使用预测算法为执法行动提供信息检测或防止违规行为的自由裁量权还有待公众和学术界的深入探索（参见 Bennett Moses & Chan 2015；Coglianese & Lehr 2016）。这种先发制人的算法系统(如表1所示的算法形式3、4、7、8 )，可以从各种政策举措来理解，这些政策举措都是为了服务于制度目标而在战略上影响执行自由裁量权的行使，往往以总体监督起关键作用的背景意识形态承诺为支撑( Ayres & Braithwaite 1992，Black 2005，2006 )。因此，先发制人的算法执行系统可以被不同地理解为一种基于风险的规制形式、一种精算正义形式以及一种系统性监控驱动的社会分类形式。英国政府和其他规制改革机构在过去20年中一直倡导所谓的“基于风险的”规制方式。根据Beaussier等人的观点，“基于风险规制的中心自负在于，规制者不能，甚至不应该试图阻止所有可能的危害”( 2016，p.206 )。相反，规制干预应“侧重于控制实现规制目标的最大潜在威胁，通过事前评估其可能性和后果来确定”( Beaussier等人，2016 )。基于风险的规制在检查和监控层面表现的最为突出，其中采用基于风险的方法来识别潜在的违反规制标准的行为。例如，英国政府现在要求所有规制机构对检查目标采取“基于风险”的方法，以减轻受规制组织的行政负担并确保执法行动的相称性（Rothstein & Downer 2012）。因此，各个英国规制机构开发了统计监测工具，旨在监测受规制实体的绩效，以确定那些被认为是“高风险”的实体，从而对其予以优先关注（Griffiths 等人，2017 年）。因此，此类算法规制可以理解为一种“基于风险的优先排序”（根据 Griffiths 等人，2017 年），它采用统计预测技术来协助分配执法资源。在犯罪学研究领域内，与基于风险的规制直接相似的概念是“精算正义”，它是指在刑事司法系统内采用类似于精算数学的概念和方法的理论模型。这种犯罪控制方法与20世纪60年代至90年代初在英国和美国盛行的传统的刑法执行方法相背离，这种方法在处理被认定的刑事案件时反应强烈，而不是战略和主动的定位( Ratcliffe 2016，第12 - 30页)。这种新方法在许多国家刑事司法系统内所采用的一系列政策和干预措施中显而易见，包括采用精算方法评估罪犯和治疗方案的风险和危险程度，采用预防犯罪战略，以及所谓的'情报主导'警务( Ratcliffe 2016 )。与Feely和西蒙（Simon 1992，1994 )的工作密切相关，罗伯特( 2005 )指出了精算正义的四个特点。首先，犯罪被视为不可消除的社会事实，因此目的不是消除犯罪，而是通过评估各种情况和个人构成的风险，将其降低到可容忍的水平。犯罪已失去了它的道德成分。其次，将个人和社会现象重建为风险对象，使分析的重点不再是传记中的个人，而是他们的风险简介，通过合并与不同类别和级别的风险有关的变量，重建个人身份的片段。第三，目标不再是将犯罪分子改造成守法公民，而是管理罪犯背后所隐藏的风险，在这些风险中，诊断和治疗让位于管理主义。最后，其基本观点和方向是前瞻性的，旨在估计和预防犯罪行为的发生，而不是制裁犯罪分子或试图理解和解决过去的原因( Robert 2005 )。这些特征都与先发制人式的算法规制的内在逻辑相呼应，即以干预为目标，通过预防不必要的活动来塑造未来，可以说，随着大数据分析的使用，风险分析过程的力量得到了极大的增强。基于风险的规制和刑事司法的精算方法都依赖于从更广泛的人群中分类和选择特定个体作为分析的基础，以实现更有效和更有针对性的执法行动。过滤和分类任务是算法规制的基本逻辑，使基于风险的优先排序过程自动化，将算法应用于受规制群体，以便对该群体中的个别实体进行分类，使规制机构能够采取更精确、更有针对性和更有效率的干预措施。虽然这种计算风险分类程序早已被用于保险领域，以评估是否向个人申请人提供保险以及以何种价格提供保险( Baker 2003年)，但自数据挖掘早期以来( Gandy 1993年)，零售和营销行业也更系统、更广泛地使用了这些程序。这些应用程序利用数据挖掘技术将人群细分为不同的用户组并针对他们进行精准营销，从而通过更有效地定位潜在客户来提高销售。正是通过这个过程，感兴趣的对象(不论是个人、组织，还是——在医学研究语境中，例如——癌症突变)都可以被“轮廓化”，这也引起了监督研究学者的广泛关注。这些在第5节中讨论得更为充分。尽管反应性和先发制人的算法规制形式存在差异，但其都基于共同的基础逻辑。虽然奥莱利在2013年被普遍认为创造了“算法规制”这一术语( O’Reilly 2013 )，但它早已在被学术性使用。2009年，社会学家阿尼什（Aneesh）发表了他对印度工人向美国公司提供IT和IT服务的民族志研究的结果，以调查“离岸外包”的劳动实践是如何组织的。阿尼什（Aneesh）将软件编程计划确定为通过数据服务器组织全球分散劳动力的关键，确定了一个基于“算法规则”或“代码规则”的治理体系，他称之为“算法统治”，这种治理体系既不同于官僚体系，也不同于市场秩序体系。尽管算法内部可能嵌入了官僚结构（例如为出纳员指定合法允许的操作，同时为经理提供更多的访问同一交易的机会），但阿尼什（Aneesh）认为底层软件程序是由算法驱动的，或者更深入地说，是由二进制代码驱动的，所以编程的要务不是官僚性的而是数学的( Aneesh 2009,第350页)。这种将算法系统描述为独特的社会秩序系统的想法为算法审查提供了一个非常富有成效的跳板。正如其他形式的社会秩序，例如市场和官僚等级制度，都与一套独特的政治或意识形态相关联。以下讨论将考虑作为一种新兴的社会秩序的算法如何与一组特定的政治价值观和规范承诺相关联。4.1 算法规制的政治和驱动因素：数据主义及其不满历史学家尤瓦尔·哈拉里( Yuval Harari)将算法规制的基本意识形态称为“数据主义”，其根植于一种信念，即人类无法再将海量的数据流提炼成信息、知识或智慧，因此处理数据的工作应该委托给容量远远超过人脑的计算算法(Harari 2016，第368页)。虽然对哈拉里（Harari）的数据主义的批判超出了本文的范围，但他将数据主义描述为一种超越政治意识形态差异的“新兴宗教”是值得注意的。哈拉里（Harari）特别声称：自由市场资本主义和国家控制的共产主义不是相互竞争的意识形态、道德信条或政治制度。归根结底，它们是相互竞争的数据处理系统。资本主义使用分布式处理，而共产主义依赖于集中处理。资本主义通过直接将所有生产者和消费者相互连接起来来处理数据，并允许他们自由交换信息并独立做出决策。(2016年，第369页)数据主义假设政治制度的最终目标是社会物质资源的最佳分配，从而将资本主义和共产主义统一在一个单一的总体愿景中。但是对政治制度如此粗暴的构想忽略了其潜在的政治、价值观和前提。算法系统本身与两种截然不同的政治愿景有关。一方面，奥莱利（O ' Reilly）将算法规制描述为一种无缝、高效、自动化、数据驱动的方法，这将使我们能够利用Google搜索引擎的技术优势和效率来解决社会协调问题(0' Reilly 2013) ，世界经济论坛倡导一种观点，认为个人数字数据生态系统“对改善世界状况至关重要”(世界经济论坛 2011)。但是叶夫根尼·莫罗佐夫(2013, 2014)对硅谷“解决主义”的尖锐批评提供了另一种政治解读，他试图揭露硅谷认为仅利用互联网力量的技术创新能够有效解决社会问题这一隐藏的、反民主的政治愿景。对莫罗佐夫来说，硅谷的解决主义具有四个特征。首先，处理问题的影响而不是问题的原因，最好是通过支持互联网的应用程序、传感器和反馈回路——所有这些都是由私营部门初创企业提供的——反映了意大利哲学家乔治·阿甘本（Giorgio Agamben）确定的当代治理逻辑中的政治假设(莫罗佐夫2013年；阿甘本2013年)。其次，扩大监管并收集尽可能多的数据，从而增强监管机构的权力并增加理想结果的产生机率，这与小自由主义国家的愿景背道而驰(O' Reilly 2013) 。第三，鼓励个人为自己的福祉负责,例如，通过监测健康生物识别指标的应用程序和数字平台来维护自己的健康，并利用家庭感应设备，当检测到威胁时自动向紧急服务机构发出警报。因此，更有道德责任感的个人将利用这些技术来改善他们的健康、个人安全并提高生产力，这种逻辑与福柯的“治理性”概念完美契合，通过这种逻辑，个人的自治能力与当局的政治目标保持一致，通过个人的“责任化”，将疾病、失业和贫困的风险视为个人负责的事项(Rose 2001: Lukes 2005，p.91) 。第四，个人最好被理解为企业家，共享经济被理解为新的福利国家。莫罗佐夫（Morozov 2014）的批评源自这样一种观察，即我们寻求治理的手段不可避免地具有政治和意识形态层面，感叹算法解决方案的呈现方式“就好像如何实现那些政治性的'期望的结果’，而不是在不同且常常不相容的公共生活愿景之间做出选择。”对莫罗佐夫来说，硅谷的政治愿景将公民主要描述为企业家、大企业的小股东，算法国家的作用是将个人声誉加入到反馈友好的社会网络中并将此网络融入无处不在的数字反馈回路中，因此诚实努力的个体将产生较高的在线声誉，从而产生一个高度个性化的“超稳定”社会网络，从而使他们能够处理自己的事务。与福利国家不同的是，算法国家对是否存在需要国家采取协调一致的集体行动的特定社会问题不作任何假设，如果这些问题存在，则只能通过个人行动加以解决，这可能是因为，正如莫罗佐夫（Morozov 2014)所观察到的，社会不公比其影响的个体日常生活更难追踪。当与资本主义逻辑相结合时，莫罗佐夫确定的“解决主义”促进了算法系统的扩散，推动了一种强大的积累逻辑，肖莎娜·祖博夫（Shoshana Zuboff 2015）称之为“监控资本主义”。主要由硅谷的超大规模技术公司（以谷歌为首）推动，这些公司主要通过全球数字平台的自动化来实现增长，监控资本主义的逻辑去取决于从无处不在的自动化操作获得的数据资产中产生收入，这构成了祖博夫（Zuboff）称之为“监控资产”的新资产类别(2015 年，第80页；世界经济论坛2011年)。投资者(“监控资本家”)通过一种新的默认商业模式从全球网络环境中获利，在这种模式下，公司投资回报的预测估值指标通常取决于博取人们“眼球”的程度而不是实际收入，在将个人信息转化为利润的同时，引导和控制个人信息流，同时将它们转化为利润流，所有这些都以对用户高度不透明的方式进行(Zuboff 2015)。监控资本主义在很大程度上依赖于高度细化、覆盖人口和不断更新的大规模监控，所有这些都是由工业化社会日益依赖的网络化数字基础设施实现的。持续、实时的监控对于所有形式的算法规制的运行都至关重要，无论是在方向上的反应式还是预测式（Yeung 2017）（见表1）。但是，与乔治·奥威尔(George Orwell)的“老大哥”（Marx 2002）所引发的视觉监控的压制形式不同，科恩认为“我们正在见证一个明显的西方民主型监视社会的出现”（2014年，p.2） 因为我们愿意接受算法规制，通过交换个人数据来提高网络数字工具的效率和便利性 (Harcourt 2014)。这种当代的监控形式主要由私营部门进行,Zuboff (2015) 声称它是“Big Other,”而不是我们应该害怕的“老大哥”。与此同时，数据保护学者强烈批评“通知和同意”范式，无处不在的大规模算法规制的合法性很大程度上依赖于这种范式。他们认为，在现存的复杂个人数据生态系统中，个人实际上不可能对算法条例所涉及的共享和处理活动提供有意义的自愿同意(Acquisti 等人，2015 年)，特别是鉴于“易货”已成为提供当代数字服务的主要商业模式，“易货”是指用户同意披露他们的数据以换取表面上的“免费”服务(van Dijck 2014)，从而消除了公司一大重要障碍——在最初对所提供服务的估值具有高度不确定性的情况下寻求吸引新客户(Lambrecht 2013)。这种为了方便和效率而交换隐私的基本逻辑也在集体层面运作，特别是在政府竭力追求财政约束的巨大压力下，伦敦三家NHS医院最近决定允许谷歌Deep Mind访问160万名患者的NHS记录，以回应谷歌开发NHS健康分析工具的意愿，这一举措表面上是无偿的。然而，我们同意类似的操作这一行为（无论是个体还是集体）可能更像是一个强迫性的赌徒——发现不可能戒掉这个习惯，也不愿意放弃算法规则可能提供的好处，尽管这会潜在的长期的付出政治、社会、法律和道德代价(Yeung 2017)。与此同时，硅谷的大祭司们认为对隐私的担忧是不合时宜和无关紧要的，这一点从太阳计算机系统联合创始人斯科特·麦克尼利( Scott McNealy )的宣言中得到了佐证：“无论如何，你没有隐私。你只需要克服这一点” (Sprenger 1999) 。个人通过自愿交换个人资料以方便网络化的数字服务，可能在不知不觉中增加了被排除在关键机会之外的风险。例如，大卫杜（Davidow）观察到，公司和政府都在使用大数据分析来创建高度细化的配置文件，根据这些配置文件做出许多重要的决定，以至于数百万人现在实际上被监禁在“算法监狱”中，导致许多人因其存留于互联网的简历而找不到工作，或难以获得一系列，包括保险、贷款融资、出租房屋、购买房产或登上飞机在内的服务(Davidow 2014)。大卫杜（Davidow）指出，即使个人意识到这些自动化过程及其可能产生的有形伤害，他们可能也不知道他们的狱卒是谁，甚至不知道谴责他们的具体行为类型是什么。这些担忧得到了法律学者的回应，他们强调了算法决策系统可能会对抗宪法和民主价值观，包括对信息隐私和其他基本权利以及损害程序和实质性公平的风险。鉴于许多算法系统都需要对个人数字数据进行持续的监控和收集，与算法发展相关的最突出的法律问题集中在信息隐私权上。几位学者已经证明了算法分析技术可能会破坏个人自主权和自决权，并可能冒着颠覆或对抗公民和政治权利的风险，例如免受不公平歧视的权利(Ferraris 等人，2013年)。尽管用户画像包括推断一系列对某物体感兴趣的个体的特征(通常是行为特征) (Bygrave 2001)，但这些画像并不必然与其中任何一个特定个体的特征相关( Roosendaal 2014；Hildebrandt 2016)。相反，它们是算法结构，由相关变量的片段组成的个体抽象化集合，这些片段是从大量个体的大量属性特征中推断出的个体轮廓画像之间的匹配中识别出来的，阿摩尔（Amoore 2013）称之为“数据衍生物”。此外，被描述的个体通常不知道她是如何被描述的(或者实际上她根本没有被描述)，并且没有机会了解对她进行评估的基础。因此，任何个体几乎不可能主张权利，抗议她“不是那样”，或者虽然她过去可能是那样,但她不打算将来“那样”。换言之，鉴于当代西方法理学中基本权利的性质和结构，对个体“画像”形成过程的关注可能不容易使人主张个人权利。虽然不准确的分析结果造成的影响可能是微不足道的（例如数字购物推荐引擎产生的不合适的产品推荐），但对于那些被剥夺了登机、保释自由的个体来说，情况很难说是一样的，这些个体可能由于高度不透明的决策过程而被剥夺就业或教育机会（Angwin 等人，2016年)。其他法律问题凸显了受影响的个体缺乏对算法决策提出异议的有效机会。“正当程序” (美国宪法语言)或“程序公平”(英国法律用语)的宪法权利旨在确保受公职人员决策影响的个体有机会参与决策，对做决策的公职人员产生影响并使其以公正的方式做出此类决定(Craig 2012，第13章;Craig第14章)。虽然英美行政法的核心原则要求依法、公平并根据个人的正当程序权利（Citron 2008）行使行政裁量权（Citron 2008），但传统上仅适用于政府或公共决策权的行使，人们越来越担心，强大的公司是否有权单方面对个人采取行动，而不给他们对此类行动提出质疑的机会(Pasquale 2006; Kerr 2010; Searls 2012; Bracha & Pasquale 2008) 。无论是人类自主决策还是自动化决策，都隐藏着决策偏见。后者的一个优点是它能够保持一致性，同时避免总是影响人类决策的有意识和潜意识偏见。另一方面，相当多的注意力集中在算法决策系统可能受到隐藏的、无意的偏见影响，而这些偏见得益于其一对多的操作能力（如Facebook新闻提要算法），能够以此影响影响数以百万计的用户。算法决策的实质行性质量和内容也引起了人们的警觉。算法决策可能是不准确或错误的。尽管算法规制利用直接从环境本身发出的“原始数据”，而不是依赖于人类的主观（这容易出错的）观察和选择，算法客观性和绝对正确性的概念是一个被广泛接受的神话(boyd & Crawford 2012; Krasnow、Waterman & 布鲁宁2014) 。数据并不以某种狂野、自然的状态“存在于那里”:它必须首先被想象为数据——一个必须具有解释基础的过程(Gitelman 2013) 。在算法开发过程的每个阶段，从数据的收集和校准、数据的过滤和解释、算法技术的选择、算法的设计和算法输出的解释，都可能产生错误，而且这些过程本身是主观的(boyd & Crawford 2012) 。其次，算法决策过程可能会产生有偏见的判断，从而对历史上处于不利地位的群体的歧视永久化(总统行政办公室2014年，2016年)。20多年前，甘地（Gandy，1993 )确定了这些担忧的存在，他在福柯关于全景主义的著作的基础上，描述了如何在营销和零售业中使用个人和群体信息的收集、处理和共享来协调和控制商品和服务的获取。甘迪警告说，当用于描述个人时，这些技术“具有歧视性”，可能会破坏民主、平等、公平和分配正义的关键方面，但法律对此几乎没有提供任何保护(Gandy 1993; Danna & Gandy 2002 )。即使非常小心地避免选择偏差，算法系统也可能会无意中延续和强化历史偏差，因为这些系统所依赖的反馈循环利用了可能在算法输出系统中自我复制的历史数据模式。对此，有些人可能认为，如果算法系统被配置为推荐系统（即表1中确定的表格2、4、6和8）而不是自动批准系统（即表1中确定的表格1、3、5和7），则可以避免这些问题，因为人类正式保留了决策权。例如，如果先发制人的算法推荐系统为执法人员在确定有限的检查资源的优先次序方面提供指导，那么执法人员可以选择不对其采取行动，即使他们采取行动，调查的决定并不意味着有罪判决——因此，如果一名候选人基于算法被认定为高风险，但事实上并未违反法律，那么这一点在随后的调查中应该变得明显。然而，在我看来，授予人类正式决策权并不能克服这些担忧，至少有四个原因。首先，仅仅将人纳入决策程序本身并不能满足正当程序的双重要求，正当程序通常被称为公平审理权和无偏见法庭权 (Galligan 1996) 。第二，即使执法人员保留自由裁量权，不根据算法指导采取行动，也不能任意或以其他方式非法行使调查潜在违法行为的权力，即使调查决定不涉及有罪裁定，因为仅仅挑选一个人进行进一步的调查就构成了一种对此调查对象不必要的不利对待(Ashworth 1998) 。实际上，算法系统很少告知那些被排除在工作、大学名额之外的人排除它们的根本原因，并且通常不知道排除它们的决定是基于可能没有任何因果基础的数据相关性的算法评估。但是一个人在无意识地情况下受到不公平待遇并不意味着这种不公平待遇就可以被接受。第三，人类极易受到“自动化偏见”的影响，即个人倾向于服从计算判断，即使他们能够认识到他们所处的情况需要另一种选择(Carr 2015) 。最后，算法推荐系统构成了一种非常强大的选择架构形式，通过使用“超微调”技术以微妙但有效的方式塑造用户的感知和行为，削弱个人独立行使裁量权和判断力的能力(Yeung 2017) 。换句话说，尽管人类机构有时可能会采取行动来克服或减轻使用算法决策系统带来的相关程序性和实质性问题，但不能依赖它系统性地做这件事。由于算法所依赖的复杂计算过程以及出于它们不被泄露为商业秘密的保护( Pasquale 2015 )，使得算法具有不透明、不可思议的“黑箱”性质，但能够行使或告知产生重大影响的决策权，这推动了算法问责需求的出现。正如英国宪法学者道恩·奥利弗(Dawn Oliver) 解释的那样，“问责制是要求一个人根据某种标准解释和证明他们的决定或行为，然后对任何过错进行修正”(1994 年，第15页)。对于依赖机器学习算法的决策过程而言，满足可解释性的要求尤为迫切，因为它们是基于数据点之间的模式和关联，而不是基于因果或解释的行为理论，并且会根据过去的输入和输出数据做出判断(Dourish 2016)。然而，在自由民主社会中，尽管法律保护不完善（Galligan，1996年），但是人们渴望自由社会能够形成透明的秩序，因为它的运作方式和原则应该是众所周知的，不仅个人被认为在道德上有权得到对他们产生不利影响的决定的理由，并且这一过程可以让公众理解和监督，建立在一个持久的承诺（通常用社会契约的概念来表达）的基础上，即社会秩序必须是一个能够为生活在它之下的人辩护的秩序(Waldron 1987, 第146页)。然而，这并不是说，透明度和问责制的价值必然胜过效率的价值，只是认为这些价值权衡应该公开辩论，而不只是简单地通过技术法令解决有利于效率的问题。对算法转向透明度和问责制等集体价值观的影响的关切突显出，，向算法决策系统的全面转变如何有可能侵蚀民主和个人自由赖以生存的集体道德和文化结构，从而破坏自由民主政治秩序的社会基础(Yeung 2011) 。一些最有先见之明的批评指出，过于狭隘地关注隐私权（被理解为个人控制自己信息的权利）并没有认识到许多公民权利和政治权利最终植根于一个社会和政治结构中，在这个社会和政治结构中，隐私权也同样被理解为公共物品。因此，当代隐私自我管理的法律模式是不充分的，因为它有效地将信息隐私定性为一种市场化商品，可以随意交易给出价最高的人，这反映在在线通知和同意程序发挥的关键法律作用中（Solove 2013）。但隐私也指的是社会中每个个体进行活动的一个保护区，在这个保护区里，个体的自我成长和自我创造成为可能，它允许我们选择我们是谁，我们希望与谁联系，我们的自我意识和我们的个性得以产生、变化和稳定（Cohen 2012）。如果足够大的临界群体的个体独立地决定他们愿意放弃自己的隐私权以换取便利和效率，那么由此产生的社会结构就无法维持一个“隐私公地”，因此也就无法为其成员提供一个隐私区，包括那些选择不放弃个人隐私权的成员。然而，这种对人类繁荣昌盛和民主自由至关重要的道德和社会基础的重要性在当代的争论中经常被忽视了。与此相反，法律哲学家米雷耶·希尔德布兰特(Mireille Hildebrandt)认为，在宪政民主国家中，主权统治通过双重透明形式获得合法性：首先，人们生活在他们自己制定的规则下(即民主参与)，其次，这些规则的应用可以在一个相互矛盾的程序中被质疑，而这个程序能够打开他们解释的黑匣子(法治)。正是通过这两个要素，现代法律体系建立了最成功（尽管不完善）的控制论体系之一：宪政民主。它是一个建立在一系列制衡基础上的治理体系，在统治者和被统治者之间建立一个完美的反馈回路。因此，所有生活在法治之下的人，都不是单纯的被控制的对象,而是参与集体自治、对自己的行为、对政府负责的主体， (Hildebrandt 2016) 。但算法规制和它所维持的数据驱动机构威胁着这种平衡。通过在高度细化的层面上持续跟踪个人，算法规制就像一面单向镜，允许低头监视下面的人，但没有任何现实前景窥视，更不用说理解日益规范我们日常生活的算法黑箱。同样，Zuboff对谷歌的Hal Varian所描绘的以计算机为媒介的世界的评价也让人不寒而栗：瓦里安所设想的以计算机为媒介的世界给我的印象是一片贫瘠的荒原——而不是一个平等的社区，在人类不可避免且最终富有成效的斗争中，通过法律约束着彼此。在这个未来的世界里，人类社会已经失败了。这是一个适应了混乱和恐怖常态化的地方，在这里，信任的最后一点残余早已凋零和消失。在面对自然的不确定性时，人类修正失败，维护预测，行使意志的能力在无止境的妥协困境中难以发挥......它是一个无处不在的网络化体制，记录、修改和商品化日常经验，从烤面包机到身体，从交流到思想，所有的目的都是建立新的途径，以实现货币化和盈利，另一个大问题是，不久的将来，主权国家将摧毁法治所带来的自由。(祖博夫2015，第81-82页)这两种批评的共同之处在于，他们都担心，由于强大的商业动机驱动着数字平台的设计和运营，算法规制通常在运作方式中隐含着权力关系的不对称本质。在瓦里安设想的计算机中介合同的例子中，自动执行似乎只对合同的一方有利(汽车租赁公司，但不是个体租车人；贷款公司，但不是个体借款人)，构成了弗里德里希凯斯勒称为的“附属合同”，由强大的服务提供商提供给希望在“接受或放弃”的基础上获得服务的个人（凯斯勒1943年）和“压制顺从的一方，而主导的一方可以随意收取任何费用”。(Searls 2012, p. 54)尽管如此，从理论上讲，算法规制系统的设想和设计方式似乎有可能在其价值观、方向和操作上变得更加平等和进步。特别是，以计算机为媒介的合同可以使双方有机会通过有意义的谈判和当事方之间的讨价还价来参与协定条款的制定，以便只有在商定了协商一致的条款之后，才能对其履行情况进行监测和自动执行。通过这种方式，以计算机为中介的合同可以在更加互惠的基础上运作，在这种基础上，自动执行合同条款有利于合同双方。因此，我们可以修改瓦里安的例子，重新设想一个世界，在这个世界中，汽车租赁公司监控客户对车辆的保养和管理，同时，客户依赖计算机中介反馈来监控供应商对车队的维护，记录故障和缺陷的频率，供应商解决和修复故障的速度，甚至可能是向其他客户提供的价格和条款。这将使合同变得更敏捷、灵活。因此，在一个为期两周的假期里，在指定地点的度假者可以通过一系列为期一天的合同租用车辆。在每天租车结束时，如果客户对租车公司车队管理的算法辅助评估以及第二天提供的条款和价格具有足够的吸引力，那么合同将自动续签一天。如果没有，合同可以自动切换给另一个供应商。换句话说，一个以计算机为中介的世界可能会寻求建立双向镜像，而不是目前正在扩散的单向镜像。然而，这种以计算机为中介的互惠、双边合同似乎并不是硅谷初创企业竞相构建的那种合同。这不足为奇，因为它们并没有像大型数字平台那样提供丰厚的财务回报，而这些平台对其用户拥有不对称的权力，很难想象未来的数字经济将如何有机地发展，从而类似于Searls（2012）提出的所谓“意向经济”（intential economy）提供的更加真实的消费者授权愿景。无论是赞同祖博夫（Zuboff）的悲观主义还是奥莱利（O’Reilly）的乐观主义，算法规制的出现都引发了复杂且日益紧迫的问题，这些问题可以通过许多学科视角和分析视角来解决。学术界和政策讨论中反复出现的重要主题集中在确保“算法问责制”的必要性上。但要了解有意义的算法问责制由什么构成，我们需要对算法能力有更深入的了解。本文试图从监管治理研究以及更广泛的法律和社会科学洞察力的角度分析算法规制。在这样做的过程中，我完成了两件事:首先，我对算法规制现象进行了描述性分析,对算法规制下了定义，将算法系统分类为反应型或先发制人型，并提供了一个分类法，根据这些算法系统与控制论系统的三个组成部分中的每一个进行配置的情况，确定了八种算法规则的形式：即标准制定层面(行为标准是否“简单”/固定或“复杂”/自适应)、信息收集和监控(反应性或先发制人)以及行为修正(自动化或推荐系统)。我认为，虽然简单形式的算法规制显示出与试图利用架构和设计来塑造社会行为和结果的长期规制方法的连续性，但与利用自动化数字系统来规范社会行为的成本大幅降低意味着，监管者、公共行政人员和其他人为了实现其政策目标而采用这些系统已变得切实可行。另一方面，依赖于由大量数据集提供支持的机器学习算法的复杂算法规制是真正新颖的，特别是当被配置为预测系统时，这种预测系统寻求先发制人的未来行为。这些控制系统比传统形式的建筑调节（如减速带或门锁）功能强大得多，因为它们不仅可以跟踪和干预单个用户的行为，还可以跟踪和干预广泛分散的地理区域内的整个用户群体的行为，同时收集和分析全人口范围的实时数据，以预测和先发制人地采取行动，阻止个人和全人口范围的决策和行动。其次，我描绘了一些围绕算法规制的批判性辩论，从监管治理研究、法律学术和更广泛的社会科学反思中汲取灵感。在这样做的过程中，我已经确定了算法规制的各个方面，这些方面引起了人们对其合法性的关注，引起了人们对算法力量崛起的关注，这些方面主要有：如何理解算法规制的不同意识形态观点，支持其预期操作的逻辑和假设，此外，设计算法问责机制的重要性日益引起人们的关注，因为它们有能力扩大、加强和重新分配权力、权威和资源，以及它们具有影响个人关键生活机会的能力。我的研究强调了算法转向对个人和社会的一些更深层次的法律、社会、民主和道德影响，表明除了信息隐私，还有更多的利害关系，包括最终植根于公平和有尊严地对待个人的自由承诺的核心法律和宪法原则，这些原则在自由民主社会中包括透明度和问责制、正当程序和法治原则(Brownsword 2016)。简而言之，我试图找出算法力量崛起的利害关系，着重指出那些强调其潜在好处的人的各种主张，以及那些警告其危险的人的主张，同时避免提出我对这两种不同主张的看法。我这样做的目的是提出更多的问题而不是答案，以促进进一步的研究、对话和辩论，希望其他人继续研究算法规制，正如我希望证明的那样，它将成为一种可能令人不安的、迅速出现的，越来越强大的治理现象。1、他指的是机动车辆燃料排放系统、航空公司自动驾驶系统、信用卡欺诈检测系统、医疗专业人员的药物剂量监控、互联网垃圾邮件过滤器和通用互联网搜索引擎（O'Reilly 2013）。2、五种常用的技术是逻辑回归模型、朴素贝叶斯分类器、k-最近邻、决策树和神经网络，所有这些都是预测建模的例证（Mackenzie 2015，第 432-433 页）。3、机器学习算法可以根据它们的学习方式大致分为三类。监督学习需要带有标记数据或具有已知输出值的数据的训练数据集。无监督学习技术不使用训练集，而是自己在数据中寻找模式或结构。半监督学习主要使用未标记和少量标记的输入数据。使用少量标记数据可以大大提高无监督学习任务的效率。该模型必须学习组织数据的结构并进行预测（NESTA 2015，第 5 页）。4、“关键数据研究”（或“关键算法研究”）中的文献越来越多，旨在探索位于复杂的“数据组合”行动中的数据（Kitchin 2014b，第 24-26 页），指的是庞大的系统，不仅包括数据库基础设施，还包括“构成其性质、操作和工作的技术、政治、社会和经济装置”，包括数据收集和分类的过程，以及随后的清理、存储、处理、传播和应用（Kitchin 等人，2015 年；Gillespie和Seaver 2016 年）。越来越多的研究机构利用包括STS ( Ziewitz 2016，Beer 2017 )在内的多种学科镜头，研究在复制这些组合过程中所需要的劳动经济和政治经济，重点关注来自多种来源的数据，包括气象数据、营利性教育公司生产的数据、金融交易数据和生物医学数据。该文献试图通过将数据理解为位于围绕其生产、处理、存储、共享、分析和再利用的社会技术系统中，揭示了将数据理解为存在于意识形态、政治或解释之前的一组客观事实的谬误，从而证明数据组合的生产不是一个中立的技术过程，而是一个规范的、政治的和道德的过程，它是偶然的并且经常有争议，对随后的分析、解释和行动产生影响（Kitchin 2014a）。大数据与社会( 2016 )《关键数据研究专刊》( http://bds.sagepub.com/content/critical-data-studies. )对该领域内出现的广泛的学科视角、问题和方法进行了说明。5、此类算法系统还支持不断增长的劳动力市场实践，包括使用“零工时合同”，使工人接受可变调度，将有偿工作时间集中在高需求时间，从而将需求变化的风险转移到工人身上，并增加工作强度（伍德 2016 年）。同样，算法工作场所绩效管理技术依赖于对工人的微观监控，向雇主和雇员提供反馈，旨在优化工人的生产力（Kuchler 2014；Edwards & Edwards 2016）。6、尽管这些系统的自我执行能力因人为强制执行主体的冗余而具有相当的吸引力，但网络法学家乔纳森·齐特兰( Jonathan Zittrain )质疑“完美强制执行”的合法性，他强调智能设备(他称之为'系留家电' )在早期互联网时代出现的危险，是因为他们邀请监管干预，破坏了一个明智的均衡，这种均衡依赖于监管机构的轻触摸行为，正如传统上在自由社会中所做的那样（Zittrain 2009，第 103 页）。此外，鉴于无法确定能够预测可能与监管系统目标运作有关的每一项未来可能发生的事件的'完美'标准，'完美'执法的承诺是虚幻的( Yeung 2008，第92 - 93页)。7、正是这些算法决策系统的使用，引起了人们对底层数据中的错误、它们对特定个体的应用以及它们潜在的歧视性影响的担忧。这种担忧催生了对能够保障算法问责的机制需求的日益高涨(第5节进一步讨论)。9、绩效管理可以理解为泰勒主义的一种形式。正如戴维里昂( David Lyon )所观察到的，营销专业人士转向商业监控始于阿弗雷德.斯隆( Alfred Sloan )的努力和20世纪20年代市场研究的发展。在工作场所开始的、作为“科学管理”的泰勒和其他人的工作，在“社会泰勒主义”的实践中慢慢转变为消费领域( Webster & Robins 1986 )。在这里，重点更少地放在工人身上，更多地放在家庭身上。斯隆曾在通用汽车公司工作，并率先尝试将科学管理原理应用于商品市场和消费行为( Lyon 2007 )。10、监控研究学者的见解还强调了网络数字技术如何导致个人自身监控的增长，这有时被认为是有益的，甚至是娱乐性的（Timan 等人，2017 年）。11、剖析过程有两个主要组成部分：第一，“知识发现”阶段，在此阶段通过分析大型数据集来推断剖析，以发现数据之间的模式、序列和关系，从而得出一组假设（剖析 ) 基于概率推理。此阶段包括收集数据、将其预处理为可用格式、合并并分析它以发现它可能揭示的内容，从而创建感兴趣的变量模型。第二阶段需要配置文件应用阶段，在此期间，根据流程的第一阶段生成的配置文件处理感兴趣的对象/实体，以便对该实体做出决策。在这个阶段，在第一阶段发现的数据之间的相关性被纳入算法并应用于做出预测/决策。12、算法权力的歧视性潜力的一个非同寻常的例子是脸书针对种族的特定广告内容，在该广告内容中，被算法识别为黑人、西班牙人或白人的个体(后者还包括任何非黑人和非西班牙人的个体)为同一部电影展示了不同的电影预告( Clark 2016 )。13、例如，最近一项模拟1000名谷歌用户（一半男性，一半女性）的研究开始时没有搜索历史，然后让用户访问前100名就业网站。随后，在第三方新闻网站上，研究发现男性用户看到高薪招聘广告1800次，而女性用户只看到300次高薪招聘广告（Datta 等人，2015 年）。同样，在对由私人软件公司 Northpointe 开发的算法犯罪风险评估工具的研究中发现了明显的种族差异，目前美国多个州在刑事司法程序中使用。在佛罗里达州的一个县，黑人被贴上高风险标签但实际上并未再次犯罪的可能性几乎是白人的两倍，而白人被贴上低风险标签但继续犯下其他罪行的可能性比黑人高得多（Angwin et al .2016）。14、事实上，犯罪学研究强调了警察拦截和搜查权力如何系统地歧视少数族裔，正如鲍林和菲利普斯 (2007) 所观察到的，这些权力在英国的行使方式仍然是英国警务中最具争议的方面之一。15、当然，将车辆退还给汽车租赁公司并交付新车辆会产生转换成本，客户在决定是否转换时需要考虑到这一点。
