亚马逊天价罚单背后是全球算法合规的暗潮涌动 | 律新社观察
事 件
2021年7月29日，亚马逊向美国证券交易委员会提交了Form 10-Q（季报），在其中的涉诉披露中提到：“2021年7月16日，卢森堡国家数据保护委员会（CNPD）认定亚马逊欧洲总部公司在对个人数据的处理方面不符合欧盟《通用数据保护条例》（GDPR）要求，因而施以7.46亿欧元罚款并责令整改。我们相信，CNPD的决定有失正当，并将对此竭力抗辩。”[1]
这是迄今为止根据GDPR开出的最高罚款主张，但相比于天价罚金，人们更关注本次处罚具体针对的是哪些违规行为。对于这个问题，CNPD至今既未公布细节，也未发表评论。
8月3日，法国国家信息与自由委员会（CNIL）在其网站发表的简短评论中指出，CNIL就亚马逊数据违规案一直与CNPD保持合作，而亚马逊欧洲总部公司因注册在卢森堡而受CNPD管辖。根据卢森堡法律，在亚马逊用尽所有上诉选择或法律补救措施之前，CNPD将不会公开案件细节，言外之意是7.46亿欧元的罚金并非最终决定。同时，CNIL间接证实了La Quadrature du Net（法国的一家民间网络权益保护组织）关于本次处罚所针对的具体违规行为的说法。[2]
根据La Quadrature du Net的说法，亚马逊的数据违规行为在于其千人千面的广告系统并没有基于信息被收集者的同意（the targeted ad system that Amazon forces onto us is not based on free consent）。[3]
亚马逊的广告系统基于自动化决策算法。如果La Quadrature du Net的说法属实，这意味着GDPR对于算法的合规治理趋于严厉。
律新社观察到，对自动化决策或算法的治理，欧洲并不孤单。在相近的时间，中国在对算法的治理方面也有所行动。8月2日，中央宣传部等五部门联合印发了《关于加强新时代文艺评论工作的指导意见》，其中涉及算法治理：“健全完善基于大数据的评价方式，加强网络算法研究和引导，开展网络算法推荐综合治理，不给错误内容提供传播渠道。”[4]此外，8月中旬，《个人信息保护法（草案）》将进行三审，其中多项条款将涉及自动化决策和个人信息自动化处理。
是 非
实际上，《个人信息保护法（草案）》中对自动化决策的定义是局限的，或者说，草案中所指的自动化决策仅限于以个人信息为数据输入、以商业推送或信息分类的优化服务为目的的自动化决策。然而自动化决策可以意味着更多。比如自动驾驶，不仅是基于自动化决策，而是自动化决策已然是自动驾驶这一功能或服务的全部内涵。在自动驾驶中，算法不是为优化一项服务而添加的可有可无的设计，也不是以采集个人信息为必要输入条件。因此，在对与算法相关的概念的定义上，律新社观察到，GDPR表现出为符合有限语境而该有的审慎——GDPR没有试图去为自动化决策赋予定义，而是定义了Profiling[5]这个概念，并将Profiling（画像分析）看作Automated Decision-Making（自动化决策）中的一类，用以区别自动驾驶这类算法。Profiling的定义基本与我国《个人信息保护法（草案）》中的自动化决策相同。下文所探讨的算法，如无特别说明，将主要是指《个人信息保护法（草案）》定义的自动化决策或GDPR定义的Profiling.
算法已深入到我们几乎所有使用着的互联网产品，为我们提供了被量身打造的信息，为我们节省了时间、提高了效率。今日头条首页呈现我们感兴趣的话题；淘宝首页展示我们常购买的产品；芝麻信用告诉我们有怎样的信用水平；高德地图为我们规划出最合理的路径。试想另一幅画面，当美团不按距离展示外卖商家，当知乎只能靠搜索检索内容，当抖音的下一幅视频完全随机……没有算法的互联网将是一个很难让人愉快接受的世界。
算法为用户提供了便利。用户获得便利的前提，是接受平台方对个人信息的获取。算法以用户的网络浏览历史、消费记录、兴趣爱好、行为习惯、经济状况等隐私信息为输入，绘制成用户大数据画像，经预设规则或AI分析过滤后向用户输出智能推荐。隐私与便利之间更多是一种以算法为介质的默许的交易。只是，算法的控制权掌握在商业平台而非用户手中。
商业的逐利本性总是倾向于开发出用于最大化攫取用户价值的算法。比如，视频程序为获取流量和用户粘性，仅推荐用户最感兴趣的内容，令用户长时间置身信息茧房；旅游软件对同一间酒店或同一趟航班，向不同消费习惯的用户给出不同价格；亚马逊这样的网站基于个人信息的算法推荐的多数并不受欢迎的广告。
然而尽可能理性地说，有些看似负面的算法行为实际上并没有它看上去那么负面。正如予是取的对价，广告是免费服务的对价。亚马逊的广告，如果我们再去审视其应用了自动化推荐的投放机制，我们也很难得出算法本身非正义的结论。实际上，遭人诟病的不是广告，也不是算法，而是用户在被自动化推荐广告时的知情权、同意权和不同意权，即La Quadrature du Net所说的free consent。 但是，无论问题出在算法本身还是出在披露流程，就结果来说，都是算法的污点，而且鉴于算法是被人类这一并不十分具有道德稳定性的物种所创造和干预，那些算法的污点，注定不都无辜。或蓄意或无意地，算法歧视、算法偏见、算法霸权、算法合谋、算法垄断等诸多负面现象正在大量涌现。
不乐观地推测，终有一天，算法的产物AI得以取代人类去创建或管理越来越多、越来越复杂的算法，原本属于人类知性的一部分操作被划分给算法和AI，原本属于人类的思想将被算法和技术所勾兑，而算法又将掉过头来通过对人类的感知的控制，为人类建造无形的藩篱。在这狭小的藩篱中，人类的消费被数字符号统治，重复以至于麻木，人与人之间素有的差异被转化成一种隐藏在看似不同背景之下的大同，思想的无产阶级化让意识不再必然依附于现实物质世界，而是不可抗拒地被数字时空所吸引并任其在虚幻中流逝。而这场自我毁灭的战争所需要的唯一武器正是未加规制的算法。
法 规
疏于规制将带来物种异化风险，而过分规制则会妨碍科技进步。对算法的规制成为世界范围内的挑战。目前，世界上没有一个国家或超国家组织的立法明确考虑了一般算法系统的问题特征，对算法的立法一般是针对某些特定监管角度，散落在不同的法规之中。以下仅就欧洲、美国、中国三地在算法规制方面有代表性的法规做简要介绍。
（1）欧盟《通用数据保护条例》（GDPR）
GDPR于2018年5月25日开始实施，被称为史上最严数据保护条例。GDPR明确赋予了个人免受自动化决策权。GDPR关于算法的条款的两个关键词是画像分析和自动化决策。
画像分析是指任何形式的针对个人数据的自动处理，用于评估或预测自然人的某些方面，特别是分析或预测工作表现、经济状况、健康状况、个人偏好、行为特征、位置或行踪等。画像主要使用统计和推论的方法，而判定一个场景是否属于画像，则主要是看是否包含下面这三个要素：自动化处理、个人数据、用于评估或预测自然人的某些方面。
自动化决策是指在没有人工干预的情况下，以技术的方式作出决策。比如：基于车辆的速度、方向、车道，以及红绿灯的状态、限速、交通标识，判定车辆是否违章；网上申请贷款时，根据申请人的信用分，判断是否自动驳回。
GDPR主要的涉算法条款的核心内容为[6]：
第5条，处理个人数据的基本原则中，有“合法、公正、透明”的要求，而基于画像的自动化决策很可能出现对数据主体不公正的情况。
第13、14条，要求在隐私声明中说明是否用到自动化决策或画像。 第22条，数据主体享有不受制于自动化决策的权利，在没有法定义务、合同义务等法律基础的情况下，需要征得数据主体的明示同意，且可以撤回同意。 第35条，要求执行DPIA（数据保护影响评估）。
（2）美国the Algorithmic Justice and Online Platform Transparency Act of 2021 （意为：算法正义与网络平台透明度法案，简称AJOPTA）[7]
2021年5月27日，美国参议员Edward J. Markey和众议员Doris Matsui联合提出了“算法正义与网络平台透明度法案”。该提案是众多涉算法治理的提案之一，暂处于众议院审议阶段。该法案禁止网络平台算法歧视性使用个人信息，同时提出一系列措施确保平台在算法使用过程中履行审核和透明度义务。
该法案有以下几点值得关注[8]：
1）该法案提出个人信息的“合理关联”标准，即如果信息可以单独使用，或与一个人持有的或容易获得的其他信息结合使用，以识别一个人或某一设备，则可以合理地将该信息视为与一个人或设备相联系。
2）提出了算法处理活动的通知义务。该法案提出，对于网络平台使用的每一种类型的算法处理，该网络平台应以明显的、可获得的、不具有误导性的语言向网络平台的用户披露以下信息：
（i）网络平台为该类型的算法处理而收集或创建的个人信息的类别。
（ii）网络平台收集或创建此类个人信息的方式。
（iii）网络平台如何在该类型的算法处理中使用这些个人信息。
（iv）该类型的算法处理对不同类别的个人信息进行优先排序、分配权重或排名，以隐瞒、放大、推荐或向用户推广内容（包括群组）的方法。
3）提出了网络平台对算法使用和处理记录的保留义务。网络平台应当对相关记录保留5年，以备审查。
4）提出了网络平台的算法审核义务。该法案规定，自本法颁布之日起1年后，任何网络平台应以醒目、通俗易懂且不具误导性的语言，向平台用户披露平台内容审核实践的完整说明，包括任何类型的自动内容审核实践和使用人工操作的内容审核实践的说明。同时，该法案规定平台应当发布内容审核透明度报告。立法者要求自本法颁布之日起180天后，任何从事内容审核的网络平台（小型企业除外）应每年至少发布一份关于其内容审核惯例的透明度报告。
5）提出了网络平台算法使用的安全性和有效性标准。该法案提出了“算法处理的安全性和有效性”要求。
6）提出建立网络平台算法处理机构间特别小组。该法案提出为了审查网络平台在算法处理过程中是否存在对个人信息的歧视性使用行为，委员会应针对网络平台算法处理问题建立机构间特别小组。
（3）中国《个人信息保护法（草案）》二审稿
《个人信息保护法（草案）》始于2020年10月，并将在2021年8月中旬进行三审。从内容来看，该草案在适用范围、处理规则、个人权利和义务等方面较多地借鉴了GDPR，在我国首次在法律层面提出了对利用个人信息进行自动化决策的规则要求，从透明度、知情权和拒绝权等方面对自动化个人信息处理原则和自动化决策进行了原则性但较为全面的规定。
该草案二审稿涉自动化决策的条款主要有：
第5、6、7、8、9条，自动化个人信息处理原则包括：合法、正当原则；目的明确、合理；最小必要原则；公开透明原则；准确性原则；可问责性原则。
第11、12条，自动化决策治理机制包括国内多方协同机制和国际协作机制。
第13条，自动化个人信息处理的前提，包括取得个人同意、合同在先和其它可被允许的情况。
第18条，个人信息处理者有事先告知义务。
第25条，应保证自动化决策的透明度和公平合理，不提供针对个人特征的选项；个人有获得说明权、拒绝权。
第27条，在公共场所做人脸识别需符合相应规则。
第34、35、36条，国家机关处理个人信息应符合一定规范。
第44、45、46、47条，个人在自动化个人信息处理中的权利，包括：知情权、决定权、限制或拒绝权；查阅、复制权；请求更正、补充权；删除权。
第48条，个人有权对其个人信息处理规则获得解释说明。
第50、51、53、54、55条，个人信息需分级分类管理；个人信息保护负责人制度；审计制度；事前风险评估制度；发现信息泄露后的补救。
第69条，自动化决策的定义。
综合《个人信息保护法（草案）》、GDPR和美国的多项正在审议中的涉算法治理的法案的内容来看，算法合规在当前更多表现为算法外在的程序合规，而还不至于是算法内在的技术合规。即便如此，算法合规时代已经来临。据金融时报7月4日消息，以算法为其核心商业竞争力的字节跳动公司正在着手卖掉TikTok的算法秘方[9]，此举的后果，至少将包括令TiKToK在面临日趋严峻的算法监管时不那么孤单。
然而算法监管的全球化趋势正在加速。随着《个人信息保护法》审议进程的推进，算法规制很快也将拥有中国的阵地。金融时报8月8日报道称，字节跳动在重新审视局势后，将寻求在2021年底或2022年初在香港IPO[10]. 该新闻未经字节跳动证实，但却为《个人信息保护法》在2022年上半年开始正式实施提供了想象空间。在《个人信息保护法》正式实施前，留给企业准备算法和数据合规机制建设的时间从现在算起也许只有半年。
合 规
“如果你认为合规很贵，试试不合规的后果。”——美国前司法部副部长Paul McNulty。
根据GDPR，违规企业最高面临2000万欧元或全球营业额4%的罚款，两者以高者为限。
根据《个人信息保护法（草案）》，违规企业最高面临5000万元或上一年度营业额5%的罚款。
无论是出于治理需求还是道德伦理，公权力部门都将有足够的动力去制定和推进与算法相关的立法。亚马逊天价罚单背后是全球算法合规的暗潮涌动。在《个人信息保护法》临近出台之际，对相关企业来说，算法合规机制建设是值得未雨绸缪的任务。算法合规是数据合规的一个版块，因而算法合规机制也更适合在数据合规机制框架内搭建。
对企业来说，算法合规的机制建设至少表现为三种形式或三个阶段。
（1）涉合规岗位的课程培训
董事、管理层、法务、合规人员、数据管理人员、个人信息保护负责人、运营人员、人力资源官都需要对算法合规的法律和实务有所了解，即便不同岗位所需了解的程度不同。需要了解的涉算法合规的主要法律是《个人信息保护法》，但需建立在对《数据安全法》《网络安全法》《电子商务法》《民法典》、GDPR等法律法规的知识基础之上，至少做到了解法律对算法合规的要求和相应的违规成本。针对算法合规实务的专项培训并不多见，但部分数据合规培训仍会有所涉及。例如，EXIN的DPO系列证书培训虽是针对GDPR，但从操作体系的范畴来看，很大程度上也适用针对《数据安全法》和《个人信息保护法》的合规。此外，中国的CISP系列证书培训可为算法合规提供基础知识框架，尤其是今年增设的CISP-PIP是面向《个人信息保护法》的专项证书。
（2）合规体系搭建
企业可以在内部专业合规官的规划下独立搭建合规体系，而对于多数企业，以项目的形式通过外部专业机构来搭建合规体系也是一种选择。合规体系是一项系统工程，包括合规部门的岗位设置、IT部署、工作规范、工作流程和跨部门协同等方面的详细机制。合规体系的搭建可看作是一次性的项目，但合规体系本身将是一套日常永续的工作机制。
（3）合规自动化系统（RegTech）
RegTech成为一类工具或者一个行业，出现于2010年前后，是Regulatory Technology的简写，实际意义为提供合规服务的科技，简称合规科技，是LegalTech（法律科技）的一个分支，也是ALSP（替代性法律服务）的一个垂类。
2008年实施的国际银行业监管法案巴塞尔II和2010年美国通过的更为严格的Dodd-Frank法案让合规成为银行业内部工作的重中之重。以软件或科技的方式服务于银行业的RegTech应运而生。直到现在，为泛金融行业提供基于大数据和云计算的合规SaaS服务是人们对RegTech的固有印象，但与这一印象不完全相同的现实是，RegTech也可以服务于金融业以外的行业，包括传统工商业和互联网行业。
RegTech的功能可以涉及五个板块：合规报告和上报（Regulatory Reporting）、风险管理（Risk Management）、身份管控（Identity Management and Control）、合规履行（Compliance）和交易监控（Transaction Monitoring）。具体的某一家RegTech产品一般聚焦于以上一个或几个板块。
算法合规或数据合规对RegTech的典型需求是合规报告、身份管控和合规履行，知名的品牌包括Infosistema公司的Unik Digital Board、Quant LegalTech公司的Complius、SAP公司的GRC方案等等。为国内企业提供定制RegTech的不多，SAP能够算作其中一家。SAP的GRC方案通过将系统分为合规治理层、业务执行层、数据运营层，将管理层、法务和合规部门、业务部门、人力资源部门、IT部门和数据处理人员连接成相互协同的有机整体。RegTech虽不能完全取代，但正在从效果上趋于接近传统组织机构形式的合规体系。
进 化
RegTech在应用于算法合规时，让我们看到的，是用算法来规制算法的行为，这多少具有讽刺意味，但也将仅是一时。毕竟，算法是一种智能，一种有别于人类有机智能的无机智能。而智能代表着无限可能。AI是算法的高级形式。“AI”恐怕也只是人类暂时一厢情愿的叫法。Artificial一词的背后是人类作为创造者的骄傲情结，让Artificial Intelligence充斥着工具属性。而AI作为智能将不可避免地进化出创造性，包括对新的AI的创造，届时“AI”这个称呼将名不副实，算法造就的无机智能在服务人类的过程中也将逐渐成为人类的威胁。是人类驯服算法，还是算法驯服人类，将是一个潜在问题。在太迟之前，人类需要找到确保能控制权利的方法。GDPR和《个人信息保护法》，是以个人隐私权为立足点向算法发起的宣战，而这仅是对抗的开始。随着更多更细的法规的出台，算法合规的内涵也将更加丰富。
本来本文已到此结束，但重温了几集《西部世界》后，毋宁续写几句。
通过法律手段平衡个人与算法的关系，其有效性和合理性可以成为一个开放的问题。《西部世界》中，接待员的意识是算法的产物，与人类意识对比，已经具有十足的拟真度（fidelity）。
▲《西部世界》剧照，William对自由意志的诘问
机器通过收集反复去西部世界的人的数据而得出这个人的算法，从而复制这个人，每个人的全部历史和未来都由独属于那个人的算法之书决定。
▲《西部世界》S2E10剧照，人也是算法的产物
意识能否被模拟不是讨论的重点。重点在于，人类的意识、人类对每个下一秒的反应和决定，实际上也很难辩驳是算法的产物。人类意识的生化算法与接待员意识的电子算法在本质上的区别也许没我们想的那么大。或许，人与AI本就是平等的物种。二者的关系若只允许通过人而不是AI制定的法律来平衡，将面临的不仅是有效性和合理性的问题，甚至可能连谈判桌都不存在。
算法的崛起将深刻改造我们已熟悉了上万年的这个现实世界。“我们站在一个崭新世界的大门前。这是一个令人兴奋的、同时充满不确定性的世界。”[11]
▲《西部世界》S2E10剧照，图中裂隙为算法数字世界置于现实世界的大门
愿科技向善。
# 注释 #
[1] “AMZN-10-Q: Quarterly report for quarter ending June 30, 2021”,U.S. Securities and Exchange Commission, July 30, 2021
https://www.sec.gov/ix?doc=/Archives/edgar/data/1018724/000101872421000020/amzn-20210630.htm
[2] “L’autorité luxembourgeoise de protection des données a prononcé à l’encontre d’Amazon Europe Core une amende de 746 millions d’euros” , Commission Nationale de l'Informatique et des Libertés, 03 août 2021
https://www.cnil.fr/fr/lautorite-luxembourgeoise-de-protection-des-donnees-prononce-lencontre-damazon-europe-core-une
[3] “Amende de 746 Millions d’Euros Contre Amazon Suite à Nos Plaintes Collectives”, La Quadrature du Net, 30 juillet 2021
https://www.laquadrature.net/2021/07/30/amende-de-746-millions-deuros-contre-amazon-suite-a-nos-plaintes-collectives/
[4] “中央宣传部等五部门联合印发《关于加强新时代文艺评论工作的指导意见》”，新华网，2021年8月2日
http://www.xinhuanet.com/2021-08/02/c_1127722893.htm
[5] “'profiling’ means any form of automated processing of personal data consisting of the use of personal data to evaluate certain personal aspects relating to a natural person, in particular to analyse or predict aspects concerning that natural person’s performance at work, economic situation, health, personal preferences, interests, reliability, behaviour, location or movements”. Article 4(4), Regulation (EU) 2016/679 (General Data Protection Regulation)
[6] “GDPR解读（8）：自动化决策与画像”，Janusec，2020年2月7日
https://www.janusec.com/articles/privacy/1581080738.html
[7] 该法案仍在审议之中，其名称的中文翻译和简称尚不存在通用称谓。图片来源于美国众议院网站。
https://www.congress.gov/bill/117th-congress/senate-bill/1896/text
[8] 该部分内容参考或引用了对外经济贸易大学2020级研究生陈慧等人对AJOPTA所做的摘要。“数字经济与社会”公众号，2021年6月16日
https://mp.weixin.qq.com/s/D9z2JuF8TglTB02I3JI-jA
[9] “ByteDance starts selling AI that powers TikTok to other companies”, Financial Times, July 4, 2021
https://www.ft.com/content/bed7cba1-db7a-49c7-9d57-06fd19e14e10
[10] “China’s ByteDance aims for Hong Kong IPO despite tech crackdown”, Financial Times, August 8, 2021
https://www.ft.com/content/bacca56f-1da5-4721-90bf-a61383ab7eec
[11] “We stand on the threshold of a brave new world. It is an exciting, if precarious place to be.” 出自霍金在全球移动互联网大会上的发言，北京，2017年4月27日
《中国新兴法律服务业发展报告（2021年度）》调研问卷启动
工欲善其事，必先利其器！
扫码进入问卷
责任编辑丨Lotto
版面编辑丨Cathy