夏然｜我国算法歧视的类型、根源及协同治理路径探究

原创 夏然 上海市法学会 东方法学

夏然

河北地质大学政法学院硕士研究生

要目

一、问题的引出——算法歧视在商业交易中的典型事例

二、算法歧视的类型及根源探究

三、我国针对算法歧视相关治理之检视

四、算法歧视协同治理路径的必要性

结语

算法歧视作为数字化时代所带来的负面效应，若以运作模式及侵害权益为类型，可呈现不同层面的歧视后果。探究算法歧视的产生根源，一方面源于设计者自身的价值倾向，另一方面也源于不完整的数据偏见。数据的范畴化趋向，则是由于算法本身倾向简化认知过程的思维模式，“算法黑箱”也使得算法决策的隐形歧视出现而无法被开发者掌控。面对算法歧视的现状，我国有关的算法治理存在治理模式单一，具体规范与算法技术相矛盾等问题。协同治理路径作为我国互联网综合治理体系下的延伸，以算法背后的不同利益主体——公民个人、经营者、算法治理行业协会、监管部门以及立法机关为入手点，探讨呈动态、交互性的协同治理路径，可实现利益主体之间的良性互动，营造算法歧视多元主体协同治理格局。

一、问题的引出——算法歧视在商业交易中的典型事例

平台针对用户进行区别定价的行为作为一种价格歧视属于算法歧视中的常见情形，而除了价格歧视，身份歧视、性别歧视、种族歧视等情形依然屡见不鲜，我国相关部门虽在近几年不断加大监管力度，个人信息保护法的颁布以及《关于平台经济领域的反垄断指南》《互联网信息服务算法推荐管理规定》等规范性文件的发布，虽然在一定层面上遏制了算法歧视侵犯公民合法权益的情况，但构建完善的算法歧视规范体系仍应提上日程。算法作为一项技术，其虽对社会产生了负面影响，但依然有利于社会进步。因此，如何有效把握算法规制的边界，在合理平衡算法背后多元主体权益的前提下构建综合有效的治理体系，是化解算法歧视问题的关键。

二、算法歧视的类型及根源探究

算法歧视的类型划分

1.以算法运作模式为划分

算法的运行可基于不同的运作模式，常见有代理型算法运作模式。在此模式下，又可细分为直接偏见代理与隐藏性偏见代理两种运作模式。直接偏见代理，顾名思义，指开发者或决策者在算法技术被运用之前直接在程序中输入了一系列歧视标签，如性别、用户年龄、种族等存在偏见的信息。这种模式下的算法充当工具人角色，是开发者或决策者达到歧视性对待目的的工具，其得到的算法结果一定是带有偏见性的。而隐藏性偏见代理，指开发者或决策者未直接输入歧视标签，而选择使用其他替代性要素使得算法运行的结果达到与直接偏见代理输出的结果相比相同或相似的程度。在此种模式下，算法依旧是开发者或决策者的工具，承担相对较为简单的数据输入与结果输出工作，但由于歧视性标签具有一定的隐蔽性，因此不容易被监管者或用户发现。

其次，常见模式还有累积型算法运作模式。在互联网环境大背景下，线上各平台为进一步获取利益或提高竞争力，不断扩张其经营范围，而各平台之间签署的数据共享或反垄断协议使得数据不断在各个平台之间流动，导致累积型算法不断扩张，加剧了对公民的歧视。累积型算法运作模式的特点在于公民被算法分析后，被赋予了一种算法身份，而此种算法身份并不是一成不变的，它具有交互性，在与其他数据互动以后会不断对此身份进行更新。因此，对于个体或群体身份的确立是依据算法所识别的个体与其所接触其他个体的关系所确定的。而“一旦数据来源不够准确，则个体被赋予的算法身份就会与其真实情况存在偏差，并因此被贴上某种标签而使其在算法决策中受到歧视。”而受算法歧视的个体或群体在此种算法决策的影响下可能会做出符合此标签的行为，长此以往，个体或群体行为所产生的新数据会不断累积影响着算法身份的不断更新，最终导致受算法决策的个体呈现“马太效应”现象，加剧了算法歧视带来的负面影响。

最后，自主型算法运行模式作为开发者或决策者最难掌握或解释的运行模式，其特点在于深度的自主学习性，虽然其掌握的初始数据来源并不具有明显歧视性特征，决策者或开发者在运行阶段也未给予其主观干预，但是此类算法将其收集的数据进行分析，得出社会上普遍存在的偏见导向，并由此生成了歧视性结果。由于社会、国家的偏见或歧视是普遍存在的，即便每个个体均不承认其存在偏见，但其所产生的总数据一定具有偏见性，这是不可避免的。数据虽然是理性的，但作为数据来源的人类并不是，算法作为由人类开发的学习机器，其对人类的决策过程也存在模仿性，偏见由此产生。而算法通过决策者无法掌握的自主学习过程并随着数据进行不断更新，产生的偏见是无法预知的，更无法预测其会产生何种歧视结果。

2.以所歧视主体及受侵害的利益属性为划分

算法歧视可针对不同对象进行歧视，被歧视主体可分为个人、公民以及经营者三类。针对个人所带来的侵害是最为直接和显著的，常见的如前文所述的“大数据杀熟”等平台的区别定价行为，因此对于受侵害的权益一般为民事权益，而由于个人与算法决策者的非合同关系，当个人因算法歧视遭受损害时，侵权责任机制作用凸显，同时随着个人信息保护法的出台，“知情同意”明确作为信息主体所享有的权利，尤其在涉及一些敏感个人信息时要求信息处理者获取个人的单独同意，这也为遭受算法歧视的个体以合同法角度要求平台等信息处理者在因违反算法程序使用时的告知、披露义务或未履行对算法程序的审计、预防等保护义务时，导致算法产生歧视行为而产生的损害，请求平台承担缔约过失或违约责任提供了法律依据。“知情同意”的目的，在于个人能获得处理者对算法处理程序充分的告知与披露，并被信息处理者承诺在对其个人信息处理时享受正当、安全的算法处理程序，保障其免受算法歧视。

而对于公民来说，算法歧视侵害的是其享有的基本权利，当前侵害主要表现为性别歧视以及劳动权益的歧视，国外还存在种族歧视或信仰歧视，但在我国不太显著。如亚马逊公司的自动招聘算法程序对女性求职者的简历打低分，导致女性工作申请成功率降低。又如北京一公司利用算法在后台对单位员工在园区内的非工作场所使用员工卡的次数及时间作全程记录，超时超次就会自动扣除相应奖金，而多数员工对这一规定并不知情，这显然是企业利用算法技术在员工不知情的情况下侵犯了其劳动权益，背后隐含的本质依旧是企业管理者对员工劳动权益的歧视。最后，对于市场主体，各互联网平台对算法的扩张运用也加剧了平台之间的竞争。某些平台为了获取更多的竞争优势，滥用算法技术形成“算法合谋”，以共同分享数据、协调定价或采取对与之合作的特定商家进行优待等手段，使得其他竞争者失去竞争力，以达到排除、限制竞争最终垄断市场的目的。“算法合谋”又分为明示与默示“合谋”。明示“合谋”的算法歧视，算法被用来执行算法决策者或开发者们合谋限制、排除竞争的要求，而对于默示的算法合谋，算法决策者之间不存在明确的合谋协议，仅是产生了具有“合谋”性质的算法行为。因此，“合谋”具有隐匿性，对监管技术的要求则更高。

算法歧视的根源

1.算法的固有偏见

对于算法歧视的根源，算法偏见是当前学术界热议的说法之一。首先，算法偏见可源于算法程序开发者的偏见，这既可能是开发者故意为之，也可能是无意的偏见，因为无论开发者怎样避免价值观的输入，其自身的设计理念、所认定的算法结果输出标准、文化背景、宗教信仰以及所处的社会制度仍会映射到算法程序的开发或设置之中，这是无法避免的。其次，算法分析的基础是其所获取的数据，而这种分析进路决定了某些数据主体一开始就可能被标记歧视性标签。有学者曾这样评价这一预测犯罪的算法工具：“最终不平等的根本原因既不是输入的数据，也不是算法，也不是算法本身，而是预测的性质决定了任何预测方法都会将过去的不平等投射到未来。”因此，只要算法所依据的数据本身存在的偏见未被消除，在算法处理过程中依然会将此种偏见保留，最终使得算法决策产生歧视性结果。

2.算法的范畴化分析趋向

依据上文分析，若数据本身即存在偏见，则算法决策结果一定具有歧视性。除此之外，算法对获取数据进行分析的范畴化趋向也是导致算法歧视的根源。“范畴化倾向是人们为了在一个复杂多变、充满不确定性的世界中能更好生存而发展出来的一种思维模式。我们依据‘最少努力’原则对事件进行归类，因为新刺激或新体验总是要被纳入旧范畴，我们才知道应该如何应对。”算法对数据的分析过程，也类似于人类的此种思维模式。算法所获取的数据的数量或种类一定是远远少于现实数据的。在获取数据以后，算法会对其进行分类归纳。在面对新数据时，算法更倾向于对那些特征明显、要素占比多的数据进行分析归纳，而将一些占比较少且边界模糊的数据直接认定为错误数据，或将其归入已经分好类的类似数据群中。长此以往，虽然决策的效率大大提升，但那些特殊的数据被算法范畴化定义或忽略，难以获得进一步精确分析，使得支撑算法分析的数据多样性减少，最终直接影响了算法决策的个性化实现。而对个性化的忽视意味着算法分析的决策结果将与一些少数现实数据的真实情况存在偏差，这也就可以解释为什么人们在日常生活中收到的一些广告推送与和他们年龄相仿、浏览内容相似的群体推送的内容相同，但有些广告并不是群体中的所有人都感兴趣的。其次，数据的真实与可靠性影响着算法决策结果正当性的实现。若所分析的数据之中存在造假、失效等瑕疵，数据也会导致决策依据的偏差，不仅影响数据被范畴化的定义，也造成算法对数据产生误解，最终可能出现歧视性结果。

3.算法内部黑箱的自主化运行

前文论述了算法的自主型运行模式，而其背后的成因在于“相比于传统的机器学习通过特征提取、判定进行推理得出结果的程式，算法深度学习是通过剖析事物原始特性进行归纳总结之后得出的结果，是一种更为高级的认知方式。”这种深度学习方式，使得算法内部对数据的分析产生了开发者无法掌握与理解的认知，开发者既无法控制其运行过程，也无法向外界对此进行解释。目前，这种认知机制的隐蔽性仍无法通过科技手段进行化解。这种“机器学习算法可以基于大数据的自我训练、自我学习过程完成参数调整与模型构建，也即完成算法的自我生产过程。”而由于算法获取的数据具有动态性，再加之内部的既存歧视使得算法在自主化运行过程中产生了某种开发者或决策者已难以预测或控制的决策结果。“正如在智能投顾领域，没有人能够清楚了解机器人是否‘作恶’，更无法控制机器人以防止‘作恶’行为的产生”，导致算法的某种决策结果可能就隐藏着算法既存歧视的外在表达，继而算法的隐形歧视出现。

三、我国针对算法歧视相关治理之检视

我国算法歧视的治理现状

我国在算法治理方面起步较晚。不同于美国对算法建立的外部问责制以及欧盟对算法个体赋权的治理模式，我国尚未形成较为完善的治理模式，起初的主要治理手段是以公权力为主导，通过增加算法开发者或决策者的义务或责任来对算法进行规制，具体条款如电子商务法第18条及广告法第5条、14条。而随着算法技术的不断发展，其对原有治理模式也产生了冲击与挑战，数据主体的权利边界随之不断被算法缩减，算法逐渐产生从“算法技术”转变为“算法权力”的趋向。因此，国家继续出台了一些法律法规，试图通过确定算法技术的原则、标准以及增加算法控制者的责任或义务来压制算法的膨胀趋势，如数据安全法第28条在法律层面上明确了算法技术的开发原则。个人信息保护法第24条则明确了“自动化决策”的运行标准，以保障算法决策结果的公平公正。除此之外，该法不仅增加了算法决策或开发者的解释或安全保障义务，还在第四章增加了对个人在信息处理活动中权利的规定，即算法决策的对象——数据主体也被赋予了相应的权利，如对算法处理数据的知情权、拒绝权、要求算法服务者对信息处理解释说明权等权利。此外，算法类平台的行业自律协会也相应成立，并联合发布了如《新一代人工智能行业自律公约》等一系列文件来督促算法平台的行为规范化并使企业不断提高其担负的社会责任意识。而于2022年3月1日起实施的《互联网信息服务算法推荐管理规定》则更为具体地明确了算法经营者的服务规范以及对决策对象权利保护的标准。这一系列举措，虽都不断推进着算法的治理进程，但针对算法歧视治理的体系性构建仍稍显薄弱，内在规范的适用效果也有待进一步检验。

算法歧视治理路径存在的问题

1.以公权力为主导的治理模式过于单一

“目前算法规制工具主要是自上而下的机制设计，算法规制仍然高度依赖于负有监管职权的行政机关，由其作为几乎唯一的规制主体单方面对算法风险施加规制措施，这与算法风险的现状及发展规律不尽相符。”当前，我国针对的算法的治理路径仍以公权力为主导，并通过立法增加算法开发者的法律责任或义务、增设相应监管部门对算法予以规制、监管。但算法技术产生于市场，政府作为非专业者不能完美掌握控制算法的主动权，对于算法风险的应对也往往具有滞后性，再加上算法自主化运行模式的发展，算法更不易被操控与预测从而导致公权力治理手段愈发被动甚至失灵。其次，技术具有两面性，算法虽对社会产生了一定的负面影响，但过多的限制与规制将不利于其可持续发展，算法技术的发展可以带来巨大的经济效益，因此国家通过法律手段对其设定社会责任或义务的同时也应注重对其经济利益的保护，实现算法效益与权利保护的均衡发展。最后，算法背后的利益主体具有多元性，“部分在传统认知框架中仍被视为‘私主体’的公司、组织和平台，在数据和信息获取能力、专业技术能力和社会资源掌握层面具有绝对的优势。”算法平台、行业组织等主体，均可在一定层面对算法治理发挥技术性规制作用，而作为弱势一方的公民个人与社会公众虽被赋予了事后追责的救济权利，但面对强势方的算法平台权利形态仍略显单薄。因此，对于算法歧视的治理，更应加强对弱势一方的权利保护，发挥不同利益主体的力量，探寻更为综合的治理路径，以建构完善的风险防范、企业合规、权责分明的算法歧视治理体系，实现利益主体的权利平衡。

2.具体规范与算法技术存在难以适应性

首先，从算法技术的开发或决策者角度入手，国家虽以立法形式在法律层面让算法开发者或决策者对算法技术负有“解释说明义务”以保证算法决策过程的公开、透明。“算法透明来自域外实践，美国学者认为，这是算法的一项预规范原则，要求算法的设计者或用户披露算法元素，包括源代码、输入数据和输出结果。”而通过设定披露、解释义务的方式无法完全与当前算法技术相适应，其中的问题在于算法技术已经趋向深度学习的自主化模式，从而产生了难以预测的算法黑箱，算法或决策者无法掌握此模式的运行机制，因此也就无法向外界进行解释，履行其义务。同时也有学者认为，“算法透明并不意味着算法问题能被发现，客观运行环境与算法的交互、第三方干预等也无法有效控制，因此算法透明原则不具有必要性。”此外，算法作为互联网平台竞争的核心，履行解释义务也会增加其知识产权受侵犯、商业秘密泄露的风险，无形之中加大了算法平台的开发及运营压力。

其次，从算法决策对象——公民个人来说，个人信息保护法虽赋予了其可以侵权为由起诉算法服务者的相应权利，但更为具体的侵权责任认定问题并未得到明确。传统的侵权责任认定以满足构成要件为基础，对于算法歧视造成的侵权，在算法决策行为与其产生的歧视性结果之间因果关系的举证方面，如果以传统的原告方承担举证责任，则会加大公民个人的维权难度。“算法的机理在于将新增加的信息和之前形成的记忆不停进行综合，从动态的随机数据中临时建立相关性的模式，进而做出当下的判断。”而若新增加的数据变量不断增加，由此产生的相关性也会增加，但最终的决策是根据相关性决定的，由于数据一直在不断更新，到底是哪种临时相关性所决定的根本无从确定，即便在此之后再进行演示，也无法保证与当时决策的相关性一致。由此，算法歧视侵权责任中因果关系的确定与算法的运行逻辑之间产生了矛盾。此外，“由于不可解释隐忧的存在，我们事实上并不能将相关责任完全置于算法设计者身上，这便自然带来监督与问责的难题。”因此，现有侵权归责原则难以适应算法的运行逻辑，导致公民个人维权陷入困境。

四、算法歧视的协同治理路径探究

算法歧视协同治理路径的必要性

1.协同治理路径具有深厚的理论基础

在综合治网格局下的多主体共同参与下，网络治理取得了显著成果，网络生态环境不断得到净化，而随着互联网领域的不断发展，其背后核心技术——算法也不断升级，综合治网格局也应随之不断更新与改进，以更好适应日新月异的算法技术。因此，针对算法的专项治理计划也逐渐提上日程，国家互联网信息办公室（以下简称“网信办”）、中央宣传部、教育部等九部委于2021年9月颁发的《关于加强互联网信息服务算法综合治理的指导意见》的通知中指出，要利用三年左右时间，逐步建立治理机制健全、监管体系完善、算法生态规范的算法安全综合治理格局，打造形成政府监管、企业履责、行业自律、社会监督的算法安全多元共治局面。2021年11月16日，为化解算法技术带来的算法歧视、不正当竞争等负面问题，网信办经过工信部、公安部、国家市场监督管理总局审议通过了《互联网信息服务算法推荐管理规定》，并于2022年3月1日起正式实施。规定指出算法应遵循的伦理等原则，并提出建立公众监督、监管互动的算法治理格局。算法歧视作为算法技术发展所产生的负面效应，其治理路径依旧需要以算法多元共治格局为依托，在此基础上，从算法歧视的根源出发，完善不同主体的治理路径，以求建立完善的与算法治理相配套的算法歧视协同治理体系。

2.可实现算法技术与利益主体的良性互动

“算法源于社会场景并因在实践中的应用而不断被优化，作为智能社会发展的重要基石，其可持续发展，需要整合社会多方力量，以形成立体的协同合作体系来助力算法的演进。”以美国及欧盟为代表的算法治理为我国探索治理模式提供了有益借鉴，学界也广泛提出了对算法歧视治理模式的构想。有学者提出，“由于算法歧视的表现形式多样，因此算法歧视的治理也应以不同场景为界分，不同场景下算法服务者所负担的算法解释义务应不同。”也有学者认为，“可以在公权力规制失灵的情况下，引入私人治理模式应对算法歧视，通过赋予不同私主体以民事诉讼或公益诉讼等司法方式去解决算法歧视带来的权益损害问题”。还有一些学者认为“以算法的技术逻辑为入手点，指出算法运行机制与传统规制模式之间的偏差，以规范数据训练、提升算法程序运行透明度完善算法决策者的解释义务以及加强监管部门的监管机制以技术治理模式化解算法歧视”。

总体而言，以上学者提出的治理模式虽能在一定程度化解算法歧视，但仍然存在不足。首先，虽然以划分场景类型以适用不同规制手段的治理模式对算法歧视的治理更为精细化，但也增加了监管者的监管难度。其次，算法歧视的表现形式多样，同一平台下算法的运行机制并不单一，如何有效对算法歧视的具体场景进行分类的现实难度较大，而“场景化的治理模式是描述性而非规范性的，在缺乏整体结构下的任何精细化进路，或者演绎分析，或者沦为套套逻辑，终将徒劳无功。”算法歧视行为的界定不同于传统民事责任，在具体归责时私人治理模式仍会遇到困难，因此仅以私人治理有失偏颇。而以技术逻辑入手的治理模式也忽略了算法决策者的人为因素，且现行算法运行机制存在开发者都无法掌握的“黑箱”，而最终算法歧视的责任需平台承担，因此以技术规训的治理模式有可能成为算法平台以此逃避责任的理由。基于此，本文提出协同治理路径来化解算法歧视问题，旨在最大程度发挥算法歧视治理背后多元利益主体的优势，完善消费者的个人权利保护，发挥企业作为算法开发者的专业优势，使其建立基于防控算法风险的专项治理体系，从源头遏制算法歧视。同时赋予行业协会对算法技术的审查权，加强其对算法平台的监督，使其担负社会责任。厘清执法部门的监管职责以及合理协调内部的权力划分，完善监管目标，最后在立法层面完善算法歧视责任认定等问题，有效保障公民权利救济，形成针对算法歧视的内外联动，多元主体协同治理的治理体系，最终实现算法技术与利益主体的良性互动。

算法歧视的协同治理路径

1.完善公民个人的算法及信息权利保护

对于算法决策的对象，公民个人掌握的权利远不及算法服务者，为弥补公民个人与算法服务者在专业及权利地位上的不对等，应在算法决策的事前及事中阶段完善公民个人的算法及信息权利。首先，个人信息保护法第24条虽然确定了公民个人在数据搜集阶段可要求信息处理者对自动决策予以说明的权利，并可自主选择是否由自动化决策应用其个人信息作出决定，即用户的选择进入机制。这是针对算法歧视对公民个人在事前做出的保护，但现实情况往往是当用户下载一项软件时，只有在同意经营者对其个人信息数据进行收集及使用时方可正常使用此软件服务，且在此之后用户没有了再选择要求经营者停止使用其数据进行算法决策的权利。“知情同意”条款往往非常晦涩冗长，超出了普通民众的认知范围，并未发挥其真正效果，而用户在同意之后只能忍受后续算法决策的歧视结果而无能为力。这种事前的算法决策同意机制显然影响到了事中的算法决策的运行依据，而个人信息保护法第24条第3款的立法目的在于防止信息处理者利用算法对个人做出的歧视性决策结果，即信息主体享有拒绝算法自动化决策的权利，即便在事前同意也应当享有事中拒绝其进行算法歧视性决策的权利。

因此，为了使公民个人可有效运用此权利，应将事前的“知情同意”进入机制完善为事后的选择拒绝或退出机制，即在事前的信息搜集阶段，用户对于经营者对其数据的搜集可以默示同意决定，而在数据使用阶段，用户仍享有要求信息处理者在对其进行算法推荐时提醒或说明的权利，平台需为用户提供明确的拒绝算法决定的选项，使其可以在具体的算法个性化推荐时享有完整的拒绝权，而若用户认为自己因算法个性化推荐已经遭受了算法歧视时，其享有选择退出的权利并可保证可继续正常使用该软件的其他服务。此外，用户对个人信息或数据还享有删除权，即可要求该平台删除其用于算法决策的个人数据。

2.加强经营者内部算法合规体系建设

“企业合规，是企业为有效防范、识别、应对可能发生的合规风险所建立的一整套公司治理体系。”在企业内部建立算法安全合规体系，可使企业实现从被动接受监管转变为激励自治的转型。虽然建立算法合规体系“无法直接帮助企业创造商业价值，却可以帮助企业避免重大的经济损失”此外，一方面可以从源头上解决算法歧视等负面问题，另一方面也可提升算法治理的监管效率。对于算法合规体系的建设，应明确算法治理的方针与原则，对于方针与原则的确定应结合颁布针对算法运行的法律标准、算法应遵循的科学伦理及企业自身的发展目标，建立算法合规政策并将此政策落实到企业员工，并建立问责制以促使各个员工严格遵守算法合规政策，为后续算法合规体系的建设提供原则向导与价值指引。

在正式开展算法运行之时，应开展算法技术的风险防控及安全评估。评估工作的进行应由企业内部专门的算法安全责任部门来进行，开展风险及安全评估的目的在于提升算法运行的安全性，使企业真正认识到自己有可能遇到的算法风险并证明具有可控制此风险的能力。而对于算法运行透明度的提升，多数学者认为只要公开算法运行决策的过程就能使决策公开公正，从源头杜绝算法歧视。其实，随着算法技术的不断发展，即便公开了算法运行及决策过程，也无法完全杜绝算法歧视的结果。因为内部的算法黑箱无法被打开，外界也就无从得知歧视性决策出现在算法运行的哪一个环节。其次，从算法决策的技术逻辑来看，其初始就带有既存偏见，但此种偏见并不一定会带来歧视性结果，只有在决策者将此种偏见决策运用到用户中，转化为了算法权力，才带来了算法歧视。因此，技术本身存在的固有特征，无法被改变也不能被改变。由此可知，提升算法的透明度无法从技术逻辑入手，而算法运行的基础——数据可以成为新的入手点，建立完善的筛选数据标准，要求企业采取各种措施确保算法输入数据的公平性，如，“基于预测置信度改变分类标签、采样和权值调整，干扰训练数据采集等可以有效控制算法训练数据的失真。”通过针对算法数据预处理的方式，使得数据分类更为合理，数据群体的多样性更为充分以实现后续算法决策的公平性。而在安全评估阶段，可要求“企业在合理范围内展示输入的变量数据，及其对结果的影响，以便通过‘反事实解释’评估算法是否存在歧视或偏见。”若企业可证明其可掌控算法运行的风险并已经建立了安全评估机制，应对政府作出承诺，以书面形式制定算法风险防控与安全评估的应对方案并向政府备案，使得政府在事中监管或事后问责时有据可依，实现算法治理的内外部有效互动。而对于一些无法证明其风险可控，且投入运行不存在必要性的算法，应禁止投入使用。最后，在算法正式投入使用之后，企业应邀请行业协会或政府监管部门以及社会团体进行算法运行及算法合规体系的评测，积极吸收各方评测建议并以此来不断优化算法的风险或安全评估制度，不仅使内部的算法合规体系更加完善，也营造了企业严谨、负责的社会形象。

3.赋予算法行业协会对企业的审查权

为贯彻落实国家政策，倡导算法企业、平台自觉担负职责，我国于2001年即成立了中国互联网协会，以规范互联网企业行为、协调纠纷、加强企业间的沟通协作维护行业及用户整体利益为基本任务。而在2018年5月9日，由国家互联网信息办公室作为主管单位，10家全国性网络社会组织自愿发起成立了中国首个网络社会组织联合会。联合会以统筹协调社会资源，凝聚组织力量，引导网络主体互相学习、共同进步等为宗旨参与网络社会治理。对于网络社会下的负面效应算法歧视的治理，行业协会也可发挥不可替代的作用。

首先，行业协会可对算法企业运行算法技术发挥事前审查的作用，该审查并非是针对算法技术的审查，而是对算法技术所遵循的伦理、价值倾向的审查。通常来看，算法平台为获得利益，会在算法技术中设立较多的价值引导以使用户在使用过程中获得更多个性化的算法推荐从而赚取流量。这虽然提升了用户的关注度使企业获得更多的收益，但用户所获取的推荐内容的质量无法获得保障。从今日头条涉嫌身份歧视一案中就可以看出，由于算法技术在设计阶段，信息质量在综合指标中所占的权重远没有流量指标权重高，导致推荐内容的质量堪忧。行业协会事前审查可对算法企业在算法设计阶段的价值导向发挥监督作用，以此保证算法技术的价值倾向以有利于社会和谐稳定、增强公民福祉为宗旨运行算法，从而在价值导向上降低算法歧视性决策结果的发生。

其次，在算法投入运行阶段，相比于事前审查的价值指引作用，事中的审查发挥的则是对算法运行是否有可能产生歧视等风险的评估作用。由于算法运行以后由于技术问题从而导致歧视决策存在隐蔽性，这就需要在技术专业性上更占优势的行业协会对运行中的算法技术发挥审查作用。通过审查算法运行是否产生了在算法设计时未存在的价值偏向，并评测在存在价值偏向下的算法运行机制产生歧视性决策结果的可能性，以及其是否建立了完善合规的风险防控体系来有效应对此类风险。对于评测结果不合格的企业，应报送到算法监管部门进行整顿。通过事前及事中的审查以期规范算法经营者的从业规范，建立算法行业的监督或审查机制，以实现行业协会、算法经营者及监管部门的协同治理。

4.监管部门建立明晰的算法安全监管体系

关于算法安全监管体系的建立，首先应明确算法的监管主体，从《互联网信息服务算法推荐管理规定》来看，主要以国家网信办及地方网信办负责统筹协调算法服务治理及监督工作，电信、公安、市场监管等有关部门则依据各自职责负责算法推荐服务监督管理工作。虽然多部门的监管可以统筹各部门资源使得算法治理更为充分，但部门设置过多容易产生内部协调性不足，职责分配混乱等问题反而会降低监管效率，因此应优化监管机构，专门建立统一且专业的算法管理部门。对于具体部门岗位或工作人员的设置，监管部门应积极吸引不同背景的算法行业技术人才以提高监管部门的算法治理素养，也有学者认为可“通过建立技术专家库、法律专家库、产业发展专家库的方式，为本机构的工作提供全面客观的方案与建议。”其次，对于算法歧视的具体治理路径，应在遵循算法伦理等一般性原理的前提下，细化监管手段，根据不同的算法行业、用户规模、所依据的数据重要程度及所运用的场景进行分类，建立差异化、分级分类管理制度。在算法投入运行时，经营者需在规定时间向监管部门履行备案工作，监管部门应对备案材料进行审查，在对经营者的服务形式、应用领域、所运用的算法类型及算法评估报告等手续审查完毕后，方可发放备案编号并进行公示。而对于运行偏向自主化易产生隐形歧视的算法类型，更应加强对备案材料的审核，通过让经营者展示训练数据并产生决策结果来判断算法运行机制是否会产生歧视。此外，监管部门还可要求经营者在将此算法进行投入使用后产生的自主更新情况向监管部门及时备案，以实时监控算法是否可控。而对于自主化较低的算法类型，可采用一般审核流程，通过审核算法的设计标准、数据的收集及分类情况等一般信息进行审核，以提高算法运行透明度达到算法可解释性的目的为标准。对经营者的算法安全评估报告进行审核，确定其具有可掌控算法风险的能力方可通过。

此外，监管部门内部应成立算法安全评估队伍，专门用于算法投入运行后的安全评估，并不定期对算法经营者开展监督检查工作，积极受理公民个人或行业协会的投诉或举报，加强监管部门与其他算法利益相关主体的互动与交流，掌握行业发展态势。对有问题的算法技术，应责令算法经营者对算法技术禁用并限期整改及罚款，整改通过后需再次履行完善的备案工作方可继续投入运行。也有学者提出可引入第三方调查机构协助监管部门对经营者进行算法审查，在监管部门的主导下，“通过适当准入第三方机构对算法内容、输出结果中的技术性内容进行审查，通过设置相关的技术性机制对算法训练样本、内置性编码凝视等问题进行筛选和解释”，以发挥调查机构的专业优势对经营者的算法风险及安全防控做出更为专业的评估结果。但由于算法技术涉及企业的商业秘密，因此应坚决落实对第三方结构资质审核及保密协议的签署工作，并在最后的公示阶段应做到核心算法技术的脱敏工作，以实现算法安全监管与算法技术可持续发展的合理平衡。

5.立法机关完善算法歧视问责的相关法律规范

对于算法歧视所带来的公民权益损害等问题，应完善算法问责规范，使公民的权利救济落到实处，针对算法歧视损害界定、因果关系认定困难等关键难题设立特殊的归责原则以维护公民权利。首先，应明确算法歧视的责任主体，算法从开发、运行、决策等环节到最终产生算法歧视结果，经过了设计者、编译者、运维者、决策者等多方主体的涉入。算法歧视应如何合理确认责任主体，关乎能否有效落实算法责任实现受损公民的权利救济。有学者认为，“‘算法’与人之间，本质上是人对‘算法’的监护，因此应确立算法监护制度，赋予算法独立的法律主体资格，通过算法运行所获得的独立财产对算法歧视等侵权行为承担责任。”但笔者认为，在如今的弱人工智能时代下，算法技术的发展尚未达到能够完全自主承担责任的程度，且独立财产一般为算法经营者所有，因此还是应遵循传统责任主体认定思路，责任主体应以在算法程序中是否植入歧视性价值观念或标签，或有义务排除算法黑箱以外的歧视性决策结果，却未履行排除义务为标准进行确定。而对于因算法黑箱造成的算法歧视，可以扩大责任主体认定范围，以算法设计者、编译者、运维者以及决策者作为共同责任主体的方式承担侵权责任。

其次，对算法歧视的因果关系存在认定困难的问题，不宜适用由原告举证证明的过错归责原则，而无过错的归责原则对于算法经营者又过于严苛，不利于算法技术的发展，因此在倾斜保护公民个人合法权利与保障算法技术平稳发展的取舍之间，应适用过错推定的特殊归责原则，由算法责任主体承担证明算法决策行为与歧视结果不存在直接因果关系的举证责任。理由在于，算法责任主体作为算法开发、决策的幕后操纵者，其对于算法的运行机制具有无可比拟的专业优势，即便引入监管机构协助公民进行调查取证也没有算法责任主体的优势明显。为防止责任主体以算法黑箱为理由逃避责任，责任主体还需证明其为防止算法出现歧视结果而采取了一切措施，并积极履行了安全保障义务，因此对于算法歧视结果的产生不存在任何过失或过错。对于公民利益损失的界定，可以“纯粹经济损失”为限。由于侵权损害赔偿一般以直接损害为赔偿范围，因算法歧视所遭受的间接损失无法被涵盖，而“‘纯粹经济损失’则既能通过拉长损害赔偿的因果关系链条而实现充分赔偿，又具备理论合理性，是破解算法时代赔偿困局的法律方案中的一个重要方法。”

结语

算法歧视作为算法发展的负面效应，其发展态势具有超越人类控制之态势，对于公民的个人权利、市场秩序以及社会秩序的和谐稳定均产生了消极影响。对于化解算法歧视的治理路径仍需回归到算法治理的整体框架之中，我国奠定的网络综合治理格局为算法歧视协同治理路径地奠定了基础，而协同治理路径目的在于实现算法背后多元利益主体的有效互动，在主体之间的交流之中完善各主体的治理手段，以达到算法发展与治理路径的动态平衡，缓解传统算法治理模式的滞后性以及单一性，使得算法发展与治理模式相辅相成，共同打造算法时代下的多元协同治理格局。

原标题：《夏然｜我国算法歧视的类型、根源及协同治理路径探究》

阅读原文