AI社会学｜在我的算法里，我到底选择与谁站在一起？

2017年，波士顿的市政官员们邀请号称“美国清华”的麻省理工学院 （MIT）参加当地的一项市政规划。在诸多竞标者中，计算机系的博士生塞巴斯蒂安·马丁（Sébastien Martin）和亚瑟·德拉鲁（Arthur Delarue）脱颖而出——他们的任务是，为波士顿的公立学校系统设计一套新型的机器学习算法，以便重新安排全市几十所学校的上课时间，以及相应的校车服务。

大量研究表明，充足的睡眠对于处于青春期的高中生来说至关重要。睡眠不足不仅会导致学习成绩下降，酗酒和自杀的风险也在同时增加。然而，在波士顿，高中的上学时间通常都很早，要推迟高中上学时间的话，也需要同时调整小学和初中的时间表。总之，这是一项牵涉几十所学校、上百辆校车、上万个家庭，以及巨额市政预算的问题，迟迟没有令人满意的解决方案，市政官员们都头疼不已。

直到算法的出现。

马丁和德拉鲁兴致勃勃地接手了这个项目，以MIT学生的变态时间表——平均每天工作15个小时——夜以继日地在庞大的公共数据库里遨游。波士顿的公立学校提出四大诉求：（1）增加上午8点后开始上学的高中生人数，以求保证高中生们的睡眠时间；（2）减少下午4点后放学的小学生人数，让小学生们在漫长的美国东部的冬季里尽早回家；（3）尽可能满足特殊教育学生的需求；（4）节省当年的交通预算。

基于这些诉求，马丁和德拉鲁利用波士顿大量市政公共数据和学区的数据，设计了一套算法，来重新配置校车站点，减少校车路线的数量和足迹，使车上乘客的数量最大化，并减少空车使用。算法同时考虑到路面、交通、学校数量、课程时间和许多其他变量，由此产生的校车时间表推迟了高中学生的上学时间，提早了小学生的放学时间，照顾了特殊教育学生，还削减了当地1亿多美元的交通预算。

一切看上去都那么美好，直到事情演变成一场政治灾难。

当官员们在12月的一个晚上发布新的学校时间表，并计划在第二年秋季实施时，他们预计会有一些反对意见，毕竟，这牵涉到城市数万个家庭的作息起居。但没有人料到这会掀起一场抗议的风暴——愤怒的家长们在网上签署请愿书，挤满了学校，反对校车算法。事情很快演变为市长任内最大的危机之一。

最后，市政府不得不放弃了这一项目。

对大洋彼岸越来越多依仗算法进行治理的政府官员来说，这是一个令人费解的时刻——波士顿的校车算法项目到底哪里错了？是算法的问题，是设计算法的马丁和德拉鲁的问题，是市政官员的问题，还是那些愤怒的家庭出了问题？

第二次世界大战以来，受运筹学的影响，系统化、量化的决策成为美国各地政府孜孜以求的目标——通过开发中立的、科学的、客观的技术来分析情况和确定最佳行动方案。到了1970年代，随着新自由主义的兴起，削减公共开支成为改革的方向之一，又进一步推动了“政务数字化”。

在美国，县市及以下级别的地方政府承担着许多责任，但财政权力相对有限。这几十年来，州和联邦政府提供的资金又一少再少，这就迫使它们不得不想办法开源——通过罚款或其他方式收费，而这会很容易引起反感；或是节流——开发并使用科学的算法系统，以期用最少的资源去办最多的事。

于是在1980年代“政务电子化”的浪潮之后，“政务算法化”开始席卷美国的公共服务领域。越来越多的人工智能系统参与决定着美国人的公共生活——它们决定哪些街区会有更多的警察巡逻，哪些无家可归的人群会更快获得政府的公共房屋，哪些社会群体可以优先注射新冠疫苗……​此刻，在我所在的匹兹堡市，庞大的算法系统正在翻阅数以万计的健康、公共福利和刑事司法记录，帮助基层公务员识别有受虐待风险的儿童，以求尽早介入。

然而，随着算法在地方治理中作用越来越大，它们招致的批评也越来越多。

首先，也是最常见的，是算法偏见。像我们之前讨论的那样，貌似公平和客观的机器学习算法，在人类社会产生的训练数据集里学习，同时也复制和放大着其中的人类历史偏见。

譬如，由于警力缺乏，美国一些城市正在试图开发犯罪预测算法，也就是通过对过往警方记录的检阅，使用机器学习算法来预测最有可能发生案件的街区，从而更为有效地部署警力。然而，人们很快发现，几乎所有的犯罪预测算法，最后指出的“潜在性高犯罪率”的街区都是有色人种聚集的地区。

换句话说，这些算法几乎无可避免地承载了人类和历史的偏见。

在警方提供的数据集里，有色人种因轻度“滋扰性犯罪”而被逮捕的比例历史性地偏高。如果算法基于这些数据建议在黑人和拉丁裔社区加强警力，很可能导致“过度警戒” (over policed) ——相关社区会被警车“环绕”，更多的在其他地方未受惩罚的轻度犯罪会被发现。然后，这些轻度犯罪又会进一步“喂给”算法，循环往复。

其次，对于应用于公共服务的算法来说，公众对透明、公开和可解释性这些问题上，往往会有更高的要求。

我们知道，人工智能系统通常也被称为“黑箱系统”（black box)——因为算法的复杂性，即使设计算法的计算机学家们有时也无法理解机器最后做出的决定。

有些时候，有些决定微不足道，对公众的影响有限，譬如，你正在浏览的网页是用天蓝色作为主色，还是海蓝色，也许你并不在乎。但另外一些时候，另外一些决定却可能影响一个人、一个家庭，乃至一个社区的起居生活，譬如上述波士顿校车算法所做的决定。

美国大部分市政当局，因为预算问题，不会配备专门的机器学习专家。当他们想用算法解决市政难题时，会设立有关市政项目的公开招标，“外包”给私有企业。而中标的企业，出于专利权的考虑，通常都不会公开他们设计的算法。

波士顿的马丁和德拉鲁公开了他们的算法，但公开算法就能解决问题吗？罗格斯大学法学教授埃伦·古德曼（Ellen P. Goodman）的答案是“不能”，开源算法无法满足公众对“透明、公开和可解释性”的要求。

古德曼认为，开源算法的透明度至少受到两方面的限制。一方面，算法的数学公式就算公开了，大部分人也看不懂，市政当局和计算机科学家或许认为满足了“透明、公开和可解释性”，但受到算法影响的公众却不这样认为。另一方面，冷冰冰的算法公式还是过于“简洁”了，根本没法告诉你它正在计算的是什么，以及为什么要这样算。

所以，何谓人工智能“有意义的透明、公开和可解释性”呢？至今，这仍是计算机学家、社会学家、法学家们孜孜以求的一个问题。

再次，校车算法面对的窘境，与其说是技术问题，不如说是政治问题。

校车算法的故事里，最为令人震惊的部分或许是，大部分参与反算法抗议集会的是白人。而在波士顿（免费）的公立学校里，绝大多数的学生并不是白人。通常，（较为富裕）的白人家庭会选择更为昂贵的私立学校。据统计，当地公立学校的白人学生只占15%左右。

马丁和德拉鲁在设计算法的时候，以计算机科学家的赤诚/天真的道德观，考虑了种族平等的因素。他们要求算法在白人、黑人和棕色社区之间平等地分配最佳上课时间，而在算法生效之前，白人学生是唯一享有理想的上午8点至9点上学时间的群体。

按照新的校车时间表，大多数学生可以在上午8点到9点的这段时间里上学，并且这对于各个种族的学生来说几乎是完全平等的——每个族群都有大约54%的学生享受到这一好处。也就是说，马丁和德拉鲁的算法将合理的上学时间公平地分配给了不同的种族，不分肤色地为学生们优化了上学时间表。

讵料波士顿的白人家庭——这座城市最富裕、最有特权、在政治上最活跃的群体，却对校车算法的再分配机制发起了最激烈的抗议。

自由派的乐观主义者问：如果我们以更为透明的方式公开征求社区意见，如果白人家庭知晓算法其实是在促进社区建设和种族平等，他们会愿意让步吗？

激进的悲观主义者则会说：或者，优化算法以实现更广义的、社会意义上的“公平”，也必然意味着对现有享有“特权”的家庭的“不公平”？而重新分配过程中的 “失败者”无论如何都会反对改变？

再或者，这是一个根本性的社会关系的冲突问题。即使汇集世界上所有的计算能力、最先进的算法、最顶尖的计算机学家都无法解决它？

在社会学庞大而混乱的各种分支里，人类学家是非常独特的一个群体。与其他（更多地困于书斋）的社会学的从业者不同，人类学者需要以一个外来者的身份，进入一个全新的社会群体，对他的研究目标进行深描。很快，他们就意识到自己学科的局限。本质上，他们的工作，是以自己的阐述，介入别人的生活，讲述别人的故事，这里面有不平等的权力关系——学者，是占据权力上峰的那批人，而他们的工作，却有可能重塑当时当地的社会关系。

正因如此，1980年代，在社会/文化人类学的“反思”思潮里，人类学家们选择用一个词来（试图）解决这个问题。这个词，就是“positionality”。简单说来，“positionality”指的是人类学家试图以反思的方式描述他们与他们所研究的社会群体之间的关系，以及他们自己的研究立场。

在人类学的著作里，我们经常会读到作者关于自己positionality的声明：作为人类，我深知自己的无知和偏见，也对社会权力关系的不平等有所感知，那么，在我的研究里，我到底选择与谁站在一起？

也许，计算机学家们也应该这样问问自己。在人工智能大举进入人类决策的时代，算法再也无法以中立、客观、外来者的角度试图一劳永逸地解决社会冲突问题，甚至很难重新平衡各个社会群体的不同政治利益。作为算法的设计者，我们能做的，或许也不过就是问一下自己：

在我的算法里，我到底选择与谁站在一起？

【参考资料】

【1】David Scharfenberg, Computers Can Solve Your Problem. You May Not Like The Answer. The Boston Globe, https://apps.bostonglobe.com/ideas/graphics/2018/09/equity-machine/

【2】Ellen P. Goodman，Smart Algorithmic Change Requires a Collaborative Political Process, The Regulatory Review, https://www.theregreview.org/2019/02/12/goodman-smart-algorithmic-change-requires-collaborative-political-process/  

【3】Virginia Eubanks, Automating Inequality: How High-Tech Tools Profile, Police, and Punish the Poor, St Martin’s Press. 2018.

【4】Karen Levy, Kyla E. Chasalow, and Sarah Riley. 2021. Algorithms and Decision-Making in the Public Sector, Annual Review of Law and Social Science, Vol. 17:309-334.

-----

沈虹，毕业于美国伊利诺伊大学香槟分校传播学系，现任职于美国卡内基梅隆大学。她用社会学的方法研究新兴科技。