更值得关注的是AI背后的权力，而不是伦理

【编者按】

南加州大学安纳伯格分校的教授凯特·克劳福德是微软研究院研究员、纽约大学 AI Now研究所的联合创始人。她的研究重点是在更广泛的历史、政治、劳工和环境背景下理解机器学习和人工智能。其著作《技术之外：社会联结中的人工智能》揭示了人工智能在真实世界中的成本、运作逻辑和后果，破除了人工智能“技术中立”的神话。在她看来，人工智能是一种行使权力的形式和一种观看方式，也是一种高度组织化的资本表现，人工智能完全依赖于一套更广泛的政治和社会结构。在如今人工智能大行其道的世界里，通过不断对人工智能进行追问和批判性思考，才能够逐步接近真实的答案。本文摘自《技术之外：社会联结中的人工智能》[美]凯特·克劳福德（Kate Crawford）著，中国原子能出版社/中国科学技术出版社/中科书院2024年3月版。澎湃新闻经授权刊发。

《技术之外：社会联结中的人工智能》

真实存在的AI

我们应该如何看待人工智能的整个生命周期及其驱动力？首先，我们需要在更广泛的物质、社会、政治背景下，绘制人工智能地图。为此，我们需要走出那些给出人工智能最受欢迎的、学术性阐释的地方，即硅谷的大学实验室和开放式办公室，去看看其在全球的提取脉络。人工智能诞生于玻利维亚的盐湖和刚果的矿山，由试图对所有人类行为、情感和身份进行分类的数据集训练，随后由点击工人进行标记，最后被用于导航无人机飞越也门，指导美国的移民警察开展行为，并调节全球范围内关于人类价值和风险的信用评分。通过这种广角的、多标量的人工智能视角，我们可以瞥见提取、政治和技术力量机制之间交错复杂的联系。

我们从地下开始，在那里，可以看到人工智能真实的资源提取政治。稀土矿物、水、煤炭和石油：科技部门正在开发地球，为行星计算的高能耗基础设施提供燃料。就硬件而言，数据中心和消费者所用的智能设备，都高度依赖日趋耗竭的资源与来自冲突矿区的原材料。在软件方面，自然语言处理和计算机视觉模型的构建，需要巨大的能源消耗，而且更快、更高效的模型，助长了扩大人工智能碳足迹的“贪婪计算”方法的盛行。

对于这种环境损耗，科技行业从未完全承认或给予任何考虑，因为科技行业在扩大数据中心网络的同时，也在帮助石油和天然气行业剥离地球上剩余的化石燃料储备。总体而言，以人工智能计算为代表，计算的真实成本并不透明，这反映了一种长期的商业模式的一部分，即从公共资源中提取价值，却不为产出的真实成本买单。

劳动力代表了另一种形式的提取。在第二章中，我们超越了高薪机器学习工程师的范畴，考察了全球范围内，使人工智能系统运行所必需的所有工作形式。从在印度尼西亚开采锡的矿工，到在印度用亚马逊土耳其机器人完成任务的众包工人，再到在菲律宾工作的内容审核员，人工智能的劳动力规模远远超出人们的想象。即使在科技公司本身，也存在着大量以合同工形式存在的影子劳动力：例如，像谷歌这种高估值的公司，以更低的成本、更少的福利和没有带薪假期，建立了一个合同工队伍，其数量远远超过了全职员工。

在科技行业的物流节点，我们发现人类完成了机器无法完成的任务。现在，成千上万的人从事着标记、纠正、评估或编辑人工智能系统的工作，而他们都在假装自己是人工智能，以维持智能的假象。剩下的人则在搬运包裹，为打车软件平台开车，运送食物。人工智能系统在进行全程监控的同时，也在从人体仅存的功能中榨取最大的产出，因为人的手指、眼睛和膝盖关节的复杂连接，比机器人更便宜、更容易获得。在这些地方，未来的工作看起来更像过去的泰勒式工厂，而其中的区别仅在于，工人犯错时手环会振动，上厕所次数太多会受到惩罚。

在工作场所使用人工智能，尤其是情绪检测的工具，使企业掌握了更多的控制权，从而进一步加剧了权力的不对称。应用程序被用来跟踪员工，促使他们延长工作时间，并对他们进行实时排名。亚马逊提供了一个典型的例子，表明了权力的微观物理学（用以约束身体，以及它们如何在空间中移动）如何与权力的宏观物理学（即行星时间和信息的物流）联系。人工智能系统利用不同市场之间的时间和工资差异，加速资本循环。突然之间，城市中心的每个人都能在下单当天收到快递。系统再次加速，而真正的成本隐藏在无尽的纸板箱、送货卡和“现在购买”按钮之后。

在工作场所分析员工的每一个眼神和手势，也可以用来从人们身上提取价值。“情感识别系统”声称可以检测面部的微表情和声音中的语调，用来判断一个人是否是合适的员工，或评估员工在电脑前是否充分投入工作。工作场所使用人工智能，尤其是用来检测和评估的工具，将更多的控制权交给了企业，同时掩盖了它们使用的系统背后奇怪且往往是错误的假设，从而进一步扭曲了劳动力的权力关系。

在数据层，我们可以看到一种完全不同的提取哲学。“我们正在建造真实世界的一面镜子,”谷歌街景的工程师在2012年说道，“你在现实世界中看到的任何东西，都需要纳入我们的数据库之中。”从那以后，对现实世界数据的收割愈演愈烈。正如第三章所述的，包括公园、街道、房屋和汽车在内的公共空间，遭到了广泛的掠夺：科技公司捕捉走在街上的人的脸，以训练面部识别系统;攫取社交媒体信息，来建立心理健康预测模型;抓取人们保存的个人照片或进行的在线辩论，以训练机器视觉和自然语言处理算法。这种做法已经变得如此常态化，以至于在人工智能领域几乎没有人质疑它。在某种程度上，这是因为很多职业和市场估值都依赖它。这种“收集所有信息”的心态，曾经仅是情报机构的职权范围，而现在却不仅常态化，而且道德化了，即不尽可能多地收集数据被认为是一种浪费。

一旦数据被提取并编入训练集，我们就可以看到人工智能系统对世界进行分类的认知基础。从图网、MSCeleb或NIST的面部照片集合等基准训练集来看，图像被用来代表比标签所暗示的更具关联性、更具争议的想法。第四章展示了人工智能中的分类标签如何频繁地将人们划分为强制的二元性别、简单和毫无根据的种族分类，以及高度规范与刻板的性格、优点以及情绪状态。这些分类不可避免地充斥着价值，它们在宣称科学中立的同时，也强化了一种“看待世界的方式”。

人工智能中的数据集从来不只是为算法提供的原材料：它们本质上是政治干预。收集数据、分类和标记，然后用它来训练系统，这种做法本身就是一种形式的政治。这带来了一种被称为“操作型图像”（operational images）的转变，即完全为机器创造的世界的表象。偏见只是冰山一角，而在它的下面，是一个范围更广、更集中的规范逻辑，它决定着我们应该如何看待和评价这个世界。正如洛林·达斯顿在她对国际云计算导航图的描述中所说，它们的设计是为了帮助云观察者一致地看到（和看不到）。她写道：“所有的分类都取决于某种程度的抽象，从纷繁复杂的细节世界中抽象化，突出一些显著的特征，淡化其他特征。”这些选择，在当下看似微不足道，却有着深远而持久的影响。

其中最重要的一个例子是第五章中介绍的“情感检测系统”，它利用人脸和情绪之间的关系这一有争议的观点，根据与测谎仪相同的还原逻辑来运行。此领域的科学研究仍存在着很大争议。当然，机构总是把人按身份类别进行分类并贴上标签，缩小了人格的复杂性和关联，并将人格切割成可被精确测量的方框以供核对。机器学习系统让上述过程可以大规模地、自动化地发生。几十年来，那些奇怪、富有激情的信念，已然变成了代码。从巴布亚新几内亚的山城，到马里兰州的军事实验室，相继开发出对应的技术，旨在试图了解人们的思想，并将混乱的情感、内心状态、偏好和认同，降至定量的、可检测的、可追踪的东西。人工智能系统识别我们的方式，很像魔术师的把戏，这是一项历经数年演变而成的技艺，它以巧妙的手法和精确的条件为基础，告诉我们关于这些工具及其创造者的更多信息，就像它们声称看到的身份类别一样。

为了实现整个世界对机器学习系统的“可读性”，我们需要一个什么样的认识论框架呢？人工智能开始尝试将非系统化的东西系统化，将社会形式化，并将无限复杂和不断变化的宇宙，转换为机器可读的、林奈氏分类系统那样整齐的表格。人工智能的许多成就，都依赖于将事物归结为一组简洁的标签和形式，而这些标签和形式依赖于创建代理的方式，即识别和命名一些特征，忽略或模糊无数其他特征。数据集也是他们声称要测量的东西的代理（想想那些为了情感识别算法，而模仿六种普遍情绪的女性的脸）。这种基模，让人回想起弗里德里希·尼采所描述的“将纷繁复杂、不可估量的事物，变为相同、相似、可计算的事物”。

当这些代理被视为基本事实时，当一个单一的、固定的标签被应用到流动性与复杂性中时，人工智能系统处于最确定的状态。我们从一些案例中可以看到这点：人工智能被用来通过一张脸部照片预测性别、种族或性取向，以及一个人在保释后是否会犯罪、是否有信用风险，或者犯罪是否与“黑帮有关”。这些都是由深刻的关系、背景和社会决定的身份，它们并非一成不变，而是会随着时间和背景而发生变化。

当人工智能系统被用作权力的工具时，我们便看到了这一点的最极端体现。情报机构在大规模数据收集方面一马当先，元数据特征足以引发致命的无人机袭击，根据一个已知的手机位置即可以杀死一个未知的目标人物。但即使在这里，像元数据和外科手术式打击这种无情的语言，也与众所周知的事实——无人机导弹袭击并不准确，造成的死亡人数往往超过预期——产生了直接矛盾。就像露西·萨奇曼质疑的：“对象”是如何被认定为迫在眉睫的威胁的？我们知道像“恐怖组织的轻型货车”这种标签是基于手工标记的数据进行分类的，不过由谁负责选择分类然后给某些车辆贴上标签呢？其中存在的哪些错误，有可能导致更多意外死亡？在第四章, 我们已经看到了像图网这样的目标识别训练集所存在的认识论混淆和错误;而军用人工智能系统和无人机攻击，都建立在同样不稳定的基础之上。

第六章中概述的科技行业与军方之间的紧密联系，现在正被民族主义的议程进一步形塑。美国国家安全局和中央情报局等机构使用的工具，以商业军事合同的形式，部署于市政层面。帕兰提尔公司只是向执法部门和联邦机构，比如美国移民和海关执法局，出售元数据收集和预测平台的公司之一。在配有完全信息控制和捕获的后勤系统的支持下，没有登记的移民被锁定、追捕，而这些系统曾仅为游离于法律之外的间谍活动所有。如今，车牌读取技术被添加到家庭监控系统中，于是由警视和莱克（Rekor）等公司生成的可疑司机名单，就可以被输入到亚马逊总部的环形建筑中，形成一个广泛整合先前独立监控网络的系统。其结果是，监控的范围迅速扩大，私人承包商、执法部门和科技部门之间的界限变得模糊。在市政一级，自动化决策系统被用来跟踪异常数据，以切断人们的失业补贴，并指控他们欺诈。本质来说，基于经过战争考验的工具与世界观，对公民生活进行了彻底的重新描绘。

通过所有这些网站，我们看到人工智能是更广泛的权力结构的一部分。人工智能系统由股东价值主导的公司开发与销售，它们通过将这些系统卖给包括军队、执法部门、雇主、土地所有者等已然很强大的群体来获利。通过这种方式，人工智能系统正在加剧权力的不对称。从被推荐的优步司机，到被追踪的非法移民，再到被迫在家中安装面部识别系统的公共住房租户，这些以资本、治安和军事化为逻辑的工具，强化了权力的中心。

为什么是人工智能？

一本关于人工智能的导航图如何帮助我们以不同的方式理解人工智能？从不同的角度，我们能提出什么样的新问题？导航图可以引发规模上的转变：从我们眼前所见，到不同的观点，一个连接不同空间的图表。人工智能导航图已经超越了“人工”和“智能”的抽象概念，甚至超越了相关的高级的、机器判断的内涵，其旨在展示提取主义的物质化的全球脉络。这样一来，就极大拓宽了当前聚焦于预测、自动化和效率的人工智能的定义。这种重新界定，实现了观念的改变：服务于资本、军队和警察的工具，同样也可被用来改变学校、医院、城市与生态，假如它们真的是无须成本的中立计算器，那便应当被应用于任何地方。

简单地说，我们需要从最大的意义上，展示人工智能是什么，并认清它所服务的权力结构。我们已经看到，政治如何内置于计算堆栈，而这在理论与实践层面均产生了影响。如果当前的人工智能仅为了服务于现有的权力结构，那么可能会提出一个显而易见的问题：我们难道不应该让人工智能民主化吗？难道就不能有一个“面向人民的人工智能”，主旨是建立更加公正与平等的社会，而非榨取和放大既得利益吗？

这可能看起来很吸引人，但我们应该谨慎地处理这个问题，因为正如本书所展示，那些成就人工智能的结构，以及由人工智能所激活的结构，强烈倾向于集中权力与信息，放大压迫性的国家功能以及歧视性的设计。从这个意义上说，我们应该让“人工智能民主化以分散权力”的减法可能像“我们应该让武器制造民主化以服务于和平”一样不切实际。历史证明，用主人的工具拆除主人的房子是非常罕见的事情。

科技行业应该进行反思。迄今为止，业界的回应之一是签署人工智能伦理声明。但这些都不足以解决当前这种规模的问题。欧盟议员玛丽埃特·舍克（Marietje Schaake）指出，2019年仅在欧洲就已经有128个人工智能伦理框架。这些文件往往是关于人工智能伦理的“更广泛共识”的产物。但在制定这些文件的过程中，往往缺失那些受到人工智能系统最大伤害的人的声音。

伦理原则和声明很少关注人工智能伦理如何实施，以及它们是否能有效地产生任何变化。此类人工智能道德声明，在很大程度上忽略了这些准则是如何编写、在哪里编写，以及由谁编写的问题;实际上，这些准则很少具有可执行性，也很少对更广泛的公众负责。伦理学家布伦特·米特尔施塔特（Brent Mittelstadt）指出，与医学不同，人工智能没有正式的专业治理结构或规范，该领域也没有商定的定义和目标。最重要的是，与医学伦理不同，人工智能伦理没有外部监督，或实施道德护栏的标准规程。

通过承诺遵守伦理，企业含蓄地宣称，自己有权决定“负责任地”部署这些技术意味着什么，从而有权决定，合乎伦理的人工智能对世界其他地区意味着什么。迄今为止，科技公司很少因他们的人工智能系统违反法律而受到经济处罚，而当它们违反道德原则时，则不会面临任何有实质意义的后果。简单地说，伦理学不是解决本书中提出的基本问题的正确框架。人工智能本身是一个提取产业，那些在原则上将股东价值最大化作为首要指令的公司，宣称可以让人工智能变得更加“道德”，其本身就存在着内在的矛盾。虽然减少危害非常重要，但我们需要把目标定得更高。

现在应该关注的是权力，而不是伦理。特别是，首先要集中关注受到影响的社区的利益。先从那些经受技术负面影响的人的声音开始，代替往常对公司创始人、风险投资家和“技术远见者”赞美的声音。通过关注工人、租户、失业者，以及所有被人工智能系统剥夺权力以及受到伤害的人的生活经历，我们可以看到权力的普遍运行。

这本导航图旨在重新构建当前关于人工智能的对话，并提供不同的思考视角与概念。当有人提到人工智能伦理时，我们应该问问矿工、承包商、众包工人，以及整个供应链的劳动条件。当我们听到“优化”时，我们应该想到这是否被用来进行移民驱逐。当人们赞颂大规模“自动化”时，我们应该记住大气中二氧化碳含量的上升，以及日益增长的对仅存公有物的圈占。

1986年，政治理论家兰登·温纳（Langdon Winner）担忧地写道，他看到一个致力于创造人造现实的社会，却没有考虑到它会给生活条件带来不可磨灭的变化。他说，现在迫切需要的是“解读技术设备的中介作用，如何以明显而微妙的方式，改变日常生活”。他继续说： 

我们共同世界的结构发生了巨大变化，但很少有人注意到这些变化意味着什么。对技术的判断一直是基于狭隘的理由，关注的是新设备是否满足特定需求，是否比之前的设备更高效，是否盈利，以及是否提供便利的服务。直到后来，选择的广泛意义才变得清晰，而这通常是一系列令人惊讶的“副作用”或“次级后果”……在技术领域，我们不断签订一系列社会契约，但这些契约的条款只有在签订后才会披露。

在未来的40年里，这些变化的规模已经改变了大气的化学成地球表面的温度和地壳的构成。人们如何评价技术，以及技术的持久后果，二者之间的差距，只会越来越大。曾经存在过的社会契约，加剧了财富的不平等，产生了影响深远的监督与劳动剥削形式。剩下要做的是，找到一条不同的道路，并实现一种集体的拒绝政治。这可以从思考优化、预测与价值提取系统所不能触及的内容开始。这意味着，拒绝进一步加剧不平等、暴力和剥夺权力的体制。在强化隐私法，提供机器学习系统的公平性，或者其他提供次要保护的尝试之外，还需要从根本上对人工智能的必然性提出挑战。

当我们问“为什么是人工智能”时，就是在质疑一切都应服从统计预测和利润积累逻辑的观点。不要仅因为人工智能可以使用，就去问它可以应用在哪里，重点应该是，为什么应该使用它。这是我们共同的任务，其中首先要理解这些选择的真正代价。这需要摆脱对技术主义解决方案的赋魅，拥抱休戚相关的多样性与其创造世界的方式。世上存在着超越价值提取的可持续的集体政治，存在着值得保留的公有物，存在着超越市场的世界，存在着超越量化的生命形式。我们的目标是，在我们所拥有的这个星球上，制定一条新的路线，远离无休止的提取和残酷的优化的逻辑。