算法中的种族主义和性别歧视 | 人工智能

译 as

人类容易出错和有偏见，但这并不意味着算法一定会更好。尽管如此，技术已经在对你的生活做出重要的决定，并可能决定你看到哪些政治广告，如何筛选你理想工作的申请，如何在你的社区部署警察，甚至预测你家的火灾风险。

但这些系统可能会基于构建者、开发方式以及使用方式而产生偏差。这通常被称为算法偏差。很难确切知晓系统是如何易受算法偏差影响的，特别是因为这种技术往往在公司的黑匣子里运行。我们常常并不清楚一个特定的人工智能或算法是如何设计的，什么数据帮助构建它，或者它是如何工作的。

算法对个体的影响到底是什么？这问题值得每个人深思

一般来讲，你只知道最终的结果：如果你在第一时间意识到了人工智能和算法的使用，它对你有什么影响。你得到那份工作了吗？你在自己的社交媒体时间线上看到各种宣传广告了吗？面部识别系统认出你了吗？这使得解决人工智能偏差的问题变得很棘手，但更重要的是要搞懂怎么回事。

当思考“机器学习”工具（人工智能的一种）时，最好想一下“训练”这个概念。这涉及到让计算机接触一堆数据——任何类型的数据——然后计算机学习对它基于模式处理的信息做出判断或预测。

举一个非常简单的例子，假设你想训练你的计算机系统根据一些因素，如纹理，重量和尺寸，来识别对象是否是一本书。人类也许可以做到这一点，但计算机可以更快地做到这一点。

为了训练系统，需要给计算机显示许多不同对象的度量。你给计算机系统提供每一个对象的度量，告诉计算机这些对象什么时候是书，什么时候不是书。在不断地测试和改进之后，系统应该能够知道什么表示一本书，并且，可以期望它将来能够根据这些指标去预测一个对象是否是一本书，而无需人工帮助。

这听起来相对简单。如果您对第一批数据进行了正确分类，并且包含了一系列适用于许多不同类型书籍的度量指标。

然而，这些系统通常应用于比这项任务后果要严重得多、又未必有“客观”答案的情况。通常，这些用于训练或检查这些决策系统的数据并不完整，不平衡或选择不当，这就会成为算法偏差的主要来源（尽管当然不是唯一的来源）。

布鲁金斯学会智囊团技术创新中心的研究员Nicol Turner Lee解释说，我们可以从两个主要方面考虑算法偏差：准确性和影响。对于不同的人群，一个人工智能会有不同的准确率。同样，当一个算法应用于不同人群时，它可以做出截然不同的决策。

重要的是，当你想到数据时，你可能会想到在正式研究中需要仔细考虑人口统计学和表现形式，权衡各种限制，然后对结果进行同行评审。但那些被用来对你做出决定的基于人工智能的系统不一定是这样。

让我们来看看每个人都可以访问的数据源：互联网。一项研究发现，通过教人工智能在互联网上抓爬——仅仅阅读人类已经写下的东西——这个系统会对黑人和妇女产生偏见。

艺术家Trevor Paglen和AI研究专家Kate Crawford在2019年合作了一个叫做“ImageNet轮盘赌”的艺术项目，证实这个图片分类系统会产生种族主义和各种歧视的标签。

另一个训练数据是怎么在算法中产生性别歧视的例子发生在几年前，当时亚马逊试图使用人工智能构建一个简历筛选工具。据路透社报道，该公司希望技术能使求职申请的分类过程更加高效。

它用公司10年来收集的简历建立了筛选算法，但这些简历往往来自男性。这意味着，最终这个体系学会了歧视女性。最后，它还学会了考虑性别指代因素，比如申请者是否上过女子大学。（亚马逊方面表示从未使用过该工具，由于好几个原因，它不起作用。）

在讨论算法偏差时，使用人工智能的公司可能会说他们正在采取预防措施，使用更具代表性的培训数据，并定期审核其系统，以防对某些群体产生意外偏差和不同影响。但是，哈佛大学应用数学和哲学专业的博士候选人、研究AI公平性的胡莉莉（Lily Hu音译）表示，这些并不能保证您的系统将来会表现得公平。

“你无法给出任何保证，因为你的算法对旧数据集执行‘公平’，这是机器学习的一个基本问题所在。机器学习对旧数据和训练数据起作用。而且它不适用新数据，因为我们还没有收集到这些数据。”

但，我们不应该只制作更具代表性的数据集吗？这可能是解决方案的一部分，不过值得注意的是，并非所有旨在构建更好数据集的努力都是合乎道德的。不仅仅是数据问题。

正如《麻省理工学院科技评论》（MIT Tech Review）的人工智能报道记者Karen Hao所解释的那样，人工智能也可以被设计成以一种根本上有问题的方式来构建一个问题。例如，一个旨在确定“信誉度”的算法，其程序是为了实现利润最大化，最终可能决定发放掠夺性的次级贷款。

还有一件事要牢记：对一种工具进行了偏差测试（即假设正在检查偏差的工程师实际上了解了偏差的表现和操作方式）也不够，针对一个群体做了并不意味着对另一类型的群体做了。

当一种算法同时考虑多种身份因素时也是如此：例如，一种工具可能被认为对白人女性相当准确，但这并不一定意味着它适用于黑人女性。

预测未来犯罪的软件会判别左边黑人比右边白人更有犯罪风险。Josh Ritchie拍摄，来自propublica.org

在某些情况下，可能无法找到没有偏见的训练数据。以美国刑事司法系统产生的历史数据为例。很难想象，一个充斥着系统性种族主义的机构所提供的数据能够被用来建立一个有效和公平的工具。

正如来自纽约大学和AI Now研究所的研究人员所言， 预测性的警务工具可以被输入“脏数据”，包括反映警察部门意识和隐含偏见的警务模式，以及警察腐败。

因此，你可能拥有构建算法的数据。但是，谁来设计，以及谁来决定如何部署它？谁来决定不同群体的可接受准确度水平？谁来决定人工智能的哪些应用符合道德，哪些不符合道德？

虽然在人工智能领域的人口统计学还没有广泛的研究，但我们确实知道人工智能往往由男性主导。根据美国平等就业机会委员会（Equal Employment Opportunity Commission）的数据，从广义上讲，“高科技”行业往往白人占多数，而黑人和拉丁裔占少数。

Turner Lee强调，当提出这些系统时，我们需要考虑谁能在谈判桌上占有一席之地，因为这些人最终决定了有关其技术的道德部署的讨论。

但还有一个更广泛的问题，就是人工智能可以帮助我们回答哪些问题。胡莉莉认为，对于许多系统来说，建立一个“公平”系统本质上是荒谬的，因为这些系统试图回答不一定有客观答案的社会问题。例如，那些声称预测一个人会不会再次犯罪的算法，并不能最终解决伦理问题，即一个人是否该获得假释。

“没有客观方法来回答这个问题，”她说，“当你嵌入一个人工智能系统，一个算法系统，一台计算机时，它不会改变问题的基本背景，也就是说问题没有客观的答案。从根本上讲，这是一个我们的价值观是什么，以及刑事司法制度的目的是什么的问题。”

请记住，某些算法可能不应该存在，或者至少它们不应该有如此高的滥用风险。一项技术是准确的，并不意味着它是公平或道德的。

算法偏差看起来如此不透明的一个原因是，就我们自己而言，通常无法判断它何时发生（或者某个算法是否处于混在其中）。Turner-Lee说，这也是为什么一对夫妻申请苹果信用卡但信用额度悬殊的争议引起如此多关注的原因之一。

这是一个罕见的例子，两个人至少看起来像是暴露在同一个算法，可以很容易地进行比较。尽管监管机构目前正在调查该公司的信用卡，但此案的细节仍不清楚。

苹果信用卡背后的算法也是深不可测

但实际上消费者很少能够对算法结果进行这种“苹果对苹果”的比较，这就是为什么倡导者们要求提高对系统工作方式及其准确性的透明度的部分原因。最终，这可能不是我们个人层面可以解决的问题。

即使我们确实知道算法可能存在偏差，但这并不意味着公司会坦诚允许外部人员研究其人工智能。对于那些追求更公平的技术系统的人来说，这是一个挑战。如果你无法真正访问一个算法的内部工作流程，或无法测试其大量决策，那你又怎么能批评这个算法（一种黑匣子）呢？

总的来说，公司都会声称自己是准确，但不总会透露他们的训练数据，请记住，这是人工智能在评估新数据（比如，你的工作申请）之前对其进行训练的数据。

许多公司似乎并没有接受第三方评估人员的审核，也没有公开共享其系统在应用于不同人群时的表现。麻省理工媒体实验室的Joy Buolamwini和微软研究院的Timnit Gebru在一篇文章里指出，共享用于训练的数据和用于检查人工智能的数据的人口统计信息，应该是透明性的基线定义。

我们可能需要新的法律来规范人工智能。在美国，有一项法案将迫使公司让联邦贸易委员会（FTC）检查他们的系统是否存在偏见，此外还提出了立法来规范面部识别，甚至禁止该技术进入联邦资助的公共住房领域。

Turner-Lee告诫道：“有一群非常了解它的人，他们是技术人员，还有一群根本不真正了解它或了解得很少的人，成为了决策者。”但这并不是说没有技术上的努力来对有缺陷的人工智能“消除偏见”，重要的是要记住，这些技术也不能解决公平和歧视的根本挑战。

原文链接：

https://www.vox.com/recode/2020/2/18/21121286/algorithms-bias-discrimination-facial-recognition-transparency

(译文略有删减)

ABOUT.

科学艺术研究中心是一家非营利机构，以“跨界促生变革”为核心，致力于打造国内首家科学艺术家们的研究与创新平台，来促进不同学科领域间的高度交叉融合。科学艺术研究中心集创作与传播为一体，推动科学知识的大众普及。

阅读原文