欧盟人工智能道德准则草案：有份“可信赖人工智能”评估列表

欧盟近年来一直宣称自己是“可信赖人工智能”的推动者。12月18日，欧盟人工智能高级别专家组（AI HLEG）正式向社会发布了一份人工智能道德准则草案（DRAFT ETHICS GUIDELINES FOR TRUSTWORTHY AI，以下简称草案），该草案被视为是欧洲制造“可信赖人工智能”的讨论起点。

这份草案首先为“可信赖人工智能”提出了一个官方解释。草案认为，“可信赖人工智能”有两个必要的组成部分：首先，它应该尊重基本权利、规章制度、核心原则及价值观，以确保“道德目的”，其次，它应该在技术上强健且可靠，因为即使有良好的意图，缺乏对技术的掌握也会造成无意的伤害。

围绕这两大要素，草案给出了“可信赖人工智能”的框架。草案强调，其目的不是给出另一套人工智能的价值和原则列表，而在于为人工智能系统提供具体实施和操作层面的指导。

草案共37页，第一章通过阐述人工智能应该遵守的基本权利、原则和价值观，试图确保人工智能的道德目的。根据第一章所阐述的原则，第二章给出了实现“可信赖人工智能”的准则和详细要求，既涉及道德目的，也涉及技术稳健性，既有技术层面的要求，也有非技术层面的要求。第三章则为“可信赖人工智能”提供了一张具体但非穷尽的评估列表。

草案指出，其提出的准则并非旨在取代任何形式的政策和规章，同时，这些准则应该被视为活文件，需要定期更新以适应技术发展的需求。

草案的一大亮点在于其特辟一个章节讨论人工智能所引发的争议性问题。这些问题引起了欧盟人工智能高级别专家组的激烈讨论且尚未在组内达成一致意见。

位于列表第一的争议性问题是“未经知情同意的识别”。有迹象表明利用人脸识别对公民进行监控的情况开始在欧洲出现。不久前，英国警方宣布，他们正在伦敦对圣诞节的购物者们进行人脸识别的测试。人工智能中的人脸识别等技术使得公共或私人组织能够有效的识别个人。草案认为，“为了维护欧洲公民的自主权，人工智能的这一使用需要得到适当的控制”。具体而言，区分个体识别与个体跟踪、目标监视与大规模监视对于实现“可信赖人工智能”至关重要。

另一个专家组热议的话题是“隐蔽的人工智能系统”。发展人工智能的其中一种目标是建立像人一样的系统，但越来越像人的人工智能系统却会给人类带来了困扰。草案认为，一个人必须总是知道他是在与人类还是机器进行交流，这一点也应是AI开发和管理人员的职责。专家组提出，人们“应当牢记，人与机器之间的混淆会产生多种后果，比如依恋、影响或降低作为人的价值。因此，人形机器人和机器人的发展应经过仔细的道德评估。”

“致命自主武器系统”也是专家组重要关切之一。草案称，目前有数量未知的国家正在研发自主武器系统。这些武器系统中有能够选择性瞄准的导弹，还有具认知能力、可在无人为干预的情况下决定作战对象、时间和地点的学习机器等。专家组认为这会引起不可控的军备竞赛。

对于以上这些争议话题，草案给出了一个关键性指导准则。首先是AI的开发、部署和使用应以人为中心，须反应公民的福利、无害、人类自主、争议和可解释性等社会价值观和道德原则。其次是评估AI对人类及其共同利益的可能影响，尤其需要注意儿童、残障人士和少数群体等弱势群体的情况。第三是人们需要承认并意识到人工智能在为个人和社会带来实质性好处的同时也可能产生负面影响，人们需要“对严重关切的领域保持警惕”。

目前，草案处于征集意见阶段，征集时间将于2019年1月18日截止。据悉，该草案将于2019年3月提交到欧盟委员会。

欧盟人工智能高级别专家组于2018年4月由欧盟委员会任命，组内有52位代表学术界、工业界和民间社会的独立专家。该专家组的主要职责是撰写人工智能道德准则并为欧盟提供政策和投资建议。

附：欧盟人工智能道德准则草案中的可信赖的人工智能评估表：

1.责任：

如果出现问题，谁来负责？

是否存在用以承担责任的技能和知识？（负责任的人工智能培训？道德誓言？）

第三方或员工是否可以报告潜在的漏洞，风险或偏见，以及处理这些问题和报告的流程是什么？他们有联系人吗？

是否预见了对AI系统的（外部）审核？

是否考虑采用多样性和包容性政策来招聘人工智能从业人员以确保背景的多样性？

是否建立了AI道德审查委员会？讨论灰色地带的机制？内部或外部专家小组？

2.数据治理：

是否确保了对数据和流程的适当管理？遵循了哪些流程和程序来确保正确的数据管理？

是否建立了监督机制？由谁来最终负责？

哪些数据管理的规则和法案适用于AI系统？

3.为所有人设计：

系统在使用中是否公平？

系统是否适应各种个人偏好和能力？

系统是否可供有特殊需求的人士或残障人士使用，如何将这些要求设计到系统中以及如何验证？

在开发和/或部署系统时，使用了哪个公平的定义？

对于适用的每种公平措施，如何衡量和保证公平？

4.管理AI自治：

如果需要，是否可以在每个阶段允许人为控制？

在自学AI方法的情况下，会出现“停止按钮”吗？在规定（自主决策）AI方法的情况下？

在不依赖人为监督或控制的意义上，人工智能系统在哪些方面被视为自治？

采取了哪些措施来确保人工智能系统始终做出由人类全面负责的决策？

采取了哪些措施来审计和纠正与管理AI自治相关的问题？

在组织内，由谁负责核实人工智能系统是否可以并且将以适当的方式使用，并且在人类的最终责任范围内？

5.非歧视：

在相同执行条件下发生的决策可变性的缘由是什么？这种可变性是否会影响基本权利或道德原则？它是如何衡量的？

如果相关，在冲突形式的歧视之间是否有明确的权衡基础？

是否制定了策略来避免在数据和算法中产生或加强偏见？

是否有流程在系统开发和使用过程中持续测试此类偏差？

是否明确以及是否明确地告知可以向谁或向什么群体提出与歧视有关的问题，特别是当这些问题由人工智能系统的用户或受人工智能系统影响的其他人提出时？

6.尊重隐私：

如果适用，系统是否符合GDPR标准？（注：欧盟《通用数据保护条例》简称GDPR）

个人数据信息在系统中的流动是否受到控制，是否符合现有的隐私保护法？

用户如何寻求关于有效同意的信息，以及如何撤销这种同意？

是否明确，是否清楚地传达了与隐私侵犯有关的问题或群体问题，尤其是当这些问题由AI系统的用户或其他受其影响的人提出时？

7.尊重（和加强）人类自主权：

如果产品存在人类精神完整性的风险，用户是否会收到通知？

是否向服务/产品的用户提供了有用和必要的信息，以使后者能够做出完全自主地做出决定？

AI系统是否向用户表明决策、内容、建议或结果是算法决策的结果？

用户是否有机会查询算法决策，以便充分了解其目的、来源、所依赖的数据等？

8.稳健性：

抗攻击能力：

AI系统容易受到哪些形式的攻击？AI系统可以缓解哪种形式的攻击？

有哪些系统可以确保数据的安全性和完整性？

可靠性和可重复性：

是否有适当的策略来监测和测试我的产品或服务是否满足目标、目的和预期应用？

使用的算法是否经过了可重复性测试？可重复性条件是否得到控制？在哪些特定和敏感的背景下，有必要使用不同的方法？

对于应考虑的可靠性和可重复性的每个方面，如何测量和保证？

人工智能系统可靠性的测试和验证过程是否清楚地记录下来并被那些负责开发和测试人工智能系统的人操作过？

可以使用什么机制来确保用户对AI系统的可靠性？

数据使用和控制的精确性：

在正在开发和/或正在部署的系统中，什么样的精确性定义是适用的？

对于所要考虑的每种形式的精确性，如何测量和保证它？

数据是否足够全面以完成手头的任务？最近使用的数据是否过时？

可以添加哪些其他数据源/模型来提高准确性？

可以使用哪些其他数据源/模型来消除偏差？

采取了什么策略来衡量数据的包容性？数据是否足够代表需要解决的情况？

后退计划：

AI系统失败的影响是什么：提供错误的结果？不可用？提供社会上不可接受的结果（例如偏见）？

在影响不可接受的情况下，是否为上述场景定义了阈值和处理方法以触发备选/后退计划？

后退计划是否已经定义和测试？

9.安全性：

在正在开发和/或部署的系统中，什么安全定义是适用的？

对于要考虑的每种形式的安全，如何对其进行测量和保证？

是否已确定（其他）可预见的技术使用（包括意外或恶意滥用）的潜在安全风险？

如果存在人身完整性风险的情况，是否会提供相关信息？

是否有一个过程来分类和评估与产品或服务的使用相关的潜在风险？

是否已制定计划以减轻和/或管理已确定的风险？

10.透明度：

目的：

明确谁或什么可能从产品/服务中受益？

产品的使用场景是否被指定并清楚地传达？

是否对其用户规定了产品的限制？

是否为产品设置了部署标准，并向用户提供？

可追溯性：

采取了什么措施来告知产品的准确性？例如产品结果背后的原因/标准？

产品或技术的性质及其潜在风险或感知风险（例如，围绕偏见）是否以预期用户、第三方和公众能够接收和理解的方式传达？

是否有跟踪机制来使我的AI系统可审计，特别是在危急情况下？

评估信任AI的关键指南：

在开发、部署或使用AI时，采用可信任AI的评估列表，并根据系统使用的特定用例对其进行调整。请记住，评估清单永远不会是详尽的，确保可信赖的人工智能不是勾选框，而是在整个人工智能系统的生命周期中识别需求、评估解决方案和改善结果的连续过程。