陈小平丨人工智能中的“封闭性”研究为什么重要？

文 / 陈小平

（中国科学技术大学计算机科学与技术学院）

首先想请您谈谈今年在人工智能领域投入精力最大的研究是什么，以及为什么想去推动这项研究。

陈小平：2019年我最用心的事情是人工智能中“封闭性”的研究。近年来，我对人工智能70年来的主要进展进行了总结，发现有两种人工智能思维是现有研究成果中相对最成功的：一种是“暴力法”，另一种是“训练法”。

暴力法的基本原理是：依据问题的精确模型建立知识表示/搜索空间；压缩知识表示/搜索空间以满足可计算性；在压缩空间中通过“推理法”或“搜索法”，穷举问题的可能解，找出其中的最优解。训练法的基本原理是：建立问题的元模型；参照元模型，收集训练数据并进行人工标注，选择一种合适的人工神经网络结构和学习算法；依数据拟合原理，用标注数据训练元模型中参数值（人工神经元网络连接权重），得到问题的一个具体模型。

通过总结我还发现，引起巨大轰动的AlphaGo Zero实际上采用了四项人工智能技术。其中两项是暴力法技术——简化的决策论规划模型和蒙特卡洛树搜索，用这两项技术进行“自博”（自己和自己下棋），自动产生大量博弈数据和标注，这些数据不仅包含人下过的棋，也包含很多人没下过的棋；另外两项是训练法技术——残差网络和强化学习，以自博产生的数据，用强化学习算法训练残差网络，从而将自博获得的实战经验凝练在同一个人工神经网络——残差网络里，最终这个网络的下棋水平远远超过了人类。所以，AlphaGo Zero是暴力法和训练法相结合的胜利，认为它仅仅是深度学习的胜利，是一个巨大的误解，会产生巨大的误导。

虽然暴力法和训练法都取得了巨大进展，但它们在实际应用中却面临共同的难题，那就是“脆弱性”。脆弱性的主要表现是：当智能系统的输入不在知识库或训练好的人工神经网络的有效范围内，系统将产生错误的输出。自20世纪80年代以来，脆弱性已成为现有人工智能技术在实际应用中遇到的主要瓶颈，而训练法和暴力法都受到脆弱性的严重困扰。

因此，人类面临着一个巨大疑问和重大挑战：以暴力法和训练法为代表的现有人工智能技术，到底能不能有效地应用于各种实际问题？对此，已出现两种极端观点，且都非常有市场。一种观点认为，人工智能技术可以无条件地解决一切实际问题，理由是：围棋比平时遇到的问题更难，而人工智能已远远超过了人类。另一种观点认为，现有人工智能技术就是“人工弱智”和“人工智障”，“有多少人工就有多少智能”，持这种观点的人往往实际尝试过人工智能技术应用，却未获成功。这两种观点都极大地妨碍了人工智能的实际应用和进一步发展。

深度学习: 智能时代的核心驱动能量

[美]特伦斯·谢诺夫斯基 / 著

姜悦兵 / 译

中信出版集团，2019-02

针对这一局面，我提出了一种判别准则——封闭性：如果一个实际问题不具有封闭性或不可封闭化，那么在原理上就无法用现有人工智能技术解决；如果一个实际问题具有封闭性或可以封闭化，同时，解决这个问题的人工智能系统具有失误非致命性和基础条件成熟性，那么在原理上用现有人工智能技术就可以解决。不满足封闭性的问题，现有人工智能技术是无效的；满足封闭性，还需要满足失误非致命性和基础条件成熟性。这是因为训练法不能保证智能系统的输出百分之百正确，而暴力法由于工程实现的原因一般也不能保证输出百分之百正确，所以还需要具备失误非致命性才能投入实际应用。另外，人工智能技术往往发挥“画龙点睛”的作用，在大规模应用中需要其他技术和条件（如合适的数据）的配合，这就是基础条件成熟性的含义所在。

人工智能封闭性的严格定义参见我即将发表的论文《人工智能中的封闭性》，这里提供封闭性的一种直观描述。如果一个实际问题满足如下两个条件之一，则是封闭的：该问题存在一个有限、确定的模型，而且该模型与实际问题的对应也是有限、确定的；该问题存在一个有限、确定的元模型，并且该问题的代表性数据集也是有限、确定的。

封闭性的主要作用有三个方面。第一，它提供了现有人工智能技术能力边界的一种判别准则，由它可判别哪些实际问题是现有人工智能技术可以成功应用的，哪些是不能成功应用的。根据我的调研，当前我国制造业、服务业和农业等行业中的大量实际问题是符合封闭性准则的。也就是说，这些问题或者本身是封闭的，或者可以封闭化（将非封闭性问题转化为封闭性问题），因而都是可以应用现有人工智能技术（如暴力法和训练法）得到解决的。现有不成功的应用尝试，都出现在不具有封闭性或不可封闭化，或者不具备失误非致命性和基础条件成熟性的场景中。而现有成功的应用，都出现在满足这三个条件的实际场景中。因此，过于乐观和过于悲观的两种极端观点都是不符合事实的。运用封闭性准则，可以帮助企业和社会更有效地识别现有人工智能技术的落地场景，减少盲目性，提高成功率，加快人工智能产业的健康发展。

第二，封闭性为人工智能的基础研究创新提供了某种参考。任何创新都是相对于现存边界的——跳出边界即创新。所以，知道边界在哪里，有助于创新；不知道边界在哪里，不利于创新。封闭性作为一种判别准则，将所有问题分为两类：一类是从原理上说应用现有人工智能技术可以解决的，另一类是从原理上说应用现有人工智能技术不可以解决的。例如，各种棋类、扑克、麻将等博弈问题，由于都是封闭性问题，所以用现有人工智能技术迟早可以解决，解决了也不奇怪，长期不能解决才奇怪呢。但是如果在这些博弈中作弊，“出老千”，那就破坏了它们的封闭性，现有人工智能技术从原理上说就不灵了。人类在正常的生产和生活中，不可能用作弊的方式去解决非封闭性问题，而这些问题本质上比封闭性问题更难，所以我们需要发展更强大的人工智能技术，而这些新技术的研究方向应瞄准非封闭性带来的内在难点。因此，封闭性可以帮助我们更有针对性地展开人工智能基础性研究。

封闭性的第三个作用在伦理方面。近年来，很多人担心人工智能技术已经过于强大，担心存在技术失控、技术统治人类的风险。现在我们知道，现有人工智能技术只对封闭性问题有效，而现实中的大部分问题是非封闭的，人类比现有人工智能技术更擅长应对这些问题，所以现有人工智能技术不可能统治人类，将来能不能还不知道。这种情况下，过分担忧人工智能技术失控是没有科学根据的，如果由于不必要的恐惧而延缓人工智能的实际应用，就更不明智了。所以，封闭性可以帮助我们形成对人工智能更符合实际情况的看法，进而采取更合理的态度和做法。

此外，从长期的观点看，对于未来人类应该发展什么样的人工智能技术，封闭性也给我们提供了某种助力。未来人工智能的发展肯定会向着非封闭性方向努力，那么我们就可以提前考虑：哪些非封闭性问题可以放心地交给人工智能，哪些不可以，如果一些问题需要交给人工智能，那就需要考虑应该采取什么风险防范措施。而对于现有人工智能技术，我们知道它们不可能控制人类，所以真实的风险是技术误用，比如隐私、安全、公平性等方面的现存问题和未来隐患。这样，我们就能够更有针对性地聚焦和解决现有人工智能技术的误用风险。

总之，在当前这个人工智能发展的十字路口，封闭性可以帮助我们获得对人工智能更符合真实情况的了解、认识和理解，采取更符合社会需要和人类根本利益的态度、决策和行动。

为什么：关于因果关系的新科学

[美] 朱迪亚·珀尔、[美] 达纳·麦肯齐 / 著

江生、于华 / 译

中信出版集团，2019-07

您是中科大机器人实验室主任，也是中国人工智能学AI专业伦理委员会负责人，在您看来，2019年人工智能领域最重要的趋势/问题是什么？

陈小平：美国人工智能年会（AAAI）是国际人工智能的三大综合性顶级会议之一，今年的论文注册数突破10 000篇，有效论文投稿数接近9 000篇，而在“正常年份”，一般只有2 000至3 000篇论文投稿。另外两个综合性顶级会议的投稿也出现了类似情况。可见在国际学术界，人工智能的升温速度之快、热度之高，远远偏离了正常情况。论文投稿中，中国贡献了最大比例的增量。

20世纪80年代也曾出现过类似情况（不同只在于当时中国的参与度极低），升温极快极高，接着很快就陷入了第二次人工智能“寒冬”。任何事物都是以高潮—低潮交替出现的形式发展的，这是规律，不可能违背。真正需要关心的问题是：这次会不会历史重演，进入第三次人工智能“寒冬”？

因此，现在中国和世界面临着人工智能的一个重大历史关头。决定人工智能历史走向的关键在于能不能实施现有人工智能技术的大规模应用。只要能，而且确实实现了人工智能的大规模应用，就不存在所谓的“第三次寒冬”，从而打破人工智能“热潮之后必为寒冬”的历史惯例，改写人工智能发展的底层逻辑，进入一个与以往本质不同的全新历史阶段。反之，如果不能实现大规模应用，一切都和前两次热潮一样，我们凭什么规避“第三次寒冬”？

根据封闭性准则，现有人工智能技术已经具备了大规模应用的能力。所以从技术上说，人类已经获得了规避第三次人工智能寒冬的现实可能性。这是封闭性的根本意义所在。当前人工智能发展的重中之重是：如何在相关产业中，根据封闭性准则，积极开展大规模应用？由于中国传统产业规模大、升级需求强，社会各界积极性高，其他条件也比较好，所以中国在现有人工智能技术的大规模产业应用中，面临着最大的机遇。当然也存在极大的挑战。

在今年出版的众多人工智能领域的图书中，是否有让您读后感到“眼前一亮”的？

陈小平：我见到的今年出版的人工智能图书中，有三本是比较有意思的。一本是特伦斯·谢诺夫斯基（Terrence Sejnowski）的《深度学习》（The Deep Learning Revolution）中译本，书中提供了大量人工智能历史资料和技术评论，对于加深读者对深度学习和人工智能的理解很有帮助。第二本是朱迪亚·珀尔（Judea Pearl）的《为什么：关于因果关系的新科学》（The Book of Why: The New Science of Cause and Effect）中文版，在深度学习大热之际，出版者推出这本属于完全不同技术路径的因果推理专著，需要很大的勇气和很强的专业眼光。这本书以及这一类书的出版，对于培植我国的学术土壤、帮助我国人工智能及相关领域专业人士和学生拓展学术视野，非常有益。第三本是盖瑞·马库斯（Gary Marcus）和欧内斯特·戴维斯（Ernest Davis）的《重启AI：构建我们可以信任的人工智能》（Rebooting AI: Building Artificial Intelligence We Can Trust，Pantheon，2019年9月10日出版），这本书对人工智能的发展水平做了深度分析，指出当前社会上对人工智能的流行看法过分乐观了，现在的人工智能与“像人的人工智能”还相差很远。

西方有一句谚语：如果一个人手里只有一把锤子，那么在他眼里一切问题都是钉子。人工智能显然不是一颗钉子，所以不可能只靠一把锤子就能奏效，一定少不了来自不同角度的思考。如果能综合上述三本书的观点，我们对人工智能的看法就会更全面一些。

Rebooting AI: Building Artificial Intelligence We CanTrust

Gary F. Marcus, Ernest Davis

Pantheon, 2019-09

虽然如此，我并不完全赞成三本书的所有主要观点或主要结论。三本书中，第三本书最接近我的观点，尤其书名Rebooting AI，简练而形象地表达了人工智能当前发展态势的一个方面：人工智能的长期目标不可能通过现有技术成果的连续性简单积累而实现，我们需要某种彻底反思和某种重大改变。我在《开放时代》2018年第6期发表的文章《人工智能的历史进步、目标定位和思维演化》中，也对现有人工智能的局限性做了自己的分析和评论，与该书有共同点，也有不同点。两点根本性不同如下：

第一，我认为当前人工智能的当务之急是：利用现有人工智能技术，而不是指望需要几十年甚至更长时间才有可能实现的未来技术，在满足封闭性等三个应用条件的场景中，实现人工智能的大规模产业应用，而不能等待人工智能基础研究取得更大突破之后，再进行大规模产业应用。封闭性为这个判断提供了基本依据。对于封闭性问题和非封闭性问题，需要采用本质上不同的人工智能技术，指望一种“全能型”人工智能技术“包打天下”，是不符合实际情况的。现在我们已经得到了能够应对封闭性问题的人工智能技术，还等什么？当然，同时也需要投入一定的力量，对非封闭性问题展开基础研究，但绝不能用非封闭性问题的基础研究替代和干扰封闭性问题的大规模应用研发。

第二，对于人工智能的长远目标，有必要进行更深刻的反思，特别需要深思的一点是：传统主流观点——“像人的人工智能才是真正的人工智能”，很可能不是一个恰当的科学概念和一个正当的长期目标。到底什么是“像人”？例如，蒙特卡洛树搜索是AlphaGo Zero的四大核心技术之一，是人工智能搜索法的一个技术高峰。可是早在20世纪70年代，认知心理学实验就证实，搜索是人类常用的一种基本思维技能。而人工智能搜索技术与人类搜索技能的差别主要在于，前者是对后者的科学化、系统化、算法化，二者的基本原理是类似的。那么在这个意义上，使用蒙特卡洛树搜索的AlphaGo Zero，像不像人？AlphaGo Zero的其他三项核心技术也存在类似情况，或者在脑神经科学中发现了人类渊源（深度学习），或者在人的思维实践中存在类似原理（决策论规划、强化学习）。既然四项核心技术都是如此，AlphaGo Zero像不像人？凭什么说它不像人？到底怎样才算“像人”？

因此，至多可以说，现有人工智能技术“像人”的程度没有达到某些人的期望。但是，我们为什么要让人工智能“像人”？最终的原因是，我们希望人工智能可以解决更多问题，根本之处在于能解决哪些问题。根据封闭性准则，未来研究的重点是解决非封闭性问题。可以预见，未来的人工智能技术，不管像不像人，都必须能够解决非封闭性问题，或者更好地解决封闭性问题。

您明年有哪些研究计划，会特别关注哪些方向？

陈小平：明年我和我的团队在基础研究中的工作重心是某些行业应用中的非封闭性问题，其实今年已经取得了根本性进展，明年将针对具体行业应用加快推进。同时，人工智能伦理建设也是摆在我们面前的一个重大挑战。当然，由于现有人工智能技术的大规模应用具有最高紧迫性，明年我们将投入更大力量，为人工智能的产业化推广做出自己的贡献。

（原载于《信睿周报》第16期）