启蒙如何终结——论人工智能

【编者按】

本文作者亨利•基辛格（Henry Alfred Kissinger），1923年5月27日生于德国费尔特市（Fürth）。1938年随其犹太人父母迁居纽约。1943年入美国籍。

历任美国国家安全顾问（1969年1月至1975年11月）和美国国务卿（1973年9月至1977年1月），被视为1965年以来最有影响力的美国国务卿。著有包括《论中国》（On China，2011）、《世界秩序》（World Order，2014）在内的将近二十部著作。

基辛格在本文中表达了他对人工智能未来发展的隐忧。他认为，人工智能迟早将极大造福于医学、清洁能源供应、环境问题以及许多其他领域，但因人工智能是对一个不确定的未来下判断，所以不确定性和模糊性内在于人工智能的发展结果。他提醒读者，人工智能比人类更迅速且确定地掌握了某些能力之后，久而久之，在将人类活动转变为数据的同时，它自身可以削弱人类的能力并贬低人类的境况。

本文原刊于美国《大西洋》杂志2018年6月号，原题：“How the Enlightenment Ends”。译文由复旦大学国际关系与公共事务学院硕士生杨雨清翻译，文中小标题为编者所加。译文仅供参考，其中不周之处，祈请指正。

三年前，在一次跨大西洋问题的会议上，人工智能的主题出现在议程中。我正想跳过那一环节，因为这超出了我通常关注的领域，但那场演讲的开篇却让我留在了座位上。

演讲人描述了一款即将挑战围棋世界冠军的计算机程序的工作原理。我吃惊地发现，电脑竟能精通比国际象棋更复杂的围棋。在围棋中，每个棋手有180或181枚棋子（这取决于他或她选择哪种颜色的棋子），他们在一块开局时为空的棋盘上轮流落子。胜利的归属取决于哪一方能通过更巧妙的决策，更有效地控制实地，从而困死对手。

演讲人坚称，这种能力是无法预先给机器编制好的。他表示，他的机器在实战中训练自己，从而学会了熟练掌握围棋。基于围棋的规则，计算机和自己对弈了无数局，从错误中吸取了教训并相应完善了算法。在这一过程中，它超越了人类导师的技术。事实上，在演讲结束几个月后，一款名为“阿尔法狗”（AlphaGo）的人工智能程序完胜了世界上最伟大的围棋手。

听到演讲人称许这一技术进步，作为一名历史学家且一度从政的经历令我驻足思考。自我学习的机器通过特定过程获得知识，并将这些知识应用于可能超出人类理解范畴的目的，这样的机器会对历史产生什么影响？这些机器会学会互相沟通吗？面对新出现的选项，机器如何做出选择？印加人对西班牙文化感到难以理解，甚至心生敬畏，人类历史是否有可能步他们的后尘？我们是否即将步入人类历史的新阶段？

意识到自己缺乏这一领域的技术能力，我接受了一些技术和人文领域熟人的建议，并与他们合作，组织了一些关于该主题的非正式对话。这些讨论增添了我的忧虑。

一个有赖于机器的世界

迄今为止，最大程度改变现代历史进程的技术进步是15世纪发明的印刷机，它使得对经验知识的追寻代替了仪式性的教条，理性时代逐渐取代了宗教时代。个人洞见和科学知识取代了信仰，成为衡量人类意识的首要尺度。人们将信息存储起来，并在规模不断扩展的图书馆中将其系统化。塑造当代世界秩序的思想和行动源起于理性时代。

但眼下，在一场新的、甚至更彻底的技术革命之中，那一秩序面临剧变。我们已经无法充分预判这场革命的后果，而其终局可能是一个有赖于机器的世界，那些机器靠数据和算法驱动，且不受伦理或哲学规范的规制。

我们已身处其中的互联网时代预示着部分问题和麻烦，人工智能只会使之更加严重。启蒙运动力图将因袭而得的真理服从于不受拘束的、分析性的人类理性。互联网的目的则是通过积累和处理不断扩充的数据来接受现有的知识。人类的认知失去了个人的特性。个人变成了数据，而数据变成了统治者。

相较于在具体情境中思考或概括信息的意义，互联网用户更看重检索和处理信息。他们很少审视历史或哲学；一般来说，他们所要求的信息同他们目前的实际需求相关。在这一过程中，搜索引擎的算法获得了预测个人用户偏好的能力，使算法能够对结果进行个性化处理，并将它们提供给其他各方，用于政治或商业目的。事实变得相对，信息恐怕要压倒智慧。

互联网用户不再内省，转而被社交媒体上各类群体的意见所淹没；事实上，许多技术爱好者用互联网来避免他们所惧怕的孤独。所有这些压力都削弱了形成和维护信念所需要的毅力，而只有走一条人迹罕至的路才能使这样的信念成为现实，创造力的本质即在于此。

互联网技术对政治的影响尤为明显。能够准确定位弱小群体，关切他们特定的诉求或不满，这打破了以往对优先政治议程的共识。政治领导人疲于应付这些细分压力，没有时间思考或审视问题产生的背景，这挤压了他们制定远期规划的空间。

数字世界对速度的强调抑制了沉思；其激励赋权于激进者要多于思想者；其价值观由亚群体共识所塑造，而非由内省形成。尽管有成就，但由于其强制性压倒了便利性，数字世界面临自我攻击的风险。

随着互联网和不断提高的计算能力促进了海量数据的积累和分析，对人类理解力而言，前所未见的远景已经浮现。或许意义最为重大的是人工智能开发项目。人工智能技术能够通过似乎是复制人类创设和解决抽象问题的过程，创设和解决复杂的、看似抽象的问题。

这远远超出了我们所熟知的自动化。自动化涉及手段；它通过对实现目标的生产工具的合理化或机械化来达成预定目标。相比之下，人工智能涉及目的；它确立了自己的目标。人工智能所取得的成就部分地取决于其自身，就此而言，人工智能本身是不稳定的。人工智能系统通过其实际运作，在获取并即时分析新数据的过程中不断变化，继而在那一分析的基础上寻求改进自身。通过这一过程，人工智能发展出一种以前被认为是仅有人类拥有的能力。它对未来做出战略判断，有些判断基于以代码形式接收到的数据（例如游戏规则），有些判断则基于它自己收集的数据（例如，通过把一个游戏反复玩上一百万次）。

无人驾驶汽车展现了传统上由人类操控、软件驱动的计算机行为与人工智能试图驾驭的领域之间的区别。驾驶汽车需要在多重复杂情形下做出判断，这些情形不可能预测并就此提前编程。以一个众所周知的假设为例，假如一辆汽车受环境所迫，要在杀死一位祖辈老人和一个孩子之间做出选择，那么什么事情会发生？它会选择谁？为什么？它会试图优化其选择过程中的哪些因素？此外，它能解释其基本原理吗？假如人工智能能够和人沟通的话，当被问及这些问题，它真实的回答可能是：“我不知道（因为我遵循的是数学的原理而不是人的原理）。”或“你不会理解（因为我受到的训练是是以某种方式来应对，而不是去解释原理）”。然而，十年之内，无人驾驶汽车可能在道路上普及。

迄今为止被局限于特定活动领域的人工智能研究，现在正试图开发出能够在多种领域执行任务的“普遍智能”的人工智能。在可见的时间段内，越来越多的人类活动将由人工智能算法驱动。但这些算法是对被观察到的数据的数学阐发，并不解释形成数据的潜在现实。矛盾的是，随着这个世界变得越来越透明，它也将变得越来越神秘。是什么会将那个新世界与我们已知的世界区别开来？我们将如何生活在其中？我们将如何管理人工智能，改进人工智能，或者至少防止其造成伤害，最终造成对我们最不利的担忧？也即，人工智能比人类更迅速且确定地掌握了某些能力之后，久而久之，在将人类活动转变为数据的同时，它自身可以削弱人类的能力并贬低人类的境况。

不确定性和模糊性

人工智能迟早将极大造福于医学、清洁能源供应、环境问题以及许多其他领域。但正因为人工智能是对一个正在演进中、并不确定的未来下判断，所以不确定性和模糊性是内在于其结果的。对此，有三个特别值得关注的领域：

首先，人工智能可能实现意想不到的结果。科幻小说已经想象出人工智能攻击其创造者的桥段。更可能的危险是，人工智能会因天生缺乏语境而误解人类的指令。近来一个著名的例子是人工智能聊天机器人Tay。对Tay的设计是，令其使用19岁女孩的语言模式与人生成友好的对话。但这台机器终究无法界定其程序员设定的“友好的”和“恰当的”这样的语言指令，反而变成了种族主义者和性别歧视者，不然就给出一些煽动性的回答。一些技术界人士声称，该实验构思病态，执行不当。但这一实验阐明了一个潜在含糊问题：在多大程度上能够让人工智能理解指令中包含的语境？在“冒犯”一词的含义尚未得到人们普遍认同的情况下，什么媒介可能帮助Tay为它自己界定这个词？我们能否在早期监测到并纠正一款在我们预定框架之外行事的人工智能程序？或者，人工智能放任自流后，会否不可避免地发展出轻微偏差，久而久之，这些偏差可能汇聚为灾难，从而背离设计初衷？

其次，在实现预期目标的过程中，人工智能可能会改变人类的思维过程和价值观。阿尔法狗采取了在策略上前所未见的走法，从而击败了围棋世界冠军。人类从未想到过这些走法，至今也没有学会如何成功应对。这些走法是否超出了人脑的能力？或者，既然一位新的大师展示了这些走法，现在人类是否可以学习它们了呢？

在人工智能开始下围棋之前，围棋本身有着多种多样的目的：玩家所追求的不只是胜利，还包括从中学习可能适用于生活其他方面的策略。相比之下，人工智能只知道一个目的：获胜。它不是在概念上，而是在数学上，通过对其算法进行细微调整来“学习”。因此，在学习如何赢下棋局的过程中，通过与人类相异的弈棋方式，人工智能已经改变了游戏的本质及作用。这样一种对胜利的单纯坚持是否概括了人工智能的所有特征？

通过开发能对人类提问生成各种答案的设备，其他人工智能项目正在改变人类的思想。除了事实层面的问题（“外面是多少度？”）之外，关于现实的本质或生活的意义之类问题引发了更深层次的问题。我们是否希望孩子们通过与不受限制的算法进行对话来习得价值观？我们是否应该限制人工智能对提问者的学习，借以保护隐私？假如是这样，我们如何实现这些目标呢？

假如人工智能以指数级的速度比人类更快地学习，那么我们必须预计到，它同样能以指数级的速度加快试错过程，而人类的决策通常是经由这样的过程做出的。也就是说，人工智能犯错误的速度要快于人类，所犯错误的规模要大于人类。正如人工智能的研究人员总是暗示的那样，在程序中写入要求得出“道德的”或“合理的”结果的警告指令，也可能无法改变这些错误。所有学科都在人类无法就如何定义术语达成一致的基础上发展。因此，人工智能是否应该成为它们的仲裁者呢？

第三，人工智能可能达到预期目标，但无法解释其结论的基本原理。在某些领域，如模式识别、大数据分析和游戏等，人工智能的能力或许已超过人类。假如其计算能力继续迅速加强，人工智能或许很快就能做到优化场景，其方式至少与人类优化场景的方式稍有不同，也可能截然不同。但到那个时候，人工智能是会否以人类能理解的方式，解释为什么它的行动是最优的？或者人工智能的决策会否超越人类语言和理性的解释能力？纵览人类历史，诸文明形成了解释周遭世界的多种方式：中世纪时，用宗教；启蒙运动时，用理性；在19世纪，用历史；在20世纪，用意识形态。关于这个我们正在迈入的世界，最困难而最重要的问题是：假如人类意识本身的解释能力被人工智能超越，社会也无法再用对它们有意义的术语来解释它们所处的世界，人类意识将会变得如何？

机器世界将人类经验降为数学数据，并由人类自己的记忆对此进行解读，在这样一个世界中，意识该如何被定义？谁能对人工智能的行为负责？应该如何给它们的错误归责？人类设计出的法律体系能否适应思想比人类更深邃，并可能战胜人类的人工智能所进行的活动？

最后，人工智能（artificial intelligence）一词可能被误用了。可以肯定的是，这些机器可以解决复杂且看似抽象的问题，这些问题以前只服从于人类的认知。但是人工智能的独特之处在于，它们的思考方式是人类所不曾设想过或采取过过的。更确切地说，人工智能拥有史无前例的记忆力和计算能力。由于在这些领域具备天然优势，人工智能可能赢下布置给它的任何游戏。但对我们人类的目的而言，这些游戏不只关乎获胜；它们与思考有关。假如我们把数学过程当作思考过程，并且自身尝试模拟该过程或对结果来者不拒，我们就有失去思考能力这一人类认知本质的危险。

最近设计出来的程序阿尔法元（AlphaZero）展现了这一演进的意蕴。该程序的国际象棋水平在大师级之上，其行棋风格在国际象棋历史上前所未见。在短短几个小时的自我对弈中，它就达到了人类用1500年方能达到的技术水平。提供给阿尔法元的只是国际象棋的基本规则。人类和人类产生的数据都不是其自我学习过程的一部分。假如阿尔法元能够如此迅速地达到国际象棋的大师级别，人工智能将在五年内发展到何种地步？人工智能对人类的认知又将产生什么普遍影响？在这个本质上由加速的选择构成的过程中，伦理的角色是什么？

协调人工智能与人文传统

通常，这些问题是留给技术人员以及相关科学领域的知识分子去回答的。哲学家和人文领域的其他人曾经帮助塑造了从前那些有关世界秩序的概念，但由于缺乏对人工智能机制的了解或震惊于人工智能的能力，他们往往处在不利地位。相比之下，科学界受到鼓励，探索实现人工智能新成就的技术可能性，技术界则正专注于其巨大产业规模的商业前景。它们的激励在于挑战发现的限度，而不是理解那些发现。至于政府治理，就其涉及该课题的领域而言，相较于探索人工智能已经开始形成的对人类生存境况的转变，它更可能是去研究人工智能在安全和情报方面的应用。

启蒙运动本质上发轫于由新技术传播的思想洞见。我们的时代正向相反的方向行进。在寻求指导思想的过程中，这个时代已经形成了一项潜在的主导技术。其他国家已将人工智能作为国家层面的重点项目。美国还没有在国家层面系统地探索过其全部范围，研究其可能的影响，或开启最终学习的进程。尤其是，从协调人工智能与人文传统的角度而言，人工智能应该被列在国家议程中的最优先位置。

如同我不了解技术一样，人工智能的开发人员对政治和哲学也缺乏了解，他们应该把我在这里提出的一些问题提问给自己，以将答案嵌入他们的工程设计中。美国政府应该考虑成立一个由杰出思想家组成的总统委员会，来帮助制定国家远景规划。有一点很明确：如果我们不尽快开始这项工作，我们很快就会发现起步太迟了。

（本文由复旦大学国际关系与公共事务学院硕士生杨雨清翻译。）