探索与争鸣｜段伟文：控制的危机与人工智能的未来情境

一、控制的危机与控制的革命

人类进入现代以来，从社会到生产各个环节都出现了所谓的控制的危机。这一危机是从熟人社会走向陌生人社会，从手工劳动到现代化工厂劳动的必然结果。为此，人们不得不引入基于信息通信技术的控制的革命来应对控制的危机。当代历史学家和传播社会学家贝尼格（James Beniger）将现代社会视为一种开放的信息处理与控制系统，在《控制革命：信息社会的技术与经济起源》（1986）一书中用“控制的革命”阐发了信息革命、信息社会、技术化社会的动力机制。自19世纪到20世纪中叶，不论是电报、电话、无线电和计算机等信息通信技术，还是生产流水线和科学管理等生产管理技术，以及调查统计与户籍档案制度等社会管理技术，纵贯其中的就是控制的革命。20世纪中叶时，机械化、电气化与计算机通信技术的结合呈现出用机器对社会实施总体控制的反乌托邦前景，这在阿西莫夫的机器人科幻、奥威尔的《1984》和赫胥黎的《美丽新世界》等小说中均有所体现。为抵抗这一总体控制图景，20世纪60年代以降的反主流文化运动中形成了一种凸显主体与技术结合的赛博文化，主张从人的能动性出发，探寻以分布式、交互性的信息系统取代基于巨型计算机的官僚控制体系的新进路。上世纪最后的20多年间，赛博文化通过个人电脑和互联网得以落地开花，赛博空间一度被想象为可以与现实世界比肩而行的虚拟世界。

在人们欢呼比特取代原子和赛博空间独立于现实世界之后的最近20年里，新的控制的危机与控制的革命此消彼长，虚拟世界非但没有完全独立于现实世界，反而发展出个人数据被信息平台所掌控、分析、解读与引导的全景监控的态势。一方面，对于社会管理者而言，网络空间的虚拟性、交互性和匿名性无疑给现实世界带来的新的控制的危机，网络空间的治理成为一种辩证的必然。另一方面，随着移动互联网、云计算、大数据和人工智能的发展，人们在享受信息交互与数据共享的好处的同时，其网络和社交媒体行为所产生的数据则成为对其身份、行为、情感、倾向等进行数据挖掘和数据画像的资源。在智能化的商业、管理和治理中，数据智能的应用日渐广泛。数据标注、算法设计以及对相关性等数据洞察的解读并不都是绝对客观的，而往往负载着各种价值，拥有数据并设定算法的智能化平台具有很强的主导性，甚至形成了所谓让数据说话的算法权力。

二、政治算术与世界的数据化

在社会管理和治理层面，算法权力至少可以追溯至调查统计的社会应用及其背后的政治算术的观念。古典经济学家威廉· 配第提出了“政治算术”的思想，断言大凡统治的事项、君主的荣耀、人民的幸福和社会的繁盛，都可以用算术的一般法则加以论证。马尔萨斯的《人口论》的第一版并不畅销，其核心论点就是“如果人口不加以控制，灾乱就会来临”。这一观点与当时进步主义的滥觞不甚合拍，而该书并未采用数据，遂引发了激烈的辩论。这促使英国政府于1801年开展了首次人口普查，而因为有了数据的指出，《人口论》的第二版（1803）大获成功，并于随后的几年里四次再版。统计的出现使数据在应对控制的危机中大显神威，数据不仅使马尔萨斯从一个灾难预言家转变为所谓的自由主义者，还成为现代政治和治理的基础。数据让国王知道士兵在哪里，有多少人可以去打仗。类似地，法国大革命一开始，革命者就急切地开展了人口普查，以了解他们所继承的国家的数据。从理性主义的角度来看，让数据说话相对于人凭感觉的判断更加客观和无偏见。而密尔和边沁的功利主义或效益论主张的基础，实际上就是人的幸福和快乐的数量化。

政治算术将对世界的掌控变成了基于数据的控制，这一需求使得世界在19世纪之后走上了管理与治理数据化的进程。随着控制论、系统论、社会物理学、计算社会学研究与互联网、社交媒体、物联网、云计算和大数据等技术的结合，一个基于世界的数据化的平行世界正在形成，并将整合为信息物理系统（CPS）。当然，能否或者说能在多大程度上构建起世界的数据镜像并使之成为认识和控制世界的总体性工具尚待探讨。但值得追问的是，数据分析作为认识和控制世界的新透镜不应只是管理和治理的新工具，也应该担当起个体行为智能化调适的“化妆镜”和“后视镜”，成为智能化时代的“自我技术”。

三、人工智能体：从人类代理到人类监护者

目前，人们对人工智能的疑惧不仅限于对透明人和隐私裸奔的不安，而更在于对作为创造者的人是否会被作为其“终极创造物”的人工智能取代、伤害或毁灭的深度担忧。人工智能的内在操作基础是算法，人工智能在与人的交互中则呈现出某种拟主体性，又可以视为某种具有一定主体能动性的人工智能体或拟主体。在此，人们所关注的不再是组织和社会层面控制的危机与控制的革命，而是对人类而言人工智能和智能机器人是否会失控。

现在所谓的智能革命时代也可以说是算法决策时代与多智能体时代，从自动交易系统、自动驾驶到自动致命武器系统，从聊天机器人到陪伴机器人与伴侣机器人，一个人类主体与人工智能体相交互和共同决策的泛主体或混合主体社会即将来临。而其吊诡之处在于，人类似乎是在以一种飞蛾扑火的心态拥抱所谓的智能革命。一方面，人们抑制不住奔向智能时代的激情，希望用智能算法更好地去预见和控制，但同时又担心反被其所控制。另一方面，人们本来是想用人工智能体代替我们做一些事情，使之成为人类的代理，但却很可能不得不面对它们发展为人类监护者的可能。值得思考的是，在自动驾驶等人工智能场景中，在机器比人的判断和决策能力更强的情况下，机器与人的关系会不会类似于直系亲属或法定监护人与丧失知情同意能力的重症患者的关系？如果可以这么类推，作为强者的机器是否应该担当作为弱者的人类的监护者？或者说，在一个决策场景中，机器与人必将构成混合主体关系，而两者对于决策的后果应担负多少责任，必须要有所权衡。

四、预见人工智能未来的四种方法及其启示

首先是时间轴预见。例如，图灵曾于1950年指出，人工智能将于2000年通过图灵测试。最近有人预言，十年内，人工智能将取代科学家和其他智识性专业。这类预测是否准确比较容易检验。第二类是基于条件关系的未来情境分析，即如果满足什么条件就可能会出现什么情形。例如：如果我们建造出的人类水平的人工智能易于复制和低成本运行，将导致普通人的大规模失业。通过未来情境分析，可以探寻各种条件下可能出现的结果并加以权衡，从正面的可能性中寻找机遇，针对负面的情况提出预防措施。第三类是未来规划。其基本思路是：如果决定执行某项特殊的研究计划，将可能实现某一特定目标。中国的新一代人工智能发展规划所运用的，就是将这一预测用以引导行动的方法。从人工智能的发展历程来看，每一波人工智能的热潮都与军方的支持相关，这同军事目标往往指向明确和诉求强烈不无关系。最近美国对人工智能的投入与其所谓的“第三次抵消战略”密切相关，同样地，中国对人工智能的巨大投入也得益于反抵消战略刚性需求。而无论是军事还是产业上的规划，都应防止盲目性、避免投资泡沫。第四，专家观点与常人观点调查，其思路是将不同专家和不同阶层的公众对人工智能未来的观点搜集起来，再加以比较分析后供决策者、产业界或公众参考。历史上，很多人工智能专家做出了非常乐观的预言，但往往并未得到验证。常人的观点则在很大程度上受到媒体或科幻作品的影响。

在所有关于人工智能未来的预见中，让人们最为兴奋同时又非常不安的是一句话是“未来已来”——人不得不以其有限的生命追逐技术永无止境的演进。对此，德国当代哲学家京特·安德斯曾振聋发聩地指出，虽然人们一再强调“创造是人的天性”，但当人们面对其创造物时，却越来越有一种自愧弗如的羞愧——“普罗米修斯的羞愧”——在机器面前，这种“创造与被创造关系的倒置”使人总觉得自己是过时的人！技术时代的经验告诉我们，我们一生下来就是过时的，要一直学习，不学习就会落后于我们所创造的技术。

技术本来是我们创造出来的，但却站在我们之上让我们深感羞愧。是选择继续羞愧下去，还是应该寻找一种必要的节奏？面对所谓人工智能达到或超越人类的“奇点”的来临有两种策略，一种是快转换，另一种是慢转换。快转换就是有条件要上，没有条件也要上。慢转换就是要考量机器与其背后的人的关系，不单将人和机器放在对立的两方面来看待，而深入到相关行动者网络中，看到由人工智能的应用所会聚的不同主体和拟主体的能动性，厘清其中的权利和责任，使其发展既体现出社会的公正性、包容性和对偏见的抑制，又能在整体上为人所控并符合公众和人类的利益。这就要求我们构建一套预防机器失控的机制，通过精细的评估方法寻找控制的着力点。对此，人们提出了加强算法的透明性、可解释性和可追责的研究以及强化人机协同等构想，旨在寻求对机器失控的反控制。但问题是，人工智能的目标至少是使人工智能体在某些方面超越人的智能，这又使得智能算法的不可理解性难以克服，保留算法黑盒子之类的设计也未必有效。总之，在没有搞清楚人需要站在什么样的位置去控制智能机器的情况下，人工智能的发展难免有其不确定性甚至是盲目性。所以，应该主张慢科学，也就是审慎的科学。

五、人工智能的价值与伦理审度的基点

人工智能是一场开放性的人类科技—伦理试验，其价值反省与伦理追问具有未完成性。为此，人工智能的价值与伦理审度应把握以下反思与建构的基点。第一，人工智能的发展将导致一种新的权力——算法权力或智能权力，它是由信息权力、数据权力发展而来的。算法权力或智能权力是一种新型的控制的权力，由于其对人的身份、认知、行为、倾向、情感乃至意志具有精准的认知与操控力，必须使其具有必要的透明性、可解释性和可追责性。第二，数据框定实在，算法设定认知。数据即经验事实在不同抽象水平上的表征与呈现，鉴于数据框定实在，对数据的标注和处理背后的价值取向和利害关系应该得到必要的揭示与披露，以尽可能消除偏见与利益冲突的影响。同样的，由于算法日益成为人们认知和行动的基本工具，必须对其技术上的不确定性加以管理，同时应校勘其价值取向、审度其伦理影响。第三，人的机器化和机器的人化。人机融合与人机共生不是简单的有机体与无机体的合一，而是在主体与拟主体的交互中不断演进的。其一，人的机器化。人是未完成的主体，人一直在机器的发明和技术的使用中重新定义自己。例如手机特别是智能手机重新定义了人的拇指。其二，机器的人化。人们会不自觉地把智能机器看成与人类似的实体，赋予智能机器某种拟主体性。聊天机器人、陪伴机器人、伴侣机器人、军事机器人等人工智能体或代理主体的应用日广，把机器当作人而带来的情感乃至沉溺与依赖等问题在所难免。

六、余论：人工愚蠢与深度科技化时代的抉择

现在，普通人的认知大部分是靠计算机和各种电子终端设备，政府则日益依靠各种基于互联网、云计算、大数据和人工智能的智能化社会治理系统。但是不要忘了，人们借助智能机器而实现的认知延展实际上超越了人的判断能力，超越了整个社会总体的理解和掌控能力。比信息爆炸更令人无所适从的是，面对智能机器的建议或决策，我们并不完全理解其内涵与后果，往往无法做出理性的判断与选择。耐人寻味的是，智能化时代人类最需要的可能不再是知识论而是无知学，即人们迫切需要了解的是怎样在无知的情况下做出恰当的决策。应该令人们警觉的是，如果人工智能在实现某些强大的功能的同时带给我们越来越多的无知，是不是意味着人类对于知识和智能的寻求走到了它的反面，即建立在认知延展之上的人工智能会不会一开始就在将人类引向人工愚蠢？而且这种人工愚蠢一旦发生就会引发很多问题，甚至会触发巨大的风险与灾难。实际上，不论是信息存储和数据记忆，都不是人类自身的记忆，而所谓的脑机接口和记忆植入的未来解决方案无疑有其不确定性与风险性。

从人类演化的当代趋势来看，人已经走上了以科技改变自身甚至超越自身的深度科技化之路，对人工智能乃至超级人工智能的追逐便是具体体现之一。当代科学哲学家和科学技术论学者史蒂夫·富勒指出，在面对未来的不确定性时，人们一般遵循两种原则，一是风险厌恶性的预防性原则，二是风险偏好型的主动性原则。预防性原则强调在决策前要把所有的情况想到最坏，审慎地做出选择。主动性原则主张充分地考虑最乐观的情况，面对任何事情都以最乐观的态度面对，认为一切都会朝着好的方向发展，为了抓住可能出现的机遇而甘冒风险。从人类的命运来说，甘冒风险和主动地寻求颠覆性的创新似乎是人性中固有的诉求，创新既充满风险又似乎是无止境的。在波音公司制造出可以乘坐十人的飞机时，有人预言人类再也不会造出更大的飞机，而今天的波音787的承载量远远地打破了这一保守的预言。由此，人类2.0之类的前景还不能轻易否定。

如果说人类文明源于第一个敢于直立行走的猿人，那么放在生命演进的宇宙时间里看，主动性原则很可能更能体现人类的初心。展望人类深度科技化的未来情境，大致可以指出三点。其一，人类文明的未来是高度不确定的，如果可以用量子态来表征的话，人类将处于飞升与幻灭的叠加态。其二，只要人类无法抑制其对不断创新的好奇心，其未来情境必然是控制的危机与控制的革命永无止境的缠斗。其三，如果前面两点分别由人类的命运和人性的诉求所决定，那么人类可以做的一个关键性选择是确立创新的速度和限度，或者说如何在颠覆性的创造和颠覆性的毁灭之间找到一个人类文明可以承受的界限。更进一步而言，是否存在这个界限以及这个界限是什么——无疑是宇宙与生命最为终极的问题，而奇点是否会降临的谜底，大抵可在此问题的答案中得到线索。

（本文为段伟文在2017年8月28日由上海市社联《探索与争鸣》杂志社和华东政法大学政治学研究院共同主办的“人工智能与未来社会：趋势、风险与挑战”学术研讨会上的主题发言，经本人整理。首发微信公号：tansuoyuzhengming，澎湃新闻经授权刊发。）