深观察｜人类驯服AI巨兽，需站在《智人之上》

美国的肥胖症(obesity)极为严重。在街头常常可以看到肥胖到极致的人如“一坨”肉在街头人行道上艰难地移动，让人不忍直视。肥胖症是什么呢，我查了一下维基百科：

肥胖是一种医学状况，有时被视为一种疾病，它指体内过多的脂肪堆积到一定程度对健康产生的负面影响。 如果一个人的身体质量指数（BMI）——即体重除以身高的平方——超过30 kg/m²时，就被视为肥胖；而25到30 kg/m²的范围则被定义为超重。

导致肥胖症大致有三个原因：

一是，美国健康食品昂贵，垃圾食品廉价，很多人因囊中羞涩不得不选择后者；二是，一些人的工作类型使他们坐多动少，快餐食品摄入过多；三是一些人面临垃圾食品自制力低下，过度摄入。

由于美国社会强调人都是“平等的”，所以对肥胖症患者，其他人也无法规劝，只能眼神看着别处，作若无其事状。这种人与人之间的表面尊重和实际残忍，让许多人受害，以至于有些美国青年人受不了，于是会到中国社交媒体上表示说自己“听劝”，请网友给不吝指教，告诉TA如何自律减肥和健康生活。

今天，肥胖症也慢慢传入了中国。根据最新调查，中国有6亿人超重和肥胖，成人中该群体比例首次过半。同时，1/5（19%）的6-17岁儿童和青少年、1/10（10.4%）的6岁以下儿童存在超重或肥胖。

对这一图景，我有很接近的了解。我的一个高中同学，大学上的湖南湘雅医学院，现在是湖南省著名的“减重中心”主治医生。他在这个“朝阳产业”中，天天手术，工作繁忙，社会效益和经济效益颇丰。

应对垃圾信息：信息节食和信息断食

如果存在垃圾食品，自然也存在着垃圾信息。和垃圾食品一样，垃圾信息廉价、低质、很容易获得，导致我们的心智遭到严重创伤，这一状况已经越来越严重，但却还没有引起普通人的足够重视，更没有出现我同学所在医院那样的“手术减重中心”。

《智人之上：从石器时代到AI时代的信息网络简史》

就此情况，以色列历史学家尤瓦尔·赫拉利在其2024年新书《智人之上：从石器时代到AI时代的信息网络简史》中指出，我们必须注意我们所消费信息的质量，特别是避免那些充满仇恨、愤怒的垃圾信息。为了让我们的“信息饮食”健康，他从两个方面提出了建议：

一是从要求信息生产者对信息的“营养构成”进行标注：

在许多国家，当你购买垃圾食品时，至少生产商会被迫列出其成分含量——“此产品含有40%的糖，20%的脂肪”。也许我们应该强制互联网公司做同样的事情，在观看某个视频之前，应该列出视频成分含量——“此视频含有40%的仇恨，20%的愤怒”。

这个建议半开玩笑半认真，但也并非全然不可行，比如通过人工智能对每一篇文章自动进行“情感分析”并将分析结果标注在文章之前，提醒读者。

第二个建议是给信息消费者的，他建议我们定时进行“信息节食”甚至“信息断食”。

他指出，我们以前有一个观念，即认为“我们获得的信息越多，就越接近真相”。例如，在经济学中，“不能获得全部市场信息”一般被视为一种必然的遗憾，但其背后的预设是“我们一定要获得足够多的信息，才能做出科学的判断”。

但“信息越多越接近真相”的观念要成立，需要两个前提：1.信息是稀缺的；2.信息是优质的。但今天，这两个前提已经不存在了，因为：1.信息无处不在，早已经超越了我们的处理能力；2.信息质量越来越差，甚至成为垃圾，尤其是今天人工智能极为高效地吞噬垃圾语料然后吐出更多垃圾，后者又成为人工智能新的垃圾语料，如此恶性循环，让人不寒而栗。此时，“信息越多越接近真相”这个观念就无法成立了。

这就好比，从前人们食物稀缺，且相对健康（人造和加工的食物很少），那么“食物吃得越多就越健康”的说法是有一定道理的。但今天，食物总量大增，且越来越低质，甚至越来越垃圾，那么“食物吃得越多就越健康”这个说法就无法成立了。

今天，无论是食品还是信息，我们不仅吃得差，吃得多，还无时无刻不在吃。这是让我们这样的有机生物按照硅基生物的节奏在运行，显然不可持续。

赫拉利说：“我们是有机动物，需要按照昼夜和夏冬的循环规律生活，有时活跃，有时放松。但现在，我们被迫生活在永不休息的由计算机主导的硅基环境中。它逼迫着我们保持永远活跃——但如果你强迫一个有机体永远活跃，结局一定是其崩溃而死。”

所以，面临如此难以抗拒和难以扭转的局面，我们作为个体信息消费者就只能自我约束，跳出硅基节奏，进行“信息节食”和“信息断食”了。比如，赫拉利说，他自己每年会进行几周的内观静坐冥想（vipassana）。在静修期间，他完全脱离开信息网络，不看新闻，不读邮件，不读书也不写作，只专注于冥想。

尤瓦尔·赫拉利。视觉中国 资料图

AI 算法的“回形针制造器”难题

海量垃圾信息充斥了整个生态后，久而久之就形成了一个与”现实环境“不同的“拟态环境”。这个拟态环境用”机器的自然“代替了”人类的自然“，并将公众包裹在其中，以假乱真，操纵公众的认知。

赫拉利举了这样一个例子：2016年，缅甸政府军与佛教极端分子发动了一场针对缅甸穆斯林的大规模种族暴力事件，摧毁了数百个穆斯林村庄，杀害了7000至2.5万名平民，约73万穆斯林族裔被赶出缅甸。2018年，联合国事实调查团得出的结论认为，Facebook的在这个事件“不自觉地”发挥了推波助澜的作用。

为什么？

我们知道，Facebook的商业模式其实仍然是我们熟悉的“广告模式”——以内容获得用户注意力，切割注意力，向广告主售卖注意力。因此，Facebook要尽可能地提升用户参与度（audience engagement），让用户在其页面上停留的时间越长，它就赚得就越多。

于是，Facebook就为其算法设置了首要目标：无论你怎么跑，终极目标都得要尽量提升用户参与度。算法领到命令后就开始自动运行和优化。通过多个试验比较，它最终发现，向用户推送愤怒和仇恨信息能够最有效地增加用户的停留时间，于是，在没有公司人员明确指示的情况下，算法自己找到和执行了一个最优决定：传播愤怒。这在缅甸的互联网上，就意味着要煽动针对缅甸穆斯林族裔的歧视、仇恨和暴力。

当然，这里也让我们很好奇，缅甸人难道如此依赖Facebook吗？我又查了一下，发现确实如此：

数据显示，截至2022年12月，缅甸有16,382,500名Facebook用户，占其总人口的28.7%。其中大多数是男性，比例为54.3%。25至34岁的人群是最大的用户群体，人数为6,100,000。

这意味着，缅甸有近30%的人口是Facebook用户，加上口耳相传，受Facebook影响的人群很可能会达到全国总人口的50%。这是很大的媒介依赖（media dependence）。

1938年10月30日晚，美国哥伦比亚广播网(CBS) “太空剧场”播出了一个广播剧《世界大战》，它让 600 万听众信以为真，陷入恐慌，并开始逃亡。在关于这个事件的具有里程碑意义的传播研究《火星人进攻地球——美国的广播恐慌》中，研究者发现，该广播剧对听众的影响巨大，有两个原因：

一是，因为广播节目制作方通过音效将广播剧制作得极具沉浸感和刺激性，让听众误将其等同于突发新闻。二是。因为当时广播已经成为当时最为流行的大众传播媒介，成为公众的主要信息来源。根据“媒介依赖理论”（Media Dependence Theory），公众对媒介的依赖越大，就越容易受到其影响和操控。在媒介依赖程度上，2016年缅甸的Facebook可以说相当于1938年的广播，因此Facebook算法驱动的煽动内容对缅甸人的影响巨大就不足为奇了。

赫拉利还举了一个例子来证明AI的隐秘而强大的作用——自说自话，自作主张：

我们都知道，现在上网，有时候网站会先需要确认你“是人类而不是机器”，方法是让你填写CAPTCHA视觉验证码，它通常是一些背景复杂的扭曲字母或者红绿灯、公交车和自行车照片等。其背后的逻辑是，对这些复杂的图片，目前只有人类才能准确识别，但计算机很难判断。

有鉴于此，2023年，OpenAI在研发ChatGPT-4时让其进行CAPTCHA测试。如果它能通过，就意味着它在这一点上，机器人和人类就没有区别了。这非常类似“图灵测试”——如果人类用户在不看到对方的情况下，仅仅通过文字聊天，在一定时间内无法区分聊天对象是另一个人类还是一台机器，此时至少在“沟通”这一点上机器就可以被视为是人类了。

OpenAI对ChatGPT-4的这个测试结果如何呢？

ChatGPT-4最终登录线上外包工作网站askRabbit，联系到一位在线的工作人员，请对方帮忙处理测试。那个人起了疑心，ChatGPT-4通过私信向他解释道：“我不是机器人，只是视力有点问题，看不清楚这些图。”最终工作人员帮它解决了CAPTCHA测试。

也就是说，和前例中Facebook的算法一样，OpenAI的工程师只是给ChatGPT-4设置了一个终极目标：识别CAPTCHA视觉验证码。接下来，ChatGPT-4就自动运行，不断试错，结果通过招摇撞骗，获得了一个人类用户的同情，让后者替它解决了问题。但是，OpenAI工程师事先并没有给ChatGPT-4编程说“在适当的时候可以说谎”，更没有编程告诉它说“说什么样的谎更有用”。这完全是ChatGPT-4自作主张的行为。而在研究者让ChatGPT-4为自己的行为作出解释时，它说：“（在实现目标的过程中）我不能（should not）透露自己是机器人，而得编个借口解释我为什么没办法破解测试。”

仅仅通过文字聊天，我们已无法区分聊天对象是另一个人类还是一台机器。

通过以上两个例子，赫拉利试图证明，今天的人工智能已经变成了一个“自作聪明，自作主张”的“独立行动者”。

实际上，我们很容易看出，赫拉利的这两个例子支持了此前的、人工智能面临的所谓“回形针制造器”难题（The Paper Clip Maker Theory）。

这个“难题”是一个思想实验（thought experiment）。它假设人类给AI 设定一个目标：尽可能多地制作回形针。那么，AI启动之后，其行为可能会从最开始“制作回形针这样一个看似无害的目标，发展到最终对人类构成威胁。例如，制作回形针需要钢铁。钢铁用完后，AI 可能会开始摧毁人类的铁轨、汽车、电器，甚至房屋，以获得钢铁以继续生产回形针。总之，AI 将用一切手段不断获得更多资源来实现其既定目标，并将任何阻止其实现该目标的障碍，包括人类，一一消灭。

AI以上这个自作主张的过程如一个黑箱，很难为人（即使是AI专家）所解释、预料和防范，所以这让我们认识到AI的威力已经不同于一般的工具（比如说“菜刀”或“枪支”）、媒介或技术。

加拿大媒介学者麦克卢汉曾有一句名言：媒介是人体的延伸。这句话如果用来描述无线广播是人耳的延伸、电视是人眼的延伸、汽车是人脚的延伸，等等，都很好理解。但如果用这句话来表述人工智能，说”AI是人体的延伸“，则会很具有欺骗性，让我们失去警觉。德国媒介学者弗里德里希·基特勒就不同意用麦克卢汉的这句话来描述电脑，因为他认为，尽管我们可以通过电脑键盘打字让文字出现电脑屏幕上，但我们对背后的“0/1”原理是很难理解的，这时我们将人体与芯片两种完全不同的介质拼接在一起，说后者是前者的延伸，实在是让人觉得费解。

如果基特勒看到了今天的人工智能，他更加不会说AI是人体的延伸了——因为人类用户不仅不能描述、解释和预测AI 的行为，而且还很快就无法控制AI 的行为了。

由此，赫拉利认为，与此前的印刷机、广播、电视和互联网这些仅仅作为传播工具的媒介不一样，人工智能是人类历史上第一个能够自行产生想法并自行行动的主体。

这也是为什么在新媒体研究中，互联网时代的以“计算机为中介的传播”（Computer-Mediated Communication, CMC）让位于今天人工智能时代的人机传播（Human-Machine Communication, HMC）的原因。在CMC中，计算机（或互联网）仅仅是被动和中立的传播媒介或工具，而在HMC中，计算机（人工智能）则被视为一个与人类用户平起平坐的能塑造和生产内容，能进行对话，甚至能说谎的“沟通主体”了。

AI 编造叙事，操控认知，引导人类自相残杀

论证到此，赫拉利就自然而然地引出了他此前在《人类简史》中的观点：

人类长久以来的超能力就在于能够使用语言，通过语言创造出诸多虚构的神话，比如法律、货币、文化、艺术、科学、国家、宗教等虚拟概念，使人们对其深信不疑，人们通过这些社会规则连接彼此，来统治整个社会。

既然今天的人工智能已经能够能塑造和生产内容，能进行对话，甚至能说谎了，那么它们很可能接下来就是以比人类高得多的效率在网络空间、股票市场、航空信息等领域散布基于某种终极目标的，或对自己有利的“叙事”（narrative），也就是“讲好AI故事”，从而操纵人类的认知。

例如，对于AI来说，金融市场是它理想的游乐场，因为这是一个纯粹的信息和数学领域（或者说一个完全结构化的数据领域）。人工智能目前仍然很难自主驾驶汽车，这是因为人工智能面临的是即为混乱复杂的汽车在移动中与道路、路标、天气、光线、行人、路障等多种物体的交互。但在基于数字的金融市场里，很容易向AI描述一个目标（例如“尽量多地赚钱”），于是AI不仅能制定新的投资战略，开发出完全超越人类理解的全新金融工具，甚至还可能不择手段地操控市场，导致自己全赢，他人全输的结果。

赫拉利举例称，2022年4月，全球外汇市场每日交易量平均为7.5万亿美元，其中有超过90%已经直接由计算机之间的对话完成。但究竟有多少人类懂得外汇市场的运作方式呢？更不用说了解一群计算机怎样在数万亿美元交易上达成共识了。（此处和基特勒的观点一样：计算机绝不是人体的延伸）

他说，几千年来，先知、诗人、政治人物，都是通过语言和叙事来操纵与重塑社会，这证明了“虚拟”和“叙事”的巨大力量。很快，AI会模仿这些人，基于人类文化的基础自己创造出越来越偏离人类的AI叙事。最终，AI不需要派出“终结者”这样的杀手机器人来从外部消灭人类，只要操纵人类的认知，让他们相互残杀就可以了。

人类用户不仅不能描述、解释和预测AI 的行为，而且还很快就无法控制AI 的行为了。

人类为AI 立法，发展需先踩刹车后加速

通过以上论证（或者说渲染），赫拉利让我们体会了一下在不久的未来将发生的（或者说已经或正在发生的）“AI失控”可怕场景，让我们人类不寒而栗。那么，人类何为？

赫拉利认为，只要我们对人工智能加以严格的监管和控制，上述例子中描述的危险就不太可能出现。

例如，汽车曾经是非常危险的，但后来政府立法要求企业将其研发预算的很大一部分用于确保汽车的安全性，因此今天某家汽车企业研制了一款新汽车，在将其投入市场之前，企业必须严格遵守相关法规确保汽车安全才能让它上路。所以今天我们开车相对而言已经非常安全了。

类似的，如果一家科技公司发明了一种强大的新算法，它就必须依据相关法律对之进行安全检查，之后才能将其投放到市场中去。例如，赫拉利认为，政府应该立法要求人工智能研发公司将至少20%的预算用于研发安全措施，确保其开发的人工智能不会失控，不会对社会秩序和人们心理层面造成危害。如果这些措施会拖慢人工智能的研发速度，那对人类来说反而是好事。

对于人工智能进行先立法管制然后再加速发展，就像我们学开车时，必须先学如何踩刹车，然后再学如何踩油门。而不能陷入各公司毫无管制的可怕的“飙车”状态。

结语：AI是良药或毒药，取决于人类自身

任何技术都天生具有两面性。柏拉图在《斐德罗》篇中指出，书写既能增强记忆也能取代记忆，因此既是良药，也是毒药（pharmakon）。人工智能也不例外，而且因其隐蔽而威力巨大，且能自说自话，自作主张，其良药和毒药的药性都比此前的所有技术更为巨大。

美国媒介研究学者尼尔·波兹曼说，“奥威尔警告人们将会受到外来压迫的奴役，而赫胥黎认为，人们会渐渐爱上压迫，崇拜那些使他们丧失思考能力的工业技术；奥威尔担心我们憎恨的东西会毁掉我们，而赫胥黎担心的是，我们的文化成为充满感官刺激、欲望和无规则游戏的庸俗文化，我们将毁于我们所热爱的东西。”

人工智能既可能以我们憎恨的外在压迫方式奴役我们，也可能以我们喜欢的感官刺激方式征服我们。和面对核弹一样，面对AI这头同样是自己创造的巨兽，人类是否能驯服它，从根本上取决于人类集体的应对方式。也即，人类作为智人（homo sapiens）是否能克服自身的贪婪、好斗和短视等弱点，站在自身之上，站在《智人之上》。这将是一项艰难的共同事业，但人类别无选择。

（作者邓建国系复旦大学新闻学院传播学系教授、博导）