朱悦︱半个世纪前的“ChatGPT”：重读开发者的自白书

Computer Power and Human Reason: From Judgement to Calculation，Joseph Weizenbaum，W.H. Freeman & Company，January 1976

尽管ChatGPT是2022年底才出现的新事物，足够以假乱真的人工智能却并不新，对人工智能的反思也不新。1968年即已投入实践的ELIZA，就是一款能够和人流畅对话、开解苦闷，甚至让当时的精神科医师都在热议人机如何协作、人会不会被取代的人工智能。在那些为技术进展而欢欣鼓舞的时人看来，ELIZA的出现标志着强人工智能，或者说所谓的技术“奇点”，几乎已是触手可及。让人意外的是，ELIZA的开发者约瑟夫·魏岑鲍姆（Joseph Weizenbaum）几乎没有太多的迟疑，就断然放弃了这一前路一片光明的方向。

不仅如此，魏岑鲍姆走上了截然相反的道路。1976年，他出版《计算机权力和人类理性：从决断到计算》（以下简称《权力》）一书，先自数理和技术，再到哲学和法律，又从科学和政治，对以ELIZA为代表的人工智能展开甚为全面、深刻、尖锐的批判。今日观之，依旧代表了这一议题极高的水准。遗憾的是，尽管偶尔还有少许著述会一带而过这本奇书，半个世纪之后再度狂热的今人，大体已经遗忘了魏岑鲍姆这位奇人。当二十一世纪的“ELIZA”再临，我们值得彻底地重读魏岑鲍姆的自白，仔细地聆听其警语。

奇人其人

1923年，魏岑鲍姆出生在德国柏林的一个村庄。生长于斯，归根于斯，并在中间大约三十年的时间里深刻改变了人工智能。魏岑鲍姆在这一领域的工作具备天马行空般的独创性和开放性。一方面，ELIZA是当时的技术和工程前沿水平的代表，是理论推演和繁密机巧的精细综合。另一方面，《权力》体现了对十数个彼此相隔甚远的领域的熟稔———先从波兰尼写到图灵机，再从软件开发的日常回归霍尔姆斯大法官（Holmes, Jr.）的判决。在爬梳千头万绪的论证理路之前，需要概述魏岑鲍姆的成长环境、学术场域和社会氛围的影响。

约瑟夫·魏岑鲍姆（Joseph Weizenbaum）

《权力》有从起点出发推演展开的绵长逻辑链条，也有不时迸发的对纯真年代不再的失落喟叹。无论是逻辑的起点，还是偶然的感伤，隐约都能窥见根植于乡村生活的，对自然主义和神秘主义的不懈复归。开篇伊始，魏岑鲍姆就从耕地的犁写起，速览了一部人类在工具理性主义中不断迷失、日益袖手的历史。这部历史中有着里程碑意义的两个端点，一是钟表，一是计算机。钟表为何如此重要？在其发明之前，人对时间的理解根植于生活世界的直接经验——广阔原野的物候，往复轮转；在其发明之后，人逐步疏远了自然的时间，取而代之的，是一个与生活世界平行的、理性的、可度量的、科学的、人造的时间模型。面对诱惑力和成瘾性毫不逊色于钟表的计算机，魏岑鲍姆难以自抑对素朴的柏林和新英格兰乡村生活的深深留恋。无怪乎在全书接近结尾时，他掷地有声地论断：人和人工智能终究有别的逻辑根本，是人工智能终究缺乏每一个人类婴儿都必须经历的“走出伊甸园”的社会化过程。在推进全书最为核心的论证时，作为一名计算机科学家，魏岑鲍姆并没有将其逻辑起点建筑在各色的不完备和测不准定理之上——尽管他相当熟悉这些定理，也在书中多次引述了这些定理——而是将“母亲和婴儿间不可分离的相互性”，以及这一纽带所必然经历的“悲剧性的分离”作为整个论证的前提。

田园牧歌和精神分析只是《权力》一小部分的主题。魏岑鲍姆的主要任务，还是与诸多至今仍在影响人工智能发展的学者对话，并尝试挫败他们的野心。他要对话的学科和学者很多，有一部分还是他当时在麻省理工学院的同事好友。无论是同样横跨许多学科的司马贺（Herbert Simon）和诺姆·乔姆斯基（Noam Chomsky），还是用心理学等交叉学科方法解析人类智能的伯尔赫斯·斯金纳（Burrhus Skinner）和艾伦·纽厄尔（Alan Newell），抑或是最早开辟人工智能技术“奇点”和具身智能领域的诺伯特·维纳（Nobert Werner）和特里·文诺格拉德（Terry Winograd），在魏岑鲍姆看来，都太过狭隘地将人的智能视为仅仅是在完成信息处理的任务。或者说，都过分笃信了作为一时显学的控制论的视角：将人的智能等同于设置特定的目标以后，根据信息输入选择理性的策略的机器。这一任务并不容易。当一个时代的众多学科都在热烈拥抱一个充满希望的新范式，且因此不断取得突破时，批判性的对话注定荆棘丛生。可想而知，仅仅依赖隐喻般的“走出伊甸园”的论证不太可能说服这些学者。魏岑鲍姆必然需要深入对方的腹地，“用魔法打败魔法”，以控制论范式自毁其根基。在《权力》当中，他也确实这样努力过了。

返璞归真的愿望和学术场域的辩驳都很珍贵，但魏岑鲍姆深知，为了阻止人与自然的分离，为了防止工具理性主义的宰制，也是为了喝止人在技术面前受到诱惑放弃自我判断的能力，这些都还不够。他还需要和大众对话，还需要和当权者对话。在当时美国的社会氛围下，既有对科学的狂信成瘾，亦有少许萌芽的批判。二者的声浪大小全然不成比例。在当时美国的社会现实里，既有勾连学界驱动人工智能研究的军工复合体，也有在越战反战声浪下对人工智能技术的揭露批判。受军事部门资助用于监控、伤害、杀戮的人工智能驱驰无碍。魏岑鲍姆其言其行，可谓体现出一种无可救药的理想主义。他不仅是在用心最深的一本著作中背离了自己的专业，勉力追逐理想中的自然主义和神秘主义；他也不仅是直面当时最为炙手可热的显学，尽力辩驳在十几个学科都已取得耀眼成就的革命范式；他还要去揭露大众在思考技术时的盲点，直陈大众既不了解、也不研习技术本身，只是按照自身主观赋予技术的属性来“思考”技术；他甚至还要扳停军工技术前方的道闸，疾呼停止语音识别技术的研发。只从立场出发，当时的人几乎没有谁会喜欢《权力》。然而，或许正是因为超越了当时几乎所有人的一己之见，《权力》的生命力才有可能超越一时一地。

多岐路，今安在？

《权力》何以瑰奇？归根结底，还是其对人工智能的批判甚为全面、深刻且尖锐，足以启示今人。魏岑鲍姆的经历、智识、成就和勇气，包括其创作和叛离了半个世纪前的“ChatGPT”，终究只是理解批判的背景音。充分阐发《权力》为何足以启示今人，不仅需要重述其间论证，还要阐明这些论证如何关系到今日依然重要的议题。《权力》的论证颇为连贯，又甚为绵长。就此，扼要将其约简至三个部分。每一部分采取不同学科的视角，分别聚焦人工智能的可信赖性、权力滥用和可问责性。半个世纪以来，这些议题一直都很重要。误入歧路的危险（放任人工智能辜负信赖、宰制擅权且无法负责）始终存在。

首先从理论计算机科学的视角出发，从根本上质疑人工智能的可信赖性。魏岑鲍姆的论证思路是：通过论证人和人工智能之间存在根本的鸿沟，阐明有的事情只能由人来承担，而不能由人工智能来承担。为此，需要分别阐明人的根本和人工智能的根本，然后解析二者间的鸿沟。人的根本，特别是无法为工具理性主义所彻底洞察的根本，在于其个体性、无意识和“走出伊甸园”的社会化过程。先说个体性。《权力》在此佯作退让：采取同时期控制论的视角和术语，承认人对世界的理解可以视为在其信念结构中完成对世界知识的表征。之后图穷匕见商榷之意：因每个人的信念结构彼此不同，且无法通约，对世界知识的表征在根本上是一个具备个人性的过程。也就是说，不可通约的信念结构间的差异，这一“根本的私密性”，导致了理解的个人性。探讨人工智能的所谓“理解”，因而只能是对语词的“惊人的”挪用。再是无意识。从其个人体验、众多学者和艺术家的创作体验以及同时期对左右脑功能差异的研究出发，《权力》较早强调了人的无意识对人工智能批判的意义。按其断言，即使未来科学能够解析人的每一个神经元，其依旧不足以理解由梦、直觉、灵感、天启和创造力混合而成的这片“海平面下的混沌”。进而言之，即使人工智能能够以左脑的方式表征信息、形成理解，也永远不可能以右脑的方式运作。最后是作为逻辑起点，造成个人性和无意识的社会化过程。这一过程起自母亲和孩子间“悲剧性的分离”，在教育、婚姻、战争和爱恨情仇当中不断深化。没有经历人的社会化过程的计算机，无法由此形成根本性的私密的信念结构，也不具备由此蕴育的无意识的混沌。计算机的根本是图灵机能够加以计算的任务。个体性、无意识和神秘主义都落在能够计算的任务范围之外，从而落在由计算机运行的人工智能能够理解的范围之外。既然人工智能不能理解人的根本，人的根本要事就只能由人来做，而不能依赖人工智能去做。

其次以哲学和法律为主要视角，反思人工智能的发展催生权力滥用的两种机制。具体来说，从技术哲学出发，人工智能放任了制定和执行法则的权力的滥用；从司法裁判出发，人工智能在默会、不成文、地方性的知识面前充满了傲慢。尽管计算机不能做到应当由人去做的许多事情，但在图灵机能够计算的范围之内，其有着制定和执行法则的绝对的权力。任何表面上的桀骜不驯都来源于人的错误，总是能够通过“捉虫（Bug）”的方式加以改正。除此之外，其总是遵循逻辑，总是流畅运行，总是按照程序员的意旨忠实地运行。循此，魏岑鲍姆直陈其凛然的机锋——既然绝对的权力导致绝对的腐败，掌握制定和执行法则的绝对权力的程序员，也将不可避免地滥用其权力。这一点既体现在程序员以人工智能“革新”“重塑”“颠覆”社会的本能般的冲动当中，也体现在其普遍的伦理冷感和随波逐流当中。当其如鲁莽的醉汉般论证人工智能足以解析人的状况时，他们不过是不断地寻找能够证明自身正确的线索或启示的、状似理性的赌徒。半个世纪以来，这样冲动的无思和无知仍旧愈演愈烈，俨然熊熊之势。《权力》之后引用霍尔姆斯大法官在迪亚兹诉冈萨雷斯案（Diaz v. Gonzalez）一案中的说理，阐明人工智能的另一种傲慢。此间论证可由一句质问加以概括：如果人和人工智能之间的差别不会比霍尔姆斯大法官所言的美国文化和日本文化之间的差异更小——二者间有着“不同的关切、默示的预设、不成文的实践、以及其他至少一千种不同的影响因素”，由人工智能来为人的事做判决，怎么可能会是正当的做法，又怎么可能不是权力的滥用呢？

最后是从软件工程和科学政治的实践视角出发，预见人工智能在可解释性和可问责性上的缺失。人工智能越界做了人做的事，人工智能滥权为人做了判决，这些本身都不那么可怕。真正可怕的是我们无法知晓人工智能的当前状况，无法要求应当为其滥用负责的人来负责，从而，也就无法阻止所有的越界、滥权和灾祸的发生。《权力》在此的论证甚为用心、用情。毕竟，能够在半个世纪前如此熟稔软件工程，又同时处在军工复合体的勾连关节处的人本就不多。按其所述，软件开发中的封装实践导致我们最终难以知晓人工智能的状况，政治在科学实践背后的隐蔽运作导致人工智能责任者的悄然隐没。先是软件工程和可解释性。所谓封装，指的是将复杂的计算机代码“打包”，使程序员得以在毋需知晓包裹内部细节的情况下加以利用。封装当然是显著促进了人工智能等复杂软件的发展，也早已成为软件工程实践的标准动作。尽管如此，每一次封装，都是事实上造成了一个黑箱；每一次对封装的利用，都是搬来一个新的黑箱；每一次对利用了封装的代码的再利用，都是在堆叠黑箱。随着黑箱之上不断堆叠新的黑箱，质变终将到来，人终将彻底丧失理解一个人工智能的能力。这一在半个世纪前开始露头的问题，今日早已催人袖手。如果只有两百行代码的ELIZA已然不那么容易理解，更何况是简介其概况就需要近两百页的ChatGPT？再是科学政治和可问责性。同样可以一言以蔽之：计算机和人工智能，帮着在国内外狂轰滥炸、肆意监控的美国军事和情报机关干了不少脏活。无论是开展为越南村庄的“战略价值”，或者说值得轰炸的程度打分的研究项目，还是资助基于人工智能的语音识别，为大规模的无差别监控储备技术，为美国政府辩护的声音都可以轻描淡写地说：“只有行动，没有行动者；只有坏事，而没有坏人。”于是，人工智能的责任悄然蒸发了。魏岑鲍姆在此以读者几乎震耳欲聋的语气疾呼：人工智能背后存在着行动者！今天，面对越界、滥用和为祸的人工智能，我们依然在呼唤可解释性和可问责性。或者说，我们依然在孜孜不倦地探明坏事究竟如何发生，如何让坏人对此负责。

直面的勇气

即使只是一个经过约简的论证，我们依旧足以感知其扑面而来的广度、深度和力度。既然涉及人之为人、权力节制和解释问责等大问题，可想而知，魏岑鲍姆的主张不会只有原则口号——即使在半个世纪前这也已是陈词滥调，也不会只是大概没有人相信会奏效的政策和制度补丁。他的主张不仅仅是从自己开始，从人工智能的开发者转为批判者开始，也不只是少许具体但有力的对策，包括停止语言识别的研究和禁止人工智能用于判决。在此之上，他的主张不仅包括将研究的焦点从“能不能”转向“该不该”，即使人工智能能够做许多事情，人工智能也不应该去做这些事情，还包括摒弃对工具理性主义的迷信，直面深海中的混沌。每个人、学术社群和整个社会，都应该重拾勇气。

个人需要勇敢地直面混沌。也就是说，发扬人的根本，阻止鸿沟消弭。个人性、无意识和社会化是人区别于人工智能的根本所在。发扬或者复归能够对此加以促进的自然主义、神秘主义和具身主义，相应足以成为人主动区隔于人工智能的策略所在。有趣的是，从人的立场出发阐明的区隔策略，恰好也是半个世纪至今人工智能立场下的技术难点和热点。不要在与现实平行的、理性的、悬浮的模型中理解生活世界，而是去亲身感知一度遭到疏远的自然，是一种区隔策略。与此同时，如何为人工智能建立所谓“世界模型”（World Model），使其能够掌握人的常识、场景和对世界的体验，是人工智能至今尚未解决，2023年以来甚为热门的技术问题。不要把人抽象地视为可通约的信息处理机器，而是承认每个人之间不可通约的根本的私密性，认可在每个人的社会化过程当中涌现的梦、直觉、灵感、启示等无意识，是又一种区隔的策略。与此同时，如何理解人工智能等心智问题，能否谈论、如何谈论人工智能是否具备内部性、无意识和超越体验，亦是ChatGPT展现其能力以来更加热门的议题。不要认为一切理解都包含于心灵的理念之中，而是承认许多知识蕴含在物理的肌肉、关节和韧带之中，认可心灵和身体的平等二分，是另一种区隔的策略。与此同时，如何开发所谓的“具身人工智能”（Embodied AI），为人工智能赋予如人一般行动的肌肉、关节和韧带，也是人工智能至今仍在探索，2023年以来同样甚为热门的问题。值得一提的是，《权力》并不认为人必然能够成功。其论断在当时天马行空，在今日犹未落后：如果未来出现能够完整模拟人的身体的数字机器人，策略将不再奏效。 

计算机社群需要勇敢地直面黑暗。《权力》在五十年前就指出：程序员在人工智能研发当中的伦理冷感和随波逐流，在接受本科和研究生时期的计算机专业教育时就扎下了根。魏岑鲍姆在教育上有切身的体验，话说得也很重。按其所感，计算机专业的学生和教师都在很大程度上忽视了一个整全的人格对这门学科的重要性。对学生来说，一方面，计算机科学和人工智能并不困难，这是一门“只需要一点点指导，一个有着合理水平的条理的头脑就可以娴熟的手艺”；另一方面，这门简单的手艺可以提供即时的反馈和极具诱惑的控制感，这样的后果就是，“他们自认为是真正地掌握了一门有着相当的力量和重要性的技艺，实则只知其皮毛，对其实质一无所知”。结果，无论是学生自己，还是他们的教师，都很容易把即时反馈的权力掌控之下的成瘾和败坏误认为是兴趣和使命感，从而放任学生走上无思和无知的冲动歧路。计算机专业的教师同样面临歧路的诱惑。一方面，教授一门充斥着推导和计算的学科很容易带来虚幻的知识优越感，使其误认为这是一门更“硬”的学科，对人文社科领域的新知闭目塞听。另一方面，当学生和教师一同陷入傲慢且冲动的陷阱，他们也就割断了自身从所谓的“软”学科汲取养分的可能性，从而也就放弃了培育整全人格的可能性。由此，计算机学科的技术精英鲁莽地挪用概念、滥用权力、败坏伦理，常常可以从教育方案中觅得根源。五十年后，余音回响，愈而响亮。

最后，整个社会需要勇敢地直面风险。这是一部批判工具理性、批判人工智能、批判权力宰制的书，这也是一部为人的无意识、内在的私密性和默会的私密性在技术发展过程中的根本重要性正名的书，从而，也是一本为整个社会勇敢直面风险鼓与呼的书。偶然、黑暗和混沌不只是坏事。当工具理性主义的宰制浸润社会，当人和人工智能间的鸿沟逐渐灭失，当我们从计算理性的极致——纳粹的“最终解决方案”中没有得到足够的教训，拥抱偶然、直面黑暗和接受混沌不仅不是坏事，还很有可能是维护人之为人的必行之事。值得一提的是，魏岑鲍姆对计算机和人工智能、纳粹的大屠杀和工具理性主义之间的深层关联的探讨，较齐格蒙·鲍曼（Zygmund Bauman）的经典论述还要早了好些年。在发出技术的纳粹即将再临，结局很可能是又一场不可避免的大屠杀（Holocaust）的警语之后，《权力》结尾处提出了最为深刻地体现其无可救药的理想主义的主张。或许难以做到，然而必须做到。值得照录如此：“无论是一名教师，还是其他的任何人，如果他想要在他人面前成为一个整全的人的范例，他必须自己首先努力成为一个整全的人。如果没有直面自身的内部世界和外部世界的勇气，不可能成为整全的人。仅仅凭借工具主义的理想不能实现这一点。正是这里存在着人和机器之间的关键差别：为了变得整全，人必须永远地是内心世界和外部世界的探险者。他的生活充满了风险，但这些是他有着勇气去接受的风险，因为，就像一个探险者那样，他学会了相信他自己，相信他自己能够去忍受、去克服的能力。当一个人谈到机器的时候，机器的风险、勇气、信任、忍耐和克服，又有什么意思呢？”

结语：我们时代的魏岑鲍姆

我们重读了半个世纪前的“ChatGPT”的发明者的自白。《权力》至今依然代表着人工智能治理议题上的极高水准。这有三层意义。一是其中所关注的许多议题至今依然很重要。无论是可信赖性、可解释性、可问责性等治理议题，还是世界模型、具身智能等技术色彩更强的议题，2023年以来都还在争论不休。二是在这些议题上的论证依然具备极高的水准。尽管论证所援引的部分学术工作已经有些陈旧，建立在基础理论、人文哲学和实践体悟之上的思辨整体来看有着持久的生命力。三则是每个时代都不多见的、极强的道德感召力。

进而言之，半个世纪后再面对相似的问题，从中依然可以得到不少现实的启发。魏岑鲍姆涉及了很多相对具体的建议。既有改革计算机专业课程的设置，加入对可信赖性、可解释性、可问责性等伦理问题的讨论。这已是当前国内外计算机专业都在探索的改变。也有增强每个人的道德勇气：比起思考“能不能”，要多去思考“应不应该”。如果见到坏人用人工智能做坏事，勇敢地说“不”。在此之上更加值得思考的，是这个时代能否再有魏岑鲍姆。或者说，我们的时代是否也会产生一部融贯广博人文、精深科技和道德勇气的奇书？