下载客户端

AI技术政治（上）：危机派、加速派与对齐派的路线之争

Laoluo p/acc

2024-02-29 13:34

来源：澎湃新闻

2023年11月，ChatGPT的母公司OpenAI爆发了高层内斗，堪称人工智能世界的“911事件”，元老创始人山姆 ·奥特曼（Sam Altman）先被董事会罢免，又在全体员工和投资人支持下重返OpenAI担任首席执行官，随后重新组建了Bret Taylor、Larry Summers和Adam D'Angelo在内的新董事会。

作为炙手可热的AI独角兽的灵魂人物，奥特曼被罢免，堪比当年乔布斯被Apple驱离，这场持续数日的OpenAI罗生门剧情一度成为科技圈的霸屏新闻，从而使得最近一波AI浪潮中，加速派与对齐派的技术路线分歧浮出冰面。

屠龙者变恶龙——OpenAI的特殊历史与组织架构

把时间轮盘拨回本轮神经网络AI变革浪潮的早期——2015年，AI巨头的谷歌DeepMind，发布了AlphaGo模型，挫败围棋界各大顶尖高手，成为轰动一时的新闻。

许多硅谷的科研人员与商业精英们预感了AI被大公司垄断的可怕未来。硅谷顶级孵化器Y Combinator 公司的CEO奥特曼、支付公司Stripe前技术高管布罗克曼、原谷歌大脑项目科学家苏茨克维、特斯拉CEO埃隆·马斯克与其他九人共同创建了非营利性组织——OpenAI。这些创始人希望，AI技术能秉承开源、公益的理念，造福人类，而不是成为大公司垄断的工具（OpenAI中的Open正有此意）。最开始的OpenAI依靠愿景、创始人魅力和并不丰厚的报酬从大公司挖掘开发者与AI科学家，组建AI研发实验室。所以，OpenAI的创始本体是一个NPO性质的组织，而不是一家公司。

OpenAI公布的章程可以总结为：创造安全的AGI造福全人类，以公共利益、持久安全、技术领先、合作导向为原则。至今OpenAI官网上的最早一篇介绍OpenAI使命的博客这样写道：OpenAI 是一家非营利的人工智能研究公司。我们的目标是以最大可能造福全人类的方式推进数字智能，不受盈利需求的干扰。由于我们的独立研究没有盈利义务，因此我们可以更好地关注对人类的积极影响。作者是Greg Brockman与Ilya Sutskever。

马斯克在早期捐献了一亿美元，后来因路线分歧退出。训练大语言模型（LLM）需要消耗巨量资本，算力成本呈指数级增长，同时顶尖的AI工程师的报酬也是不菲。OpenAI 第一年的花销是 1123 万美元，其中超过665万是50多名员工的工资。OpenAI早期危机重重，奥特曼挺身而出，辞去Y Combinator的CEO，全职成为Open AI的CEO，探索融资模式。

2019年3月11日， OpenAI宣布在母公司OpenAI Inc的非营利主体下，创建一个限制性营利实体OpenAI, L.P。投资人和公司员工拥有OpenAI, L.P的股份但没有投票权，投资者的分红累计超过回报上限后，资金就会自动流入OpenAI Inc非营利组织的账户中。

OpenAI设计了如同缝合怪的治理架构：

董事会是OpenAI所有活动的最高权力机构，董事会要忠于OpenAI的愿景——安全、公益、开放的AGI。将持股权与决策权分离，只有未持有股权的董事拥有对公司关键决策的投票权。限制性营利实体OpenAI LP隶属于非营利主体 OpenAI Inc，设立投资人与员工的盈利上限。当开发出真正的通用人工智能（GAI），OpenAI Inc 非营利组全权拥有AGI的权限，而不包含在此前与微软的商业条款中，对GAI的判定取决于独立董事会。

OpenAI LP 的主要信托义务是推进OpenAI 章程的目标，公司由 OpenAI Nonprofit 董事会控制。所有投资者和员工都签署协议，规定 OpenAI LP 对章程的义务始终是第一位的，即使以牺牲部分或全部财务权益为代价。”董事会拥有对非营利主体OpenAI Inc与限制性营利实体OpenAI, L.P的控制权，董事会要为公益愿景负责，却没有与OpenAI的利益捆绑，因此，《福布斯》将其戏称为“科技向善长老会”。

这种组织架构的意图是：维护公益愿景的初心，满足对投资人与核心工程师的股权激励，同时也最小限度的控制了引入资本后对NPO主体的影响，但也为之后的冲突埋下定时炸弹。

截至发文时OpenAI的组织架构。https://openai.com/

OpenAI改组后陆续吸纳了投资，包括最重要的合作伙伴——微软。

2019 年7月22日，微软宣布与 OpenAI 达成合作伙伴关系，以10亿美元投资成了 OpenAI 的大投资人 LP ，将与 OpenAI一起共建Azure AI超级计算技术。

OpenAI将其大模型移植到Microsoft Azure上运行，免费使用微软的云服务来训练和运行 AI 模型。微软获得了 Open AI 技术的独家权，可在 Bing 搜索等产品上使用 Open AI 的技术成果，微软也成为OpenAI商业化AI技术的首选合作伙伴。

2020年后，OpenAI开启了烧钱拼算力的大模型开挂路线，商业模式愈发成熟，其代码也不再开源。

每一次GPT的升级，参数量都是指数型的上升。训练一次大模型就要几百万美元，每年的云计算成本也都要上亿。2020年5月发布的 GPT-3有1750亿的参数，基于GPT3 .5的 ChatGPT 在2022年底发布后引爆互联网，到2023年3月推出的GPT-4综合性能已经傲视群雄。

在产品迭代与商业化势如破竹之时，因公益愿景设立的董事会元老们，对奥特曼过于激进的AI商业化路线愈发不满，终于爆发冲突。在奥特曼被开除事件发生时，董事会是6位成员，不符合奇数投票原则，奥特曼完全没想到当自己带领OpenAI高歌猛进的时候，居然会后院起火。很多人发出感叹，对人类如此重要的科技独角兽，居然发生这样草台班子的闹剧。

OpenAI所设计的组织架构，是把资本机制引入到一个愿景驱动的非盈利组织的模型之中，股权与投票权分离，让董事基于使命价值观而非投资回报进行决策，导致了作为灵魂人物的奥特曼被开除成为可能。公益理想与商业可持续是一座艰难的天平。在获得微软的算力-资本加持后，Chat GPT横空出世，之后的Open AI的发展路径，更像是一个快速崛起的资本独角兽而不再是愿景为AI普惠世人的NPO。

2月22日，Google发布了开源大模型Gemma-7B，性能超过此前Mate开源的大模型Llama-2 13B，成为最强开源大模型。对于一家AI企业，开源的大模型肯定不是手里性能最好的大模型，开源大模型一般会被其他创业公司拿来套壳，独立开发者的日常使用肯定首选性能领先的大模型调用API，但更深度的开放意味着未来行业标准的话语权与生态影响力。

反讽的是，截至本文发布，作为OpenAI曾经意图颠覆的科技巨头都已纷纷推出自己的开源大模型，OpenAI却未曾开源任何大模型。

OpenAI成了最不open的AI。

AI技术政治——危机派、加速派与对齐派

关于本轮神经网络AI革新浪潮的林林总总的观点，可以大致划为三派：危机派、加速派与对齐派。

危机派

是指对目前的AI技术严重警惕，并怀疑其对人类社会可能产生极大威胁，主张暂停AI技术继续研发的派系。AI危机派的很多论断，建立在对当前AI技术不准确的认知上，甚至过于夸大AI的发展速率，一般有工程师背景或者科技从业者并不会支持过于夸张的AI威胁论。2023年3月29日，著名企业家埃隆·马斯克牵头的“暂停AI联署信”发布，这封公开联署信得到一千多名业界、学界人士响应，签名者介于危机派与对齐派之间。公开联署信呼吁所有AI实验室立即暂停训练比GPT-4更强大的AI系统，暂停至少6个月；如果这样的暂停不能迅速实施，政府就应该介入并实施暂停。公开信称，AI的研发应该重新聚焦于使当今最强大、最先进的系统更加准确、安全、可解释、透明、稳健、一致、值得信赖和忠诚。在开发强大的AI系统之前，要确信这些系统的影响是积极的，风险是可控的。公开信还引用OpenAI近期的声明称，在开始训练未来的系统之前的某个时点，获得独立的审查可能很重要，而对于正在研究最先进模型的开发者，应达成共识来限制新模型的算力增长速度。（https://science.caixin.com/2023-03-29/102013411.html）

加速派

是指受 E/acc（有效加速主义）思潮影响的人物派系，该思潮认为人类应该无限制地推进AI等前沿技术的加速研发，最终促进人类进化。E/acc这个词组最开始的发明，纯粹是为了“玩梗”，是对有效利他主义Effective Altruism（简称E/A）造词的戏谑，最早出现在两名硅谷程序员在X space 上的闲聊中。后来知名风投基金A16Z 的创始人 Marc Andreessen 和 YC 孵化器的 CEO Garry Tan 把自己X账号简介加上了“E/acc”，大佬站台后，很多人跟风改E/acc后缀。虽然出现了E/acc的论坛网站，E/acc仍然是一个混沌的思潮，每个自称E/acc的人并没有对此统一的定义。

根据E/Acc论坛，主要观点可以归纳为：

加速主义是指技术与资本之间耦合的正反馈螺旋加速状态。

类比热力学墒增定律，宇宙的复杂程度不可逆的增长，人类社会的技术智能程度也应该加速发展。

AI技术发展是不可阻挡的，反对AI都是因为不了解技术，才杞人忧天。人工智能有一定风险，应该让更多人加入这个技术浪潮，要开源、要加速才能促进技术良性发展，而不是限制、延缓AI技术。

人类社会的公共部门（政府、NGO、科学家协会）无法管理AI，应该充分放手让AI 加速，AI系统会自我进化到相互制衡的状态。

当前存在的社会问题可以无视，任由技术突进可能会加剧社会矛盾的情况发生，但技术突进到一定程度旧的社会问题会迎刃而解

OpenAI的CEO奥特曼与风投基金a16z的联合创始人马克·安德森（Marc Andreessen）都被认为是加速派的代表。安德森曾在 a16z 官网发布《技术乐观主义者宣言》（The Techno-Optimist Manifest），主要观点依旧为哈耶克滥觞，认为技术创新是永恒的经济增长动力，自由市场是组织技术经济的最有效的方式，推动技术进步使“我们”成为科技超人。这篇“技术中心论”的宣言如此粗制滥造，认为社会变革是技术进步的副产品，技术发明脱离了社会与政策环境，将资本主义的新技术应用等同于社会进步，将投资人等同于科技创造的代言人。科技行业的风险投资人当然非常乐观，因为他们是技术跃进的最大受益者，超额利润的第一轮收割者，并且认为维持当前技术-资本主义的发展模式，自己就会成为第一批超人。当a16z的风险投资家举起《技术乐观主义宣言》大旗的时候，就像是美国号称自己发明了民主与平权一样虚伪。

E/ACC是被发明出来的，用以对辩关于AI技术杞人忧天的言论，E/ACC糅合了老加速主义的只言片语以及工程师达尔文主义认识论。其诡辩是“工业党”（唯发展论）套路，所谓“技术超速发展中产生的社会问题可以通过超速发展技术来解决”，这是一种将技术中心论推演到极致并透支社会的技术发展策略。E/Acc的起始论点挪用了热力学定律，设置了一种幻象，类似“禁止干预”的天命。“技术神圣并抽离于社会，可以在外部决定社会进程”可以总结为“技术中心论/技术决定论”，可以追溯到圣西门的技术专家治国论，伴随着关于科技史教科书成为一种大众认知。这种技术拜物教实际上阻碍了人们对技术关系的认知。

OpenAI官网关于超级对齐的介绍

对齐派

主张减缓通用人工智能技术的研发速度，提升对技术的公共效益、伦理讨论、人文价值的重视，在AI研发过程中引入人文的价值判断，确保AI技术不会失控，对人类社会的产生威胁。英国教授杰弗里·辛顿（Geoffrey Hinton）是卷积神经网络理论的领军人物，也是本轮AI技术跃进的奠基性科学家，被称为“人工智能教父”，从Google离职后，持续呼吁谨慎对待AI技术，成为AI对齐派的代表。OpenAI首席科学家Ilya正是辛顿最得意的弟子，他在OpenAI内部推动一项名为“超级对齐计划”的项目，来确保AI机器与人类的意图和价值观保持一致。让AI理解人类的明确意图以及隐含意图，例如真实性、公平性和安全性。此前，OpenAI的两名独立董事Helen Toner和Tasha McCauley都具有对齐派倾向。

当代区块链行业知名人物，以太坊创始人维塔利克·布特林（Vitalik Buterin）在博客文章“我的技术乐观主义（My techno-optimism）”中提出了D/acc 的观念，回应安德森的《技术乐观主义宣言》。（原文链接https://vitalik.eth.limo/general/2023/11/27/techno_optimism.html）

Vitalik具有开发者与记者的双重背景，继承了加密朋克的理念，倡导科技向善的公共价值。同时作为行业最大公链——以太坊的领导者，Vitalik在开发者与投资者中都具有一定话语权。

在这篇文章中，Vitalik试图以D/Acc的愿景框架，兼容各路技术意识形态。如：E/Acc、有效利他主义（E/A）、自由主义者、多元主义、公共医疗、区块链主义、太阳朋克（solarpunk）、月球朋克（lunarpunk）。D/Acc的“d”可以代表很多概念；尤其是防御（defense）、去中心化（decentralization）、民主（democracy）以及差异化（differential）。

Vitalik借用了人类学家詹姆斯·C·斯科特（James C Scott）的经典著作《逃避统治的艺术》，斯科特提出Zomia（赞米亚）东南亚山地形成的对抗中心化权力的社会形态与生产方式，对应谚语“山高皇帝远”。

Vitalik列举了一系列区块链技术，这些技术可以成为个体对抗数据监控的方法。零知识证明可以用于隐私保护，允许用户在不泄露私人信息的情况完成验证。这样的技术可以让我们保持隐私和匿名的好处——这些属性被广泛认为是投票等应用场景所必需的——同时仍能获得安全保证，同时还可以打击垃圾邮件和不良行为者，可以让用户和社区在不损害隐私的情况下验证可信度，并保护他们的安全，同时不依赖于把谁好谁坏的定义强加到自己身上的中心化瓶颈。

例如：

数字护照签名封装在 ZK-SNARK 里面，就可以证明你是特定国家/地区的唯一公民，而不需要透露你是哪里的公民。

在 Zuzalu 孵化的 Zupass 已被成百上千人使用，最近又被 Devconnect （可让用户持有门票、会员资格、（不可转让的）数字收藏品和其他证明。

pol.is 采用了跟Community Notes类似的算法（并且运用要比Community Notes更早）来帮助社区识别子部落之间的共识点。

在文中，Vitalik也认可“超级对齐”是一种务实的折衷主义，让开发者更有意识地确保正在做的东西能够帮助人类繁荣发展，同时并不中断研发进度。“通过在决策的每一个步骤都植入人类的反馈，我们减少了将高层级的规划责任转移给人工智能本身的动机，从而减少了人工智能本身做出一些与人类价值观完全不相符的事情的机会。”如果我们想要一个超级智能与“人类”共存的未来，一个人类不仅仅是宠物，而且实际上对这个世界仍保留着有意义的代理权的未来。

大众文化中对于技术的态度，有两种极端，一种是技术决定论的，一种是技术危机论的，认为技术黑箱不可对话，采取一种对抗式态度。民粹主义的AI威胁论与AI加速论可以作为类比。对齐派来自AI工程师的技术自觉，现实中是一种更务实的塑造AI技术与社会的可行路径。

而在技术政治视野中，技术被看作一种基于社会生成的文化创造，技术是由诸多社会力量与政治愿景参与建设的，人们在日常生活与集体行动中可以主动的塑造技术与社会嵌合的形态，左右技术的发展方向，以此创造未来的科技生活。引入政治经济学与历史社会学的视角，通过对历史与实践中具体技术的分析，发现技术升级内在于社会创新之中，正是在跨界、震荡、冲突式的社会互动中启发了技术进程的向量参数。没有人对技术的想象以及使用，就不存在技术的社会效应。将技术置于与人类的政治讨论与规划中进行考察，在一个高度"技术化"的现代社会中，技术领域成为了社会权力斗争的核心地带。

围绕此轮AI革新产生的思潮冲突，正是不同政治愿景与技术路线斗争的映射。加速主义的幽灵，也被唤醒，被权力话语征用，粉墨登场。

参考资料：

https://www.chaincatcher.com/article/2106392

https://mp.weixin.qq.com/s/PXhmtWMgmoqOKSWHSr3LxA

https://science.caixin.com/2023-03-29/102013411.html

https://vitalik.eth.limo/general/2023/11/27/techno_optimism.html

https://36kr.com/p/2548576393435267

https://www.douban.com/note/683380852/?_i=9018651UAxdjDM,9018681UAxdjDM

https://www.vintagecomputer.net/PCC.cfm

https://www.thepaper.cn/newsDetail_forward_2019817

https://foresightnews.pro/article/detail/41642

https://www.effectiveacceleration.org/posts/mHo5wGDBdKc4WbCwJ/the-effective-accelerationism-2-0-specifications