万字长文：AI的安全与光明的消逝

大数据文摘出品

最近关乎AI监管的观点可谓有了“新高度”，一群AI大佬在推特上就“人类灭绝论”展开激烈讨论。

正方辩手是以Hinton为代表的“AI有风险派”，反方代表是以吴恩达为核心的“AI积极论”。在这场辩论中，吴恩达更是声称“一部分人非常卖力地传播AI担忧其实只是为了“钱”。

究竟要不要AI监管？AI监管会带来什么样的后果？MOOC课程和深度学习框架fast.ai的一群研究者们，开展了一项调查研究，采访了70多名专家，并查阅了300多篇学术论文。最终形成结论：我们正处在AI启蒙阶段，严格的监管势必要扼杀希望的萌芽。

以下是对fast.ai观点文章“AI Safety and the Age of Dislightenment”的原文，文摘菌做了不改变原意的编译

编者注：这篇文章，还有一个目的，就是驳斥OpenAI的监管论“Frontier AI regulation:Managing emerging risks to public safety”

严格的AI模型许可和监管可能无法实现预期目标，甚至可能产生负面后果。这可能导致权力集中且不可持续，并可能抵消启蒙时代的社会进步。

在保护社会和提高社会自我防卫能力之间，需要找到一个微妙的平衡点。我们应该采用开放的态度、保持谦逊并广泛征求意见。随着对具有改变社会的潜力技术的了解加深，有些应对策略也应该不断调整。

人工智能（AI）发展迅速，我们目前还不知道它能走到哪里。OpenAI 的首席执行官 Sam Altman 认为 AI 可能会“握住宇宙中一切未来价值的光芒”（capture the light cone of all future value in the universe）。但另一些专家警告说，AI可能会导致“灭绝风险”。

也有许多人提出了一些规范 AI 的方法，包括白皮书“前沿 AI 规制：管理公共安全的新兴风险”（FAR），以及欧盟 AI 法案的议会版本，内容大致包含两个部分：

1.为 AI 模型的开发和部署制定标准；

2.创建机制以确保符合这些标准。

然而，其他专家反驳说：“对存在风险（x-risk，指可能导致人类灭绝的风险）的关注如此之多，以至于它‘挤占了更紧迫问题的关注空间’，并对关注其他风险的研究人员产生了潜在的社会压力。”

因此不禁要问：尽管当前的AI风险很重要，但人类灭绝的威胁是否意味着我们应该继续实施这种监管呢？也许不应该。正如我们将看到的，如果 AI 真的足够强大以至于构成灾难性威胁，那么这个提议实际上可能无济于事（文摘菌注：小雨不用打伞，大雨打伞没用）。事实上，过严的提议可能会使事情变得更糟，例如创造严重的权力失衡，导致社会的瓦解。

有些担忧针对的是：要监管AI 模型的开发阶段全过程，而不只是监管模型如何被使用。而监管措施的影响可能无法逆转，因此在立法前我们应该非常谨慎。

前沿 AI 规制（FAR）和 AI 法案试图对“基础模型”进行监管。这些基础模型是通用 AI，它们能够处理几乎所有类型的问题，尽管成功程度可能因问题而异。

对于任何通用设备（例如计算机或钢笔），无法确保它们永远不会被用来造成伤害。因此，为了确保 AI 模型不被滥用，唯一的方法是：不让别人直接使用这些模型。

另外，也可以将它们限制在一个受严格控制的有限服务接口上，如 ChatGPT是一个与 GPT-4 相连的接口，可以提供受限但可控的访问权限。

如果我们现在为了“安全”而采取加强权力集中的监管措施，我们可能会抹杀启蒙时代的成就，导致社会进入一个相反的新时代：the Age of Dislightenment（黯淡时代）。

与此相反，我们应该坚守启蒙时代的开放与信任原则，例如支持开源模型的开发。开源通过广泛参与和分享推动了巨大的技术进步。广泛的参与意味着更多具备不同专业知识的人可以共同识别和应对潜在威胁，从而提高整体安全水平，这在网络安全等领域已经被证实是有效的。

大问题

随着 AI 能力的迅速发展，许多人开始寻求“保护”，也有很多人提供“保护”。正如那篇名为“前沿 AI 规制：管理公共安全的新兴风险”的白皮书认为：政府的介入有助于确保这类“前沿 AI 模型”符合公共利益。

然而，我们是否能真正确保这一点，以及需要付出怎样的代价？

同时，白皮书也没有解决一个重要且明显的问题：任何能够获取强大 AI 模型完整版本的人相较于那些只能通过受限服务访问该模型的人，拥有更大的权力。当然，如果 AI 真的变得非常强大，这种巨大的权力差距将无法持续存在。

尽管从表面上看，推进的监管制度似乎满足了各种安全要求，但最终这导致了大量权力被集中到既得利益公司（因为它们可以访问原始模型），这些公司会利用信息不对称优势，试图监管或限制政府，从而导致社会的瓦解。

原因如下：AI 模型实际上是通用计算设备，所以无法保证它们不会被滥用。这就好比试图制造一台无法被滥用的计算机（例如用于发送勒索邮件）。同样，如果你给某人一个通用计算设备，你无法确保他不会利用它来造成伤害。这就像我们无法制造一台不会被滥用的计算机。

如果某人控制了一个强大的模型，它负责处理所有信息的消费和生产，并且这个模型是保密的专有技术，那么他就可以塑造人们的观念、影响人们的行为，并随意审查内容。

监管政策最终使得那些不在“少数公司”工作的人无法接触到最强大的 AI，这些公司的主导地位将因此得到巩固。这对社会来说是一条极为危险且不稳定的道路。

竞赛

行，现在设想一下，如果监管政策实现，我们社会将发生什么？

设想的前提：我们拥有世界上最强大的技术，并且它不断快速发展，但只有少数大公司能访问这项技术最强版本，并无限制地使用。

接下来，所有关心权力和金钱的人现在都迫切需要找到办法获得这些模型的完全访问权限。因为，任何不能完全访问这项历史上最强技术的人都无法与之竞争。对他们来说好消息是，这些模型实际上只是一堆数字。它们可以很容易地被复制，一旦你拥有了它们，你就可以免费把它们传给所有的朋友。（FAR 就此问题有一整个部分，称为“扩散问题”。）

有很多专家擅长数据渗透，他们知道如何运用敲诈、贿赂、社会工程等非常有效的手段得到AI能力。对于那些不愿使用这些手段但有资源的人来说，他们也可以通过投资大约1亿美元来获得AI能力。即使是《财富》全球2000强中最小的公司也有70亿美元的年收入，这样的支出在他们的预算范围内。当然，大多数国家政府也负担得起这笔费用。然而，这些组织在不违反拟议中的监管要求的情况下，无法直接向公众提供这些模型，但至少组织中的一些人将能够获得完整模型的力量。

那些渴望权力和财富但无法获得AI模型的人现在有了新目标：努力进入拥有大型AI模型的组织的高层职位，或进入政府部门的高层，从而影响相关决策。

因此，一开始致力于为社会利益发展AI的组织，很快就会发现自己成为追求公司利润的一环，因为所有公司在成长过程中都会加入这个竞争，并且领导这些公司的人都是追求利润的能手。

Together Computer的最新成果

实际上，试图控制AI使用的整个努力是毫无意义且无效的。不仅模型的“扩散”无法控制（因为数字信息很容易被泄露和复制），事实证明限制训练模型计算量的措施也是不可能实施的。这是因为现在世界各地的人们可以在虚拟环境中联合起来共同训练一个模型。例如，Together Computer 创建了一个完全去中心化、开放、可扩展的AI云服务，最近的研究表明这种方法可以取得相当大的进展。

GPU即能用于训练模型，也能用于玩电脑游戏。目前世界上用于玩游戏的计算能力比用于AI的计算能力要多。全球的游戏玩家只需在自己的计算机上安装一个小软件，就能选择加入帮助训练这些开源模型的行列。

换句话说，开发者们已经在思考如何确保普通人训练这些模型。AI安全社区对这个问题非常了解，并提出了各种解决方案。例如，AI政策专家Yo Shavit最近的一篇有影响力的论文，研究了可以添加到计算机芯片的监控机制，指出：

“随着先进的机器学习系统在地缘政治和社会秩序方面发挥越来越重要的作用，两个方面可能变得尤为关键：第一，政府需要在其管辖范围内对先进机器学习系统的发展进行规定；第二，各国需要能够互相核实彼此是否遵守关于先进机器学习开发的未来国际协议（如果有的话）。”

解决这个问题，必须确保每个制造此类芯片的公司都在其芯片中加入监控功能。若有一家公司未实施此限制，所有想建立强大模型的人将选择使用该公司的芯片。Shavit指出，在硬件层面全面执行这种规则需要监视和管控个人公民对其个人计算机的使用，这在道义上是极其不能接受的。

然而，现实是，要使集中化和控制有效，就需要这样的规则，因为个人计算机只需通过互联网连接就可以用来训练大型模型。

当AI安全先驱Eliezer Yudkowsky建议空袭未授权数据中心并使用核武器威慑未被授权的国家确保合规时，许多人震惊了。实际上，轰炸数据中心和监视全球计算机是实现FAR提出安全合规的唯一方法。

管制用户，不要发展

另一名为亚历克斯·恩格勒的学者，提出了一种替代方法，与强制执行安全标准或许可模型不同，这种方法主张“规范有风险和有害的应用，而非开源AI模型”。这正是大多数法规的运作方式：通过追求责任。

例如，如果有人创建了一个通用工具，而别人用这个工具去做坏事，制造工具的人则不会承担责任。

像互联网、计算机和纸笔这样的“双重用途”技术，并不仅限于大公司使用，任何人都可以搭建计算机或制作自己的纸张。他们无需确保所建造的东西只能用于社会利益。

这是一个关键的区别：它区分了使用规定（即将模型实际应用于系统的部分，特别是像医药这样的高风险系统），与发展（即训练模型的过程）。

这个区别之所以关键，是因为这些模型实际上只是数学函数。它们将一堆数字作为输入，计算并返回另一堆数字。它们本身并不做任何事情，它们只能计算数字。

然而，这些计算可能非常有用！

实际上，计算机本身也只是计算机器（因此得名“计算机”）。它们在使用时非常有用，因为能连接到某个可以真正发挥作用的系统上。

FAR同样关注了模型开发与模型使用之间的区别，并声称AI能力的改进可能是不可预测的，在没有进行密集测试之前很难完全理解。因此，如果监管并未要求在部署前对模型进行充分的测试，可能无法防止部署的模型带来严重风险。

然而，这种推论并不成立，因为模型在未被使用时无法造成危害，所以开发模型本身并非有害活动。此外，由于我们讨论的是通用模型，我们无法确保模型本身的安全性。只有在尝试确保模型在使用过程中的安全性时，才有可能降低风险。

另一种有用的监管方法是考虑确保敏感基础设施（如化学实验室）的安全访问。FAR简要地考虑了这个想法，称“对于前沿AI开发，特定领域的监管可能很有价值，但可能会遗漏一部分高严重性和规模风险。”但是，FAR没有进一步研究。

如果我们开发先进AI，应期望它帮助识别需加固的敏感基础设施。若利用这些设施可能有害，则很可能识别出它们，因为无法识别的AI也无法使用它们。

当然，处理一个已经识别出的威胁可能并不简单；例如，如果一个台式DNA打印机可以用来制造危险的病原体，那么加固所有该设备需要巨大的工作量。但这比限制全世界的计算设备要花费的成本小得多，也不那么具有侵入性。

这引导我们走向另一条有用的监管途径：部署披露。如果你考虑将使用AI的自动化系统连接到任何类型的敏感基础设施，那么应该要求披露这一事实。此外，某些类型的连接和基础设施应该事先进行仔细的安全检查和审计。这样可以确保在应用AI技术时，对潜在的安全风险进行了有效的评估和管理。

走向集中化

更好的AI可以用来改进AI。这已经在早期能力较弱、资源较少的算法时代多次出现。谷歌已经利用AI改进了数据中心的能源利用方式，创造了更好的神经网络架构，并为优化这些网络中的参数开发了更好的方法。模型输出已经被用来创建用于训练新模型的提示、为这些提示创建模型答案以及解释答案的推理过程。随着模型变得更强大，研究人员将找到更多方法来改进数据、模型和训练过程。

因此，我们没有理由相信我们已经接近这项技术的极限。

那些能够访问完整模型的人可以比那些无法访问的人，更快、更好地构建新模型。其中一个原因是他们可以充分利用强大的功能，如微调、激活以及直接学习和修改权重。例如，最近的一篇论文发现，微调允许模型用比基础模型少几个数量级的参数来解决具有挑战性的问题。

这种反馈回路导致集中化：大公司变得更大，其他竞争者无法与之抗衡。这导致了集中化、竞争减少，致使价格上升、创新减少以及安全性降低。

其他强大的力量也在推动集中化。以谷歌为例。谷歌拥有地球上最多的数据。更多的数据直接导致更好的基础模型。此外，随着人们使用他们的AI服务，他们获得了越来越多关于这些互动的数据。他们使用AI改进产品，使产品对用户更具“粘性”，吸引更多人使用，从而获得更多数据，进一步改进他们的模型和基于模型的产品。此外，他们正变得越来越垂直整合，他们制造自己的AI芯片（TPU），运行自己的数据中心，并开发自己的软件……

对前沿模型开发的监管加剧了集中化。特别地，未来AI监管（FAR）提出的许可制成为了推动集中化的有力因素。在这种制度下，希望建立与当前最先进技术同等或更优秀的模型的新参与者在获得开发权之前，必须申请许可。这使得与已经稳固地位的参与者竞争变得更加困难。同时，这种制度为监管俘获提供了一个强有力的途径，因为它使得一个缺乏民主性的许可委员会在决定谁能够开发地球上最强大的技术方面拥有最后的决定权。

开源与AI启蒙的新时代

与寻求安全、控制和集中化的愿望相反，我们应该再次承担几百年前的风险，相信人类和社会的力量与善意。

正如启蒙时代的思想家们提出了一系列具有挑战性的问题，例如“如果每个人都接受教育会怎样？如果每个人都有投票权会怎样？”等，我们也应该思考这样一个问题：“如果每个人都能获得AI的全部能力会怎样？” 这意味着我们应该勇于设想一个每个人都能充分利用AI能力的未来，并思考如何实现这一目标。

我们从启蒙时代的成果中可以看出，这个前提是错误的。但这个观念仍然顽固地存在。几十年来，社会学家一直在研究和记录“精英恐慌”：精英阶层认为普通人会在灾难面前表现糟糕，因此必须加以控制的倾向。然而，这也是错误的。事实上，正如丽贝卡·索尔尼特所言：“我认为这些危机时刻是人民力量和积极社会变革的时刻。

当我们面对AI误用的威胁时，怎样拥抱进步信念和所有人类的理性呢？许多专家现在正在研究的一个观点是开源模型可能是关键。

模型只是软件，它们是以代码形式体现的数学函数。当我们复制软件时，我们通常不称之为“扩散”，因为这词通常与核武器有关。当我们复制软件时，我们称之为“安装”、“部署”或“共享”。由于软件可以自由复制，它引起了一个庞大的开源运动，共享是一种道德善举。既然所有人都可以受益，为什么要把价值限制在少数人身上呢？

这个观点具有很大的影响力。如今，几乎你使用的每一个网站都在运行一个开源的网络服务器（如Apache），它又安装在一个开源的操作系统上（通常是Linux）。大多数程序都是用开源编译器编译的，用开源编辑器编写的。起初，这些被认为是疯狂的想法，有很多怀疑者，但最后证明是正确的。简单地说，如果没有开源，今天使用的计算机和互联网的很大一部分世界将无法存在。

如果最强大的AI模型是开源的会怎样呢？仍然会有坏人想利用它们伤害他人或不正当地致富。但是大多数人并不是坏人。大多数人会使用这些模型来创造和保护。有什么比让整个人类社会的巨大多样性和专业知识都竭尽全力去识别和应对威胁，同时拥有AI的全部力量更安全的办法呢？与只有一家营利性公司的少数人能完全访问AI模型相比，如果全球顶尖的网络安全、生物武器和社会工程学者都在利用AI的优势研究AI安全，而且你可以自己访问和使用他们的所有成果，你会感觉更安全吗？

为了获得完整模型访问的更好功能，并减少商业控制在原本具有分享文化的开放研究社区中的程度，开源社区最近介入并训练了一些相当有能力的语言模型。截至2023年7月，这些模型中最好的那个与第二梯队较便宜的商业模型处于类似水平，但不如GPT-4或Claude。它们的能力正在迅速增长，并吸引了越来越多的捐助者、政府、大学和希望避免权力集中及确保获得高质量AI模型的公司的投资。

然而，FAR中关于安全保证的提案与开源前沿模型是不相容的。FAR建议“在明确可行的安全部署之前，谨慎避免潜在的危险前沿AI模型被开源”。但即使一个开源模型以与监管批准的封闭商业模型完全相同的方式从完全相同的数据中训练，它仍然无法提供相同的安全保证。这是因为作为通用计算设备，任何人都可以将其用于他们想要的任何目的，包括使用新数据集进行微调，并应用于新任务。

开源并不是万能的解决方案。这仍然需要谨慎、合作和深入仔细的研究。通过使系统对所有人可用，我们确保整个社会都能从它们的能力中受益，但也可以努力理解和抵制它们潜在的危害。斯坦福和普林斯顿的顶尖人工智能和政策团队联合起来，回应了美国政府对人工智能问责的请求，并表示：

“为了推动公共利益，基础模型的开发和部署应确保透明，支持创新，分配权力并最小化伤害... 我们认为，开源基础模型可以实现这四个目标中的所有目标，部分原因是由于开源的内在优点（支持透明度，支持创新，反对垄断）。”

此外，他们警告说：如果研究人员和技术人员无法检查闭源模型，安全漏洞可能在造成伤害之前无法被发现... 另一方面，跨领域的专家可以检查和分析开源模型，这使得安全漏洞更容易被发现和解决。此外，限制谁可以创建基础模型将减少能力强大的基础模型的多样性，并可能导致复杂系统中的单点故障。

今天获得开源模型的访问权面临严重的风险。欧洲人工智能法案可能会根据FAR中的类似原则有效地禁止开源基础模型。技术创新政策分析师Alex Engler在他的文章“欧盟试图规范开源人工智能是适得其反”的写道：

如果监管委员会试图对开源进行规范，可能会产生一系列复杂的要求，这将对开源人工智能贡献者构成威胁，而不会改善通用人工智能（GPAI）的使用。开源人工智能模型为社会带来了巨大价值，因为它们挑战了大型技术公司对通用人工智能的主导地位，并帮助公众了解人工智能的功能。

不伤害原则

AI政策专家Patrick Grady和Daniel Castro推荐不要急于采取监管行动：

“对新技术的恐惧遵循一个可预测的轨迹，被称为‘技术恐慌周期’。随着公众熟悉技术及其好处，恐惧感会增加、达到高峰，然后随着时间的推移逐渐减弱。事实上，其他先前在创意领域中的“生成型”技术，如印刷机、留声机和电影摄影机也遵循了同样的轨迹。但与今天不同的是，政策制定者不太可能采取措施来监管和限制这些技术。随着对生成型AI的恐慌进入最不稳定的阶段，政策制定者应该“深呼吸”，认识到我们正在经历可预测的周期，并将直接加强生成型AI的任何监管努力暂时搁置。”

然而,监管者也许应考虑希波克拉底的医学忠告:“先不要伤害”。医疗干预可能会产生副作用,治疗方法有时可能比疾病本身更糟。一些药物甚至可能损害免疫反应,使身体过于虚弱而无法抵抗感染。

监管干预也是如此。“确保安全”的中心化监管挟制不仅可能直接危害社会,还可能降低安全性。如果只有一个大型组织掌握了巨大的技术力量,我们就处于脆弱的境地,因为社会上其他力量无法取得同等的权力来保护自己。然而，争权斗争可能引发人工智能误用，导致社会毁灭。

人工智能监管的影响微妙且难以预测。平衡社会保护和赋权难度大，过快监管难以成功。

我们还有时间。人类社会的综合能力非常强大，超越它的AI还很遥远。OpenAI的技术专家Ted Sanders和GSK的AI总监Ari Allyn-Feuer共同做了一项深入研究，得出的结论是：“我们估计到2043年实现具有变革性的通用人工智能（AGI）的可能性小于1%。”

时间过得越长,我们学到的就越多。不仅是关于技术方面,还有社会如何应对技术方面。我们不应匆忙实施可能让社会步入无法摆脱的反乌托邦路线的监管变化。

对AI语言模型安全性的担忧已经存在一段时间。2019年，我就OpenAI决定不公开新语言模型权重的事情写过一篇文章。我引用了一篇名为《人工智能的恶意使用》的论文，其重要作者如今在OpenAI工作。论文有四个建议：

政策制定者和科研人员应共同防止AI的恶意使用；

AI研究人员和工程师需意识到他们工作的双重用途；

应借鉴计算机安全等领域的最佳实践应用于AI；

应扩大参与讨论这些问题的人群。

《人工智能的恶意使用》论文由14个机构的26位作者共同撰写，其首作者现在在OpenAI工作。论文的四条建议并非强调集中化和控制，而是互动和合作。有趣的是,作为FAR的共同创作者，那位跳到OpenAI的论文作者，和他的初心渐行渐远。

FAR提醒我们注意防范AI的强大和潜在欺骗性，声称这可能引发AI接管的危险。我们可能因为安全感而做出一些行动，但需要冷静和理智来应对这种可能的恐慌。

古希腊人警告我们不要因为过度的自信而制造出我们想要避免的未来。如果我们为了避免AI末日，过度控制技术，那么未来可能会变得像封建社会一样，计算能力掌握在少数精英手中。我们需要避免像古希腊的故事人物那样，因为过于自信而做出我们本来想要避免的事情。例如国王俄狄浦斯,被预言会杀死他的父亲并娶他的母亲,但由于设法避免这个命运而最终做了完全相同的事情。或者像荷里奥斯的儿子法埃顿,他对自己控制太阳战车的能力如此自信,以致他避开了父亲为他设定的道路,从而差点摧毁了地球。”

《人工智能的恶意使用》提倡一种基于谦逊的方法，即与专家和被技术影响的人协作，反复学习和磋商。这种方法能让我们学习到计算机安全的关键理念：“通过隐蔽来确保安全”是无效的。网络安全专家阿文德·纳拉扬和萨亚什·卡普尔有篇文章列出了让少数公司独占AI技术的五大风险，包括：加剧安全风险；导致结果同质化；定义可接受言论的界限；影响态度和意见；监管俘获。

我们是如何走到这一步的

我和其他用过GPT-4和Bard的人都对它们的功能感到惊讶，尽管有些错误，但它们可以提供各种主题的帮助。我每天都用它们做各种事，包括编程帮助和为女儿提供玩耍的想法。

就像FAR里解释的:基础模型,比如大规模语言模型(LLM),都是在大量的自然语言和其他文本(例如计算机代码)数据集上训练的,通常从简单的预测下一个“记号（token）”的目标开始。这种相对简单的方法产生了惊人的广泛能力模型。因此,与许多其他类的AI模型相比,这些模型具有更多的通用功能。

FAR接着介绍：关注的重点是那些可能具有潜在危险的新兴人工智能模型。在这个定义中，狭窄的模型（即那些只能在特定任务或领域中表现良好的模型）是被排除在外的，尽管这些模型在某些情况下可能具有危险潜力。

例如，有些模型专门用于优化化学合物的毒性或病原体的毒力，这可能会导致预期或可预见的危害。对于这类模型，更适合采用针对性的监管措施。

因此，作者提议“制定负责任的新兴AI开发和部署的安全标准”，并“授权监管机构识别和惩处违规行为；或者通过许可证制度来部署和潜在地开发新兴AI。”他们提议这样做是为了“确保”这些模型“被用于公共利益”。

假设这些提议被接受并且这项法规被制定，那么接下来会发生什么呢？嗯，有两种可能性：

1.AI能力的增长达到极限，因此尽管AI可能会成为一种非常重要的技术，但我们不会达到一种可能摧毁社会的超级智能，

2.AI继续发展其能力，直到成为人类历史上迄今为止最强大的技术力量。OpenAI的CEO Sam Altman的预测证明是准确的，即拥有这种技术的人可以“握住宇宙中一切未来价值的光芒”。

我们应该专注于（2），明确地说，没有人确定这将会发生，但是长时间研究AI的人，认为这可能实现。

人类最强大的技术

由于“通用”或“基础”模型（例如OpenAI的GPT-4、Google的Bard和Anthropic的Claude）的出现，我们现在处于“通用人工智能”（GPAI）的时代。这些模型是通用计算设备，它们可以回答（成功程度不同）几乎任何你提出的问题。

随着基础模型变得越来越强大，我们应该期望研究人员会找到更多“使用AI改进数据、模型和训练过程”的方法。目前的模型、数据集创建技术和训练方法都非常简单，基本的想法可以用几行代码实现。有很多相当明显的方法可以大幅度改进现有技术，因此我们没有理由相信我们已经接近技术的极限，我们应该期望在未来几个月和年份内看到越来越快的技术发展周期。

但是，这些模型的训练成本很高。由于技术进步，训练相同大小的模型变得更便宜了，但是模型变得越来越大。训练GPT-4可能需要花费大约1亿美元。目前最强大的所有模型，包括GPT-4、Bard和Claude，都是由美国（分别是OpenAI、Google和Anthropic）和中国的大公司进行训练的。

共同建设

已经有许多监管举措落实，包括白宫科学技术政策办公室的《AI权利法案蓝图》、国家标准与技术研究院的AI风险管理框架以及拜登的行政命令14091。

AI社区也开发了有效的机制来共享重要信息，例如数据集数据表、模型报告、模型卡和生态系统图。监管可能要求数据集和模型包含关于它们是如何构建或训练的信息，以帮助用户更有效且安全地部署它们。这类似于营养标签：虽然我们不禁止人们吃太多垃圾食品，但我们努力提供他们需要做出良好选择的信息。欧盟提出的AI法案已经包括了对这种信息的要求。

我们还有许多事情要做，在变化迅速的AI世界里，需要保留未来选择，避免过早决定路径，同时迅速、知情地应对新的机遇和威胁，当然这需要各行各业广泛参与。

政策决策者需要深入理解AI，而不只是听取行业意见。如斯坦福大学的Marietje Schaake所说，我们需要避免CEO参与AI监管：

“想象银行CEO告诉国会，由于金融产品复杂，银行应自行决定防止洗钱和欺诈，这是荒谬的。历史证明，企业自我监管是失败的，它们既不独立，也无法制定公平的监管规定。”

我们还应谨慎，不要让有趣的科幻情景分散我们对即时真实危害的注意力。Aiden Gomez是transformers神经网络架构的共同创造者，它为所有顶级语言模型提供动力，包括GPT 4，他警告说：

“这项技术存在真正的风险和使用方式需要被关注，但把大量时间用于讨论关于超级智能AGI接管会导致人类灭绝的奇幻故事是荒谬的，这样做只会分散公众的注意力。我们应该关注真正的问题和讨论。”

反启蒙

如果我们不敢面对新的力量和不确定性，而是选择回归中央集权和限制权力的做法，那就是“反启蒙”。这样做会导致富者愈富、穷者愈穷。因为那些富者可以建立越来越好的模型，用于宣传、威胁开发或者垄断行业。穷人对社会的贡献较小，因为他们只能通过有限且安全的方式接触AI。

一旦走上这条路，回头将变得困难，甚至可能是不可能的。科技政策专家指出，部署糟糕的解决方案（如不良监管措施）可能需要数十年才能撤销，如果这对某些人有利，撤销更为困难。

实现集权将导致富者和穷者的分化，富者拥有使他们更强大的技术。当权力和财富差异巨大时，渴望权力财富的人将控制它，历史显示只有暴力才能消除差异。约翰·肯尼迪曾说，阻止和平革命者让暴力革命不可避免。随着AI力量和监视体系的发展，暴力可能变得无效。如果真要走这条路，我们应清楚了解它将带我们走向何方。

“启蒙时代”的脆弱性

在大部分人类历史中，未来令人恐惧、不安。我们应对的方式是将信任集中于更强大的个体来确保安全。多数社会将危险工具如教育和权力掌握在少数精英手中。

但是发生了变化，西方兴起一种新想法：保证安全的另一种方式是相信整个社会的利益，而非权力精英。如果人人都能接受教育、投票和掌握技术？这是“启蒙时代”的理念，尽管实现这一承诺需要几个世纪的努力。

在自由民主国家生活的我们容易忘记这种制度的脆弱和稀有。然而，世界各地正滑向威权领导。正如赫尔曼·戈林所说，领导者可以左右民众，只需告诉他们面临攻击。

明确一点：我们并未受到攻击。现在不应放弃为平等和机会所取得的成果。虽然没有人能保证安全，但我们可以共建一个使用AI并服务于所有人的社会。

原标题：《Fast.ai 万字长文：AI 的安全与光明的消逝》

阅读原文