全球24名AI专家联合发文：至少三分之一研发预算要用于确保安全

·这是人工智能专家今年签署的关于AI风险的第三份重要声明，与之前两份不同的是，新声明是对各国政府询问“要做什么”的回答。

·这篇文章提出，确保主要科技公司和公共资助者将至少三分之一的人工智能研发预算用于确保安全和合乎道德的使用，并呼吁制定国家和国际标准。

当地时间10月24日，包括图灵奖获得者杰弗里·辛顿（Geoffrey Hinton）和约书亚·本吉奥（Yoshua Bengio）在内的24名人工智能专家联合发表文章《在快速进步的时代管理人工智能风险》，呼吁各国政府采取行动管理人工智能带来的风险。该文章特别关注最先进系统带来的极端风险，例如助长大规模犯罪或恐怖活动。

文章提出了一些具体的政策建议，例如确保主要科技公司和公共资助者将至少三分之一的人工智能研发预算用于确保安全和合乎道德的使用。作者还呼吁制定国家和国际标准。

这份文件的作者包括中国专家：清华大学交叉信息研究院院长姚期智、清华大学智能产业研究院院长张亚勤、清华大学人工智能国际治理研究院院长薛澜和华东政法大学政治学研究院院长高奇琦。

《在快速进步的时代管理人工智能风险》的作者名单。

“谨慎乐观语气”

作者之一、加州大学伯克利分校计算机科学教授斯图尔特·罗素（Stuart Russell）表示，最新的声明与之前专家主导的公开信有所不同，因为“各国政府已经意识到存在真正的风险。他们向人工智能圈询问‘要做什么？’该声明就是对这个问题的回答。”

这是人工智能专家今年签署的关于AI风险的第三份重要声明。3月，包括特斯拉创始人埃隆·马斯克、本吉奥和罗素在内的数万人签署了一封公开信，呼吁人工智能实验室“立即暂停训练比GPT-4更强大的人工智能系统至少6个月”。

5月，人工智能安全中心组织的一份声明称，“与流行病和核战争等其他社会规模风险一样，减轻人工智能带来的灭绝风险应该成为全球优先事项。”该声明由500多名著名学者和行业领袖签署，其中同样包括辛顿、本吉奥和罗素，也包括3个最著名AI公司的首席执行官：OpenAI的山姆·奥特曼（Sam Altman）、DeepMind的德米斯·哈萨比斯（Demis Hassabis）和Anthropic的达里奥·阿莫代（Dario Amodei）。

机器人公司Covariant.ai的联合创始人、总裁兼首席科学家，加州大学伯克利分校电气工程和计算机科学教授彼得·阿贝尔（Pieter Abbeel）没有签署之前的公开信，但签署了最新声明。阿贝尔告诉《时代》杂志，这份最新声明的谨慎乐观语气比之前公开信中令人震惊的语气更符合他的观点。

文章说了什么？

“人工智能在蛋白质折叠或策略游戏等狭窄领域已经超越了人类的能力。与人类相比，人工智能系统可以更快地行动，吸收更多的知识，并以更高的带宽进行通信。此外，它们可以扩展以使用巨大的计算资源，并且可以进行数百万次复制。”文章写道，“改进的速度已经是惊人的了，科技公司拥有所需的现金储备，可以很快将最新的训练规模扩大100到1000倍。结合人工智能研发的持续增长和自动化，我们必须认真对待通用人工智能系统在这十年或未来十年内在许多关键领域超越人类能力的可能性。”

文章认为，现在调整已经落后于计划。“我们必须预见到持续危害和新风险的扩大，并在最大风险发生之前做好准备。人们花了几十年的时间才认识和应对气候变化；对于人工智能来说，几十年可能太长了。”

在社会规模风险方面，自主人工智能系统可以越来越多地承担关键的社会角色。“如果没有足够的谨慎，我们可能会不可逆转地失去对自主人工智能系统的控制，从而导致人类干预无效。大规模网络犯罪、社会操纵和其他突出危害可能会迅速升级。这种不受控制的人工智能进步可能最终导致生命和生物圈的大规模丧失，以及人类的边缘化甚至灭绝。”

对于前进的道路，文章指出，首先要调整技术研发方向。需要研究突破，来解决当今创建具有安全和道德目标的人工智能的一些技术挑战。其中一些挑战不太可能通过简单地提高人工智能系统的能力来解决。考虑到风险，“我们呼吁主要科技公司和公共资助者将至少三分之一的人工智能研发预算用于确保安全和合乎道德的使用，这与他们对人工智能能力的投资相当。”

其次是紧急治理措施。“我们迫切需要国家机构和国际治理机构来执行标准，以防止鲁莽行为和滥用。”“为了跟上快速进步并避免僵化的法律，国家机构需要强大的技术专长和迅速采取行动的权力。为了应对国际竞争态势，他们需要有能力促进国际协议和伙伴关系。”但是，为了保护低风险的使用和学术研究，监管者应该避免对小型和可预测的人工智能模型设置不当的官僚障碍。“最紧迫的审查应该是前沿的人工智能系统：少数最强大的人工智能系统将具有最危险和不可预测的能力。”

文章建议，监管机构应要求模型注册、保护举报人、报告事件以及监控模型开发和超级计算机的使用。为了缩短法规出台的时间，主要人工智能公司应立即做出“如果——那么”承诺：如果在其人工智能系统中发现特定的红线功能，他们将采取具体的安全措施。

大公司与小公司

文章中建议的政策之一是要求公司在开发“能力超群的未来模型”之前寻求许可，但一些人工智能开发人员和观察者警告说，这将使能够承担获得许可所需的监管负担的大公司受益。对此，本吉奥称这是一个“完全错误的论点”，并指出许可带来的负担将完全落在开发最大、最有能力的人工智能模型的公司身上。相反，真正需要警惕的风险是，如果允许大公司影响立法，将导致立法不够健全。

罗素表示，关于大型人工智能公司推动监管以将小公司拒之门外的说法是“胡说八道”。他认为，尽管对三明治店的监管比对人工智能公司的监管要多，但数以万计的新咖啡馆和餐厅每年都会开业。

这份新文件发布之际，开发先进人工智能的国家或区域的监管规则正处于不同阶段。中国的《生成式人工智能服务管理暂行办法》已于8月生效。欧盟的《人工智能法案》仍在立法进程中，最新消息称可能至少推迟到明年才会通过。在美国，白宫已获得15家领先人工智能开发商的自愿承诺，但国会距离通过人工智能立法还有很长的路要走。

与此同时，英国首相里希·苏纳克正试图在促进人工智能问题的国际合作方面发挥关键作用，计划在11月举办全球人工智能安全峰会，并邀请中国与会。联合国秘书长安东尼奥·古特雷斯及其技术特使阿曼迪普·吉尔（Amandeep Gill）也在努力推进人工智能的全球治理。