释新闻丨为何不能将战场“射杀权”交给智能机器人

近日，来自30个国家和地区的50多名人工智能和机器人专家称，由于韩国科学技术院大学与军工企业“韩华Systems”合作研发的自主武器，可在无人控制的情况下搜索并消除目标，如果研发成功，“可能使战争恶化并造成无法挽回的后果”。科学家们表示：韩方如果不停止此项研发，即与之断绝任何合作。4月，联合国《特定常规武器公约》专家小组在日内瓦召开会议，专项讨论“杀人机器人”可能带来的影响，涉及韩国科学技术院大学计划开发的“杀人机器人”。

2017年2月，韩国科学技术院大学成立国防人工智能融合研究中心，开发用于飞机训练、物体追踪、识别、大型无人潜艇等项目的军事人工智能技术。2017年10月，韩国国防部表示，韩国军方计划在2025年将这些技术投入到野战部队和实战中。

无独有偶。2017年4月，美国军方提出Maven项目，要完成的任务是帮助美国国防部处理来自全球各地的海量视频资料。美国国防部每天收集到不同来源、数量庞大的视频资料，而人类图像分析师远远不能完成判读，国防部希望能利用人工智能技术来分析这些视频。由于仅靠军方无力完成，国防部于是转向寻求与学界和业界人工智能专家合作，组成所谓“算法战争跨功能团队”，其中就包括在人工智能研发方面具有顶级水平的谷歌公司。

尽管美国国防部强调，Maven项目只作为人类情报分析的合作伙伴，项目完全遵守并且受制于美国的法律和战争法，在部署武器系统的过程中确保人类的参与度最大化。但研究人员认为，人工智能技术可能会以难以察觉的方式产生重大疏失，并造成致命性后果。2018年4月4日，3100名谷歌员工联名发出公开信，要求谷歌退出由美国国防部主导的Maven计划，并向所有员工承诺，永远不参与任何打造类似战争科技的计划或者项目。

随着人工智能技术不断进步，它在军事领域的运用也越来越广泛。无人机、无人战车、无人舰船、无人潜艇等大量涌现，而且智能化程度和自主性水平越来越高。有人断言，机器人战争、智能化战争的大幕已经拉开，这引发了科学家和研发人员的高度忧虑。

自主武器系统的发展现状和未来预期

也许有人会疑惑，美军不是很早就在战场上使用机器人了吗？的确如此。但是，无论是阿富汗战争中美军用“捕食者”无人机摧毁撤退中的塔利班指挥机构，还是此后用无人机在阿富汗、伊拉克、也门、巴基斯坦等地对恐怖分子头目进行定点清除，无人机都只是用作侦察搜索和导弹发射平台，“开火”指令始终操控在后方控制人员手中。美军在伊拉克战场上投入的陆上机器人有近5000个，但只是用作巡逻队行进前探路、引爆路边炸弹、危险区域作业等。

非军事类自主智能系统事实上早已实现，IBM研制的战胜国际象棋大师的“深蓝”、谷歌研制的战胜国际一流围棋高手李世石和柯洁的“阿法狗”，他们在对弈过程中都脱离了人的控制，行棋思考、决策完全是机器自主完成的。

而自主武器或军用自主智能系统包括两类：一是具有自主决策权的指挥控制系统，即“自主指挥控制系统”；二是自主武器系统，即具有战场“射杀权”的智能机器人，也就是科学家所称的“杀人机器人”。

目前，智能指挥控制系统的发展，处于辅助人工决策阶段，即利用人工智能技术，提高情报侦察、预警探测、通信联络、战场管理等系统的智能水平，替代指挥员某些常规性思维，最高级形式是为指挥员提供辅助决策方案，供指挥员决策参考，但最后的决策权仍然在指挥员手中。

在自主武器系统方面，目前并没有达到可以将“射杀权”或“开火权”交托给智能武器系统的程度。韩国国防部的“韩华Systems”项目，只是预计在2025年将自主武器系统投入实战之中。美国国防部的Maven项目，则完全回避了将“射杀权”交给武器系统这一实质问题，信誓旦旦地保证只会将人工智能技术用于情报分析与融合。

对比发现，美国军方在这一问题上的态度相对谨慎。虽然这并不能证明美国军方没有朝这一方面发展，甚至其实际发展可能处于世界前列。但这样的谨慎仍然非常必要。著名科学家霍金就对人工智能的军事运用前景保持高度警惕：“除非我们事先做好准备并避免潜在风险，否则人工智能可能成为人类文明史上最糟的事件，它会给整个人类带来危险，例如致命的自主武器的出现。”

霍金所说的“致命的自主武器”，就是具有自主“射杀权”的智能武器系统，即科学家们所说的“杀人机器人”。而“避免潜在风险”最有效的办法实际上并不取决于技术发展，而取决于人类的决定。

自主武器系统面临无法解决的技术难题

智能机器人作为情报收集、处理、融合和信息传递、武器运载平台的功能，已非常成熟。伊拉克战争和后续反恐作战中，无人机的上述能力已经表现得非常出色。之所以不能将“射杀权”交给智能机器人，是因为这一权利事关生死，同时它还面临诸多技术难题。

在伊拉克反恐作战的后续地面稳定作战阶段，2007年10月，美军第三机步师的一个小分队执行进攻一个反美武装据点的任务。为了应对恐怖分子可能的极端反击手段和执行危险区域排险任务，小分队携带了3台装载了武器的“利剑”智能机器人，以便在危急和需要的情况下，通过遥控下令“利剑”开火摧毁目标。

但不知是遥控指令受到干扰还是“利剑”的程序运行紊乱所致，一台“利剑”竟然调转枪口指向操作者，操作者反复发出“行动取消”的指令，失控的“利剑”仍是置若罔闻。为了避免伤及己方，分队指挥员只得当机立断，下令队友用火箭筒将失控的“利剑”摧毁才化险为夷。这一事例说明，不仅将“射杀权”交给智能机器人是危险的，甚至将其装备武器而不授权其自主开火，都有可能导致意想不到的危险。

也许有人会疑惑，“深蓝”战胜国际象棋大师和“阿法狗”战胜世界一流棋手李世石和柯洁，不是说明智能机器人已经在思维上超越人类了吗？事实并非如此。要说在某一方面超过人类，石头的杀伤力就超过了人的拳头。人工智能在国际象棋和围棋上战胜人类，是因为此类游戏的竞赛规则简单明确，易于用数学模型和计算机程序语言描述，而计算机的计算速度和能力又远超人脑，还不会出现疲劳现象和受到情绪化波动的影响。

迄今为止，现有智能机器人所具有的任何能力，都是人类程序员用计算机语言写就的程序赋予的。人能够用计算机程序语言表达某一能力的前提，是人类对这一能力已经研究透彻并准确地描述。而人类对于自己大脑和思维的认识，除了某些特定领域，整体上还处于起步阶段。

在战场上作出“开火”的决定，是综合衡量大量复杂因素的结果。现有技术甚至连作出这个决定时人的思维所要考虑的因素，都无法全面罗列出来，更不用说构建相应的数学模型，进行逻辑严谨的模拟演示。例如，《日内瓦公约》规定，不得射杀伤兵、医护兵、跳伞飞行员及失去抵抗能力的士兵，智能机器人怎样分辨出这些人，以及怎样判断对方是否已经失去抵抗能力，这些至少在当前还是难以逾越的技术障碍。

“杀人机器人”的最终出现或难避免

尽管如此，自主武器系统的出现可能很难被阻止。2016年美国空军举行的一次模拟空中对抗赛中，人工智能系统以其灵活、迅捷的动作，击败了具备更强武器系统的退役战斗机飞行员。这和国际象棋大师输给“深蓝”，李世石、柯洁输给“阿法狗”一样，显示了人工智能在特定军事领域具有超过优秀军事人员的潜力。在军事强权依然具有国际主导作用的时代，这样的诱惑，对于具备科研条件的国家和军队是难以抵御的。韩国国防部的“韩华Systems”项目和美国国防部的Maven项目就是明证。

目前，在武器装备和指挥控制方面，人工智能的主要研发应用包括陆地、海洋、太空等各类作战机器人以及各类智能炸弹。随着人工智能技术的不断完善并在军事上广泛应用，情报、决策与作战一体化将取得快速进展。也就是说，韩国科研机构研制在无人控制的情况下搜索并消除目标的自主武器，已是当前人工智能军事化进展的代表方向。自主武器系统加入未来战争不会有太大悬念。但到底是人与机器人之间作战，还是机器人与机器人之间作战，取决于一定的战争主体在这场人工智能军事机器人研制赛跑中是领先还是落后。

也就是说，在是否将射杀权交给智能机器人问题上，关键不在“能不能”，而在“该不该”。在2017年人工智能国际会议上，特斯拉首席执行官马斯克、苹果联合创始人沃兹、研发“阿法狗”的深度思维公司哈萨比斯等人签署公开信，呼吁联合国像禁止生化武器一样，禁止在战争中使用致命的自主武器即“杀手机器人”。“杀人机器人”的研发招致众多科学家的反对和抵制，也许，“避免潜在风险”的唯一办法就是永远不将“射杀权”交给智能机器人。

（作者单位：国防科技大学信息通信学院）

（原题为《为何不能将战场“射杀权”交给智能机器人》）