香格里拉对话丨朱启超：人工智能介入军事或冲击人类道德底线

编者按：本文为国防科技大学国家安全与军事战略研究中心主任、研究员朱启超在2017年第16届香格里拉对话会6月3日下午“新兴技术的防务启示”子论坛上的演讲。澎湃新闻（www.thepaper.cn）获国防部授权发布。

上周，谷歌公司DeepMind团队开发的AlphaGo围棋再次战胜中国顶级棋手，显示出人工智能的飞速进步。伴随大数据、云计算、物联网的兴起，人工智能正处于引领新的科技与产业革命的暴风眼。这促使我们思考，人工智能对于防务领域将带来什么影响？又将产生哪些安全挑战？

发展趋势

广义人工智能研究如何让计算机去完成以往需要人的智力才能胜任的工作，世界上第一台可编程“巨人”计算机诞生于英国，其目的就是为了帮助二战期间的英军破译德军密码。

自那时以来，人工智能越来越多地走上战场。先进的卫星传感器和可穿戴设备提高了智能化感知与信息处理能力。指挥控制系统不断演进升级，以追求强大的信息优势和决策优势。运用云计算、大数据分析已可用于网络入侵智能诊断系统的开发，能够自动诊断网络入侵来源、网络受损程度和数据恢复能力。

目前世界上已有70多个国家在发展无人化系统平台，各种无人机、无人车、无人船艇不断出现，机器人技术呈现井喷式发展，各类仿生机器人不断问世。不知疲倦的机甲战士、与人类士兵并肩作战的机器人军团、快速编队的无人机蜂群等人工智能驱动的新型部队，预计将在防务领域扮演越来越重要的角色。

安全挑战

不可否认，人工智能并将重塑防务领域相关能力，使得科幻情节进入现实，但也将带来新的挑战。

首先，人工智能将使得战争博弈更加精准、快速、冷酷，技术领先国家更加依赖无人武器平台远程遥控战争，军人被置于比平民更加安全的环境，最终冲击人类的道德底线。

其次，人工智能并不能取代人类智能。人工智能只能在规则确定、信息完备的封闭系统中有可能比人类做得更好，而在超出人工智能赖以工作的可编程的特定问题和特定背景之外，还必须依靠人类的敏锐洞察力、道德分辨力和临机应变能力等智力与非智力因素才能解决问题。人工智能的滥用，将降低触发战争的门槛。

第三，人工智能远未完美。由于人为错误、机器故障等因素带来的误差在所难免，在对抗的环境下人工智能系统平台也面临着被对手通过指令篡改、病毒入侵攻击的可能，无人系统平台的失控可能造成滥杀无辜。

第四，人工智能的运用，使得人在回路和人不在回路并存，往往为失误行动的责任追查带来新的困难。对于因无人机反恐作战引发的人道灾难，责任追究可能涉及操控者、程序员、采购官、战地指挥官等多个方面，智能系统犯错要比人犯错更难以追溯责任。

同时，由于技术的扩散，人工智能同样可以被恐怖份子所使用，其弱点同样可能被恐怖份子所利用。在一个日益互联互通、信息快速传递的世界里，人类面临着新的跨域攻击、战争误判的风险。比如基于人工智能技术的网络攻击可使国家基础设施遭受破坏，甚至导致核武器乃至生化武器的失控，诱发战争的误判与升级。

政策含义

各国在运用人工智能技术升级防务能力的同时，我们有理由对人工智能保持审慎。人工智能将揭开开源战争、算法战争、混合战争等各类冲突的盖子，各国将越来越难以追求绝对的安全。我们建议从人类命运共同体的角度，共同思考应对人工智能爆发时代的国际性安全挑战。

第一，军事大国和技术强国应体现责任担当，利用智库力量平台，组织一点五轨或二轨层面安全对话，加强信息交流分享，评估人工智能、黑客攻击等在物联网领域的扩散带来的安全挑战，通过想定推演，预防主权国家误判和非国家行为体蓄意攻击所引发的战争风险。

第二，各国防务部门加强合作，利用人工智能带来的技术优势，共同应对灾害预警、国际反恐、打击跨国犯罪、人道主义救助等领域的务实合作，让人工智能扮演和平天使。

第三，国际机构组织专家研究人工智能驱动的武器滥用所引发的责任追溯问题，并在具有约束力的国际法中给予体现。