观察丨瑞莱智慧唐家渝：AI安全风险背后原理何如，怎样应对

近年来，在大算力和海量大数据的驱动下，以深度学习为代表的AI技术飞速发展，以计算机视觉技术为例，依托广阔的应用场景从理论研究走向大规模的应用落地，人脸识别、目标检测等被广泛应用于公共安全、城市交通等领域，推动城市治理的智能化升级。

“但数据驱动的深度学习算法存在不透明、不可解释等局限性，即便是开发者也难以理解其内在的运行逻辑，这就导致系统可能遭受到难以被察觉的恶意攻击。他以对抗样本攻击举例，通过对输入数据故意添加干扰，使肉眼或许难以发现，但却能误导算法以高置信度给出错误输出，”12月27日，瑞莱智慧副总裁唐家渝在第十八届安博会期间举办的第十六届中国安防论坛·技术论坛上表示。

瑞莱智慧RealAI 副总裁 唐家渝

北京瑞莱智慧科技有限公司成立于2018年7月，是清华大学人工智能研究院发起成立的科技成果转化企业，致力于提供安全可控人工智能基础设施平台与解决方案。中国科学院院士、清华大学人工智能研究院名誉院长张钹和清华大学计算机系教授朱军共同担任公司首席科学家，清华大学计算机系博士田天出任CEO。

唐家渝继续解释道，这背后的原理在于，深度学习算法是通过对数据集中的示例进行学习从而建立出模型，与人类不同，它没有对先验知识进行合理利用，它的判断取决于样本数据，所以深度学习算法永远无法达到人类的判断水平。如果以一条分界线来类比，在进行决策判断的时候，模型决策的分界线与人类真实决策的分界线并非完全吻合，存在“误差”，因此可通过生成偏差数据，使其在误差空间内，人类能正常判断，但模型却判断错误，从而实现对AI系统的欺骗或攻击。

这是深度学习范式下AI应用存在的结构性缺陷，贯穿于AI全生命周期。除了在运行环节对输入数据添加“扰动”，在最开始的模型设计环节，通过在训练数据中添加“污染数据”进行“投毒”，导致模型被埋藏后门，再通过预先设定的触发器激发后门，模型也将输出事先设定的错误结果。

唐家渝表示，通过数据污染、恶意样本攻击等方式对算法进行深层次攻击已经成为趋势，随着AI技术尤其是计算机视觉技术的广泛应用，这一安全风险的真实威胁开始显现。例如，公共安全领域，视频监控、安检闸机等智能安防设备被不法分子攻击，用于躲避追踪、冒充他人等；交通领域，自动驾驶汽车被干扰“致盲”，引发安全事故等；在金融领域，线上银行的人脸认证被破解，用于非法转账等诈骗行为。

除了算法漏洞，“数据驱动”衍生的安全风险还远不于此。海量人脸数据被恶意采集、滥用，导致用户隐私泄漏；泄露的人脸照片在表情驱动算法下生成伪造视频，用于攻破人脸核验系统等...如何有效应对人工智能安全风险，保障人工智能安全可控的应用落地成为一项重要课题。

那么应如何寻求解决方案呢？

人工智能应用是集业务、算法、数据于一体的有机整体，涉及训练、检验、运行等生命周期阶段。唐家渝表示，应面向所有关键流程，布局全面且有针对性的安全防御措施。同时他强调，人工智能安全攻防技术在快速演变过程中，新的攻击手段不断出现，除了要解决“近忧”，更要着眼于“远虑”，对于未知威胁进行研判和防范，因此需打造动态升级、科学前瞻的防御理论及技术体系。

瑞莱智慧的解题思路就是建立兼顾“被动”和“主动”的防御机制。唐家渝解释道，被动防御为AI应用部署静态的安全能力，防范已知安全风险，比如对外部访问、输入数据、行为决策等进行检测，为算法模型部署加固防护组件等，提升系统抵御攻击的能力。主动防御则是为补充被动式防御的局限，引入和强化人工智能安全团队力量，以动态防御对未知威胁进行风险预判，构建自适应、自生长的安全能力。

具体而言，目前在被动防御方面，瑞莱智慧推出多款人工智能安全产品：AI安全防火墙，其能够在AI系统运行环节有效检测和抵御对抗样本、深度伪造等新型攻击手段；人工智能安全平台RealSafe，集成对抗攻防算法，提供端到端的模型安全检测能力，自动化高效评估AI安全风险，并提供安全性增强方案；隐私保护计算平台RealSecure，在数据训练、建模等环节部署数据安全能力，实现“数据可用不可见”。

在主动防御方面，瑞莱智慧则推出人工智能安全靶场RealRange，提供实战化、体系化的一站式人工智能攻防演练服务，基于攻防实战演练将安全风险暴露前置，提前发现和适应瞬息万变的新型攻击和高级威胁，动态提升团队软实力，实现“让风险发生在靶场，让有效防御构建在安全事件之前”。

瑞莱智慧AI安全产品矩阵，可实现对人脸识别、目标检测、图像分类等系统的安全升级，目前已在多个场景得到应用。比如与国内某头部人脸识别支付厂商合作，通过利用AI对抗攻击算法全面发掘人脸识别模型的漏洞，并进一步提供防御加固方案，提升刷脸支付的安全性。与某电网企业的合作中，利用RealSafe平台自动发掘输电线路危险品识别算法模型的漏洞，通过对抗训练提升算法鲁棒性，确保国家基础设施安全性。

最后，唐家渝表示，AI安全是新兴领域，除了部署技术体系外，更需要框架指导、标准规范、法律合规等多个维度协同推进。他介绍道，目前瑞莱智慧已经与国家工信安全中心、中国信通院、国家互联网应急中心等单位开展合作，联合落地标准制定、测试评估等工作，推动AI安全从“试点示范”走向“推广应用”。未来，瑞莱智慧也将持续聚焦于国际领先的AI安全攻防技术的研发和产业化实践，护航智能产业安全可控地蓬勃发展。