人工智能自身会面临着哪些方面的安全风险

（文章来源：千家网）

训练数据污染可导致人工智能决策错误。数据投毒通过在训练数据里加入伪装数据、恶意样本等破坏数据的完整性，进而导致训练的算法模型决策出现偏差。

数据投毒主要有两种攻击方式：一种是采用模型偏斜方式，主要攻击目标是训练数据样本，通过污染训练数据达到改变分类器分类边界的目的。例如，模型偏斜污染训练数据可欺骗分类器将特定的恶意二进制文件标记为良性。

另外一种是采用反馈误导方式，主要攻击目标是人工智能的学习模型本身，利用模型的用户反馈机制发起攻击，直接向模型“注入”伪装的数据或信息，误导人工智能做出错误判断。随着人工智能与实体经济深度融合，医疗、交通、金融等行业训练数据集建设需求迫切，这就为恶意、伪造数据的注入提供了机会，使得从训练样本环节发动网络攻击成为最直接有效的方法，潜在危害巨大。在自动驾驶领域，数据投毒可导致车辆违反交通规则甚至造成交通事故；在军事领域，通过信息伪装的方式可诱导自主性武器启动或攻击，从而带来毁灭性风险。

运行阶段的数据异常可导致智能系统运行错误。一是人为构造对抗样本攻击，导致智能系统产生错误的决策结果。人工智能算法模型主要反映了数据关联性和特征统计，而没有真正获取数据因果关系。针对算法模型这一缺陷，对抗样本通过对数据输入样例添加难以察觉的扰动，使算法模型以高置信度给出一个错误的输出。对抗样本攻击可实现逃避检测，例如在生物特征识别应用场景中，对抗样本攻击可欺骗基于人工智能技术的身份鉴别、活体检测系统。

2019年4月，比利时鲁汶大学研究人员发现，借助一张设计的打印图案就可以避开人工智能视频监控系统。二是动态环境的非常规输入可导致智能系统运行错误。人工智能决策严重依赖训练数据特征分布性和完备性，人工标记数据覆盖不全、训练数据与测试数据同质化等塬因常常导致人工智能算法泛化能力差，智能系统在动态环境实际使用中决策可能出现错误。特斯拉汽车自动驾驶系统曾因无法识别蓝天背景下的白色货车，致使发生致命交通事故。

模型窃取攻击可对算法模型的数据进行逆向还塬。人工智能算法模型的训练过程依托训练数据，并且在运行过程中会进一步采集数据进行模型优化，相关数据可能涉及到隐私或敏感信息，所以算法模型的机密性非常重要。但是，算法模型在部署应用中需要将公共访问接口发布给用户使用，攻击者可通过公共访问接口对算法模型进行黑盒访问，依据输入信息和输出信息映射关系，在没有算法模型任何先验知识（训练数据、模型参数等）情况下，构造出与目标模型相似度非常高的模型，实现对算法模型的窃取，进而还塬出模型训练和运行过程中的数据以及相关隐私信息。

新加坡国立大学RezaShokri等针对机器学习模型的隐私泄露问题，提出了一种成员推理攻击，在对模型参数和结构知之甚少的情况下，可以推断某一样本是否在模型的训练数据集中。

人工智能开源学习框架实现了基础算法的模块化封装，可以让应用开发人员无需关注底层实现细节，大大提高了人工智能应用的开发效率。谷歌、微软、亚马逊、脸书等企业都发布了自己的人工智能学习框架，在全球得到广泛应用。但是，人工智能开源学习框架集成了大量的第叁方软件包和依赖库资源，相关组件缺乏严格的测试管理和安全认证，存在未知安全漏洞。近年来，360、腾讯等企业安全团队曾多次发现TensorFlow、Caffe、Torch等深度学习框架及其依赖库的安全漏洞，攻击者可利用相关漏洞篡改或窃取人工智能系统数据。