面向实际场景的人工智能脆弱性分析

田 鹏，左大义，高艳春，陈海兵，丁 灏

(1.中国电子科技集团第三十研究所，四川 成都 610000；2.中电科网络空间安全研究院有限公司，北京 100191)

0 引 言

人工智能技术正在迅速应用于网络空间安全、自动驾驶等关键领域，而人工智能中的一系列安全问题，并没有得到解决，不安全的人工智能技术的冒进应用，必然会带来一系列新型安全隐患。对人工智能技术中出现的安全问题的研究，形成了所谓的对抗性机器学习研究领域，其中对抗样本是一个研究的热点[1]。

对抗性机器学习技术源于2013年，Szegedy[2]发现：通过对样本添加极微小、经过计算的扰动，可以使深度学习分类器得到完全不同的结果，从而提出了“对抗样本”的概念，这标志着对抗性机器学习的正式诞生。从谷歌的统计数据上[3]来看，自2013年提出抗性机器学习直到2016年底，对抗性机器学习在学术界内保持了一般的研究热度，但从2017年发现了用于现实世界的对抗样本，以及OpenAI等机构的宣传，学术界和行业界对对抗样本、对抗性机器学习的兴趣显著提升。

对抗样本是一类被恶意设计来攻击机器学习模型的样本，是攻击者故意设计的，它们与真实样本的区别几乎无法用肉眼分辨，但是却会导致模型进行错误的判断。就像是让机器在视觉上产生幻觉一样。例如文献[4]中描述，在“panda”图片中，加入精心制作的微小扰动，即可使神经网络模型判断错误，以99.3%的高置信度识别为“gibbon”长臂猿，如图1所示。

图1 对抗样本的形成

对抗样本的形成原理，Goodfollow[4]认为是在高维空间中，模型中存在线性化部分，而非线性化；……