深度学习中的对抗攻击与防御

刘西蒙，谢乐辉，王耀鹏，李旭如

（1.福州大学数学与计算机科学学院，福建 福州 350108；2.广东省数据安全与隐私保护重点实验室，广东 广州 510632；3.华东师范大学计算机与科学学院，上海 200241）

1 引言

随着计算机运算能力的提升和社会数据量爆发式增长，深度学习在数据特征提取上表现出独特的优势。如今，深度学习已经被广泛应用于各个领域，在诸如计算机视觉[1]、语音识别[2-3]、文字处理[4]、恶意软件检测[5]等场景下均有不俗的表现。其在围棋[6]、游戏[7]等领域已经达到人类顶尖的水平。以计算机视觉领域为例，在2012年的一个大规模图像[8]识别任务中，Krizhevsky等[1]利用卷积神经网络[9]将识别率提高至84.7%，达到前所未有的高度。

尽管深度学习在许多领域中取得了令人瞩目的成绩，但Szegedy等[10]在其针对图像分类的研究成果中指出，尽管深度神经网络有着极高的准确率，但却非常脆弱，容易受到一种往图像中添加人眼无法察觉的微小扰动攻击。这类攻击不仅能够以极高的置信度误导深度神经网络输出错误的分类结果，并具有可迁移性，即同一张扰动图像可能攻击多个网络模型。这类攻击被称为对抗攻击，这个扰动图像即为对抗样本。如图1所示，假设图像分类模型能够以57.7%的置信度正确识别出图片中的熊猫，但在图片中有针对性地添加一些人眼不可察觉的微小扰动后，虽然肉眼看上去图片并没有变化，但该图像分类模型却以99.3%的置信度错误地把将图片分类成了长臂猿[11]。

图1 对……