机器学习安全攻击与防御机制研究进展和未来挑战*

李欣姣 ,吴国伟 ,姚 琳 ,张伟哲 ,张 宾

1(大连理工大学 软件学院,辽宁 大连 116620)

2(辽宁省泛在网络与服务软件重点实验室(大连理工大学),辽宁 大连 116620)

3(鹏城实验室 网络空间安全中心,广东 深圳 518055)

4(哈尔滨工业大学 计算机科学与技术学院,黑龙江 哈尔滨 150001)

机器学习当前被应用在各个领域,如恶意检测、图像识别分类、语音指令识别、自动驾驶、推荐系统、医疗系统等等.但是机器学习的安全和隐私问题随着其应用的推广日渐突出,成为阻碍其发展的重要因素.机器学习面临的攻击会导致机器学习算法分类出错、计算出错(如将恶意软件设别为正常软件导致木马攻击、在自动驾驶中计算出错导致交通事故等),从而降低机器学习算法的可信度.同时,机器学习的训练数据往往包含用户隐私数据(如健康数据和位置信息、身份数据和图像内容等),用户希望在保证隐私的条件下进行训练,但面向隐私的攻击会导致用户数据的隐私泄露(如攻击者基于推理结果分析或计算出用户的隐私数据),从而降低机器学习算法的隐私性.因此,保证机器学习算法的安全性和隐私性是机器学习发展的重要课题.

保证机器学习的安全性,指保证模型面临安全攻击仍能推理出正确结果的能力.保证机器学习的隐私性,指保证模型面临隐私攻击仍能保证模型数据、训练数据和由此引申出的用户隐私数据不被泄露的能力.从使用对抗训练和防御精馏来提高模……