增强深度学习中的差分隐私防御机制

余方超 ,方贤进* ,张又文 ,杨高明 ,王 丽

（1.安徽理工大学计算机科学与工程学院，淮南，232000；2.安徽大学计算机科学与技术学院，合肥，230601）

近些年来，以深度学习为代表的机器学习技术在诸多领域得到了广泛的应用.例如，在计算机视觉领域［1］，深度学习解决了图像识别、分割、标注等方面的诸多难题，促进了计算机视觉技术的产业化和落地；在语音识别领域［2］，深度学习框架多层非线性变换的深层结构有强大的表达与建模能力，使语音识别模型对复杂数据的挖掘和学习能力得到了较大的提升.

然而，随着研究的不断深入，深度学习模型中存在的隐私泄露问题也逐渐暴露［3］：一方面，深度学习模型所具有的发现数据之间潜在关系的能力为攻击者获取敏感信息提供了机会；另一方面，由于深度神经网络有大量的隐藏层，这些隐藏层会形成较大的有效容量，足以将某些数据的细节编码为模型参数，甚至记忆整个数据集［4］.最新的研究表明，深度学习模型面临成员推断［5-8］、属性推断［9-11］以及模型窃取［12-13］等多种攻击的风险.成员推断攻击是指给定一条数据，攻击者结合已发布的深度学习模型和相关的背景知识能够推断出该数据是否存在于模型的训练数据中，这种攻击方式对模型的训练数据威胁较大；属性推断攻击的攻击场景不同，其攻击目标是推断出指定样本中缺失的敏感属性的值；而模型窃取攻击的目标是窃取模型的参数信息.

对于这些……