潘鹤中,韩培义,向夏雨,段少明,庄荣飞,刘川意,3
(1.北京邮电大学网络空间安全学院,北京 100876;2.哈尔滨工业大学(深圳)计算机科学与技术学院,广东 深圳 518055;3.鹏城实验室网络空间安全中心,广东 深圳 518066)
人工智能(AI,artificial intelligence)时代,数据开放共享已然成为趋势,但是数据安全问题严重制约了大数据价值的发挥。数据沙箱模式,或称数据信托,是解决隐私保护和数据挖掘之间矛盾的有效方案[1-2]。数据沙箱分为调试环境和运行环境,数据拥有者将原始数据托管到运行环境中,并自动生成不包含隐私信息的样例数据。数据分析人员在调试环境中根据样例数据编写AI 模型训练代码,并将其发送到运行环境。该代码在运行环境中对全量的原始数据进行分析,最终得到高可用性的AI 模型,返还给数据分析人员。这一流程中,数据分析人员没有直接接触原始数据,又实现了AI 模型在全量数据上的充分训练。
然而随着AI 技术的发展,深度学习模型携带原始数据的能力逐渐增强。Carlini 等[3-4]从理论上证明了参数量庞大的语言模型会存储和泄露训练数据。基于这一观点,国内外专家学者对深度学习模型窃取训练数据的攻击手段展开了研究,文献[5-7]等都属于此类攻击。这类攻击可以作用于数据沙箱的运行环境,主动在深度学习模型中编码原始数据。例如Song 等[7]提出可以通过在数据处理过程中生成恶意训练数据,或是在模型训练过程中引入恶意正则化项来窃取数据。这类攻击手段能够有效绕过数据沙箱对训练数据的隐私保护机制。……