联邦学习中的信息安全问题研究综述

2024-03-03 11:21段昕汝陈桂茸陈爱网姬伟峰
计算机工程与应用 2024年3期
关键词:联邦全局代理

段昕汝,陈桂茸,陈爱网,陈 晨,姬伟峰

空军工程大学 信息与导航学院,西安 710077

随着云计算、大数据、人工智能技术的快速发展和智能设备的普及,大量智能应用落地,人类社会迈向智能化时代。当前主流的人工智能算法,其主要思路都是将海量数据集中起来进行模型训练,这就导致用户隐私数据在传输过程中面临较大的安全风险。这也成为制约人工智能应用在数据敏感型企业或机构落地的最大障碍,导致在很多行业形成了大量数据孤岛。如何在数据孤岛和数据共享之间取得平衡,如何在保护用户隐私的情况下,充分挖掘海量用户数据中潜藏的巨大价值,成为人工智能应用面临的新挑战。

联邦学习(federated learning,FL)的出现为解决这一挑战带来了新的思路。联邦学习的概念最早是由Google 公司2017 年提出的,用于分布式语言模型的训练,利用网络边缘的廉价计算能力扩大学习规模,在不需要将用户数据传输到服务器并集中存储的情况下,通过移动设备中的大量个人数据支持神经网络训练,既提高了预测模型的准确性,保护了用户的数据安全,同时降低了网络的通信和计算成本,较好解决了大规模分布式网络中的通信需求和用户隐私保护的问题[1-3]。近年来,联邦学习引起企业界和学术界广泛关注,相关研究成果和应用案例频现,许多企业已成功将联邦学习技术应用于各种数据敏感型领域,包括疾病诊断[4-6]、单词预测[7]、入侵检测[8-10]等,在保护各方数据隐私的情况下联合群体私有数据构建全局智能模型[11],推动相关产业之间的有机深度协作。

然而,在联邦学习的应用推广的过程中,其对数据和模型的保护能力也受到诸多质疑。联邦学习本质上是一种分布式机器学习,各局部代理需要在本地模型训练结束后向聚合服务器上传本地模型参数,聚合服务器根据各方提交的局部模型参数经过迭代运算生成全局模型并与所有局部代理共享全局模型参数,而局部和全局模型参数中可能包含数据敏感信息,这就导致联邦学习算法在模型训练过程中可能面临间接信息泄露的风险。同时,基于通信网络的多方参与分布式架构也必将导致联邦学习面临各种新型网络攻击的威胁。

本文主要研究联邦学习领域中面临的信息安全问题及挑战,以联邦学习模型训练过程为线索,分析联邦学习面临的安全风险,剖析不同安全威胁的机理和特点,梳理先进的防御策略,旨在推动联邦学习应用安全落地和推广。文章的组织如下:首先概述联邦学习的背景和基础知识;针对联邦学习系统中的关键节点,从模型训练的全过程开展研究,分析总结系统中面临的各类安全威胁,剖析各种安全威胁背后的机理和特点,并按照威胁度对各种安全威胁进行分类;然后归纳总结可能对联邦学习系统安全性造成破坏的各种攻击方法,分析不同攻击方法的原理和特点;接着全面梳理近五年能有效提升联邦学习系统安全性的研究成果,并对多种典型的安全策略进行分析对比;最后,总结全文并对未来联邦学习面临的主要挑战和发展方向进行展望。

1 联邦学习相关理论

1.1 联邦学习分类

当前,联邦学习已经成为大规模深度神经网络分布式学习最受瞩目的方法之一,通过联合多个局部代理协同构建联邦系统以进行共享模型的训练,并制定一个分布在多个局部代理之间的神经网络模型多轮训练策略实现共享模型训练[12]。在联邦系统中的局部代理可以对应具体的边缘服务器或移动终端设备,本文不做具体区分。根据不同局部代理样本分布和系统架构的差异性可对联邦学习进行以下分类:

其一,根据局部代理之间数据分布的差异可以把联邦学习分为横向联邦学习、纵向联邦学习和联邦迁移学习[13],如图1 所示。横向联邦学习中不同局部代理之间拥有统一特征的不同样本;纵向联邦学习中不同局部代理间拥有同一样本的不同特征;而联邦迁移学习则对应两个数据集样本和特征都重叠较小的情况。

图1 根据局部代理间数据分布差异进行分类Fig.1 Classification based on difference of data distribution between local agents

其二,根据系统架构的差异性可以分为集中式架构和P2P架构,如图2所示。在集中式架构中,利用中央服务器来进行多方调停并聚合全局模型,局部代理间通常不进行直接交互;而P2P 架构的特点则在于去中心化,由局部代理直接进行信息交互和模型聚合,这种结构避免了恶意服务器可能带来的系统性危害,但其网络结构和计算量也相对复杂。

图2 根据系统架构进行分类Fig.2 Classification according to system architecture

区别于传统的机器学习方法,联邦学习的实际优势主要体现在两个方面:一方面,在训练中始终将局部代理的私有数据保存在本地存储器,不对原始数据进行直接迁移,限制了暴露的信息量,保证数据的安全性,满足了公众和法律对于数据安全的要求;另一方面,可以有效利用分散的私有数据和局部代理空闲的计算资源,降低计算和通信成本。

1.2 联邦优化算法

联邦学习的核心是其中隐式的优化问题,涉及数据的分布异构、体量不均、动态变化,以及实际应用中通信带宽的限制等因素,优化算法的科学性、有效性和稳定性直接影响共享模型的性能。目前,基于随机梯度下降(stochastic gradient descent,SGD)算法的优化已经在大量深度学习案例中取得成功,同样该算法也可以简单地应用于联邦优化问题。

在FedSGD[1]中,通过增加局部代理工作的并行性,将模型训练的复杂计算置于本地数据端,解决了集中式学习中的大规模通信问题。由每个局部代理在本地数据上计算当前模型的平均梯度,并发送至中央服务器进行全局模型聚合。在此基础上,FedAvg[1]算法进一步优化了局部代理之间的数据不平衡和通信约束等问题,通过最小化全局目标函数优化参数化模型ω,具体如公式(1)所示:

其中,Fk(ω) 为第k个局部代理的损失函数,nk和n为本地样本数和总样本数。

联邦学习早期算法理论相对易于理解,但在实际应用环境中缺乏理论保证,对于不同的样本集需要针对不同的环境设置和应用场景开展大量实验验证,Li等人[14]在非独立同分布数据上分析了FedAvg 的收敛性,研究了抽样和平均方案对算法收敛性的影响,为算法提供了理论保证。

此后,针对不同的环境设置,研究人员在FedAvg的基础上对算法性能进行不断优化。针对联邦优化中的数据异构和漂移现象,SCAFFOLD[15]算法利用控制变量弱化了不同局部代理之间的漂移现象(如公式(2)),同时利用数据间的相似性减小通信轮数,获得更好的收敛性能。

其中,ck为局部控制变量,c为服务器控制变量,且c=。

针对系统异质性和数据统计异质性,Li 等人[16]对FedAvg 算法加以泛化和重参数化,在目标函数上增加近端项以提高算法的稳定性。允许局部代理执行可变量工作,并在局部子问题上添加一个近端项来实现对更新的有效限制(如公式(3))。

对于不同局部代理之间的统计多样性,pFedMe[17]算法使用莫罗包络作为客户的正则化损失函数(如公式(4)),将个性化模型优化与全局模型学习解耦,允许局部代理以不同的方向来拟合模型。

此外,联邦优化还要考虑实际生产环境中的可行性。文献[18-19]概述了Google的联邦学习可扩展生产系统的设计,研究人员基于安全聚合策略训练深度神经网络,并在云中构建全局模型。针对复杂的数据分布、设备可用性、通信中断、跨设备协调等问题制定通信协议,并设计了一个相对成熟的、可以在生产中部署的系统。图3对联邦通信协议进行描述,该协议能够应对信息交互中的网络或设备异常。

图3 联邦学习通信协议Fig.3 Federated learning communication protocols

1.3 发展现状及分析

联邦学习的出现为解决数据中心化问题提供了新思路,通过构建联邦系统整合广泛分布的数据资源,有效利用多源数据训练模型,在不交互数据的情况下实现信息流通、数据融合和价值挖掘,充分利用分散的私有数据,限制暴露信息量,从而打破基于安全性和商业性等考虑而形成的信息壁垒,为有效地解决智能化进程中的小样本和数据安全等关键问题提供了思路。该技术一经提出便被人工智能与数据安全领域所重视并在各界引起广泛关注。2022年,联邦学习相关论文数量出现大幅跃升,频繁出现在顶会上,与此同时,应用研究不断推进,众多产品迈向大规模商用落地,拥有联邦学习平台和产品的企业已经超过60多家。

虽然联邦学习技术研究已经取得相当规模的成果,但在其动态发展过程中,仍需要持续关注算法对数据的保护能力以及对于模型训练效率的影响。2022年,杨强教授团队再次提出了可信联邦学习,在联邦学习分布式联合建模的基础上,加入安全可信机制,通过增大攻击方成本,侧面保障模型安全,同时保证整个模型的高效可用[20]。事实上,在联邦学习的发展的过程中始终伴随着安全性和效率的取舍,借助密码学方法保护系统安全会带来额外计算和通信载荷,因此,在具体的应用场景中需要考虑对抗环境下的安全问题,根据实际需求选择最佳的数据安全与效率折中,实现安全和效率的合理平衡。

2 联邦系统威胁分析

联邦学习通过限制数据共享来保护私有数据安全,但在模型训练的全过程中依然面临着诸多内源或外在的安全威胁。由于联邦系统中局部代理参与联合模型训练的动机难以量化评估,中央服务器的可信度、安全性难以验证,使得模型在实际训练中可能受到节点异常行为的影响,该异常由不可靠的计算设备、外部攻击、通信堵塞或本地训练数据集中存在的缺陷造成,此外,在交互的过程中也可能会由参数或模型间接导致关键信息泄露[21-22]。

本章从联邦模型训练的全周期着手,包括全局模型参数分发、本地数据收集与预处理、局部模型训练、参数回传、模型聚合和模型部署,分析这一过程中可能存的在来自系统内或外部恶意攻击者带来的数据安全威胁,及存在于不同位置的攻击者会对模型的安全性、可用性造成的破坏。

2.1 系统内部威胁分析

联邦学习是一种多方参与的模型训练方式,需要多方参与共同构建联合模型,通过在计算设备中部署联邦通信协议,实现资源的调度。本节将来自协议部署中关键节点的威胁统称为内部威胁,包括参与协议的多方局部代理和集中式架构中聚合服务器。系统内部威胁分析主要针对关键节点分析,意图为联邦通信协议的优化和扩展提供支撑,以提高系统的安全性和效率,从而更好地应用于实际场景中。

2.1.1 不可信局部代理

在进行联邦系统内部的安全性分析时,首先要考虑来自多源局部代理的风险,不论是针对集中式架构或是P2P架构,局部代理都是联邦系统的关键节点。构建联邦系统首先要在多源局部代理进行部署,并基于各代理的本地数据进行局部模型的训练和传参的处理。由于各代理之间参与训练的意图难以验证,一旦存在恶意的或诚实且好奇的局部代理利用自身权限操控模型训练,可能对全局模型及数据安全造成破坏性打击(如图4)。来自架构内的恶意局部代理可能通过操控私有数据对联邦系统造成破坏,如对数据进行篡改影响聚合模型的收敛性,破坏模型的可用性;或对模型进行靶向攻击,在模型中植入后门使得用户给出特定输入后就会触发后门给出错误分类。研究表明由于局部代理在整个训练过程中可以自由地加入和退出,这就导致系统中可能出现不可靠因素,威胁全局模型安全[23]。因此,在进行相应的框架设计和方法部署时,要充分考虑到这一隐患并做出相应预案。

图4 不可信局部代理Fig.4 Untrusted local agent

2.1.2 恶意聚合服务器

针对集中式联邦学习架构,需要有专用的聚合服务器对来自局部代理的模型参数进行聚合,恶意服务器可以很容易地检查来自客户端的更新,并改变全局模型来构建恶意任务或篡改模型(如图5)。

图5 恶意聚合服务器Fig.5 Malicious aggregation server

当聚合服务器不可信时,可以通过获取局部代理更新进行推理攻击,进而重构局部代理的私有数据,获取代理训练数据中的重要信息,或是在聚合时隔离部分局部代理训练的共享模型操控模型收敛方向,损害全局模型性能[24]。考虑到恶意聚合服务器对系统造成的危害性,在系统设计之初就需要对其权限做出一定程度的限制,同时设置相应防御机制保护服务器自身的安全性,防范外部攻击。

2.2 系统外部威胁分析

针对联邦系统外部威胁分析,主要考虑可能存在敌手通过控制系统内的少数设备对联邦系统造成破坏,通过对服务器或局部代理发起攻击获取系统权限,进而获取部分模型及更新信息以推断原始数据信息[25],使原始数据存在被反向推演破解的风险;或利用网络中不安全通信访问设备正在发送和接收的数据进而发起攻击,通过窃听手段来窃取计算机或其他智能设备在网络中的传输信息,对数据的安全性造成严重威胁(如图6)。

图6 外部敌手Fig.6 Outsider adversary

研究表明,在联邦学习模型训练及更新的过程中,可能会泄露有关局部代理本地训练样本的信息[26-29],当多个代理节点基于模型梯度进行交互时,可能从梯度还原出敏感的私人信息。恶意攻击者还可以基于客户端上传梯度信息发起推理,间接从中确定出原始数据集的标签属性和成员信息。Carlini 等人[30]通过从递归神经网络(recursive neural network,RNN)中提取用户敏感数据,证明攻击者可能由梯度信息间接确定原始样本和标签信息,破坏数据的隐私性。Geiping 等人[31]利用余弦相似度和梯度反演的方法恢复出了原始图像数据。

综上,防范系统外部风险主要可以从以下两个角度加以设计:其一,对服务器或局部代理设置相应防护机制(如域内可信环境)进行局部模型计算;其二,应对通信中造成的风险或故障,防范敌手窃取信息或通信故障。

2.3 小结

联邦系统是由多个相互独立的子系统组成的分布式网络系统,每个子系统都独立运行,相互协作共同训练共享模型。这一特殊架构使得联邦系统面临着各种各样的威胁和风险。因此,进行威胁分析对于联邦系统的安全至关重要。

本章对联邦系统内的关键节点以及外部敌手可能造成的威胁进行分析,旨在更好地了解和评估实际应用中面临的风险,优化联邦学习框架和通信协议,识别敏感信息和节点,采取适当的、安全措施来保护其机密信息和基础设施,减少安全漏洞和数据泄露的风险。针对可能对联邦学习系统安全性造成破坏的各种攻击方法,本文将在下一章中进一步阐述。

3 针对联邦学习的攻击方法

联邦学习能够有效地将多方数据进行整合,解决了由于数据分散和安全考量导致的数据孤岛问题。然而,分布式训练、局部数据不可见和基于通信的参数交互也给系统带来了诸多安全隐患。要想将联邦学习方法推广到诸多对于数据安全性要求较高的关键性领域,首先需要关注系统的脆弱性。在没有额外保护机制的情况下,恶意客户端、服务器和外部敌手都有可能对联邦学习系统的安全造成破坏。在传统的机器学习和信息安全领域,投毒攻击、拜占庭攻击和推理攻击就是被广泛研究和讨论的问题,在联邦学习中此类方法同样被证明是有效的。因此在联邦学习的研究和实践中,防止此类攻击也成为了一个非常重要的问题。为加强联邦学习系统的安全性和可靠性,本章分析综述了联邦学习中各类攻击方法的具体研究进展,表1中对比了不同的攻击方法的特点及攻击能力,分析该方法对联邦模型可用性以及系统内其他正常节点原始数据安全的威胁,并在后续内容中对表中涉及的方法进一步分析论述。

表1 联邦学习中的攻击方法对比Table 1 Comparison of attack methods in federated learning

3.1 投毒攻击

在传统机器学习场景中,投毒攻击已经成为了一种比较成熟的攻击手段,攻击者可以通过篡改数据、模型或者特征等方式影响模型的训练和预测结果[32-34]。继联邦学习方法提出后,投毒攻击也引起了广泛的研究,针对联邦系统的攻击方案被陆续提出[33-42],形式上可分为数据投毒、模型投毒以及后门攻击,本节基于以上分类对相应攻击方法展开研究。

3.1.1 数据投毒攻击

数据投毒攻击利用了联邦学习系统中局部代理数据的匿名性特点,通过污染用于局部模型训练的本地样本,使学习到的模型对具有某些特征测试集的分析结果出现偏移,或做出完全错误的判断。

在联邦学习设定中,由于其他用户无法直接访问局部模型的原始训练数据,使得系统无法直接对局部代理的数据质量进行判定,一旦存在恶意节点对所持有的数据进行篡改或注入有毒样本,就会间接对全局样本数据的可靠性与完整性造成破坏,降低局部模型性能,进而间接地影响目标节点模型精度[35]。如图7 所示,恶意节点通过向训练集之中加入异常数据干扰局部模型训练,服务器将来自恶意节点的更新用于聚合全局模型,影响了其他正常节点局部模型的训练。

图7 数据投毒攻击Fig.7 Data poisoning attack

Tolpegin等人[36]研究发现,在复杂深度神经网络中,非专家恶意局部代理仅通过操纵本地设备数据就可以实现数据投毒,使局部模型和全局模型的分类准确性和召回率的大幅下降。同时研究发现,此类攻击可以实现有针对性攻击,攻击者有针对性地加入异常数据,使机器学习模型仅对目标类产生误判或错误的输出结果。此外,Doku 等人[37]研究了联邦边缘计算中数据投毒攻击的危害性,利用不同节点之间的通信协议对一个联邦多任务学习框架发起数据投毒攻击。结果表明,联邦学习中的通信协议可以实现有效的攻击,特别是在两个节点具有较强的相关性时,向训练数据集引入少量的异常样本就会在深度学习中产生较高的错误分类效果。

3.1.2 模型投毒攻击

模型投毒攻击是指通过对局部模型进行毒害处理,使学习到的模型满足某些对抗性目标,进而破坏全局模型,例如局部代理通过改变局部模型的参数来发动攻击(如图8所示)从而实现比数据投毒更强的攻击效果。

图8 模型投毒攻击Fig.8 Model poisoning attack

研究表明[38-39],在联邦学习框架中边缘设备可以通过操纵局部模型参数更新波动实施模型投毒攻击,进而达到污染全局模型的目的。如在分类器训练任务中,使全局模型在满足对抗性目标的辅助数据集中产生错误分类。恶意代理通过访问训练数据Dk以及与训练和测试数据相同分布的辅助数据Daux,使学习到的分类器对辅助数据的标签错误分类为期望的目标类,其目标函数如公式(5)所示,其中为辅助数据中的样本,为对应标签。

利用联邦学习局部更新不透明的设定,仅需控制少量的恶意代理就可能导致全局模型对一组具有对抗性目标的输入进行错误分类,此外文献[38]中还使用了交替最小化策略优化隐身和对抗目标,实现有效的、隐蔽的模型中毒攻击。

3.1.3 后门攻击

后门攻击相较于普通的投毒攻击,攻击方式更为隐蔽,攻击目的更具有针对性,能够保持模型在主任务上的良好性能,同时降低模型在目标任务上的性能。后门攻击可以由一个或多个敌手发起,通过向目标模型中注入后门模式,在保留全局模型准确性的同时错误地标记某些任务,使模型一旦遇到此类输入就会触发后门从而错误地归类为目标标签,输出攻击者预先设定好的目标结果。

在联邦学习场景中,攻击者很难通过完全控制训练过程进行后门攻击。假设在t轮中只存在一个敌手,攻击者通过后门模型ω*替换局部模型用于聚合全局模型[40],如公式(6)所示:

通过操纵本地模型使训练后的模型同时适合主任务和后门任务,全局模型在未受篡改的数据样本表现正常,同时后门样本具有较高的攻击成功率,其目标函数如下:

局部代理通过模型替换方法进行了后门攻击,使用后门数据训练本地模型,并在将恶意更新发送到服务器之前扩展恶意更新,如图9所示[41]。

图9 后门攻击Fig.9 Backdoor attack

此外,Xie 等人[42]充分利用联邦学习的分布式特性开发,研究了分布式后门攻击(distributed backdoor attack,DBA)威胁评估框架,将全局触发模式分解为独立的局部触发模式嵌入后门数据集中,并在金融和图像数据等不同的数据集证明DBA的攻击成功率明显高于集中式后门。Wang等人[43]研究了联邦学习中边缘样本的后门攻击,利用输入数据分布的尾部数据设置子任务,并通过实验证明攻击的有效性和持久性。

3.2 拜占庭攻击

拜占庭攻击在传统的计算机网络中就是一个相当棘手的威胁,当各组件协同完成任务时,任意一方的故障都可能对任务造成破坏[44-45]。在联邦学习系统中这一问题更为突出,任意恶意代理的存在都可能对全局模型的收敛性造成破坏,损害全局模型的性能[46]。

拜占庭攻击相较于普通的投毒攻击,具有较强的社会工程性和策略性。攻击者可以伪装成正常节点,对其他节点进行欺骗,从而达到攻击的目的,需要攻击者制定相应的策略与其他节点之间进行博弈和交互,以便更好地达到攻击的目的。根据攻击中恶意客户端的目标,可以将攻击分为两类。

(1)基于训练数据的攻击:这种攻击通过任意操纵局部训练数据来误导全局模型以达到攻击目的。一般来说,主要有三种方法:标签翻转、添加噪声、后门触发器。

(2)基于参数的攻击:通过修改从局部数据集学习到的参数的方向和大小,或直接修改参数使中央服务器聚合成一个错误的全局模型。

针对联邦系统中的拜占庭攻击问题,Ghosh 等人[47]研究了对具有异构数据分布的联邦学习系统进行拜占庭攻击。Shi 等人[48]提出了一种新的拜占庭攻击,即重量攻击,通过利用现有的权重分配策略中的缺陷,谎报其数据集的大小获得较高的权重,达到高攻击成功率,并通过实验证明其威胁。

3.3 推理攻击

现有的联邦学习机制大多通过聚合局部模型梯度进行联合训练以保障本地数据安全,然而任何有用的机器学习模型都会隐含大量关于训练数据的特征信息,如梯度、模型结构、训练时间及参与训练的代理成员等,为推理攻击提供了信息基础。已有研究证明[49-59],代理之间共享更新可能间接导致敏感信息泄漏。

3.3.1 梯度反演攻击

梯度反演攻击是对联邦学习的安全和隐私保护的一个重要威胁,在传统的联邦学习机制中,通常采用模型梯度代替数据进行交互实现共享模型的训练,若外部敌手或恶意局部代理通过更新梯度进行反演恢复客户端的私有数据,就会给私有数据安全带来极大的损害。Lam 等人[50]就通过将梯度分解问题表示为一个约束二元矩阵分解问题,证明了反演攻击可以精确地恢复多达数千个局部代理的代理矩阵并分解出每个用户的更新(如图10)。即使是在有明显噪声干扰的情况下,梯度分解也能从分解的更新中恢复出用户的隐私数据。

图10 梯度分解攻击Fig.10 Gradient decomposition attack

此外,不可信的中央服务器也可以利用局部代理的多轮更新执行用户分解,结合用于监控、调试和管理联邦学习系统的设备分析信息,使服务器能够从聚合的更新中重建局部代理更新,恢复个体代理私有训练数据的特征信息。在现有的研究中,Yin 等人[51]就通过非学习的图像恢复方法反演深度神经网络的平均梯度,恢复了局部输入数据的高保真图像,对224×224像素分辨率的单个图像实现高保真度和视觉细节的完全恢复。

Jin 等人[52]分析了纵向联邦学习中的灾难性数据泄露,对数据的恢复性能进行了理论分析,并开发了一种新的攻击方式——CAFE。基于一个诚实且好奇的服务器通过具体步骤:(1)恢复第一个全连接层的相对于输出的梯度损失;(2)恢复第一个全连接层的输入;(3)恢复原始数据,在一般的纵向联邦学习协议中大规模恢复数据,实现大批量数据泄漏。Lebrun等人[53]利用了SGD算法的隐私漏洞设计了一种基于相似性属性推理攻击算法∇Sim,根据参与者返回的梯度向量和代表每一类敏感属性的学习模型来推断属性。Lyu等人[54]利用每轮迭代平均梯度通过cos 匹配,即利用余弦相似度度量来自局部代理的真实更新和虚拟更新之间的角距离,对局部代理每次共享的平均梯度发起属性重构攻击。

3.3.2 成员推理攻击

成员推理攻击旨在识别一个特定的数据记录是否属于某个局部模型的训练数据集,具体定义通过以下函数表示:

其中,dtar=(x,y) 和M分别代表敌手的目标记录和目标模型,K表示攻击者所拥有的先验知识,当dtar不属于M的训练数据集时判决为0,否则为1。

在联邦学习方法中,成员推理攻击可以分为黑盒攻击和白盒攻击。在黑盒设置中敌手只能向目标模型M提交一条记录并获得模型输出,即K=M(x),利用模型预测对训练数据可区分的特性进行推理;而在白盒设置中敌手可以获取模型M的完整结构和参数,使用训练和测试数据之间的梯度差异,获取了模型参数与时间变化的依赖关系以实现成员推理。

在具体的应用实例中,首先需要确定目标数据是否属于目标模型对应的代理成员,再进一步进行攻击来确定来自哪个局部代理,从而破坏参与训练的代理成员数据隐私。Hu 等人[55]在源推理攻击(source inference attack,SIA)中,通过使用局部模型的预测损失来最优地估计训练成员的来源,采用非侵入性手段有效获取训练成员的源信息,以贝叶斯视角证明了一个恶意服务器可以在不违反联邦学习协议的情况下实现有效的成员推理攻击(如公式(9)),同时证明了SIA 的成功与局部模型的通用性和局部数据的多样性直接相关。

式中,利用局部优化模型θk和训练记录z1源推理,旨在推断z1属于客户端k的后验概率。

Gu等人[56]利用了联邦学习中训练数据和测试数据之间不同的预测置信度趋势,设计了一种基于置信度序列的成员推理攻击,并对联邦系统中的不同角色设计了不同的推理方法。Vo等人[57]基于梯度反演技术和GAN提出了一种新的成员推理攻击——批处理反演GAN(BI-GAN),利用梯度从局部更新中恢复用户级的批处理图像,结合批处理图像梯度反演和自定义辅助分类器GAN的优点重建和生成特定目标的私有数据。

3.3.3 特征推理攻击

特征推理攻击的目的是由获取到的已知信息推理出样本数据的特征,如基于训练好的模型输出结果推测出样本的特征分布,一定程度上破坏了原始数据信息的安全性。

执行特征推理攻击通常需要基于一个与局部代理私有数据同分布辅助数据集,利用同一神经网络对相似分布数据集具有相似梯度这一特点,推断出训练子集的真实属性,具体定义如下:

其中,tar为推断出的特征值,A 为由敌手执行的攻击算法,xadv为敌手样本集特征值。为证明该方法在联邦设置中的有效性,Luo 等人[58]基于多种特征推理攻击展开研究,提出两种分别用于逻辑回归和决策树模型的基于个体预测输出的攻击:等式求解和路径限制。针对神经网络模型非线性变换的不规则性,设计了一种基于多种模型预测的通用特征推理攻击——生成回归网络(generative regression network,GRN),其目标函数如下:

其中,θ和θG分别为FL模型和生成器模型,fG对相应tar目标特征,即生成器的输出,f表示给定生成样本的FL模型的输出,Ω(∙)为正则化项,通过收集对生成样本的模型预测信息,进行复杂推理攻击。

3.4 小结

本章所提及的这些针对联邦学习的攻击方法对全局模型的可用性以及参与局部模型训练的本地数据的安全性带来了巨大的潜在隐患,联邦学习系统受到了来自不可信局部代理、恶意聚合服务器以及外部敌手的多种攻击威胁。对于局部代理聚合服务器而言,如果不对其权限加以限制,就有很大的可能通过以上攻击方法对联邦学习系统的安全性造成破坏。例如,不可信局部代理仅需对本地训练数据或模型做出部分篡改就可以轻松实现投毒攻击;恶意聚合服务器可以利用自身权限,查看多方代理本地模型更新结果,很容易就可以实现对全局模型的篡改,或依据模型更新推断出局部模型甚至原始数据中的敏感信息。此外,外部敌手可以通过窃取通信中的更新或控制系统内关键节点等恶意行为危害联邦系统的安全性。这些潜在的威胁使得联邦学习技术在信息敏感度高的行业领域的发展受到了极大的限制,为了进一步推动联邦学习的发展,实现多源数据的充分利用和深度融合,需要从方法框架本身对系统中存在的诸多风险加以限制。在下一章中,研究上文所提到的各类攻击方法和潜在威胁的应对方法,并对已有的策略进行分析比对。

4 防御策略

联邦学习的出现为充分利用分散的数据资源、打破数据孤岛提供了解决方案[59]。然而,在上述的一系列研究中发现,尽管通过本地化训练设置实现了不迁移数据情况下的联合模型训练,很大程度上保证了原始数据的安全,但是在训练过程中仍存在诸多安全隐患,不可信代理和恶意服务器利用自有权限或可知数据损害系统安全性和工作效能,外部环境中的潜在敌手也给联邦系统带来了诸多挑战,此前已有诸多针对联邦学习中的攻击方法的研究并取得一定的效果。本章将继续讨论针对联邦学习中潜在风险的各类防御策略研究进展,并对当前联邦学习系统中的各类安全问题的应对策略进行汇总,如表2所示。表中总结了本章所涉及的多种技术方案,并详细分析比较了不同方案的适应性,这些防御策略依据数据保护的需求和技术实现的不同而划分的,针对联邦学习场景所面临的各类威胁和攻击方法,有效解决了系统和数据的安全性问题,为推动联邦学习技术在数据安全敏感领域的发展,进一步发挥多源数据体系化效能提供技术支撑。

表2 联邦学习系统中的安全策略对比Table 2 Comparison of security policies in a federated learning system

4.1 安全聚合

安全聚合是一种基于安全多方计算的轻量级实例,是联邦学习系统部署中的关键隐私措施。安全多方计算(secure multi-party computation,MPC)用于限制中央服务器对局部代理更新的可见性,在一组局部代理相互不信任且没有可信第三方的情况下协同计算。通过加密原语使服务器只能学习到多方局部代理输入向量的总和,而不能得到局部代理每轮的更新,在弱化局部参数更新输入对于服务器可执行的前提下进行聚合运算,使各方代理得到正确的数据反馈,以解决模型聚合中的隐私保护问题。在联邦学习设置中,安全聚合是减轻恶意更新影响,增强全局模型的鲁棒性的常见策略。

安全聚合方法的研究通常涉及以下关键概念。

Bonawitz 等人[19]基于密钥协议和安全签名方案设计了一通信高效的、故障健壮的协议,用于高维数据的安全聚合。该协议由四轮通信组成(如图11),在诚实但好奇敌手设置中,每轮训练任意选择的用户子集同时保持安全性能不变。该协议利用密钥协议和安全签名方案生成密钥对和签名σu,选取随机种子bu并基于秘密共享方案生成bu,v和,yu为掩码输入向量,具体计算方法如下:

图11 安全聚合协议Fig.11 Secure aggregation protocol

通过使用伪随机发生器减少通信并使用一个阈值秘密共享方案,在代理数量大于阈值的情况下使客户端数量具有更好的可伸缩性。

Bell 等人[60]进一步扩展了安全聚合协议的使用范围,在诚实且好奇的活跃敌手设置中证明了协议的安全性。用一个包括线性开销的对数k-正则图替换完整通信图,并基于微分隐私的洗牌模型设计了安全洗牌的构造。Andreina 等人[61]使用鲁棒的联邦协议缓解训练过程中的投毒攻击,在每一轮中加入一个基于反馈的联邦学习的后门检测额外的验证阶段来检测后门。Xie 等人[62]提出了一个可认证的鲁棒联邦学习(CRFL)框架,将训练过程视为一个马尔可夫核,从而量化在每个步骤中聚合模型的紧密性,然后利用模型的紧密性和参数平滑来证明最终的预测,通过模型参数的剪切和平滑来控制全局模型的平滑度,进行有限规模的后门进行鲁棒性认证。Sun等人[63]设计了一个基于客户端投毒攻击的防御模型,针对攻击已经突破了服务器的防御并污染了全局模型的情况,提出了一种定量估计器,估计了模型中毒攻击对全局模型参数的影响,减轻已经污染了全局模型的模型投毒攻击,增强FL对模型中毒攻击的鲁棒性。在最新的研究中,Lycklama等人[64]分析揭示了机器学习算法记忆尾部数据对FL完整性的影响。通过在局部代理更新上实施约束,有效地增强单服务器设置的安全联邦学习协议对外部攻击的鲁棒性,扩展了具有隐私保护输入验证的安全聚合。Jahani-Nezhad 等人[65]提出了一种新的安全聚合协议,在本地数据上以一种隐私保护的方式进行训练,可以在不影响安全性的情况下显著降低通信开销,实现最佳的通信负载。

4.2 同态加密

同态加密(homomorphic encryption,HE)允许数据在加密状态下对加密内容执行某种特定代数运算,对密文状态下的数据集进行学习生成加密的局部模型,再将模型发送至服务器或其他局部代理进行聚合。对同态加密计算结果解密后的明文结果与直接利用明文数据进行运算的处理结果一致。在Paillier 加密系统[66]中就具有天然的同态特性,如公式(13):

同态加密技术不需要将密文解密就可以进行等价计算,是目前最常用的隐私保护机制之一,可以在聚合模型时很好地保护敏感数据信息。Zhang等人[67]设计了一种基于加法同态加密的客户端选择方法,通过一个主动的客户选择系统——Dubhe来平衡数据分布,实现了数据的无偏性,改善了全局数据不平衡的影响提高了模型测试的精度,在诚实且好奇的服务器设置下,通过应用同态加密缓解安全威胁。

Park 等人[68]提出了一种基于同态加密隐私保护的深度学习(aprivacy-preserving deep learning,PPFL)算法,利用加性同态加密方案来保护局部和全局模型参数。局部代理用私钥对本地模型参数进行加密,云服务器使用基于分布式加密系统用不同密钥加密的本地模型参数更新全局模型参数,以实现隐私保护(如图12所示)。该算法可以允许每个节点在同一基于PPFL 的系统中对HE方案使用不同的私钥。

图12 隐私保护联合学习的系统模型Fig.12 System model of joint learning for privacy protection

此外,Ma等人[69]提出了一种多密钥同态加密协议,在与服务器共享之前通过聚合公钥对模型更新进行加密,保证了更新的机密性,有效应对来自系统内部的安全威胁。通过一种基于RLWE 的同态加密方案,如公式(14):

其中,ℤ[X]为具有整数系数的多项式环,R中的元素满足Xn=-1。

4.3 梯度压缩

梯度压缩(gradient compression)在大规模分布式学习中就被广泛应用于解决通信带宽问题,在减少梯度交换产生的复杂通信的同时实现更好的可伸缩性。研究表明,联邦学习采用的分布式随机梯度下降方法中99.9%的梯度交换是冗余的[70],而在移动设备上进行联邦学习的情况则更糟,高延迟、低吞吐量和间歇性连接中断极大程度上影响了系统的稳定性。此外,频繁的参数交互扩大了攻击面,给信息安全问题带来隐患。从梯度压缩的角度展开研究也成为缓解数据隐私泄露风险的一个新思路。

目前,常见的梯度压缩策略包括稀疏化、量化、低秩近似、动量修正、本地梯度截断等。Hu 等人[71]提出的Fed-SPA 框架利用随机稀疏化为联邦学习方案引入了随机性,同时降低了共享更新对原始数据的敏感性,从而减少了每一轮通信的隐私损失。同时利用收敛加速技术进一步减少端到端隐私损失,以抵消稀疏化对算法的收敛速度和通信总轮数的影响。Wainakh等人[72]在使用交叉熵损失函数训练的深度神经网络模型中研究了以噪声梯度和梯度压缩实施防御的有效性。在局部代理共享梯度之前应用噪声梯度和梯度压缩方法,防止外部窃听者和好奇的服务器从更新梯度中推理样本标签,结果表明,梯度压缩可以有效地防止用户级的标签泄露,同时保持模型的精度。Pillutla等人[73]在执行聚合之前使中央服务器计算局部更新的坐标中值或坐标修剪平均值,以加强聚合过程的鲁棒性。

4.4 差分隐私

差分隐私(differential private)是一种基于扰动的隐私保护技术,通过在隐私数据中加入适当的随机噪声使个体信息发生混淆,从而达到防范推理攻击的目的,使攻击者无法从中获取准确的用户信息。具体定义如下:

其中,参数ε表示的隐私预算满足ε >0,决定算法A的隐私级别,如果对于所有数据集D和D′区别仅相差一条记录,则随机算法A(D) 满足ε-差分隐私。已有研究表明,将差分隐私应用于聚合全局模型可以提高模型对投毒攻击的鲁棒性[74-75]。

常用的差分隐私机制包括高斯机制、指数机制、拉普拉斯机制等,其中高斯机制由于其数学推理和隐私计算分析都相对简单被广泛应用差分隐私算法中,Canonne等人[76]引入并分析了差异隐私背景下的离散高斯分布,在理论和实验上证明添加离散高斯噪声提供了与添加连续高斯噪声相当的隐私和精度保证。在一个端到端系统中,Kairouz 等人[77]在执行安全聚合之前适当地添加离散高斯噪声,建立了具有分布式差分隐私和安全聚合保证的高效的联邦通信系统。

当下,差分隐私技术已被广泛应用于隐私敏感领域用于提高联邦学习方法的安全性,如在分布式医疗保健数据研究中,Choudhury 等人[78]利用了基于目标扰动的差分隐私在模型的目标函数中添加噪声,以产生扰动目标的最小化器,获得一个差分近似,该方法在医疗保健数据中提供接近于集中学习的模型性能。然而实验也反映出了另一个问题,差分隐私虽然能够提供了很强的隐私水平,但在分布式联邦学习训练过程中,添加了过量的噪声可能导致全局模型的预测能力降低,弱化模型效能。因此,在后续的应用研究中仍需针对不同场景需求进行大量的实验验证,进一步实现隐私与效能的同步优化。Shi 等人[79]提出的DPFL 算法DP-fedsam 就结合锐度感知最小化优化器,通过裁剪本地更新和添加随机噪声来保护隐私,并利用梯度扰动来减轻DP 对模型的负面影响,使生成的局部模型具有更好的稳定性和鲁棒性。Lang 等人[80]提出了联合隐私增强和量化(JoPEQ)方法,利用了基于随机格的矢量量化,通过专用的多元隐私保护噪声增强模型更新来增强隐私,根据所需的速率量化数据,在保持隐私水平的同时不对模型效能产生显著的负面影响。

4.5 知识蒸馏

知识蒸馏(knowledge distillation)基于一种教师-学生架构,通过匹配教师模型与学生模型的软目标优化模型(如公式(16)),在拟合预测结果的同时迁移模型泛化能力,常被用于进行模型压缩,将性能更好的大模型作为监督信息来辅助构建一个轻量级的小模型。

将知识蒸馏应用于联邦学习设置中,利用来自局部代理的本地模型输出的软判决来训练全局模型,以聚合知识细化服务器模型代替直接聚合他们的模型参数,可以解决梯度引起的一系列安全问题,降低了隐私风险和成本,此外利用知识蒸馏进行全局模型聚合弱化传统联邦学习中对于多方模型完全同构的需求,能够更好地适应不同局部代理的系统性能和任务需求。

目前,这一技术已经在医疗健康领域实现了应用性研究,为了在推动智慧医疗发展的同时保护患者隐私,Sui等人[81]提出了基于联邦学习的保护隐私的医学关系提取模型,即FedED,利用了一种基于知识蒸馏的策略,由局部代理上传局部模型预测来训练全局模型,代替了传统方法中的复杂参数交互,在克服联邦学习中的通信瓶颈的同时减小了由推理攻击带来的隐私泄露风险。

此外,为进一步提高方法性能,Zhu等人[82]基于知识蒸馏方法提出了FEDGEN 框架,利用生成器获取局部代理模型预测规则并将生成器广播给用户,用户通过生成器获得从其他局部代理那里提炼出来的知识,利用给定目标标签生成与预测集分布一致的样本作为增强样本,辅助全局模型训练。同时,服务器学习一个轻量级生成器,以无数据的方式集成局部代理信息,然后再对系统中的所有节点进行广播,在本地使用学习到的知识作为归纳偏差来调节局部训练。Zhang等人[83]开发一种知识蒸馏方法,对无标签样本生成训练标签,利用一种基于密度的聚类算法来进行目标关联,并开发了一种动态权重调整算法自适应地融合目标信息,并以融合模型作为联邦知识蒸馏中的教师模型来训练全局模型。

4.6 区块链

传统联邦学习方法可以在不直接暴露其底层数据的情况下,通过协调多方局部代理训练共享的人工智能模型,从形式上享有较大的数据安全增益。然而这一方法并不能完全保障信息交互过程中的安全问题,目前的系统中仍然存在一些问题:首先,需要完全可信的聚合服务器来协调多方资源进行模型聚合;其次,将学习参数传输到聚合服务器很容易受到单点故障问题影响从而导致整个系统的破坏;第三,由于联邦学习中的局部代理节点众多,分布广泛,具有较高的扩展性单个服务器难以聚合所有更新。为了进一步实现联邦学习系统的安全性和可扩展性,许多研究将联邦学习机制与区块链技术相结合,以去中心化形式保障数据和系统的安全性。

与区块链相结合可以在不需要任何中央服务器的情况下,实现分布式的联邦模型训练。Kang等人[84]针对区块链在联邦系统中实际应用问题,提出了一个区块链授权的安全联邦边缘学习系统,该系统由主链和子链共同组成分级区块链框架,通过单独管理局部更新或模型共享记录来实现可扩展的去中心化联邦边缘学习。Chang等人[85]提出了一种基于区块链的智能医疗联合学习方法,利用边缘节点维护区块链以抵抗单点故障,并设计了一种自适应差分隐私算法来保护数据隐私和基于梯度验证的共识协议来检测中毒攻击。Chen 等人[86]提出了一种具有高效性能的隐私保护和可跟踪的联邦学习框架PPTFL,利用一种分层聚合联邦学习(HAFL),以低开销保护隐私,适用于工业物联网场景,将联邦学习与区块链和IPFS 相结合,使参数可跟踪和防篡改。经众多实践研究表明,联邦学习技术和区块链的集成可以形成一种新的范式,通过改变数据交互方式将集中式联邦学习网络转换为分散的、安全的、强隐私的去中心化联邦学习系统。利用区块链技术特点,为联邦边缘学习系统提供安全、可追溯、不可篡改的数据存储,对应对联邦系统中的安全和隐私风险开辟了思路,在后续研究中,进一步解决区块链中吞吐量、共识延迟等问题对于实现联邦区块链的大规模应用具有重要意义。

4.7 其他方法

在此前的研究中,对解决联邦学习系统安全问题的众多主流方法进行了系统性概述。然而,除上述已经引起关注和研究的方法外,许多专家学者针对特定的需求,从不同的角度考虑了联邦系统的安全风险并提出解决方案。本节对此类方法的思想进行了具体描述。在文献[87-92]中,从通信轮数考虑对单轮联邦学习展开研究。如在知识迁移的基础上进一步扩展,通过知识聚合使中央服务器在一轮通信中通过联邦设备网络学习全局模型。Li 等人[90]设计了一个两层知识转移框架FedKT,可以应用于任何分类模型的一次性联邦学习算法,通过单轮联邦学习很大程度上降低了对当事各方稳定性的要求。Kasturi 等人[91]通过在局部服务器计算本地数据分布参数及其模型参数,提取数据集特性并将这些分布参数传输到聚合服务器,聚合服务器使用接收到的分布参数生成人工数据,创建代理数据语料库,并根据这个生成数据计算全局模型。以上单轮联邦学习方法在保证模型精度的同时,通过减少模型训练过程中交互次数减小信息暴露面,强化了系统的安全性同时减少通信负载。Xiong等人[92]从多个局部代理函数构建全局训练目标,这使服务器能够获得更全局的损失视图。在每个客户端构建综合数据集,通过分布匹配从原始数据中局部匹配损失情况。通过传输更多信息和更小的合成数据,减少了通信轮数,提高了模型质量。

此外,Lebrun等人[53]提出了一种新的隐私保护服务以对抗来自恶意服务器的推理攻击,防止恶意服务器利用更新进行属性推理。在将局部模型发送到聚合服务器之前对模型的各层进行混合,可以在不降低聚合模型精度的情况下防止更新中泄露的属性。同时,这种混合策略不会影响服务器执行的模型聚合的结果及协作学习的模型的效用。

Liu 等人[93]提出了一个卷积神经网络-长短期记忆(convolutional neural network-long short term memory,CNN-LSTM)模型来准确地检测异常,从而提高模型泛化能力。CNN-LSTM模型使用CNN单元来捕获细粒度的特征,并保留了LSTM单元在预测时间序列数据方面的优势。Lee等人[94]针对隐私问题提出了一种消化神经网络,使用一个附加于联邦系统的独立神经网络实现安全有效的训练。每个局部代理基于拥有的数据通过该网络训练联邦模型,消化神经网络对输入数据进行修改,从而扭曲更新,最大限度地提高模型的分类精度,同时使推理攻击的精度最小化。与差分隐私模型相比,该方案具有较高的分类精度和攻击成功率,其性能在FedAvg和FedSgd协议上均表现出高性能和可扩展性。

4.8 小结

在本章中,对上文所提到的联邦学习中潜在威胁的保护方案进行了详细的分析总结,并在表2中对其关键原理进行描述以作比对。上述方案均已在系统安全和敏感信息保护上取得较好的效果,具体来说,安全聚合用于限制模型聚合过程中对于模型和数据的可知度;同态加密以加密计算的思想保护通信和聚合过程中的信息安全;梯度压缩和差分隐私通过对交互参数进行处理弱化对原始数据的敏感度;知识蒸馏以一种新信息交互方法应对模型梯度引起的一系列安全问题,同时提高了模型的泛化能力;区块链利用其不可篡改性和去中心化的特点保证了联邦系统的可靠性;此外的其他研究中也从减小通信轮数、优化网络结构等方向对保证联邦系统的安全性与可靠性进行了探索并取得了有效的成果。总之,以上技术的都是用于优化联邦学习系统的关键技术,其特点各不相同,在实际应用中需要根据真实情况和具体场景选择更为合适的方法,来保证联邦学习系统和数据的安全性。

5 挑战与展望

联邦学习为解决大规模分布模型训练的数据安全和隐私问题提供了新的发展方向。通过制定一个分布在多个局部代理之间的神经网络模型的多轮训练策略,实现分散数据资源整合。目前,联邦学习技术正处于快速发展阶段,针对不同的应用场景国内外已经进行了大量的研究并形成了FATE、PySyft、TTF、PaddleFL等针对不同应用场景的开源框架[95]。

联邦学习作为机器学习和大数据使用的新范式为数据的使用提供了新思路,目前已在诸多行业实现大规模商业落地,然而现有的联邦学习框架仍存在诸多安全风险。针对联邦学习技术中的安全问题,本文总结了以下几点挑战与展望。

(1)训练效率、可用性与安全性权衡

模型训练效率、可用性与安全性的权衡是联邦学习未来发展的关键问题。基于加密技术的安全策略保证了通信、计算过程的安全性,同时也带来了大量的附加计算,特别是在多方代理样本存在较大差异,需要进行多轮迭代时,大大影响了模型训练效率;利用梯度压缩、差分隐私等方法对多方代理上传数据进行处理计算量相对较小,但从一定程度上影响了模型精度;利用生成网络对数据进行增强大大提高了模型的可用性,与此同时也产生了大量的额外计算,增加了训练载荷并不适用于计算资源有限的小型移动设备;此外其他方法也大多存在效率、可用性与安全的权衡,寻找三者之间的平衡需要综合考虑实际应用中各方需求,如局部设备计算资源、模型性能预期,行业对数据安全的敏感度等,以寻求更优的应对策略。

(2)多种方法相结合的通用性框架

联邦学习是近些年研究的一大热点,技术框架、应用研究层出不穷,然而现有研究大多基于企业自身商业化需求或行业特点开展,尚未形成一套完整的、通用的、安全的联邦学习框架。文章对多种安全方法进行分析,其中加密方法保障数据计算过程中的机密性,然而其加密过程涉及大量计算;差分隐私机制通过添加随机噪声实现信息保护,然而扰动机制可能会对模型的精度造成影响;区块链技术具有去中心化、安全可信、不可篡改等特征,能够为识别恶意攻击提供数据保证,但由于自身与性能限制难以支持大规模数据传输等。在下一步研究中,考虑将多种技术进行结合,实现优势互补,全面提高模型性能。

(3)大量中间通信的安全隐患

联邦学习采用大规模分布式方法,在模型训练中涉及频繁的数据交互,不可避免地产生了巨大的通信代价,同时伴随着严重的安全隐患。目前联邦学习框架大多基于FedAvg、FedProx 等算法开发,需要通过多轮迭代得到收敛模型,在大规模异构数据的应用场景中存在不可忽视的局限性。文章提到的研究中已有针对多轮数据交互这一问题进行改善,通过知识聚合使训练全局模型实现单轮联邦学习,然而此类研究尚未实现应用落地,在后续研究中要求研究者继续结合实际应用场景开展研究,尽可能减少训练过程中的额外交互,在保证模型可用的情况下从通信环节减小攻击面,避免信息泄露风险。

6 结束语

数据安全问题是大数据使用和人工智能发展中的一大痛点,联邦学习技术的出现为规范数据使用、推动智能化提供了新思路,然而要真正满足公众和行业对数据安全的要求、应对系统内外部风险、实现安全联邦学习,还有诸多问题有待解决,需要进一步推进技术创新,从多维度减轻内外部不稳定因素对于全局模型的影响。文章对系统安全性风险进行了分析,总结了现有的攻击策略,针对联邦架构的新型解决方案进行了概括总结,并对该领域未来发展进行展望,为联邦学习安全性问题的研究发展提供参考。

猜你喜欢
联邦全局代理
Cahn-Hilliard-Brinkman系统的全局吸引子
量子Navier-Stokes方程弱解的全局存在性
一“炮”而红 音联邦SVSound 2000 Pro品鉴会完满举行
303A深圳市音联邦电气有限公司
代理圣诞老人
落子山东,意在全局
代理手金宝 生意特别好
复仇代理乌龟君
新思路:牵一发动全局
20年后捷克与斯洛伐克各界对联邦解体的反思