联邦学习中的安全与隐私问题综述

这篇文章是2021年发表在《Future Generation Computer Systems》上的一篇关于联邦学习安全与隐私问题的综述，以下是自己的重点总结。
论文链接：《A survey on security and privacy offederated learning》

我只总结了联邦学习中的安全和隐私问题，文章的其余部分没有总结，
详细总结的见：联邦学习中的安全与隐私问题综述

4 联邦学习安全性

调查以下有关 FL安全方面的研究问题：
• RSQ1：FL 生态系统中的漏洞来源是什么？
• RSQ2：FL 域中存在哪些安全威胁/攻击？
• RSQ3：与分布式机器学习解决方案相比，FL 面临哪些独特的安全威胁？
• RSQ4：FL 安全漏洞的防御技术有哪些？
在以下部分中，根据每个研究问题讨论结果，并对当前工作的优点和缺点进行分析。

4.1 问题1：FL生态系统的漏洞来源是什么？

对FL流程中的漏洞来源进行了分类。 结果表明，下面列出的五种不同来源可以被视为利用的弱点。

• 通信协议：FL对随机选择的客户端实施迭代学习过程，其中涉及给定网络上的大量通信。FL 方法建议采用混合网络，该网络基于公钥加密技术，可在整个通信过程中保持源和消息内容匿名。由于FL的训练轮次较多，非安全通信通道是一个开放漏洞。
• 客户端数据操作：在更大的环境中，FL 有许多客户端可供攻击者利用模型参数和训练数据。对全局模型的访问可能更容易受到数据重建攻击。
• 受损的中央服务器：中央服务器应该稳健且安全，中央服务器负责共享初始模型参数、聚合本地模型以及向所有客户端共享全局模型更新。应检查为此作业选择的基于云的服务器或物理服务器，以确保服务器的开放漏洞不会被好奇的攻击者利用。
• 较弱的聚合算法：聚合算法是中央权威。换句话说，作为本地模型的更新，它应该能够智能地识别客户端更新的异常，并且应该具有丢弃来自可疑客户端的更新的配置。未能配置标准化聚合算法将使全局模型容易受到攻击。
• FL 环境的实施者：参与 FL 实施的架构师、开发人员和部署人员团队可能有意或无意地成为安全风险的来源。 由于对什么是敏感用户数据和什么不是敏感用户数据的混淆或缺乏了解可能是违反安全和隐私的原因。 实施者的风险可能是由于他们没有采取适当的措施来扫描敏感数据并计划其使用，在征得用户同意数据使用的同时隐藏事实。

4.2 问题2：FL域中存在哪些安全威胁/攻击？

威胁/攻击是指恶意/好奇的攻击者利用漏洞影响系统安全并违反其隐私策略的可能性。恶意代理利用漏洞 [99] 来控制一个或多个参与者（即客户端），以最终操纵全局模型。安全威胁/攻击涉及中毒、推理、后门攻击、GANS、系统中断IT停机、恶意服务器、通信瓶颈、搭便车攻击、不可用性、窃听、与数据保护法的相互作用。

4.2.1 中毒

FL 中最有可能发生的攻击被称为中毒 ，因为 FL 中的每个客户端都可以访问训练数据，因此将篡改数据权重添加到全局 ML 模型中的可能性非常高。 中毒可能发生在训练阶段，并可能影响训练数据集或本地模型，进而/间接地篡改全局 ML 模型的性能/准确性。在FL，模型更新来自大量客户。也就是说，来自一个或多个客户的训练数据的中毒攻击的可能性很高，威胁的严重性也很高。中毒攻击针对 FL 过程中的各种工件。 接下来我们简单介绍一下中毒攻击的分类：

1. 数据中毒
FL中的数据中毒被定义为生成脏样本来训练全局模型，希望产生伪造的模型参数并将其发送到服务器。数据注入也可以被视为数据中毒的一个子类别，其中恶意客户端可能将恶意数据注入客户端的本地模型处理中。因此，恶意代理可以控制多个客户端的本地模型，并最终用恶意数据操纵全局模型。

2. 模型中毒
在数据中毒中，恶意代理旨在使用虚假数据操纵全局模型，而在模型中毒中，恶意代理直接针对全局模型。最近的研究表明，模型中毒攻击比数据中毒攻击更有效[100,104,105]。 事实上，当一个有很多客户端的地方有大规模的 FL 产品时，模型中毒攻击的有效性往往会上升。一般来说，在模型中毒攻击中，恶意方可以在将更新后的模型发送到中央服务器进行聚合之前对其进行修改，从而导致全局模型很容易被中毒。

3. 数据修改
数据篡改/修改攻击可能涉及更改/改变训练数据集，例如特征冲突[106]，它合并数据集中的两个类，试图欺骗机器学习模型，使其始终对目标类进行错误分类。有些技术包括简单地将另一个类的阴影或图案添加到目标类中，这可能会混淆 ML 模型。另一种技术是对训练数据集进行随机标签交换。数据注入和数据修改攻击可以被视为 FL 中的一种 ML 数据中毒攻击 [107]。

4.2.2 推理

推理攻击更多的是对隐私的威胁（如第 5.1 节所述），但我们将其包含在此处是为了对 FL 中的威胁进行总体比较。 推理攻击的严重性与投毒攻击非常相似，因为在 FL 过程中，来自参与者或恶意中心化服务器的推理攻击的可能性非常高。

4.2.3 后门攻击

与后门攻击相比，投毒和推理攻击更加透明。 后门攻击是一种将恶意任务注入现有模型，同时保留实际任务准确性的方法。识别后门攻击既困难又耗时，因为实际机器学习任务的准确性可能不会立即受到影响。[92,100] 中的作者对如何实施后门攻击进行了实验。此外，[108,109] 中的作者建议将模型修剪和微调作为减轻后门攻击风险的解决方案。后门攻击的严重性很高，因为需要花费大量时间来识别攻击的发生。此外，该攻击的影响很大，因为后门攻击能够混淆 ML 模型并自信地预测误报。木马威胁[100,110–113]是一类类似的后门攻击，它们试图保留机器学习模型的现有任务，同时以隐形模式执行恶意任务。

4.2.4 GANS

许多研究人员已经对 FL 中基于 GAN 生成对抗网络的攻击进行了实验和分析 [114]。 由于能够发起投毒和推理攻击，基于 GAN 的攻击对给定系统的安全和隐私构成了威胁，更多内容将在 5.1.3 节中讨论。 [115]中的研究工作展示了如何使用 GAN 通过推理来获取训练数据，并使用 GAN 来毒害训练数据。由于无法预见基于 GAN 的威胁的所有可能性，因此它被归类为高影响力和优先威胁。有关基于 GAN 的攻击的更多信息可以在 [116,117] 中找到。

4.2.5 系统中断IT停机

生产系统停机是信息技术 (IT) 行业不可避免的威胁。 人们经常观察到，由于后端服务器上计划外或计划内的活动，高度配置和安全的应用程序需要进入停机阶段。 在 FL 中，这种威胁的严重性较低，因为我们在每个客户端节点上都有本地-全局模型，并且训练过程可以在中断后恢复。 即使严重程度较低，这也是一个相当大的威胁，因为停机可能是一次精心策划的攻击，目的是从 FL 环境中窃取信息。

4.2.6 恶意服务器

在跨设备FL中，大部分工作是在中央服务器完成的。 从选择模型参数到部署全局模型。 受损或恶意的服务器会产生巨大的影响，诚实但好奇或恶意的服务器可以轻松提取私人客户端数据或操纵全局模型，以利用共享计算能力在全局 ML 模型中构建恶意任务。

4.2.7 通信瓶颈

在 FL 方法中，通过传输经过训练的模型而不是发送大量数据来降低通信成本，但我们仍然需要保留通信带宽。很少有基于模型异步聚合的算法[1,78,118]，也很少有策略即使在低通信带宽下也能表现良好。 这种威胁的严重性很高，因为通信瓶颈可能会严重破坏 FL 环境。

4.2.8 搭便车攻击

很少有客户端扮演被动角色，连接到环境只是为了利用全局 ML 模型的优势，而不参与训练过程。此类被动客户端还可能插入虚拟更新，而无需使用本地数据训练 ML 模型。 [121] 中的研究工作探讨了 FL 环境中的搭便车攻击，并提出了使用自动编码器 [122] 来识别搭便车者的异常检测技术的增强版本。这种攻击的影响在较小的 FL 环境中会更大，因为缺乏客户参与可能会对全局模型训练产生负面影响。由于该攻击发生的概率较低，因此该攻击的严重程度为中等。

4.2.9 不可用性

训练过程之间客户的不可用或退出可能会在训练全局模型时产生低效的结果。 这类似于搭便车攻击，但在这种情况下，由于网络问题或任何其他意外障碍，客户端无意中错过了参与训练过程。 这种威胁的严重性为中等，因为概率较低，并且可以选择可以异步工作的聚合算法。

4.2.10 窃听

在 FL 中，我们有一个学习过程的迭代，其中涉及从客户端到中央服务器的通信轮次。 攻击者可能会通过较弱的通信通道（如果存在）窃听并提取数据。窃听可以被认为是攻击 FL 模型的中等严重威胁，因为黑盒模型通常很难攻击。 攻击者宁愿接管安全性较弱的客户端，因为该客户端很容易提供模型参数和白盒全局模型。

4.2.11 与数据保护法的相互作用

这种威胁发生的可能性很低，因为配置 FL 环境的数据科学家会确保全局模型的部署在向所有客户投入生产之前得到充分分析。该威胁的严重性较低，但仍然是一个相当大的威胁，因为 FL 中有意或无意的错误配置可能会导致安全漏洞。

4.3 问题3：与分布式机器学习解决方案相比，FL面临哪些独特的安全威胁？

从体系结构的角度来看，DML 与 FL 有一些共同的属性，并且有研究工作解决 DML 中的安全和隐私问题。 然而，FL 与现有 DML 解决方案不同，默认情况下具有更高的安全性和隐私级别。 本节旨在讨论 FL 的独特威胁以及 FL 和 DML 之间共享的常见威胁。

图 7 直观地显示了威胁的严重程度。 严重性是根据对手利用漏洞并发起威胁的概率计算的。
中毒攻击的严重程度最高。这可能是由于全局模型可能受到许多来源的毒害，例如本地模型更新、恶意服务器等。 威胁的可能性越高，攻击对 FL 的影响就越大。 与中毒威胁类似，推理威胁具有很高的严重性，因为它可以启动的漏洞来源相当多样化。 后门攻击的威胁也更加严重，因为这种攻击很难识别，而且其影响有可能破坏全局模型的真实性。 基于 GAN 的攻击也具有很高的严重性，因为它们具有不可预测性并且能够影响用户数据的安全和隐私。 由于云/物理服务器的开放漏洞，恶意服务器威胁的严重性更高。 系统中断和 IT 停机被标记为低严重级别，因为每个客户单独持有全局模型的影响会较小。 FL 中的沟通瓶颈是一个经过深入研究的话题，因为它可能会成为学习过程中的一个障碍。在 FL 环境中，这种威胁的影响和优先级始终被认为很高，大量客户在学习过程的每次迭代中发布更新。搭便车威胁的影响被设置为中等，因为这种情况在较少的情况下是可能的，并且其影响并不严重，因为无论如何，学习过程仍在与其他客户一起进行。不可用性可能会停止学习过程，因为聚合算法无法稳健地处理丢失，威胁的影响被标记为中等，因为存在旨在处理丢失的算法[66]。 窃听也具有中等严重性和优先级。 这样做的原因是，从对手的角度来看，通过通信渠道窃听将是窃取信息的最不优选的方式，因为可以选择接管客户端并获取随时可用的训练数据集、全局模型参数和全局模型本身。 与数据保护法的相互作用可能是 FL 环境的实施者有意或无意地创建的一个初始漏洞，并且由于可能性较小且可纠正，因此影响很小.

4.4 问题4：FL的安全漏洞防御技术有哪些？

防御技术有助于防范已知攻击并降低风险发生的可能性。防御分为主动防御和被动防御两种。主动防御是一种猜测与之相关的威胁和风险并采用具有成本效益的防御技术的方法。 被动防御是在识别攻击后完成的工作，并且是缓解过程的一部分，其中防御技术作为补丁部署在生产环境中。
还存在其他研究工作来通过新的附加技术/算法来增强 FL 安全能力。增强的例子是将 FL 与区块链等一项更成功的技术相集成 [128]。许多研究工作[129-131]的目标是将FL与**一种更去中心化的应用程序（主要是区块链）**相结合，它提供了一个不可变的分类账来保存和持久化信息。在FL，区块链技术的使用主要有两个目的。一是为全局机器学习模型的主要贡献者提供激励，作为从客户那里获得更多贡献者的动力。第二个目的是在区块链账本上保存全局模型参数、权重，以确保全局机器学习模型的安全性。在[129,130]中，作者演示了如何通过使用区块链技术来实现联盟客户端之间的协调和信任。

表 2 总结了当前的 FL 防御技术及其缓解的威胁类型。
安全威胁/攻击的防御技术主要涉及Snipper、知识蒸馏、异常检测、移动目标防御、联合多任务学习、可信执行环境(TEE)、数据清理、Foolsgold、剪枝、PDGAN、Secureboost 框架。
1. Sniper
不同的中毒攻击，包括数据和模型中毒攻击，已经在 FL 的集中环境中进行了很长时间的调查。然而，只有少数作品探索分布式环境中的中毒攻击，其中具有相同攻击目标的多个恶意参与者旨在将中毒的训练样本合并到训练过程中。尽管看起来分布式投毒攻击在 FL 中是一个更大的威胁，但与传统的单个攻击者投毒相比，多个攻击者分布式投毒的有效性仍不清楚。 最近，[136]的作者提出了 Sniper 方法，即使涉及多个攻击者，它也可以识别合法用户并显着降低投毒攻击的成功率。

2. 知识蒸馏
它是模型压缩技术的一种变体，其中经过充分训练的神经网络将需要完成的知识逐步转移到小模型中。 知识蒸馏节省了训练模型所涉及的计算成本。FL 可以利用仅共享知识而不是模型参数的概念来增强客户端数据的安全性。[137] 中的作者提出了一种联合模型蒸馏框架，该框架提供了使用个性化 ML 模型的灵活性，使用翻译人员收集知识并与每个客户共享。

3. 异常检测
通常利用统计和分析方法来识别不符合预期模式或活动的事件。 有效的异常检测系统需要正常行为或事件的概况，以将攻击检测为与正常行为概况的偏差。 在FL环境中，可以使用不同的异常检测技术来检测不同的攻击，例如数据中毒、模型中毒或木马威胁。例如，[139] 中的作者建议Auror通过在聚合步骤之前对每个客户端更新执行集群操作来防御恶意客户端更新。这有助于检测恶意客户端的更新。[138]中利用欧几里得距离作为 Krum 模型来检测来自每个客户端的输入参数的偏差。在一项类似的工作中，[147] 中的作者讨论了识别来自FL客户端的异常更新。[105, 148] 中提出了使用自动编码器进行异常检测防御，这有助于识别恶意本地模型更新。[148]中的研究工作使用带有变分自动编码器的光谱异常检测[149-151]。此外，[105]中的研究工作提出了LFR（基于损失函数的拒绝）和 ERR（基于错误率的拒绝（ERR）。

4. 移动目标防御
移动目标防御定义为一种部署随时间不断变化的不同机制和策略的方法，以增加攻击者的成本和复杂性。移动目标防御还可以提高系统弹性，同时限制系统漏洞的泄露和攻击机会。移动目标防御是同类产品中最好的防御服务器级、网络级和应用程序级入侵的方法。它是一种主动防御架构，旨在掩盖攻击者的漏洞来源。IP 跳跃、DNS ping 虚拟 IP 池等防御技术是移动目标防御技术的有效方法。[141] 中的作者讨论了网络级移动目标防御，以防止基于窃听的攻击。

5. 联合多任务学习
联合学习在考虑到本地数据隐私的情况下，在大量移动设备上协作训练机器学习模型。此设置还可以扩展到联合多任务学习环境，其中多任务学习驱动设备之间个性化但共享的模型。例如，[146]中提出的MOCHA框架旨在通过容错来加速学习过程，使其即使在设备掉落的情况下也能工作。该框架旨在解决 FL 环境中的高通信成本、落后者和容错问题等统计和系统挑战。他们的实验表明，该框架可以处理系统异构性的变化，并且对系统下降具有鲁棒性。

6. 可信执行环境(TEE）
可信执行环境(TEE) 通常被定义为用于执行代码的高级可信环境。该技术还被用于不同机器学习模型中的隐私保护，其中计算资源的私有区域针对特定任务被隔离[160]。这种方法也适用于计算资源非常有限的联邦学习。TEE 是一种防篡改处理环境，可为主处理器的安全区域中执行的代码提供完整性和机密性。[143] 中的作者讨论了这种主动防御技术。[144,161]中的作者提出了一个在联邦环境中使用 TEE 的框架。

7. 数据清理
首次提出的清理训练数据主要用作异常检测器，以过滤掉看起来可疑的训练数据点。[162,163] 最近的工作旨在通过利用不同的稳健统计模型来改进数据清理技术。在FL环境中，数据清理技术是针对数据中毒攻击的常见防御技术之一，然而，[164]报告中的工作表明，更强的数据中毒攻击有可能破坏数据清理防御。

8. Foolsgold
恶意客户端创建多个虚假身份并向中央服务器发送伪造的更新。 来自受损客户端的此类攻击可能会破坏 FL 环境的安全性和真实性[145] 中的作者提出了一种 Foolsgold 方法，该方法可以有效抵御基于 Sybil 的攻击（Sybil 女巫攻击）、标签翻转和后门中毒攻击。

9. 剪枝
这是 FL 中的一项技术，可最小化 ML 模型的大小，以降低复杂性并提高准确性。 在 FL 中，客户端的计算能力和通信带宽相对较低。 当我们在 FL 环境中训练大型深度神经网络时，问题就会出现，因为与大型数据中心中的机器相比，客户端通常具有相对较低的计算能力和通信带宽。 为了解决这些问题，[108,109]中的作者提出了一种修剪技术。 由于这种方法不需要共享成熟的模型，因此有助于更有效地解决后门攻击和通信瓶颈。

10. PDGAN
基于GAN的FL安全防御技术，它是在[165]中提出的，以帮助防御来自 FL 恶意客户端的数据中毒攻击。

11. Secureboost 框架
一种使用垂直联邦学习方法的防御技术，如[166]中提出的，称为 Secureboost 框架，它基于梯度提升树算法。

5 联邦学习中的隐私

本节致力于探讨联邦学习技术中存在的隐私问题以及当前的相关成果，希望为其未来的发展提供更多的见解。
除了动机和既定目标外，本节还特别旨在回答以下特定于隐私的研究问题9：
•RPQ1：FL 域中的隐私威胁/攻击有哪些？
• RPQ2：有哪些技术可以缓解 RPQ1 中已识别的威胁并增强 FL 的一般隐私保护功能？
• RPQ3：与分布式机器学习解决方案相比，FL 面临哪些独特的隐私威胁？
• RPQ4：RPQ2中确定的隐私保护技术的相关成本是多少？
在接下来的部分中，我们将根据对 FL 领域所有当前工作进行彻底分析而获得的每个研究问题来讨论结果。

5.1 问题1：FL域中的隐私威胁/攻击有哪些？

对手可以根据每个参与者上传的参数部分泄露原始训练数据集中的每个参与者的训练数据。FL 中的此类关键威胁可以归纳为不同类别的基于推理的攻击，FL的隐私威胁/攻击涉及成员推理攻击、无意的数据泄露和通过推理重建、基于GAN的推理攻击。

5.1.1成员推理攻击

推理攻击是一种推断训练数据细节的方法。成员推理攻击的目的是[167]通过检查训练集上是否存在数据来获取信息。攻击者滥用全局模型来获取其他用户的训练数据信息。在这种情况下，训练数据集上的信息是通过猜测和训练预测模型来推断原始训练数据的。[107]中的作者探讨了神经网络记忆训练数据的脆弱性，该脆弱性容易受到被动和主动推理攻击。

5.1.2 无意的数据泄露和通过推理重建

是来自客户端的更新或梯度在中央服务器泄漏无意的信息的场景。[168]的作者利用无意的数据泄露漏洞，通过推理攻击成功重建了其他客户端的数据。
[117]中的研究工作探索了如何使用基于 GAN 的推理攻击无意中泄露来自诚实客户的私人数据。咨询客户端使用 GAN 生成与训练数据类似的数据，并从FL的其他客户端检索敏感信息。[169]中的恶意/好奇客户端使用全局模型和参数来重建其他客户端的训练数据。

5.1.3 基于GAN的推理攻击

GAN 是生成对抗网络，近年来在大数据领域广受欢迎，也适用于基于 FL 的方法。 特别针对 FL，[114] 中的作者提出了mGAN-AI 框架来探索基于 GAN 的 FL 攻击。 mGAN-AI攻击在 FL 环境的恶意中央服务器上进行实验。它探索了来自恶意服务器的攻击针对联邦学习的用户级隐私泄露。mGAN-AI 框架的被动版本分析所有客户端输入，主动版本通过仅向隔离实例发送全局更新来隔离客户端。使用mGAN-AI 框架进行推理攻击可以获得最高的准确度，因为它不会干扰训练过程。
然而，FL 客户端中可能存在潜在的对手，他们可能会使用旧的本地数据作为贡献，只是为了换取全局模型。 在获得全局模型后，他们可以使用推理技术来推断其他客户的信息。 由于对客户资料和声誉的了解有限，此类行为很难区分。此外，仅参数更新的协作训练也使得 FL 服务器难以评估每个客户端贡献的效果。

5.2 问题2：有哪些技术可以减轻问题1中已识别的威胁并增强FL的一般隐私保护功能？

本节介绍针对已识别的隐私威胁的缓解策略。在客户端设备级别保留数据的方法是 FL 的主要内置隐私功能。FL 中增强隐私保护和减轻威胁技术涉及安全多方计算 (SMC) 、差分隐私 (DP)、verifyNet和对抗性训练。

5.2.1 安全多方计算

安全多方计算（SMC）的概念，也称为 MPC，最初是为了保护多方共同计算模型或函数时的输入,FL中只需要对参数进行加密，而不需要大量的数据输入，计算效率大大提高。这一性能特点使 SMC 成为 FL 环境中的首选，基于 SMC 的解决方案还存在一些挑战。主要挑战是效率和隐私之间的权衡。
基于 SMC 的解决方案比典型的 FL 框架需要更多的时间，这可能会对模型训练产生负面影响。这样的问题在数据新鲜度感知训练任务中会更加严重，因为更长的训练时间意味着数据价值损失。此外，如何为FL客户端设计轻量级的SMC解决方案仍然是一个悬而未决的问题。

5.2.2 差分隐私

DP的主要概念是通过向个人敏感属性添加噪声来保护隐私[174]。因此，每个用户的隐私都受到保护。同时，与增加的隐私保护相比，每个用户增加的噪声造成的统计数据质量损失相对较低。在FL中，为了避免逆向数据检索，引入了DP来为参与者上传的参数添加噪声。[175]中提出了 DPGAN 框架，它利用 DP 使基于 GAN 的攻击在推断深度学习网络中其他用户的训练数据时效率低下。同样，还有针对 FL 特定环境的 DPFedAvgGAN 框架 [176]。[177] 中的作者解释了 DP 的优点以及 DP 属性的定义，例如随机化、组合，并举例说明了多智能体系统、强化学习、迁移学习和分布式 ML 中的 DP 实现。[172,178]中的两项工作结合了安全多方计算和差分隐私，以实现高精度的安全 FL 模型。[179]中的作者通过将混洗技术与DP相结合，并使用隐形斗篷算法屏蔽用户数据，提高了FL模型的隐私保证。然而，此类解决方案给上传参数带来了不确定性，并可能损害训练性能。此外，这些技术使得 FL 服务器更难以评估客户端的行为以计算收益。

5.2.3 verifyNet

verifyNet 是一个隐私保护和可验证的 FL 框架。它被列为保护隐私的首选缓解策略，因为它提供了双重屏蔽协议，使攻击者很难推断训练数据。它为客户端提供了一种验证中心服务器结果的方法，保证了中心服务器的可靠性。除了提供安全性和隐私增强功能之外，VerifyNet 框架还能够强大地处理多个丢失问题。该框架的唯一问题是通信开销，因为中央服务器必须向每个客户端发送可验证的证明。

5.2.4 对抗性训练

对抗性训练是一种主动防御技术，从训练阶段开始就尝试攻击的所有排列，以使 FL 全局模型对已知的对抗性攻击具有鲁棒性。
[181] 中的作者讨论了如何通过对抗性训练使学习模型对攻击具有鲁棒性。评估结果表明，对抗性训练仍然容易受到黑盒攻击。 因此，他们进一步引入了集成对抗训练，这是一种通过扰动增强训练数据的技术。 对抗性训练提高了用户数据的隐私性，因为添加对抗性样本可以最大限度地减少通过推理泄露实际训练数据的威胁。
FEDXGB [182]：提出了针对 FL 的用户丢失和重建/泄漏私人训练数据问题的防御。FEDXGB 利用秘密共享技术，并提出了用于训练轮次的安全增强协议和用于对经过训练的全局模型进行安全预测的安全预测协议。
Anti-GAN 的技术：是基于 GAN 的防御技术，它有助于防止使用 WGAN [184,185] 生成虚假训练数据的推理攻击。这种情况发生在每个客户端节点，这使得从全局 ML 模型推断实际训练数据变得困难。
FedGP [186] ：提出了类似的在客户端节点生成虚假数据的防御技术，并稍加修改以允许数据共享而不是模型共享。

5.3 问题3：与分布式机器学习解决方案相比，FL面临哪些独特的隐私威胁？

FL 默认提供用户数据隐私，因此 FL 特有的隐私威胁非常少。
在带有参数服务器的 DML 解决方案中，发起推理攻击（如第 5.1 节中所述）以从其他客户端窃取信息将是最不受欢迎的方法，因为数据可以在参数服务器上或通过客户端的更新轻松访问。基于 GAN 的推理攻击（第 5.1.3 节中讨论）在 FL 环境中是可行的，但不太适合 DML 解决方案。 这使得基于 GAN 的推理攻击仅针对 FL。
在 FL 版本中，攻击者可以在聚合器服务器或客户端观察全局模型的更新，并尝试从其他客户端推断数据。在独立ML版本中，攻击者利用 BlackBox 推理来检索敏感信息。

5.4 问题4：问题2中确定的隐私保护技术的相关成本是多少？

每个附加增强功能都会带来一系列额外成本和影响，成本定义了由于实施的增强方法而产生的开销或后果。
安全多方计算和差分隐私增强了FL的隐私保护能力，但代价是准确性和效率方面的成本较高，异构环境中的DP对精度有负面影响
表 3 总结了本节讨论的隐私保护技术及其相关特征。

6 其他文献综述

• [197] 中的作者重点关注 FL 中的四个挑战，即昂贵的通信、系统异构性、统计异构性和隐私问题。作者提出了应对每个挑战的方法，但缺乏对FL 环境完整性可能破坏的深入分类；
• [198] 中的作者对现有的 FL 模型进行了分类，并提供了每个类别的摘要。FL的分类是根据数据隐私级别、机器模型、跨域的数据分区和 FL 的基本构建块来定义的。本文的重点仅限于从不同角度对 FL进行分类，并对隐私进行简要概述；
• [199] 中的另一项调查工作给出了 FL 在水平、垂直和迁移学习方法中的详细架构和实现以及相关用例，对FL 领域现有研究工作的定义和信息进行了很好的总结，并详细介绍了垂直联合学习方法中使用的加密技术的实现，但缺乏对 FL可能存在的风险的洞察；
• [200] 中提出的对移动设备中的 FL 的全面调查，它提供了对移动边缘网络中的 FL的见解，以及诸如通信成本、数据隐私和安全性以及特定于 FL 实现的移动物联网设备中的资源分配等问题；
• [201]在 FL 的 IoT特定实现中进行基于重要性的更新；
• [202,203]在 FL 的 IoT 特定实现中进行基于重要性的模型压缩；
• [204]中的研究工作重点关注FL的车辆物联网设备，并对该领域的最新成就和挑战进行了检查；
• [36] 广泛讨论了 FL中的开放问题，总结了 FL 的各种著作、方法和定义，并总结了开放的挑战/问题，并为研究人员进一步提高 FL 的效率提出了有趣的建议；
• [205]在 FL 中实现神经架构搜索（NAS），以解决少数客户端神经架构中的冗余问题，这可能会导致额外的计算；
• [206] FL特定的超参数优化，可以解决每轮训练中的通信效率和成本问题； [207]联合公平性以避免 FL 中的偏差 是未来研究的其他建议领域。

7 FL安全和隐私的未来方向

联邦学习面临一系列需要进一步研究的挑战，从零日对抗性攻击及其支持技术、可信的追溯性、使用API定义明确的流程、优化隐私保护增强和成本之间的权衡、在实践中构建FL隐私保护增强框架、FL中的客户选择和训练计划、不同ML算法的优化技术、训练策略和参数的愿景、易于迁移和生产化方面介绍了FL安全和隐私的未来研究方向。

7.1 零日对抗攻击及其支持技术

FL 当前的防御工作旨在防范已知漏洞和特定的预定义恶意活动，这使得它们在测试时在检测超出其设计参数的攻击方面不太有用。 尽管这种现象几乎适用于任何 ML 应用程序的防御机制，但在 FL 中这种可能性更大，因为我们在生产中没有很多版本可以证明各种攻击的可能性。目前使用先进深度学习取得的成就已经显示出对抗此类攻击的有前途的解决方案[208,209]。

7.2 可信的可追溯性

FL 的一个主要挑战是全局 ML 模型在底层 ML 流程的整个生命周期中的可追溯性。 例如，如果全局 ML 模型中的预测值发生更改，我们将需要具有向后跟踪能力来识别哪些客户端聚合值导致了该更改。如果机器学习模型行为背后的逻辑是一个黑匣子，那么我们就被迫失去对逻辑现实的控制，盲目依赖人造人工智能。有一些初步工作利用区块链技术[210-212]和 FL 来提供和跟踪全局 ML 模型 [129-131] 的交易更新，希望在深度学习 ML 模型中实现对训练过程的更透明的跟踪。

7.3 使用API定义明确的流程

FL 定义明确的流程是一种相当新的方法，需要对不同方法标记的所有优缺点进行详细分析。需要定义标准化技术来支持不同领域中 FL 的新兴需求。由于隐私是 FL 的关键因素，因此需要进行进一步的研究，重点是增强隐私和标准化每个要求的方法，并定义一个流程（使用通用 API）来实施此类增强的方法。

7.4 优化隐私保护增强和成本之间的权衡

当前的研究工作表明如何以牺牲效率或准确性为代价来增强 FL 中的隐私保护。 然而，目前还没有关于找到 SMC 的适当加密级别和添加噪声量的研究工作。如果加密级别或噪声量不够，参与者仍然面临隐私泄露的风险。相反，如果加密级别太高或参数中添加太多噪声，则 FL 模型的精度会降低。

7.5 在实践中构建FL隐私保护增强框架

目前有一些 FL 框架可用于实现基于 FL 的系统，例如 TensorFlow Federated、PySyft 和 FATE。 除了 PySyft 之外，目前还没有可以集成和执行 SMC 或 DP 的框架、库或工具箱。 因此，开发 FL 隐私保护增强框架可能是一个紧迫的研究方向，有利于学术研究和行业中 FL 的采用。

7.6 FL中的客户选择和训练计划

训练轮次客户选择的训练计划和策略在 FL 中至关重要。 [213] 中的研究工作提出了最佳方法，但仍然需要为 FL 中的每个 ML 算法用例制定标准化方法。

7.7 不同机器学习算法的优化技术

基于不同的ML算法，需要有预定义和标准化的优化算法来构建FL模型。有许多提议的聚合/优化算法建议优化或增强 FL，但仍然需要进行专门的研究，为所有当前的 ML 应用/用例提供 FL 特定的优化算法。这有助于 FL 未来的实施者/适配器轻松开发 FL 特定解决方案。

7.8 训练策略和参数的愿景

[214]中的研究工作提出了一种最佳策略，可以帮助中央服务器设置最佳触发点来停止/重新启动训练轮次。需要针对 ML 应用程序的不同模型和领域进行类似的研究工作，这有助于理解 FL 特定的超参数以及在 FL 训练轮次中配置的可能触发条件。 由于 FL 训练轮次需要时间、成本和计算消耗，因此具有设定最佳值的愿景将有助于建立强大且经济高效的 FL 解决方案。

7.9 易于迁移和生产化

值得注意的是，没有简单直接的方法来生产化 FL 环境。[215] 中的研究工作提出了在转向生产时需要考虑的许多因素，但是仍然需要制定完善的指南来在 FL 中实施新用例或将现有的 ML 环境迁移到去中心化 FL 方法。

8 结论

联邦学习是一种提倡通过去中心化学习在设备上进行人工智能的新技术。 FL 的提出是为了将机器学习的优势扩展到具有敏感数据的领域。在本文中，我们对 FL 环境中的安全和隐私成就、问题和影响进行了全面的研究。通过安全和隐私方面的评估和结果，我们希望提供新的视角，并引起社区对构建适合大规模采用的无风险 FL 环境的关注。通过未来方向部分，我们概述了FL需要深入研究和调查的领域。FL 是市场上相对较新推出的框架，需要进一步研究以确定适合不同 FL 环境风格的合适增强充值。