（6）为了评估在每个通信回合中允许部分物联网设备上传本地模型时，不同设备调度和更新聚合策略的性能，作者跨异构计算资源和训练数据分布在iid和非iid数据集上进行了实验。具体来说，设备调度策略包括随机调度、基于显著性的调度和基于频率的调度；更新聚合策略包括等权重聚合和年龄感知聚合。仿真结果表明，在非IID数据集上进行训练时，随机调度策略的性能优于其他策略。此外，适当的年龄感知聚合策略执行得更好。

3.2 加权聚合

为了减少陈旧设备或陈旧模型的影响，提高学习效率，许多论文提出了加权聚合的方法，其主要思想是设置一个跟踪参数，以减少陈旧局部模型的权重，同时增加聚合时最新局部模型的权重。

3.3 梯度压缩

梯度压缩是降低AFL中通信成本的一种重要方式。

3.4 半异步FL

在异步FL方案中，离散者上传的陈旧局部模型在一定程度上降低了全局模型的精度。为了缓解偏离的影响，提出了具有模型缓存算法的半异步FL方案。

3.5 Cluster FL

聚类FL是一种通过将相似、性能强的设备聚类在一起来提高训练效率的方法。通常，具有类似更新频率的节点被聚集在一起。组内更新采用同步更新策略，而组间更新则采用异步更新策略。

3.6 模型分割

在分割深度神经网络模型后，每个节点负责模型的一部分，而不是整个模型。模型分割策略减少了在特定时间需要传输的参数量，从而提高了通信效率。

四、数据异质性

在实际应用中数据通常是非独立同分布数据，此外每个节点上的数据是非平衡的。因此，如果某些节点频繁地上传数据可能会导致模型全局发散或者是过拟合。

4.1 非独立同分布数据（No-IID）

4.2 数据垂直分布

垂直分布是指不同的节点上具有相同的数据特征，由于全局模型的生成依赖于局部模型的连接，因此对局部模型的更新在很大程度上依赖于垂直FL中其他节点的数据。因此，这种特征分布的不平衡和模型依赖性的增加给AFL带来了挑战。

五、异构设备上的安全和隐私问题

虽然引入FL是为了保护局部训练数据的隐私，但对FL有一些新的攻击，导致隐私问题，如成员推理攻击、属性推理攻击、模型反演攻击、梯度攻击的深度泄漏。一些攻击，如中毒攻击或后门攻击，也对全球模式有害，是FL的主要安全挑战。当在异构设备上进行训练时，AFL成为这些类型攻击的目标，因为它是FL的一种变体架构。差异隐私和区块链是两种主流解决方案，以减轻异构设备上的隐私和安全风险的AFL.

5.1 差分隐私在异构设备上的应用

5.2 区块链在异构设备上的应用

六、异构设备相关应用

6.1 智能交通

6.2 智能工业

七、潜在研究方向

7.1 设备异质性

Optimization towards a balance between performance upgradation v.s. time consumption.
Optimization towards a generalized AFL solution
Optimization towards dynamic resource allocation for AFL

7.2 数据异质性

优化异构数据的分布，比如进行局部独立训练、个性化局部训练和聚类训练（基于数据的聚类训练是一个很有前途的研究方向），或者基于数据分布相似度进行聚类。
优化异构数据的大小。节点之间的数据集大小通常是不平衡的，因为在AFL的大多数应用场景中，每个节点都会收集自己的本地数据。即使所有节点都有相同的计算资源，节点的不平衡数据集会导致局部模型更新频率的变化。
优化垂直数据的分布。垂直数据分布在几种经济场景中很常见，其中每个节点拥有数据集的不同特征集。在异构计算环境中，缺乏从一些偏离节点上传的局部模型，导致全局模型有偏倚，无法预测某些特征，而不像水平FL中全局模型精度的下降。因此，滞后的局部模型在垂直AFL中是不可忽略的。

7.3 隐私安全问题

利用不同的隐私来优化隐私保护
使用区块链优化安全性增强
使用轻量级分布式加密技术实现安全增强的优化

八、结论

声明：本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：【wpsshop博客】

异步联邦学习综述Asynchronous Federated Learning on Heterogeneous Devices: ASurvey

一、Introduction

二 、Background Knowledge

2.1 联邦学习

2.2 区块链

2.3 差分隐私

三、设备异质性

3.1 节点选择