【论文阅读|异步联邦】FedASMU重读

1. 论文信息

FedASMU: Efficient Asynchronous Federated Learning with Dynamic Staleness-Aware Model Update，Proceedings of the AAAI Conference on Artificial Intelligence，2024-03-24（23年10月挂在 arXiv），ccfa

2. introduction

2.1. 背景：FL 训练中存在 统计异质性（non-IID） 与 系统异质性（计算与通信能力差异） 问题

2.2. 解决的问题：

1. non-IID 数据-> 将最新的全局模型整合到局部模型进行知识共享-> 聚合的时间点需要权衡（

• 如果请求发送得太早，服务器可能只进行了少量更新，导致最终更新的本地模型仍然过时，影响性能。
• 如果请求发送得太晚，本地更新可能无法充分利用最新全局模型的信息，导致准确性下降。

） -> 考虑（历史数据和当前的模型状态），利用 RL 实现申请全局模型的最佳时间点的选择 -> 提升模型的准确率,减少训练时间

1. 系统异构 -> 模型陈旧 -> 动态调整聚合时的模型权重(

• 本地模型聚合时最新全局模型的权重 （考虑全局模型的过时程度、本地模型的损失大小）
• 全局模型聚合时本地设备的权重（考虑本地模型的过时程度、全局模型的损失大小）

) -> 提升模型的准确率，减少训练时间

3. 问题描述：

3.1. 对问题的形式化描述

最小化所有设备上本地损失函数 Fi（w） 平均值，得到最优的全局模型w

3.2. System model

Server 以恒定的时间周期 T 触发 m 个设备进行局部训练。初始的全局模型版本为 0 ，在每个全局轮次完成之后，版本加 1：

1. Server 随机选择 m' （m’≤ m ）个可用设备，向选定的设备广播全局模型
2. 在 m' 个设备上利用本地数据集进行训练
3. 设备进行本地训练的同时，全局模型可能进行更新，为了减少模型陈旧度，设备 i 向Server 请求新的全局模型
4. 如果wg 比wo 新的话（ g > o ），就广播新的全局模型
5. 设备接到新的全局模型后，将全局模型和最新的本地模型聚合为一个新模型，并继续使用新模型进行局部训练。
6. 本地训练完成，设备 i 将本地模型上传到 Server
7. Server 将本地模型 wio 和最新的全局模型 wt 聚合为新的模型，其中涉及 陈旧度 Ti= t-o+1，当陈旧度达到设定的阈值就舍弃上传的本地模型

4. 解决方法

4.1. 动态更新全局模型（步骤 7）

将

问题拆解成双层优化问题：

全局优化目标：通过动态调整每个客户端上传模型的重要性权重，找到一组能够使全局损失函数