异步联邦论文学习--3_异步联邦学习算法流程

标题：Asynchronous federated learning on heterogeneous devices: A survey

来源:Redirecting

cite：Xu C, Qu Y, Xiang Y, et al. Asynchronous federated learning on heterogeneous devices: A survey[J]. Computer Science Review, 2023, 50: 100595.

背景引言总结：

    随着计算能力的快速增长促进了机器学习的蓬勃发展，ML需要大量的高质量数据，但是由于竞争、隐私等因素，行业之间在共享本地数据方面表现出犹豫，导致了数据孤岛的情况，并且从可靠来源收集数据还伴随着高昂的成本。----> FL

     FL优势：

        （1） 通过基于梯度的全局模型聚合，增强了对本地数据隐私的保护；

        （2） 减少了网络传输延迟，因为训练数据保持本地化，而不是传输到云服务器；        

        （3） 由于结合了其他设备的学习特征，提高了模型质量。因此，FL可以作为跨异构设备的协作ML模型训练的催化剂，这一现象在许多研究出版物中都有很好的记录。

        

    在资源有限的设备上使用经典FL的缺点：

        （1）设备不可靠性----以一定概率掉线。

        （2） 聚合效率降低----掉队者的存在，这种延迟是由设备异构性（设备之间的资源变化）和数据异构性（跨设备的训练数据分布不均匀）的双重因素造成的。

        （3） 资源利用率低----当前节点选择算法中的低效率通常导致很少选择多个有能力的设备来参与。

        （4） 安全和隐私漏洞----经典的FL方法容易受到各种安全威胁的影响，例如中毒和后门攻击。

        

        为了解决设备不可靠性、聚合效率降低和资源利用率低的挑战，异步联合学习（AFL）成为一种很有前途的解决方案。在AFL中，中央服务器在接收到本地模型后立即启动全局模型聚合。

        （1）减轻了对设备不可靠性的影响，由于设备意外离线对AFL来说是可忽略的。

        （2）提高了聚合效率。通过消除在聚合之前等待慢速设备进行本地模型上传的必要性。

        （3）提高了异构设备对计算资源的利用率。允许具有不同操作效率的设备以自己的速度训练各自的本地模型。

论文贡献总结：

        （1）综合调查回顾和分析了2019年至2022年的125篇研究论文，其中包括7篇相关调查论文。

        （2）创新性地从设备异构性、数据异构性、隐私与安全性以及应用场景等角度对AFL的现有论文进行了分类和总结。

        （3）调查确定了一些有前景的研究主题.

背景知识

FL、block chain、Differential privacy（后面两个我目前不怎么涉及，所以不太懂，不进行归纳总结，需要的可以原文阅读）

FL

        FL是一种ML框架，旨在消除数据竖井的障碍，这主要归因于其对每个节点内的本地训练数据的私有保留特性。传统FL流程包括以下关键步骤：

        （1）初始化：服务器初始化全局模型、学习率、批量大小、迭代次数等训练参数。在选择过程之后将广播道指定数量的节点（K）。

        （2）本地模型培训：假设

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/小蓝xlanll/article/detail/493502