「联邦学习论文07」联邦学习两种公平性综述_联邦学习公平性

联邦学习两种公平性综述

研一上寒假导师让写的论文综述，去掉引用，东拼西凑也有八千字。正好分享到csdn上，希望对联邦学习的同行有一点点帮助~

0.摘要

随着人工智能快速发展，私人企业数据指数级增大以及人们对数据隐私安全意识的提高，如何解决数据孤岛和数据隐私成为AI面临的两大挑战。联邦学习作为新兴的分布式机器学习技术，成为解决这一挑战的方案。然而，联邦学习也面临很多挑战和问题，其中实现公平性激励客户端参加联邦训练，近两年引起广泛关注。**由于参与的客户端是自利的，彼此之间存在计算通信资源、数据等差异，如何最大程度激励客户端，合理分配奖励，促进联邦参与者的积极性，对联邦学习可持续发展非常重要。**本文从两个角度阐释联邦学习公平性，对现有公平激励机制研究进行归纳总结，由此诞生小论文的开题思路，最后提出未来研究方向和总结。

1.前言

1.1联邦学习诞生背景

2018年欧盟颁布了隐私法规《通用数据保护条例》( GDPR) ，越来越多的企业和单位对于个人敏感信息提起高度重视。2020年我国颁布《信息安全技术个人信息安全规范》和《个人信息保护法》，2022年《美国数据隐私和保护法》ADPPA，这些法规的制定旨在保护用户个人隐私和规整行业数据的处理规范。

数据隐私保护越来越受到重视。 公司和机构之间的数据收集过程必须公开透明，属于一个用户或公司的数据未经用户授权不得与他人交换。 这导致海量数据以“数据孤岛”的形式存在，隐私安全和数据共享之间存在着不可协调的矛盾，用户之间缺乏有效的沟通与合作，使得人工智能的成功实施遇到困难。

1.2联邦学习简介

为了解决以上问题，2016年谷歌提出了联邦学习。作为一款新兴的分布式机器学习技术，联邦学习实现了“数据不动，模型动”的要求，参与者无需将本地私人数据上传至中心服务器，只需上传本地训练的模型参数，允许参与者代更新参数模型来协作训练共享模型，避免了数据隐私，解决了数据孤岛。

联邦学习的训练过程：

1、初始化；服务器选择合适的客户端，将模型参数分发给选定客户端。

2、本地训练；选定的客户端使用本地数据和收到的全局模型参数更新本地模型参数。

3、本地上传；将更新的模型参数上传到服务器。

4、全局聚合；服务器收到各个客户端上传的模型参数并进行聚合。

5、模型更新；将最新的全局模型参数和奖励分发给最新选定的客户端

重复步骤2-5，直到全局模型收敛到一定要求，达到预期性能。

1.3研究意义及动机

FL全局模型的精确性依赖于多个稳定且高质量的客户端参与，但客户端之间数据质量不平衡的问题会导致在训练过程中客户端处于不公平地位甚至直接不参与训练。同时FL会消耗参与者大量资源，且有隐私安全的威胁，如果得不到足够的回报，参与者缺乏参加FL的动力，参与者可以决定何时、何地以及如何参与FL。如何激励客户端积极参与FL训练，是保证FL被广泛推广和应用的关键。

FL动机有以下三点：

（1）FL可持续发展，不能打击参与者的积极性

（2）FL参与者是自利的，要求获得激励

（3）社会伦理要求部署的模型要求不歧视某些个人或群体

对于前两个动机，弱势客户要求全局模型在该方取得的效用不得显著低于其他方，强势客户倾向于获得与自己付出相匹配的模型效用或其他激励。前者要求模型在客户端间的表现均衡、不偏向某一数据方，是均衡公平性。后者允许模型表现差异的存在，但追求对各方贡献的准确评估并指导后续利益分配，是贡献公平性。而动机（3）需要跨越客户端间阻隔，保证模型对分散于所有客户端上的特定属性样本群体没有歧视，是模型公平性，个性化技术可能是实现这一要求的关键。

2.联邦学习公平性

2.1 贡献公平性

弱势客户端要求的均衡公平性更注重结果公平，要求最终模型在不同客户端上的表现尽可能相近，不能存在“分配不均”的现象。然而不同贡献的客户端最终收到相同的FL模型，这势必引起高贡献客户端的不满，且存在搭便车问题，影响联邦学习可持续发展。

为了解决这一问题，要求在不获取客户端本地数据的前提下，公平衡量每个客户端对全局模型的贡献。现有衡量客户端贡献的技术包括Shapley值，区块链，契约机制，声誉，博弈论，拍卖机制等，或采用强化学习、区块链等一些前沿技术作为节点选择、贡献评估和鲁棒性提升的辅助机制。本节从贡献测量、资源分配和声誉机制三方面展开，

2.1.1 贡献测量

贡献测量通常采用Shapley值，而报酬分配多涉及Stackelberg博弈、拍卖、契约理论等。在机器学习中，基于Shapley值的测量方法经常被用于评估数据对模型的性能，但计算Shapley值带来大量额外计算，Shapley值的计算复杂度达到O(N!）

于是，基于Shapley值的概念，《2019-IEEE-Profit allocation for federated learning》定义了贡献指数CI，通过本地数据集、机器学习算法和测试集等因素，量化数据提供者的贡献。提出了两种基于梯度的方法——单轮重建OR和多轮重建MR，通过训练过程的中间结果，在不同数据集组合上近似重构模型，从而衡量水平联邦学习的贡献。第一种方法单轮重建OR，收集不同轮次的梯度，在最后一轮更新FL的初始全局模型来重构模型，通过重构模型的性能计算贡献指数。第二种方法多轮重建MR，通过使用不同轮次的梯度更新前一轮的全局模型来计算每轮的贡献指数，将多轮贡献指数按照权重聚合，得到最后的贡献指数。这两种方法只需记录训练过程的中间结果，通过局部梯度计算贡献指数，而不是对每个模型进行训练。有效逼近准确的贡献指数，合理分配利润，且训练时间短，但只适用于水平联邦学习。

《2019-IEEE-Measure Contribution of Participants in Federated Learning》提出了水平联邦学习的删除方法和垂直联邦学习的Shapley值方法，计算参与者在FL中的贡献。在水平FL中，每次删除某一方参与者的实例重新训练模型，计算新模型和未删除前原始模型的差距，用删除前后的差异测量某一方参与者对全局模型的影响，从而衡量参与者的贡献。在垂直FL中，使用 Shapley 值来计算分组特征的重要性，用重要性的度量计算每一方的贡献。这种方法可以合理解释多个参与者的贡献，但是计算成本很高，达到O（N^2），计算成本随着训练数据的大小呈指数增长。《2020-IEEE-Estimation of individual device contributions for incentivizing federated learning》 提出了一种基于逐步计算的轻量级多维度贡献方法，把客户端加入FL训练时全局模型性能上的提升视为衡量客户贡献的指标，从而减少通信和计算开销，然而这要求每一轮迭代全局模型性能都提升。

2.1.2 资源分配

新客户加入FL训练时，为全局模型带来的增益不能立即得到，于是客户的贡献可以根据其资源条件进行预先估计，例如本地数据集的数量、质量和收集成本，以及联邦学习过程中约定付出的算力与流量份额。

对于特定学习任务（分类或回归），基于Shapley值的分配是不公平的，因此《2020-Hierarchically fair federated learning》提出了分层公平联邦学习框架HFFL，通过可公开验证因素如数据质量、数据量、数据收集成本等，把参与的客户端划分为多个等级，相同等级被视为同等贡献，贡献越高等级越高，不同等级收敛至不同模型。在训练一个较低级别的模型时，较高级别的客户端只提供与较低级别的客户端相同数量的数据；在训练更高级别的 FL 模型时，则要求较低级别的客户端提供所有本地数据。《基于数据质量评估的公平联邦学习方案》则是基于用户的数据数量和用户的数据质量，提出一种基于数据质量评估的公平联邦学习方案，使用熵权法根据数据的数量和质量计算用户得分视为用户的贡献，从而分配参与者聚合权重实现公平。该方法通信开销更少，模型更快达到收敛。

相比为每个级别训练模型的HFFL， 《2020-IEEE-Towards Fair and Privacy-Preserving Federated Deep Models》出了一种分散的公平和隐私保护深度学习（FPPDL）框架，鼓励参与者通过把自己的信息分享给其他参与者获得积分，然后用赚来的积分交换其他参与者的信息。参与者上传更多梯度信息获得更多积分，就能用积分从其他参与者那里获得更多梯度信息，所有的交易记录公开透明由区块链记录，并且提出了三层洋葱加密方案保护梯度隐私。每个参与者基于各自贡献受到全局模型不同等级的变体模型。《2019-IEEE-Incentive design for efficient federated learning in mobile networks:A contract theoryapproach》提出了基于契约理论的激励机制。本地数据的质量越高，局部模型训练越快，参与者能获得更多回报。《2019-IEEE-Motivating workers in federated learning: A stackelberg game perspective》提出一种设备与模型的Stackelberg博弈模型，模型所有者激励拥有设备的工人为本地训练分配更多CPU计算资源，以实现快速收敛。《2021-IEEE-An incentive mechanism for federated learning in wireless cellular network: An auction approach》提出一种基站和多个移动用户的拍卖博弈方，移动用户作为卖方，基于自身资源和本地精度做出最优决策，使能量消耗最小。基站根据用户的投标信息，选择最适合的人选，以最大化社会福利。提出了一种原始-对偶贪心算法解决这类NP问题。

《2020-IEEE-FMore: An Incentive Scheme of Multi-dimensional Auction for Federated Learning in MEC》提出了一个基于多维采购拍卖的激励机制FMore。聚合器向参与者广播竞标要求，参与者收到竞标要求后，根据自身资源和期望预算决定是否竞标，然后聚合器按照分数从大到小选出K个获胜者。FMore是轻量级框架，兼容性好，计算和通信的开销低。《2021-IEEE-FAIR: Quality-Aware Federated Learning with Precise User Incentive and Model Aggregation》提出了一种质量感知拍卖方法，将获胜者选择问题描述为一个 NP 难的学习质量最大化问题，并基于迈尔森定理设计了一个贪婪算法来执行实时任务分配和报酬分配。

2.1.3 声誉机制

《2020-Collaborative fairness in federated learning》提出了公平协作联邦学习框架CFFL，服务器根据参与者上传的梯度评估其准确性，通过规范化计算每轮参与者的声誉，基于每轮计算的声誉及其历史声誉分别迭代更新每个参与者的声誉，最后通过声誉使参与者收敛至不同模型实现公平性，CFFL实现较高的公平性，但未考虑鲁棒性。《2020-Mobile edge computing blockchain and reputation-based crowdsourcing iot federated learning: A secure, decentralized and privacy-preserving system》提出一个基于区块链的声誉系统，一开始所有客户的声誉值相同，客户成功上传模型，声誉值会增加，如果上传恶意参数，声誉值则减小。服务器会根据声誉值选择可靠的客户，高声誉值客户更容易被选中获得更多奖励。《2020-IEEE-Towards blockchain-based reputation-aware federated learning》提出了一个基于区块链的信誉系统，搭建了数据拥有者边缘设备、数据仲裁者雾节点和模型所有者云服务器的三层协作框架，云服务器将更新的模型发给雾节点，雾节点再把更新的本地模型发给边缘设备，通过智能合约对联邦学习中每个参与者的声誉进行聚合、计算和记录。该系统保证了隐私安全，保证用户提供真实的数据，但模型复杂度高、计算和通信成本高。

但是，评分机制过于主观，缺乏质量评价方案；每个参与者只有一个分数容易受到恶意评分。《2020-IEEE-Reliable federated learning for mobile networks》采用多权重主观逻辑模型，根据参与者的历史表现和其他参与者的推荐计算声誉，设计区块链管理、记录数据所有者的声誉。

2.2 均衡公平性

联邦学习虽然能保护数据隐私，但面临数据异构性的难题，即客户之间的数据分布差异很大，导致全局模型很难满足所有客户的最优性能，只能趋近于集中训练模型的最优性能。而且现实中训练结果往往受数据强势方引导，对强势方有利，数据劣势方表现不加。为了消除这种不公平，提出了客户间的均衡公平性。我们从FL训练流程中得到启发——服务器会随机选择客户端，被选中的客户端才会参与本地更新和模型上传，服务器根据权重聚合全局模型。

所以，我们可以从客户选择、权重聚合和本地更新三方面入手，通过关注数据劣势方代表不足、公平分配聚合权重和训练个性化本地模型提高全局模型，使数据所有者有机会、有权重、有个性地参与联邦训练，实现均衡公平性。

常见衡量公平性的标准有三种：

（1）标准差

对于任意两个模型$w_1和w_2$ ，比较二者在N个客户端上的测试损失的标准差，若 s t d ( { L n ( w 1 ) } n ∈ [ N ] ) < s t d ( { L n ( w 2 ) } n ∈ [ N ] ) std(\{L_n(w_1)\}_{n\in[N]}) < std(\{L_n(w_2)\}_{n\in[N]}) std({Ln​(w1​)}n∈[N]​)<std({Ln​(w2​)}n∈[N]​)，则认为模型$w_1比w_2$更公平

（2）基尼指数

对于任意两个模型