【论文阅读——跨机构联邦学习的激励机制综述】_联邦学习激励机制

1. 跨机构合作的关键问题及相关激励机制设计

1.1 为什么需要激励机制

在联邦学习中，参与者进行本地模型 训练需要消耗本地的计算资源和通信资源，若是没有合理 的激励机制，参与者有可能出现不参与，消极参与，中途 退出等不好的情况。同时部分恶意参与者可能会破 坏训练过程。因此，需要设计相应的激励机制保持跨机构 合作的稳定性和持续性。

1.2 跨机构与跨设备联邦学习在激励方面的区别

2.跨机构合作的基本问题

在跨机构联邦学习中，跨机构合作需要解决三个基本问题：高隐私性，数据异质性，公平性。

2.1 高隐私性

主流的隐私强化技术包括对上传更新添加噪声的差分隐私技术和对数据进行加密计算的同台加密技术。

2.1.1 差分隐私

差分隐私是目前广泛采用的隐私保护技 术，其基本思想是在个人敏感属性中添加噪声以保护隐 私。差分隐私技术的应用较为复杂，需要对噪声化的数据进行重建才能继续进行后续的运算。
相关的论文提出：

• Wang 等[12]提出一个 三层框架，将联邦学习的数据上传过程分为三层，在这个 框架中，参与者先将数据上传到边缘服务器中，在上传之 前先应用本地隐私差分对用户数据添加噪声，在边缘服务 器中根据数据重构算法重建数据，之后边缘服务器与云服 务器之间转化为传统的联邦学习模式这有效保护了客户的 数据隐私，但也提高了计算和通信的复杂度。
• Ren[13]提出将差分隐私与基于拍卖的激励机制相结合 的差分私人拍卖激励机制，与传统的基于拍卖的激励机制 不同，该机制不再假设参与者数据分布的可访问性，改为 在竞价时，向客户的数据分布信息中应用差分隐私添加一 些随机噪声
• Zhang 等[14]开发设计了一个私人奖励游戏， 将 差 分 隐 私 与 博 弈 论 结 合 ， 该 游 戏 引入“ 隐 私 货 币 ” 的概 念，允许客户通过评估隐私数据泄露导致的损失，选择参 数服务器添加噪声的集中式差分隐私模型或者是本地添加 噪声的本地隐私模型，并对使用集中式差分隐私模型的客 户给出一定的补偿。
• Wang 等[15]提出将差分隐私与基于多 维反向拍卖的激励机制相结合的激励机制，应用差分隐私 在参与者的投标中添加数据扰动，在保护参与者的真实成 本和本地模型参数隐私的情况下，激励参与者提供高质量 数据。
• Li 等[16]也揭示了随着差分 隐私对模型更新的扰动越大，全局模型的质量也会越低。 在这方面也有研究者提出了解决方案，

2.1.2 同态加密

相较于添加噪声可能扭曲数据的差分隐私方法，有着 充足的计算和通信资源的机构更加喜欢对数据进行加密 计算的同态加密技术，因为数据计算的精确性更高。

• Zheng 等[18]提出一种双服务器协议，在避免了同态加密的 高额计算消耗的同时取得了不错的隐私保护效果。
• Luo 等 [19]使用掩蔽技术取代了同态加密的繁琐操作，提出了一种 支持安全梯度聚合和验证的联邦学习协议。
• Tran 等[20]提 出一种双层加密方案，在保护参与者隐私的同时允许参与 者训练过程中的退出和重新加入，有利于吸引好奇的其他 机构参与联邦学习。

2.2 数据异质性

跨机构联邦学习中的数据异质性指的是不同机构之间的数据具有不同的特征分布、数据类型、数据规模或数据 质量等方面的差异。

数据异质性普遍存在于一些拥有规模小且碎片化的数据的 机构之间，促使这些机构更加容易合作，充分提高碎片化 数据的利用率。数据异质性虽然有激励小机构互相合作 的作用，但更多的是对跨机构合作过程和模型训练的负面影响。

• 数据异质性会导致全局模型的收敛速度减 慢，这是由于不同机构的局部模型的收敛速度不同造成 的
• 机构之间的特征分布不同会导致全局模型在特 征选择和权重调整方面更加的困难
• 机构之间的数据分布不同会导致数据的非独立同分布情况的出现

机构之间的非独立同分布指的是不同机构参与合作的数据在概率分布上不完全相同或独立同分布的情况。数据的非独立同分布会导致全局模型的泛化能力受限，同时 可能导致全局模型在某些机构的训练数据上过拟合，而在其他机构上欠拟合。

待解决的问题
对于数据异质性带来的诸多负面影响，一个直观的解决方法是选择近似数据分布和相近规模的机构加入联邦学 习，这样不仅可以使得参与者的局部模型收敛速度相近， 也可以规避不同数据分布和特征分布带来的数据差异问题。

相关论文理论提出：

• Ren[13]提出基于拍卖机制的激励机制，对参与者在拍卖时提交的数据信息进行数据评估，选择数据分布 与预期数据分布相似的参与者。
• Zhang 等[22]提出了一种应 用动态融合方法的激励机制，根据本地模型性能动态决定 参与者，通过本地模型的性能优化来减小数据异质性带来的影响。
• Li 等[23]建立基于契约理论的激励机制，根据联 邦学习的异质性，将参与者按训练能力水平进行区分，训 练能力由数据规模、数据质量、计算能力构成，通过选择 具有相近的高训练能力水平的客户参与全局模型训练。
• 解决数据异质性的激励机制方法还有数据贡献加权的方法[27]，根据机 构的数据贡献对其权重进行加权，减小数据样本不均衡带 来的不平衡性。
• 还可以通过奖励机制[28]激励参与者贡献高 质量数据，鼓励参与者积极进行数据交换和共享。

选择参与者需要考虑因素：

• 参与者的数据数量和质量
• 数据分布
• 机构的大小

2.3 公平性

公平是机构合作的基本要素，跨机构联邦学习的公平性问题是激励机制研究的重点方向。
跨机构联邦学习的公平性：

• 首先是不同参与者对模型的贡献 不同，需要设计能公平反映每个参与者的贡献的奖惩机制
• 无论参与方接收到的全局模型用途是什么，最 终其使用的模型在预测性或精确度上应该具有公平性
• 最后是需要统筹多种公平性之间的平衡性，不至于顾此失彼

相关理论论文的提出：

• Zhuan 等 [31]提出公平意识激励机制，该机制通过设计一种新颖的模 型梯度聚合方法来过滤低质量的局部模型梯度以达到聚合 公平，同时采用 Shapley 值与声誉机制相结合方法来确定分配给每个参与者的全局模型的性能水平以达到奖励公平
• Chu 等[32]提出一种联邦估计方法，可以在不需要参与者的隐私信息的情况下准确估计模型的公平性。或者可以通过合理的奖励机制，针对企业的收益分配机制[33]，合理分配模型收益，以达到社会效益最大化。这里的社会效益 指参与者均能在跨机构联邦学习中获得满意的收益。

2.4 三者之间的关系

基本问题之间不是独立存在的，他们之间存在关联性和制约关系。

• 对于数据异质性的解决方案通常需要参与者的部分数据信息以便 筛选近似数据分布的参与者，但这显然侵犯了参与者的私人隐私，所以激励机制的设计需要考虑在不侵犯参与者数据隐私的情况下解决数据异质性问题
• 高隐私性 和公平性之间也存在着一些冲突，目前的高隐私性的激励 机制同常是对上传的数据信息进行加密或者噪声化处理， 这虽然提高了跨机构联邦学习的隐私保护级别，为公平的 合作环境提供了基础，但也可能使得最终的贡献评估出现 部分偏差，而精确的贡献评估是公平的激励机制的基本要求。

3. 跨机构合作的合作模式

3.1 以全局模型为中心的合作模式

以全局模型为中心的合作模式是指所有参与者将其本 地数据用于训练局部模型，将更新后的局部模型参数发送 到参数服务器，参数服务器负责聚合所有参与者的模型参 数，然后更新全局模型，并将更新后的模型参数再次分发 给参与者。

3.1.1 奖励机制

奖励机制是指根据参与者的数据贡献以及对全局模型 的有效影响来分配“奖励”以激励机构积极参与数据共享 和模型训练。常见的的奖励机制包括数据贡献奖励、模型 贡献奖励、模型性能奖励等。奖励机制通常有两个部分组 成：贡献评估和奖励分配。

目前的奖励机制主要还是以虚拟代币或者全局模型的 适用性作为奖励，其中虚拟代币可以转化为相应的物质收 益，并设计相应的贡献评估机制（如 Shapley 值）作为分 配机制，对高贡献的参与者给予相应的奖励，以此激励其 贡献更多的数据。研究者们可以在贡献评估的准确性和 “奖励”形式的多样性上进行深入研究，同时也需要考虑 奖励分配的公平性和可持续性。

3.1.2 奖励预算

激励预算是指为促使机构参与联邦学习并贡献其数据 和资源所需的成本。在一次跨机构合作中，激励预算是有 限的，合理分配每个训练轮次的激励资源，可以有效的提 高全局模型的训练效率以及减少资源的过度消耗。
目前在激励预算方面的激励机制研究较少，但却是机 构合作的关键要点之一，机构不太可能在激励方面投入大 量的资源，而得到相对较少的回报。因此，如何降低激励 成预算并合理分配激励资源将成为一个值得深入讨论的研 究方向

3.2 以参与者为中心的合作模式

以参与者为中心的合作模式是指每个参与机构都保留 其本地数据，并在本地进行模型训练。训练后的模型参数 通常不会离开参与者的设备，只有模型的更新版本（例如 梯度）被聚合或共享给其他参与者。

如图 3 所示，模式一 由参与者轮流作为聚合中心聚合更新梯度，模式二则是所 有参与者均为聚合中心，参与者之间共享更新梯度。这种 模式下，数据和模型都分布在各个参与者之间，没有一个 中心化的全局模型。由于参与者之间的个体差异，不同机 构的数据资源、模型需求等不尽相同，所以需要一种个性 化的联邦学习[9]方法来满足其个性化的需求，以参与者为 中心的合作模式就是一种个性化的联邦学习，相应的激励 机制设计也更加偏向参与者而非全局模型。

4. 跨机构合作稳定发展的影响因素

4.1 参与者的数据演变

数据演变指的是在跨机构合作中，参与者所持有的数 据随着时间的推移和合作进展发生变化的现象。这种数据 演变可能涉及新的数据样本的加入、数据标签的更新或更 正，以及数据特征的变化。随着时间的推移，参与者可能新增、删除或修改其数据，这可能导致模型的性能变化、 数据不一致性或概念漂移等问题，进而影响跨机构合作发 展的稳定性。

4.2 参与者合作关系的变动

参与者之间的合作关系会因为机构的业务需求、合作 协议调整或者组织结构变化等原因而发生变动。这种合作 关系的变动会影响跨机构合作发展的稳定性和持续性，例 如业务需求的冲突会导致参与者可能不愿意贡献高质量的 数据，合作协议的调整可能使参与者中途退出跨机构联邦 学习等。

4.3 参与者的负面行为

• 未尽最大努力
  • 在跨机构联邦学习中，会出现参与者不尽最大努力地参与模型训练的情况。
• 搭便车行为
  • 搭便车是指某些机构在参与联邦学习过程中，试图从其他参与机构的贡献中获益，而不主动分享自己的数据或模型更新。
• 低效用的局部模型更新
  • 在跨机构联邦学习中，无论是无意的还是有意的，总会出现一些参与者的局部模型的本地训练效果较差，导致 其模型更新的质量较低。

5. 跨机构联邦学习激励机制的比较

本节对目前的跨机构联邦学习的激励机制研究的性能 特性进行对比分析，从个体理性、激励相容性、帕累托效 率、预算平衡、鲁棒性和计算成本 6 个方面进行比较。以下是部分特性的说明：

• 个体理性：只有当所有参与者都有非负利润时，激励 机制才是个体理性的，即当跨机构联邦学习的收益低于其 成本时，机构会犹豫是否参加跨机构联邦学习。
• 激励相容性：当所有参与者如实声明其贡献和成本类 型是最优时，激励机制具有激励相容的特性，伪造信息不 会给恶意参与者带来收益
• 帕累托效率：当社会剩余最大化时，激励机制具有帕 累托效率，即跨机构联邦学习的整体收益最大化。
• 预算平衡：当且仅当参与者的支付总额不超过模型所 有者或参与者服务器给出的激励预算时，激励机制才是预 算平衡的。
• 鲁棒性：当跨机构联邦学习进程在出现突发情况时仍能正常进行并且及时解决的，激励机制具有稳定性。
  

文章链接

https://link.cnki.net/urlid/50.1075.TP.20240109.1331.020