【论文导读】- FederatedScope-GNN（FederatedScope-GNN：迈向统一、全面、高效的联邦图学习包）

论文信息

原文地址：https://doi.org/10.1145/3534678.3539112

摘要

The incredible development of federated learning (FL) has benefited various tasks in the domains of computer vision and natural language processing, and the existing frameworks such as TFF and FATE has made the deployment easy in real-world applications. However, federated graph learning (FGL), even though graph data are prevalent, has not been well supported due to its unique characteristics and requirements. The lack of FGL-related framework increases the efforts for accomplishing reproducible research and deploying in real-world applications. Motivated by such strong demand, in this paper, we first discuss the challenges in creating an easy-to-use FGL package and accordingly present our implemented package FederatedScope-GNN (FS-G), which provides (1) a unified view for modularizing and expressing FGL algorithms; (2) comprehensive DataZoo and ModelZoo for out-of-the-box FGL capability; (3) an efficient model auto-tuning component; and (4) off-the-shelf privacy attack and defense abilities. We validate the effectiveness of FS-G by conducting extensive experiments, which simultaneously gains many valuable insights about FGL for the community. Moreover, we employ FS-G to serve the FGL application in real-world E-commerce scenarios, where the attained improvements indicate great potential business benefits. We publicly release FS-G, as submodules of FederatedScope, at https://github.com/alibaba/FederatedScope to promote FGL’s research and enable broad applications that would otherwise be infeasible due to the lack of a dedicated package.

联邦学习( FL )的惊人发展使计算机视觉和自然语言处理领域的各种任务受益，TFF和FATE等现有框架使其在实际应用中易于部署。然而，尽管图数据是普遍的，联邦图学习( FGL )由于其独特的特点和要求，没有得到很好的支持。FGL相关框架的缺乏增加了在实际应用中实现可重复研究和部署的努力。在这种强烈需求的驱动下，本文首先讨论了创建一个易于使用的FGL包所面临的挑战，并在此基础上提出了我们实现的FederatedScope-GNN ( FS-G )包，该包提供了:
( 1 )对FGL算法进行模块化表示的统一视图；
( 2 )全面的DataZoo和ModelZoo实现开箱即用的FGL功能；
( 3 )高效的模型自校正组件；
( 4 )现成的隐私攻防能力。
我们通过大量的实验验证了FS - G的有效性，同时也为社会提供了许多关于FGL的有价值的见解。此外，我们使用FS - G服务于现实世界电子商务场景中的FGL应用程序，所实现的改进表明了巨大的潜在业务效益。我们在https://github.com/alibaba/FederatedScope公开发布了FS - G，作为FederatedScope的子模块，以促进FGL的研究，并实现广泛的应用。

FederatedScope-GNN（FGL）

总体框架如下：

1. 选择在事件驱动的FL框架FederationScope上构建FS - G，该框架通过定义消息处理程序将交换的数据抽象为消息，并描述每个参与者的行为。需要开发FGL算法的用户可以简单地定义(异构)消息和处理程序，从而省去协调参与者的工作。同时，可以使用各自的图形学习后端(比如torch_geometric、tf_geometric)实现不同的处理程序。
2. 为了便于对标相关的FGL方法，FS - G提供了一个集成了适用于大多数现有图数据集的丰富分裂机制的Graph Data Zoo和一个集成了许多最先进的FGL算法的GN - NModel Zoo。因此，用户可以毫不费力地再现相关作品的结果。值得一提的是，我们识别了来自图结构的图数据的唯一协变量偏移，并设计了一个联邦随机图模型进行相应的进一步研究。
3. FS - G还提供了一个用于调优FGL方法的组件。一方面，它提供了实现低保真HPO的基本功能，使FS - G的用户能够将现有的HPO算法推广到FL设置中。另一方面，当单个模型不足以处理非i.i.d.图数据时，我们的模型调优组件提供了丰富的度量来监控客户端之间的相异性，并提供了一种参数分组机制来统一描述各种个性化算法。
4. 考虑FGL中额外交换的异构数据，展示各种攻击下的隐私泄露水平，并提供有效的防御策略是必不可少的。FS - G包含一个专用组件，提供各种现成的隐私攻击和防御能力，这些功能被封装为FGL过程的插件功能。

基于FederatedScope的开发

为了满足FGL的独特需求，基于一个名为FederatedScope的事件驱动FL框架开发了FS - G，它将FL过程中的数据交换抽象为消息传递。在FederationScope的帮助下，实现FGL的方法可以概括为两个方面：( 1 )定义应该交换什么类型的消息；
( 2 )描述服务器/客户端处理这些消息的行为。
从这个角度来看，一个标准的FL过程如下图：

其中，服务器和客户机传递同构消息(即，模型参数)。在接收消息时，它们分别执行聚合和本地更新。

FS - G的目标既包括对现有FGL方法的便捷使用，也包括对新FGL方法的灵活扩展。得益于FederatedScope，异构交换的数据和各种子程序可以方便地表示为消息和处理程序，这支持我们通过提供不同类型的消息(例如,模型参数、节点嵌入、辅助模型、邻接列表等)和参与者行为(例如,广播、集群等)来实现许多最新的FGL方法，包括FedSage +、FedGNN和GCFL +。将整个FGL过程模块化为消息和处理程序，使得开发人员可以灵活地单独表达自定义FGL方法中定义的各种操作，而不用考虑协调静态计算图中的参与者。

GRAPHDATAZOO

要为FGL提供一个统一的实验平台，一个全面的Graph Data Zoo必不可少。为了满足不同的实验目的，允许用户通过配置Dataset、Splitter、Transform和Dataloader的选择来构成FL数据集。

定义在图数据上的任务通常分为以下几类：

• 节点级任务：每个实例都是与其标签相关联的节点。为了对一个节点进行预测，它的
  声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/AllinToyou/article/detail/249836