KDD 2023 图神经网络方向论文总结_pyramid graph neural network: a graph sampling and

ACM SIGKDD（国际数据挖掘与知识发现大会，KDD）是数据挖掘领域历史最悠久、规模最大的国际顶级学术会议，也是首个引入大数据、数据科学、预测分析、众包等概念的会议。今年，第29届 KDD 大会在美国加州长滩举行，大会包含研究方向（Research）和应用数据科学方向（Applied Data Science，ADS）两个 track，共公布了8篇获奖论文。本文主要收集大会中与图神经网络相关的论文。

All in One: Multi-task Prompting for Graph Neural Networks(KDD最佳论文奖)

标题：All in One: 多任务提示用于图神经网络
地址：https://doi.org/10.1145/3580305.3599256
关键词：pre-training; prompt tuning; graph neural networks

背景：最近，"预训练和微调"已被采用为许多图任务的标准工作流，因为它可以使用通用的图知识来缓解每个应用程序的图注释的缺乏。然而，节点级、边级和图级的图任务非常多样化，使得预训练伪装往往与这些多任务不兼容。这种差距甚至可能导致对特定应用的“负迁移”，导致较差的结果。受自然语言处理(NLP)中的快速学习(在利用先验知识于各种NLP任务中表现出显著有效性)的启发，本文研究了图的提示主题，以填补预训练模型和各种图任务之间的空白。

内容：本文提出了一种新颖的图模型多任务提示方法。首先，将图形提示和语言提示的格式与提示词、标记结构和插入模式统一起来。通过这种方式，NLP的提示思想可以无缝地引入到图形领域。为了进一步缩小各种图任务和最先进的预训练策略之间的差距，进一步研究了各种图应用的任务空间，并将下游问题重新表述为图级任务。引入元学习，有效地为图的多任务提示学习更好的初始化，使提示框架对不同的任务更加可靠和通用。

When to Pre-Train Graph Neural Networks? From Data Generation Perspective!

标题：何时对图神经网络进行预训练?从数据生成的角度!
地址：https://doi.org/10.1145/3580305.3599548
关键词：graph neural networks, graph pre-training

背景：近年来，图预训练获得了极大的关注，专注于从无标签图数据中获取可迁移知识，以提高下游性能。尽管最近做出了这些努力，但在将图预训练模型用于下游任务时，负迁移问题仍然是一个主要问题。之前的研究通过设计各种图的预训练和微调策略，在预训练什么和如何预训练的问题上做了大量的工作。然而，在某些情况下，即使是最先进的“预训练和微调”范式也无法产生明显的好处。本文介绍了一个通用框架W2PGNN，以回答在进行努力的预训练或微调之前，何时进行预训练(即在什么情况下可以利用图预训练)的关键问题。

内容：本文从一个新的角度出发，探索从预训练数据到下游数据的复杂生成机制。特别是，W2PGNN首先将预训练数据拟合到图函数集合(graphon bases)中，图函数集合的每个元素(graphon basis)识别预训练图集合共享的基本可转移模式。图函数集合的所有凸组合产生一个生成器空间，从中生成的图形成可以从预训练中受益的下游数据的解空间。通过这种方式，预训练的可行性可以被量化为生成器空间中任何生成器的下游数据的生成概率。W2PGNN提供了三个广泛的应用:提供图预训练模型的应用范围，量化预训练的可行性，以及帮助选择预训练数据以提高下游性能。

Improving Expressivity of GNNs with Subgraph-specific Factor Embedded Normalization

标题：利用子图特定因子嵌入归一化提高GNN的表达性
地址：https://doi.org/10.1145/3580305.3599388
关键词：graph neural networks, graph normalization, subgraph-specific factor, graph isomorphism test, oversmoothing issue

背景：图神经网络(gnn)已经成为一种强大的学习架构类别，用于处理图结构数据。然而，现有的图神经网络通常忽略了节点诱导子图中的关键结构特征，从而限制了它们对各种下游任务的表达能力。

内容：本文努力通过设计一种专用的即插即用规范化方案，称为子图特定因子嵌入规范化(SuperNorm)，明确考虑每个节点诱导子图内的连接信息，来加强gnn的代表性能力。在标准批处理规范的开始和结束处嵌入子图特定的因子，以及合并图实例特定的统计信息，以改进可区分能力。同时，本文提供了理论分析来支持，在阐述的超范数下，任意GNN在区分非同构图方面至少与1-WL测试一样强大。此外，提出的超范数方案也被证明可以缓解过平滑现象。

MGNN: Graph Neural Networks Inspired by Distance Geometry Problem

标题：MGNN:基于距离几何问题的图神经网络
地址：https://doi.org/10.1145/3580305.3599431
关键词：graph neural networks, distance geometry problem, metric matrix

背景：图神经网络(gnn)已经成为机器学习领域的一个重要研究课题。现有的GNN模型通常分为两类:基于多项式图滤波器设计的谱图神经网络(spectral GNN)和以消息传递方案为模型基础的空间图神经网络(spatial GNN)。为了提高谱图神经网络的表达能力和普适性，一种自然的方法是改进基函数的设计，以获得更好的逼近能力。对于空间图神经网络，图同构网络(GIN)等模型基于图同构测试来分析其表达能力。最近，有人试图在空间gnn和几何概念(如曲率和细胞束)以及物理现象(如振荡器)之间建立联系。然而，尽管最近取得了一些进展，但仍缺乏从几何和物理角度全面分析空间图神经网络的普适性。

内容：本文中提出了 MetricGNN (MGNN)，这是一种空间 GNN 模型，其灵感来自于 GNN 分类阶段分类器的全等不敏感特性。 本文证明，如果 GNN 模型能够生成与任何给定嵌入矩阵一致的嵌入矩阵，那么它在空间域中是通用的。 该性质与距离几何问题（DGP）密切相关。 由于 DGP 是一个 NP-Hard 组合优化问题，因此本文建议优化由弹簧网络和多维尺度（MDS）问题导出的能量函数。 这种方法还允许我们的模型处理同质图和异质图。 最后，本文建议采用迭代方法来优化我们的能量函数。

Localised Adaptive Spatial-Temporal Graph Neural Network

标题：局部自适应时空图神经网络
地址：https://doi.org/10.1145/3580305.3599418
关键词：graph sparsification, spatial-temporal graph neural network, spatialtemporal data

背景：时空图模型是对空间和时间依赖关系进行抽象和建模的主流模型。本文提出以下问题：我们是否以及在多大程度上可以局部化时空图模型？本文将研究范围限制在自适应时空图神经网络(ASTGNNs)，即最先进的模型架构。定位方法涉及对空间图邻接矩阵进行稀疏化。

内容：本文探讨了局部自适应时空图神经网络（ASTGNNs）的可行性和程度。作者提出了一种名为自适应图稀疏化（AGS）的图稀疏化算法，成功地实现了ASTGNNs的局部化，甚至可以完全局部化，变成只关注时间关系。作者将AGS应用于两种不同的ASTGNN架构和九个时空数据集上，发现即使对ASTGNNs进行超过99.5%的稀疏化，测试准确率也没有下降。此外，ASTGNNs的局部化有可能减少大规模时空数据所需的大量计算开销，进一步实现ASTGNNs的分布式部署。

Pyramid Graph Neural Network: A Graph Sampling and Filtering Approach for Multi-scale Disentangled Representations

标题：金字塔图神经网络:一种多尺度解纠缠表示的图采样和滤波方法
地址：https://doi.org/10.1145/3580305.3599478
关键词：Graph Neural Networks, Spectral Graph Theory, Graph Algorithms

背景：图神经网络(gnn)的谱方法已经取得了巨大的成功。尽管取得了成功，但许多工作表明，现有方法主要集中在低频信息，可能与手头的任务无关。最近，人们努力为更广泛的频率剖面设计新的图滤波器，但如何学习图傅立叶域中的多尺度解缠节点嵌入仍然是一个开放问题。

内容：本文提出了一种图(信号)采样和滤波框架，命名为金字塔图神经网络(PyGNN)，遵循下采样-滤波-上采样-解码的方案。提出