[论文解读]All in one：: Multi-Task Prompting for Graph Neural Networks图神经网络的多任务提示_all in one: multi-task prompting for graph neural

多合一：图神经网络的多任务提示

孙相国香港中文大学系统工程与工程管理系及信兴高等工程学院shanguosun@cuhk.edu.hk洪成香港中文大学系统工程与工程管理系及信兴高等工程学院h Cheng@se.cuhk.edu.hk贾莉香港科技大学（广州）数据科学与分析研究中心jialee@ust.hk刘波东南大学计算机科学与工程学院紫金山实验室bliu@seu.edu.cn关继红同济大学计算机科学与技术系jhguan@tongji.edu.cn

(2023)

摘要。

最近，“预训练和微调”已被采用作为许多图形任务的标准工作流程，因为它可以利用通用图形知识来缓解每个应用程序中图形注释的缺乏。 然而，节点级、边级和图级的图任务非常多样化，使得预训练借口往往与这些多个任务不兼容。 这种差距甚至可能导致特定应用的“负迁移”，导致效果不佳。 受自然语言处理（NLP）中的提示学习的启发，它在利用先验知识进行各种 NLP 任务方面表现出了显着的有效性，我们研究了图形的提示主题，其动机是填补预训练模型和各种图形任务之间的差距。 在本文中，我们提出了一种新颖的图模型多任务提示方法。 具体来说，我们首先将图形提示和语言提示的格式与提示词符、词符结构、插入模式prompt token, token structure, and inserting pattern统一起来。 这样就可以将NLP的提示思想无缝地引入图区。 然后，为了进一步缩小各种图任务与最先进的预训练策略之间的差距，我们进一步研究各种图应用的任务空间，并将下游问题重新表述为图级任务。 之后，我们引入元学习来有效地学习图的多任务提示的更好的初始化，以便我们的提示框架对于不同的任务更加可靠和通用。 我们进行了广泛的实验，结果证明了我们方法的优越性。

预训练；及时调整；图神经网络

†journalyear: 2023†copyright: acmlicensed†conference: Proceedings of the 29th ACM SIGKDD Conference on Knowledge Discovery and Data Mining; August 6–10, 2023; Long Beach, CA, USA†booktitle: Proceedings of the 29th ACM SIGKDD Conference on Knowledge Discovery and Data Mining (KDD ’23), August 6–10, 2023, Long Beach, CA, USA†price: 15.00†doi: 10.1145/3580305.3599256†isbn: 979-8-4007-0103-0/23/08†ccs: Networks Online social networks†ccs: Computing methodologies Knowledge representation and reasoning

1.介绍

图神经网络（GNN）已广泛应用于社交计算（Sun等人，2023；Chen等人，2022）、异常检测（Tang等人，2022；Chen等人，2022；Chen等人，2022）等各种应用。孙等人，2022a)，网络分析(陈等人，2020)。 除了探索各种精致的 GNN 结构之外，近年来还出现了如何训练专用问题的图模型的新研究趋势。

图1。微调、预训练和提示。

传统的图监督学习方法严重依赖图标签，这在现实世界中并不总是足够的。 另一个缺点是测试数据不分布时的过拟合问题（Shen等人，2021）。 为了解决这些挑战，许多研究转向“预训练和微调”（Jin等人，2020），这意味着用易于访问的数据预训练图模型，然后将通过调整预训练模型的最后一层，将知识图形化到新的领域或任务。 尽管预训练策略已经取得了很大进展（Hao等人，2022），但这些借口与多个下游任务之间仍然存在巨大差距。 例如，预训练图的典型借口是二进制边缘预测。 通常，这种预训练策略使连接的节点在潜在表示空间中更接近。 然而，许多下游任务不仅限于边缘级任务，还包括节点级任务（例如节点多类分类）或图级任务（例如图分类）。 如果我们将上述预训练模型转移到多类节点分类，可能需要我们在更高维参数空间中仔细搜索结果以获取其他类别的节点标签。 当连接的节点具有不同的标签时，这种调整甚至可能会失败（又名负转移（Wang等人，2021）)。 将这个预训练模型调整为图级任务既不高效，因为我们必须付出巨大的努力来学习将节点嵌入到整个图表示的适当函数映射。

解决上述问题的一个有希望的解决方案是将“预训练和微调”扩展到“预训练、提示和微调”。 即时学习是源自自然语言处理 (NLP) 的一个非常有吸引力的想法，并且在将预训练语言模型推广到广泛的语言应用方面显示出显着的有效性（Min 等人，2021）。 具体地，语言提示是指在输入文本后面附加的一段文字。 例如，像“KDD2023将见证众多高质量论文。 我感觉如此 [MASK]”可以通过预设提示（“我感觉如此 [MASK]”）轻松转移到单词预测任务。 人们非常期望语言模型可以将“[MASK]”预测为“兴奋”而不是“沮丧”，而无需进一步优化新情感任务的参数，因为该模型已经通过屏蔽词预测的借口进行了预训练，并且包含一些有用的知识来回答这个问题。 通过这种方式，一些下游目标可以自然地与预训练目标保持一致。 受到语言提示成功的启发，我们希望将同样的想法引入到图表中。 如图1所示，图域中的提示调优是寻求一些轻量级的提示，保持预训练模型的冻结，并使用提示重新制定符合预训练的下游任务。训练任务。 这样，预训练的模型可以很容易地应用于下游应用，并且可以进行高效的微调，甚至无需任何微调。 当下游任务是少样本设置时，这特别有用。

然而，设计图形提示比语言提示更棘手。 首先，经典语言提示通常是附加在输入文本末尾的一些预设短语或可学习向量。 如图2所示，语言提示我们只需要考虑内容，而图形提示不仅需要提示“内容”，还需要知道如何组织这些提示标记以及如何将提示插入到原始图中，这都是未定义的问题。

图 2.我们的图形提示受到语言提示的启发。

其次，下游问题与预训练任务的协调存在巨大困难。 在NLP领域，我们通常通过屏蔽预测来预训练语言模型，然后将其转移到各种应用中，例如问答（Rogers等人，2020），情感分类（Ling等人） ，2022）。 底层支持（Qin等人，2021）是这些语言任务通常共享一个大的重叠任务子空间，使得屏蔽语言任务很容易转移到其他应用程序。 然而，在图学习中存在多少相同的观察（如果确实存在）？ 决定合适的预训练任务并重新制定下游任务以提高模型泛化能力至关重要但很困难。 目前，我们只发现很少的著作（Sun等人，2022b）研究图形提示问题。 然而，它只能使用特定的借口（例如边缘预测）处理单一类型的任务（例如节点分类），这远远不能解决具有不同级别任务的多任务设置。

最后但并非最不重要的一点是，学习一个可靠的提示通常需要大量的人力，并且在多任务设置中对提示初始化更加敏感（刘等人，2021）。 虽然 NLP 领域有一些作品(Lester 等人, 2021;zhong 等人, 2021)尝试通过手工制作的内容或一些离散特征来初始化提示，但这些方法都是受任务限制的，当我们面临新任务时，这还不够。 在我们的多任务图区域中，这个问题可能会更严重，因为图特征在不同的领域和任务中差异很大。

提出了作品。 为了进一步填补图预训练和下游任务之间的空白，我们将NLP的提示方法引入多任务背景下的图。 具体来说，为了解决第一个挑战，我们建议以一种方式统一语言提示和图形提示的格式，以便我们可以将提示思想从 NLP 平滑地转移到图形，然后我们从提示标记词符设计图形提示结构，并提示插入模式。 为了解决第二个挑战，我们首先研究图中的任务子空间，然后提出通过原始图的归纳图将节点级和边缘级任务重新表述为图级任务。 为了解决第三个挑战，我们在多个任务上引入元学习技术，以学习更好的提示。 我们与其他方法仔细评估我们的方法，实验结果广泛证明了我们的优势。

贡献：

• • 

  我们统一了语言区域和图形区域的提示格式，并进一步提出了一种用于多任务设置的有效图形提示（第3.3节）。

• • 

  我们提出了一种有效的方法，将节点级和边缘级任务重新表述为图级任务，这可以进一步匹配许多预训练借口（第 3.2 节）。

• • 

  我们将元学习技术引入到我们的图形提示研究中，以便我们可以学习可靠的提示来提高多任务性能（第3.4节）。

• • 

  我们仔细分析了我们的方法为何有效（第 3.5 节），并通过大量实验确认了我们的方法的有效性（第 4 节）。

2.背景

图神经网络。 图神经网络（GNN）在许多基于图的应用中表现出了强大的表达能力（Sun等人，2021；Li等人，2019；Hou等人，2022；Jiashun等人，2023）。 大多数 GNN 的本质是捕获图形表示的底层消息传递模式。 为此，人们提出了许多有效的神经网络结构，例如图注意力网络（GAT）（Veličković等人，2018）、图卷积网络（GCN）（Welling and Kipf，2016） )，图转换器（石等人，2020）。 最近的工作还考虑了当数据不足时如何使图学习更具适应性或者如何将模型转移到新的领域，这引发了许多图预训练研究而不是传统的监督学习。

图预训练。 图预训练（Jin等人，2020）旨在通过易于获取的信息学习图模型的一些常识，以减少新任务的标注成本。 一些有效的预训练策略包括节点级比较，如 GCA (Zhu 等人，2021)，边缘级借口，如边缘预测 (Jin 等人，2020)，以及图级对比学习，例如 GraphCL (You 等人, 2020) 和 SimGRACE (Xia 等人, 2022)。 特别是，GraphCL 最小化具有不同增强的同一图的一对图级表示之间的距离，而 SimGRACE 尝试扰动图模型参数空间并缩小同一图的不同扰动之间的差距。 这些图级策略在图知识学习中表现更有效（Hu等人，2020），是本文的默认策略。

及时学习和动机。 直观上，上述图级预训练策略与语言屏蔽预测任务有一些内在的相似之处：对齐由节点/边缘/特征掩模或其他扰动生成的两个图视图与预测图上的一些空“空白”非常相似。 这启发我们进一步思考：为什么我们不能使用类似的图格式提示来提高图神经网络的泛化能力？ 即时学习不是通过自适应任务头对预训练模型进行微调，而是旨在重新构造输入数据以适应借口（Gao等人，2021）。 许多有效的提示方法都是NLP领域首次提出的，包括一些手工提示如GPT-3 (Brown 等人, 2020)，离散提示如(Shin 等人, 2020;高等人，2021），以及连续空间中的可训练提示，例如（Li和Liang，2021；刘等人，2022）。 尽管取得了显着的成果，但基于提示的方法还很少被引入图领域。 我们只发现很少有像GPPT (Sun 等人, 2022b)这样尝试设计图形提示的作品。 不幸的是，它们中的大多数都非常有限，远远不足以满足多任务需求。

3.图上的多任务提示

3.1.我们的框架概述

目标：在本文中，我们的目标是学习一个可以插入到原始图中的提示图，通过它我们希望进一步弥合图预训练策略和多个下游任务之间的差距，并进一步缓解先验知识转移到不同领域的困难。

概述：为了实现我们的目标，我们提出了一种新颖的图模型多任务提示框架。 首先，我们以相同的格式统一各种图任务，并将这些下游任务重新表述为图级任务。 其次，通过统一的图级实例，我们通过具有可学习标记、内部结构和自适应插入模式的新颖提示图进一步缩小了多个任务之间的差距。 第三，我们构建了一个元学习过程来学习多任务设置的更多自适应图形提示。 接下来，我们详细介绍一下主要组件。

3.2.重新制定下游任务

3.2.1.为什么要重新制定下游任务。

NLP领域传统的“预训练和微调”框架的成功很大程度上在于预训练任务和下游任务共享一些共同的内在任务子空间，使得预训练知识可以迁移到其他下游任务任务（图3a)。 然而，图领域的事情有点复杂，因为与图相关的任务远非相似。 如图3b所示，将边缘级任务和节点级任务视为同一任务是牵强的，因为节点级操作和边缘级操作有很大不同(Sun 等人, 2022b)。 这种差距限制了预训练模型的性能，甚至可能导致负迁移（Jin等人，2020）。 同样的问题也发生在我们的“预训练、提示和微调”框架中，因为我们的目标是学习多个任务的图形提示，这意味着我们需要通过重新制定不同的图形任务来进一步缩小这些任务之间的差距以更一般的形式。

3.2.2.为什么要重新制定到图形级别。

带着上述动机，我们重新审视图上的潜在任务空间，并找到它们的层次关系，如图3b所示。 直观上，许多节点级操作（例如“更改节点特征”、“删除/添加节点”）或边级操作（例如“添加/删除边”）可以视为图级别的一些基本操作。 例如，“删除子图”可以被视为“删除节点和边”。 与节点级和边缘级任务相比，图级任务更加通用，并且包含最大的重叠任务子空间用于知识迁移，已被许多图预训练模型(游等人，2020；胡等人，2020；夏等人，2022）。 这一观察进一步启发我们重新制定下游任务，使其看起来像图级任务，然后利用我们的提示模型来匹配图级预训练策略。

(a)NLP 任务

(b)图形任务 图 3.NLP 和图形中的任务空间

3.2.3.如何重新制定下游任务。

具体来说，我们通过分别为节点和边构建归纳图，将节点级和边级任务重新表述为图级任务。 如图4a所示，目标节点的诱导图是指其在网络中�距离内的局部区域，也称为其�-自我网络。 该子图通过相邻节点连接保留节点的局部结构，并通过相邻节点特征保留节点的语义上下文，这是大多数图神经编码器的主要范围。 当我们将目标节点的标签视为这个诱导图标签时，我们可以轻松地将节点分类问题转化为图分类问题；类似地，我们在图 4b 中呈现一对节点的归纳图。 这里，如果有一条边连接这对节点，则可以将其视为正边，如果没有，则可以将其视为负边。 通过将此节点对扩展到其 � 距离邻居，可以轻松构建该子图。 我们可以通过为图标签分配目标节点对的边标签来重新表述边级任务。 请注意，对于未加权图，� 距离等于 � 跳长度；对于加权图，�距离是指最短路径距离，可以通过许多高效算法轻松找到诱导图（Akiba等人，2015；朱等人，2013）.

(a)节点的归纳图

(b)边的归纳图 图 4.节点和边的归纳图

3.3.即时图形设计

3.3.1.以一种方式提示 NLP 和图

为了将提示思想从 NLP 无缝转移到图领域，我们建议从一个角度统一 NLP Prompt 和 Graph Prompt。 对比如图2所示的自然语言处理和图形区域的需求，我们发现自然语言处理和图形区域的提示至少应包含三个组成部分：（1）提示词符，包含与输入词/节点向量大小相同的向量化提示信息； （2）词符结构，表示不同token之间的联系。 在NLP领域，提示标记（又名提示词）被预设为类似子句或短语的线性关系；而在图领域，不同token的连接是非线性的，并且远比NLP提示复杂； (3)插入模式，介绍如何在输入数据中添加提示。 在NLP领域，提示通常会默认添加在输入句子的前面或后面。 但在图形区域中，没有像句子这样的明确位置来连接图形提示，使得图形提示变得更加困难。

3.3.2.提示标记

假设图形实例为