gephi生成网络关系图_IJCAI2019 | VR-GCN：用于多关系网络对齐的关系向量化图卷积网络...

多关系网络(例如知识图谱)对齐对上层的AI应用有很重要的意义。现有的基于图卷积网络(Graph Convolutional Network，GCN)的对齐模型并没有充分地利用多关系的信息，也就是关系的类别信息。因此作者提出一种关系向量化的图卷积网络VR-GCN，来同时学习实体的表示和关系的表示，并基于此网络构建了对齐框架AVR-GCN用于多关系网络对齐任务。

论文题目: A Vectorized Relational Graph Convolutional Network for Multi-Relational Network Alignment

论文作者: Rui Ye, Xin Li, Yujie Fang, Hongyu Zang and Mingzhong Wang

论文地址：https://www.ijcai.org/proceedings/2019/0574.pdf

研究动机

网络对齐，旨在不同的网络中找到具有相同语义的等价节点或等价关系。以知识图谱为例，对齐不同语言的知识图谱，有利于构建更完备的知识网络，对提升知识推理、跨领域推荐等任务的效果有显著意义。

基于表示学习的模型由于其高效性也被用到网络对齐任务中。根据其是否对网络内关系进行表示，可以分为单关系网络(Single-relational networks)表示方法，如：DeepWalk[1]，Node2Vec[2]；和多关系网络(Multi-relational networks)表示方法，如：TransE[3]及其拓展工作。

随着深度学习的发展，以图卷积网络(Graph Convolutional Network，GCN)[4]为代表的方法对图表示相关任务有很好的效果。然而，传统的基于频谱的GCN只能处理无向单关系网络，因为其要求归一化图拉普拉斯算子为实对称正半定矩阵，以便于进行图的傅立叶变换，这也表明邻接矩阵必须是对称的，并且二维的邻接矩阵也将边限制为相同类型，即单一关系。为了在图卷积中增加对多关系的支持，R-GCN[5]对每一关系学习一个映射矩阵，用于改变实体在累计邻居权重时考虑来自不同关系的影响，但R-GCN也没有显式地对关系进行表示。

因此，本文作者提出同时对实体和关系进行表示的图卷积网络VR-GCN，其具备以下几个特点：

a)显式的关系embedding学习。

b)实体角色区分：实体作为头实体或尾实体时采取不同的卷积操作，同时也体现图的有向性。

c)翻译模型的性质：学习到的表示具备形如TransE的h+r≈t的性质。

基于VR-GCN，作者在实体和关系层面上增加对齐的优化目标，得到网络对齐模型AVR-GCN。

提出方法

下面将分别介绍同时具备GCN和TransE性质的表示模型VR-GCN，及基于它的知识图谱对齐模型AVR-GCN。

1.VR-GCN框架

不同于GCN，在每层卷积时，以邻居节点及自身的表示加和平均后，通过一个非线性变换来得到输出。VR-GCN的关键，在于每层卷积计算中引入关系的表示。具体的更新函数如下：

如此设计，可以使得实体在获得邻居表示时，能区分邻居实体是来自头实体还是尾实体，并会受到关系表示带来的平移偏置影响。所学到的实体、关系表示，天然地满足TransE的假设性质h+r≈t。VR-GCN的示意图如下：

2.基于VR-GCN的知识图谱对齐框架AVR-GCN

在VR-GCN的基础上，使用共享参数的设定分别训练两个输入的网络，同时增加网络对齐的目标，可以得到知识图谱对齐框架AVR-GCN。

AVR-GCN在对齐目标上进行了两个方面的设计。第一点是最小化等价实体对、等价关系对在向量空间中的表示距离，即优化如下的Margin-based目标函数：

AVR-GCN的框架图如下：

实验分析

作者主要在知识图谱对齐(Knowledge graph alignment)和链接预测(Link prediction)两个任务上分别评测了AVR-GCN和VR-GCN的性能。

1.知识图谱对齐数据集方面，本文使用了实体对齐任务较为广泛使用的跨语言数据集DBP15K，由于是图谱级别的对齐，除了实体的对齐，还包括关系的对齐，所以与之前文章使用的数据集稍有不同，本文的数据集包含等价的关系。数据集的统计信息如下：

评价指标使用的是MRR和Hits@k。两个指标越大，表明模型效果越好。Baseline方面，使用了：将两个向量空间进行线性变换，从而达到对齐目的的MTransE[6]；迭代式增加训练数据的ITransE[7]；概率模型NTAM[8]；使用受限的Margin ranking loss的BootEA[9]的非迭代模型AlignE；基于图卷积网络的实体对齐模型GCN-Align[10]；以及AVR-GCN去除关系对齐目标的消融模型AVR-GCN(rl.exl.)。实体对齐的结果如下：

从结果中可以看到，AVR-GCN(rl.exl.)优于其他baselines，体现出在图卷积网络中显式地进行关系表示能帮助到对图结构信息进行编码；AVR-GCN结果的最优，体现出引入关系对齐目标对提升实体对齐有很大的帮助。

关系对齐的结果如下：

可以看到AVR-GCN同样具有最好的效果。

除此之外，作者改变了训练数据和测试数据中等价实体对、等价关系对的比率，得到如下的结果变化表：

这也符合我们的直观假设：训练数据越充分，模型效果越好。

2.链接预测数据集方面，使用的是链接预测任务广泛使用的公开数据集WN18和FB15k-237。评价指标使用的是MRR和Hits@k。两个指标越大，表明模型效果越好。Baseline方面，使用了TransE，DisMult[11]，和R-GCN。

和R-GCN一样，VR-GCN使用如下的得分函数进行交叉熵loss的计算：

实验结果如下：

可以看到VR-GCN在提升网络表示效果上的提升还是很明显的。

------------------

IJCAI 2019涌现出很多实体对齐相关的文章，我们也将近年来基于表示学习的实体对齐方法做了整理，欢迎大家关注：https://github.com/THU-KEG/Entity_Alignment_Papers

参考文献

[1] Bryan Perozzi, Rami Al-Rfou, and Steven Skiena. Deepwalk: online learning of social representations. In The 20th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining, KDD ’14, New York, NY, USA August 24 - 27, 2014, pages 701–710, 2014.

[2] Aditya Grover and Jure Leskovec. node2vec: Scalable feature learning for networks. In Proceedings of the 22nd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining, San Francisco, CA, USA, pages 855–864, 2016.

[3] Antoine Bordes, Nicolas Usunier, Alberto Garc ́ıa-Dura ́n, Jason Weston, and Oksana Yakhnenko. Translating embeddings for modeling multi-relational data. In Advances in Neural Information Processing Systems 26: 27th Annual Conference on Neural Information Processing Systems 2013. Proceedings of a meeting held December 5-8, 2013, Lake Tahoe, Nevada, United States., pages 2787–2795, 2013.

[4] Thomas N. Kipf and Max Welling. Semi-supervised classification with graph convolutional networks. CoRR, abs/1609.02907, 2016.

[5] Michael Sejr Schlichtkrull, Thomas N. Kipf, Peter Bloem, Rianne van den Berg, Ivan Titov, and Max Welling. Modeling relational data with graph convolutional networks. CoRR, abs/1703.06103, 2017.

[6] Muhao Chen, Yingtao Tian, Mohan Yang, and Carlo Zaniolo. Multilingual knowledge graph embeddings for cross-lingual knowledge alignment. In Proceedings of the Twenty-Sixth International Joint Conference on Artificial Intelligence, IJCAI 2017, Melbourne, Australia, August 19-25, 2017, pages 1511–1517, 2017.

[7] Hao Zhu, Ruobing Xie, Zhiyuan Liu, and Maosong Sun. Iterative entity alignment via joint knowledge embeddings. In Proceedings of the 26th International Joint Conference on Artificial Intelligence, IJCAI, Melbourne, Australia, pages 4258–4264, 2017.

[8] Shengnan Li, Xin Li, Rui Ye, Mingzhong Wang, Haiping Su, and Yingzi Ou. Non-translational alignment for multi-relational networks. In Proceedings of the Twenty-Seventh International Joint Conference on Artificial Intelligence, IJCAI 2018, July 13-19, 2018, Stockholm, Sweden., pages 4180–4186, 2018.

[9] Zequn Sun, Wei Hu, Qingheng Zhang, and Yuzhong Qu. Bootstrapping entity alignment with knowledge graph embedding. In Proceedings of the TwentySeventh International Joint Conference on Artificial Intelligence, IJCAI 2018, July 13-19, 2018, Stockholm, Sweden., pages 4396–4402, 2018.

[10] Zhichun Wang, Qingsong Lv, Xiaohan Lan, and Yu Zhang. Cross-lingual knowledge graph alignment via graph convolutional networks. In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing, Brussels, Belgium, October 31-November 4, 2018, pages 349–357, 2018.

[11] Bishan Yang, Wen-tau Yih, Xiaodong He, Jianfeng Gao, and Li Deng. Embedding entities and relations for learning and inference in knowledge bases. CoRR, abs/1412.6575, 2014.