异质网络模型metapath2vec算法

metapath2vec: Scalable Representation Learning for Heterogeneous Networks

摘要：我们研究异构网络中的表征学习问题。其独特的挑战来自于多种类型的节点和链路的存在，这限制了传统网络嵌入技术的可行性。我们开发了两个可扩展的表示学习模型，即metapath2vec和metapath2vec++。metapath2vec将基于元路径的随机行走形式化，以构建节点的异构邻域，然后利用异构跳格模型来执行节点嵌入。metapath 2 vec++模型进一步实现了异构网络中结构和语义相关性的同时建模。大量实验表明，metapath2vec和metapath2 vec ++不仅能够在各种异构网络挖掘任务(如节点分类、聚类和相似性搜索)中优于最先进的嵌入模型，而且能够辨别不同网络对象之间的结构和语义相关性。

首先阅读这篇文章，了解相关基础知识：

#16 知识分享：Metapath2vec的前世今生 - 知乎一、背景以及目的 最近看到的一些文章会提到Metapath2vec。于是乎抽了点时间整理了一下从word2vec方法发展到metapath2vec的路径。比较单纯的算是知识总结。本文尽量阐述思想，不过度使用公式表达。 本文中可能会涉…https://zhuanlan.zhihu.com/p/142316634学习目标：

1.metapath2vec算法{异质图Skip-Gram、meta-path schema 、概率转移矩阵、metapath随机游走}

2.算法优化{异质图embedding表示、异质图负采样、metapath2vec++算法}

3.图学习算法{使用dgl开源库、代码详解}

4.实验部分

原理：基于random walk和skip-gram的合成

 定义：

异质网络

异质网络表示学习 

异质网络的转移概率矩阵

负采样：

所谓负采样，就是你有一个正样本，比如orange和juice，然后你再随机采用得到k个负样本，比如orange和king。最终对每个context（比如这里是orange）按照“训练一个小型二分类器”的思路来更新网络中对应部分的权重。（Skip-gram）

skip-gram与负采样_ybdesire的博客-CSDN博客_skipgram负采样1. skip-gram模型skip-gram是word2vec中的主要模型之一（另一个模型是CBOW）。简单来说，CBOW是给定上下文，来预测input-word；而skip-gram是给定input-word，来预测上下文。下面我们来理解skip-gram模型。首先，给定句子如下The man who passes the sentence should swing the sword.-选择passes为中心词，window-size设置为3，则训练过程如下图通过该图可以大致理解skip-https://blog.csdn.net/ybdesire/article/details/108113350Skip-Gram模型和负采样 - 知乎Word2VecWord2Vec是从大量文本语料中以无监督的方式学习语义知识的一种模型，它通过学习文本来用词向量的方式表征词的语义信息。 举例来说，我们将所看到的字母组成的一个单词，转换为电脑能处理的一组数字来表示…https://zhuanlan.zhihu.com/p/89020340

 

metapath2vec++
metapath2vec在计算softmax时，忽略了节点类型。换句话说，在采集负样本时，没有考虑样本是否与正样本属于同一个节点类型。因而本文提出，异质的负采样 (Heterogeneous negative sampling)。也就说条件概率在特定的节点类型上做标准化。

这就为skip-gram最后一层输出层中的 每个类型都指定了一个多项分布。负采样的目标函数：

深度之眼Paper带读笔记GNN.04.metapath2vec_oldmao_2000的博客-CSDN博客用meta path进行随机游走，然后生成sequence，并应用到skip-gram模型中获得节点表征。https://blog.csdn.net/oldmao_2001/article/details/108314624