知识表示模型汇总分析--Trans系列_trans系列模型

作者：我家小花儿 | 2024-03-25 10:36:12

踩

trans系列模型

作者：孙天祥
链接：https://zhuanlan.zhihu.com/p/43436288
来源：知乎
著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。

因为还根据自己的理解补充了点儿内容，就标为原创了。下面是正文：

近年来，以深度学习为代表的表示学习迅速发展，在很多领域都取得了巨大进展。简而言之，表示学习将要描述的对象表示为低维稠密向量，这也被称为分布式表示，从而有效解决了数据稀疏问题，并且便于在低维语义空间中进行计算。将表示学习应用于知识图谱（Knowledge Graph, KG），即是知识表示学习。

在当前的主流知识库中，知识被存储为 $(h, r, t)$ 的三元组形式，其中 $h$ 表示头实体， $r$ 表示联系， $t$ 表示尾实体。知识表示学习的任务就是学习 $h, r, t$ 的分布式表示（也被叫做知识图谱的嵌入表示(embedding)）。

目前，知识表示学习方法从实现形式上可以分为两类：基于结构的方法和基于语义的方法。基于结构的嵌入表示方法包括TransE, TransH, TransR&CTransR, TransD等，这类方法从三元组的结构出发学习KG的实体和联系的表示；基于语义的嵌入表示方法包括NTN, SSP, DKRL等，这类方法从文本语义的角度出发学习KG的实体和联系的表示。

知识表示学习从发展来看可以分成两个阶段，以2013年Borders等人受Mikolov发现的语义空间中词向量的平移不变现象启发，从而提出了翻译模型(TransE)为分割。在TransE之前，有Structed Embedding, Semantic Matching Energy等模型，在TransE之后，人们在此基础上进行改进，依次提出了TransH, TransR, TransD等模型。接线来介绍基于TransE的改进模型。

作者：孙天祥
链接：https://zhuanlan.zhihu.com/p/43436288
来源：知乎
著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。

TransE

论文：Translating Embeddings for Modeling Multi-relational Data. Antoine Bordes, Nicolas Usunier, Alberto Garcia-Duran, Jason Weston, Oksana Yakhnenko. NIPS 2013.

我们用 $h$ 表示头实体向量，用 $t$ 表示尾实体向量，用 $r$ 表示关系向量，TransE模型的目标就是让 $t-h$ 尽可能地等于 $r$ ，即 $t-h\approx r$ 。其评分函数为：

$f_r(h, t) = \lVert h+r-t\rVert _{L_1/L_2}$

显然，对于正确的三元组，应该有较低的得分。在训练过程中，使用等级损失函数，这是因为在当前情况下我们没有就标签而言的监督，只有一对正确项 $(h,r,t)\in \Delta$ 和不正确项 $(h',r',t')\in \Delta'$ ，我们的目的是让正确项的得分比不正确项高。这种情况出现在我们只有正例时，知识图谱就是这种情况，我们只知道正确的三元组（golden triplet），再通过破坏一个正例来生成负例。等级损失就适用于这种情况，因此我们定义损失函数：

$L = \sum_{(h,r,t)\in \Delta}\sum_{(h',r',t')\in \Delta'}\max (f_r(h,t)+\gamma -f_{r'}(h',t'),0).$

上式中的 $\gamma$ 表示正例和负例得分的最小间隔(margin)，实际使用时常取 $\gamma=1$ .

博主注：

我们的目标是让f(h,t)最小，让f(h',t')最大。开始我觉得上面的公式不对，因为应该是取上式的极小值

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/我家小花儿/article/detail/309037