赞
踩
作者在知识图谱嵌入任务中,针对于不同三元组中相关实体和实体-关系对间的语义相似性的问题,提出一个对于知识图谱嵌入简单且高效的对比学习框架,使用该框架作为一个额外的约束项一同训练KGE,这可以使不同三元组中相关实体和实体-关系对间的语义距离变小,因此可以提升知识图谱嵌入的表现。
data mine; topic mine;
提出一个对于知识图谱嵌入简单且高效的对比学习框架,这可以使不同三元组中相关实体和实体-关系对间的语义距离变小,因此可以提升知识图谱嵌入的表现。
contrastive learning;Knowledge graph embedding;
The key idea of contrastive learning is pulling the semantically close pairs together and push apart the negative pairs.
采用一个2层的MLP
根据以前存在的框架,使用以下函数:
C
L
(
z
i
,
z
i
+
)
=
−
1
∣
P
(
i
)
∣
log
∑
z
i
+
∈
P
(
i
)
e
sim
(
z
i
,
z
i
+
)
/
τ
∑
z
j
∈
N
(
i
)
e
sim
(
z
i
,
z
j
)
/
τ
\mathrm{CL}\left(\mathbf{z}_{i}, \mathbf{z}_{i}^{+}\right)=\frac{-1}{|P(i)|} \log \frac{\sum_{z_{i}^{+} \in P(i)} e^{\operatorname{sim}\left(\mathbf{z}_{i}, \mathbf{z}_{i}^{+}\right) / \tau}}{\sum_{z_{j} \in N(i)} e^{\operatorname{sim}\left(\mathbf{z}_{i}, \mathbf{z}_{j}\right) / \tau}}
CL(zi,zi+)=∣P(i)∣−1log∑zj∈N(i)esim(zi,zj)/τ∑zi+∈P(i)esim(zi,zi+)/τ
总损失函数为:
L
c
(
h
i
,
r
j
,
t
k
)
=
C
L
(
h
i
,
h
i
+
)
+
C
L
(
t
k
,
t
k
+
)
+
C
L
(
h
i
R
j
,
(
h
i
R
j
)
+
)
+
C
L
(
R
j
t
‾
k
,
(
R
j
t
‾
k
)
+
)
h
i
t
+
1
=
h
i
t
−
η
∂
C
L
(
h
i
,
h
i
+
)
∂
h
i
=
h
i
t
+
η
∑
h
i
+
∈
P
(
i
)
h
i
+
τ
∣
P
(
i
)
∣
−
η
∑
h
j
∈
N
(
i
)
(
e
(
h
i
⋅
h
j
/
τ
)
h
j
)
τ
∣
P
(
i
)
∣
∑
h
j
∈
N
(
i
)
e
(
h
i
⋅
h
j
/
τ
)
作者发现不同的对比损失项对于不同的知识图谱有着不同的影响,所以作者设计一个超参数进行调整:
L
c
w
(
h
i
,
r
j
,
t
k
)
=
α
h
C
L
(
h
i
,
h
i
+
)
+
α
t
C
L
(
t
k
,
t
k
+
)
+
α
h
r
C
L
(
h
i
R
j
,
(
h
i
R
j
)
+
)
+
α
t
r
C
L
(
R
j
t
‾
k
,
(
R
j
t
‾
k
)
+
)
L ( h i , r j , t k ) = L s + L r + L c w \mathcal{L}\left(h_{i}, r_{j}, t_{k}\right)=\mathcal{L}_{s}+\mathcal{L}_{r}+\mathcal{L}_{c}^{w} L(hi,rj,tk)=Ls+Lr+Lcw
常规实验结果,效果不错
作者还展示了RESCAL-DURA和自己提出的方法RESCAL-CL在WN18RR上每种关系的效果对比,展示了其模型效果的普遍性。
作者还额外的提供了T-SNE的可视化展示:
其中,可以看到由于 RESCAL-DURA 无法捕获具有相同实体的对的语义相似性,因此具有相同尾部实体的对的分布仍然很宽。而作者的RESCAL-CL分布更为紧凑。
Copyright © 2003-2013 www.wpsshop.cn 版权所有,并保留所有权利。