赞
踩
在本节中,我们将介绍本文中使用的符号,并制定多模态KG表示学习问题。
知识图(KG)定义为有向图,可表示为三元组的集合 ( h , r , t ) (h,r,t) (h,r,t),其中 h h h表示头部实体, t t t表示尾部实体,r表示h和 t t t之间的关系。
知识图嵌入旨在将实体和关系压缩到一个连续的、低维的向量空间中。给定一个三元(h,r,t),在三元上定义一个损失函数f (h,r,t)来反映h和t之间关系的概率,通过使损失函数最小化,我们最终可以得到KG嵌入。
度规空间是一个有序对
(
G
,
d
)
(G, d)
(G,d),其中
G
G
G是一个集合,
d
d
d是
G
G
G上的一个度规,即函数
d
:
G
×
G
→
R
d:G \times G \to R
d:G×G→R,使得对于任意
x
,
y
,
z
∈
G
x,y, z∈G
x,y,z∈G,满足以下条件:
KG嵌入组表示:KG嵌入过程分为三步。第一步是在头实体
h
h
h和群
<
G
,
∗
>
<G,*>
<G,∗>上的关系
r
r
r之间进行分组运算,从而生成特征实体
t
~
\tilde t
t~ (
h
h
h和
r
r
r):
其中,
∗
*
∗是组操作,
h
,
r
∈
G
h,r∈G
h,r∈G。第二步是计算度量空间
<
G
,
∗
,
d
>
<G,*,d>
<G,∗,d>中
t
~
\tilde t
t~和尾实体
t
t
t之间的距离:
第三步是计算损失函数 f ( d ) f (d) f(d)。
融合功能,即融合门是结构信息与图像信息融合的机制:
多模态KG嵌入群表示可视为KG嵌入引入了一个融合门,
Φ
Φ
Φ。嵌入过程分为3个步骤。第一步是在
Φ
(
h
s
,
h
i
)
Φ(h_s, h_i)
Φ(hs,hi)和组
<
G
,
∗
>
<G,*>
<G,∗>上的关系
r
r
r之间进行分组运算,其中
h
s
h_s
hs为头部实体的结构嵌入,
h
i
h_i
hi为头部实体的图像嵌入。因此,
Φ
(
h
s
,
h
i
)
Φ(h_s, h_i)
Φ(hs,hi)和
r
r
r的一个特征实体
t
~
\tilde t
t~可以写成:
其中
h
s
,
h
i
,
r
∈
G
h_s, h_i,r∈G
hs,hi,r∈G。第二步是计算度量空间
<
G
,
∗
,
d
>
<G,*,d>
<G,∗,d>中
t
~
\tilde t
t~和
Φ
(
t
s
,
t
i
)
Φ(t_s,t_i)
Φ(ts,ti)之间的距离:
其中 t s t_s ts为尾实体的结构嵌入, t i t_i ti为尾实体的图像嵌入。第三步是计算损失函数 f ( d ) f (d) f(d)。
Copyright © 2003-2013 www.wpsshop.cn 版权所有,并保留所有权利。