【实体对齐·HGCN】Jointly Learning Entity and Relation Representations for Entity Alignment

1. HGCN: “Jointly Learning Entity and Relation Representations for Entity Alignment”.
   Yuting Wu, Xiao Liu, Yansong Feng, Zheng Wang, Dongyan Zhao. (EMNLP 2019) [paper][code]

• 推荐结论：
  • entity name的方法中效果好的一波
• 短评
  • 优点：entity name中效果好，且返回的是排名
  • 缺点：HGCN的GCN虽然使用了highway gate，但不是GAT,大图可能不友好
• 类别：
  • 实体对齐
  • 基于embedding的实体对齐
  • BootEA的bootstrapping方法
  • transE系列–特定于实体对齐的embedding+swap
• 数据集：
  • DWY100k
  • DBP15k
  • DBP-FB
  • SRPRS
• 图谱
  • wikidata/DBpedia/yago3
  • 规模：15k/100k
• 底层模型：
  • 嵌入模块：GCN+highway gate
  • 对齐模块：calibration（学习一个embedding)
  • 相似度：实体L2,关系L1
  • 损失函数：
    • 无embedding loss:
    • 对齐 loss:d=|e1-e2|,margin-based loss
      • 负采样：k-近邻
  • entity alignment+entityname
  • entity name用于model 初始化
• 速度
  • 比boostrapping的方法慢
• 开源软件情况：[code]，不在OpenEA里
• 评估质量：
  • DBP15k:
    • 在使用entity name的模型中仅次于CEA
  • SRPRS：在使用entity name的模型中仅次于CEA
  • DWY100:在使用entity name的模型中仅次于CEA
• 输入：2个KG的关系三元组（seed entity alignment)
• 输出：实体对齐对（也有排名）,关系对齐（有排名）

1.动机

• 动机
  • 没用关系表达
    • 关系和实体密切相关，所以应该有增益
  • 用了关系的：需要关系对齐的seed
    • eg JAPE,IPTransE,MTransE
  • TransE:可以直接训练entity,rel表达式
  • GCN:不能直接使用关系表达式–GCN是无向无标签的图
    • RGCN：
      • 多关系图
      • 但需要非常多的参数去建模
• 目标：
  • 用上关系表达，且不需要关系对齐的seed
• 方式
  • 用实体表示估计关系表示（仅用seed entity alignment）
  • 新的joint 实体表示：实体的关系信息+邻居
    • 可以进一步提升性能

2.输入输出

• 输入：seed 实体对齐+2KG
• 输出：关系对齐+实体对齐

3.相关工作

• TransE系列

  • JE
    • 在一个向量空间里学习两个KG的embedding
  • MTransE
    • 每个KG单独学一个embedding
    • 学一个两者之间的转移矩阵
    • 输出：rel alignment+entity alignment
  • BootEA
    • bootstrapping
  • SEA
    • 对度敏感的KG embedding model
  • KDCoE
    • 半监督：co-training
    • 跨语言
    • entity description

• GCN

  • RDGCN:
    • dual relation graph:建模关系信息
    • 原始图和对偶图多轮互动–>引入复杂的关系信息到entity 表达中
    • 问题：集中于entity embedding,忽略了relation的表达可以提供帮助
    • R-GCNs：需要超多参数

• NTAM

  • 输出：rel alignment+entity alignment

• 输出：rel alignment+entity alignment

  • NTAM
  • MTransE
  • 但需要rel align seed

4.模型

• GCNs+highway network
  • 多层stacked GCN layers
• 模块
  • preliminary entity alignment
    • 不同KG的entity嵌入到同义空间中
  • approximating relation representations
    • 用entity的表示估计relation的表示
  • joint entity and relation alignment
    • 将关系的表示引入到实体embedding–》 joint entity embedding
    • GCN：迭代地整合邻居结构信息
• entity name:利用entity name做模型初始化

4.1 GCN

* GCN
1

• highway gates

• 对齐
  
• margin-based scoring function
  • 这个margin loss不是embedding的，是alignment
  • 负采样：K-近邻（只有细微的差别）
  • 

4.2 approximating relation representations

• 先估计一个关系的表达
  • head
  • tail
  • 依赖于统计信息：head和tail的关系影响他们之间的语义
    • reasonable assumption
  • $f=W\cdot concate(avg(head,tail))$,W-可学习参数
  • 
• 关系相似度
  • 
  • 

4.3 joint entity and relation alignment

• pretrain entity alignment model(4.1)–stable

  • asumption: pre-trained entity 和approx relation 表达
    • 可以为他们自己提供丰富的信息

• joint entity representation

  • 融合了rel信息的entity表达
  • e=concate(e,sum(Re))
  •