关系抽取模型----SpERT模型

关系抽取模型----SpERT模型

SpERT模型是联合式抽取模型，同时抽取实体和关系。SpERT模型采用分类的思想实现联合抽取，实体抽取和关系抽取模型均为分类模型。SpERT模型是Span-based Joint Entity and Relation Extraction with Transformer Pre-training(2020)提出的，代码地址，SpERT模型
(1) 实体抽取和关系抽取均采用分类的思想
(2) 采用穷近的思想预测给定文本中所有可能的文本片段所属的实体类型
(3) 关系抽取依赖于出抽取出的实体，预测抽取实体的所有组合的关系类型
(4) 进行关系抽取会可考虑实体间的文本特征信息

模型结构

SpERT的模型采用bert 作为embedding，预测实体类型，选取实体类型为非None的实体进行关系分类，结构如下图：

(1)实体分类，这里对实体进行分类，是一个softmax，但是考虑了实体的头尾，实体分类模型得到的是实体的类别和实体span，也就是文本中的那些字段是实体，模型的输入文本tokenizer， 实体span，实体mask，实体size等
(2)对实体进行过滤span filter，对实体模型的结果进行过滤，保留有实体，根据保留的实体构建关系负样本，
(3)关系分类，输入是实体，实体间连续文本特征max-pooling，实体宽度矩阵，经过一个线性层，得到关系分类的结果
注意：实体分类采用的是softmax，关系分类采用的是sigmoid

span classification

• span’s BERT embeddings
  
• BERT/width embeddings
  
  其中c是是bert embedding中CLS向量，即这个句子的句向量。
• entity classification
  

span filtering

过滤实体类型为None的实体

Relation classification

-特征表示

-关系分类

其中