【论文泛读27】基于卷积深层神经网络的关系分类_基于卷积深度神经网络的关系分类

贴一下汇总贴：论文阅读记录

论文链接：《Relation Classification via Convolutional Deep Neural Network》

一、摘要

用于关系分类的最新方法主要基于统计机器学习，它们的性能很大程度上取决于提取特征的质量。所提取的特征通常来自于预先存在的自然语言处理系统的输出，这导致了现有工具中错误的传播，并阻碍了这些系统的性能。在本文中，我们利用一个卷积深层神经网络（DNN）来提取词汇和句子层面的特征。我们的方法将所有单词标记作为输入，无需复杂的预处理。首先，通过查找单词嵌入将单词标记转换成向量。然后，根据给定的名词提取词汇层面的特征。同时，使用卷积方法学习句子级特征。这两个级别的特征被连接以形成最终提取的特征向量。最后，这些特征被输入到softmax分类器中，以预测两个标记名词之间的关系。实验结果表明，我们的方法明显优于最先进的方法。

二、结论

本文利用卷积深层神经网络(DNN)提取词汇和句子级特征进行关系分类。在网络中，位置特征被成功地用来指定我们期望分配关系标签的名词对。加入粒子滤波后，系统得到了显著的改善。自动学习的特征产生极好的结果，并且可以取代基于现有自然语言处理工具的输出的精心设计的特征。

三、模型结构

本文将关系抽取问题定义为：给定一个句子$S$和名词对$e_1$和$e_2$，判断$e_1$和$e_2$在句子中的关系，将关系抽取问题等价为关系分类问题。模型的整体结构如图下图左, 网络结构很简单，其实就是一个卷积神经网络(CNN)，输入由 sentence level features 和 lexical level features 两部分特征构成。输出是该句子中包含的实体$e_1$和$e_2$之间的关系。

Lexical level features：

即词汇级别特征，这部分的特征向量其实分为五部分。

• $L_1$：实体$e_1$本身的向量
• $L_2$：实体$e_2$本身的向量
• $L_3$：实体$e_1$左右两个词的向量
• $L_4$：实体$e_2$左右两个词的向量
• $L_5$：WordNet中两个实体的上位词

将几部分的词汇特征信息拼接作为词汇级别的特征信息，论文实验结果也表明，这部分信息对模型有很明显的效果。

Sentence level feature：

句子级别特征的提取如上右图，采用卷积神经网络以及最大池化结合抽取句子级别的特征信息，输入特征是词向量信息(WF)以及位置向量信息(PF)的拼接结果。

• Word Features：词向量这部分没有简单的使用这个词的embedding，而是采用滑动窗口的方式，取当前词的前后词拼接作为当前词的特征信息。
• Position Features：考虑到 CNN 没有时序特征，所以特意增加了位置信息来弥补这一部分，每个词都距离两个实体有相对位置信息，将相对位置信息映射为向量表示。