Attention-Based Convolutional Neural Network for Semantic Relation Extraction

Attention-Based Convolutional Neural Network for Semantic Relation Extraction

摘要

提出了一种新的基于注意力的卷积神经网络结构来完成关系分类任务。模型充分利用了单词嵌入、词性标注嵌入和位置嵌入信息。词级注意机制能够更好地确定句子的哪个部分相对于两个标注的实体最有影响。这种体系结构能够从特定任务的标记数据中学习一些重要的特征，而不需要外部知识，例如显式的依赖结构。我们的模型比几个最先进的神经网络模型获得了更好的性能，并且可以通过最少的特征工程实现具有竞争力的性能。

1.引言

关系分类在各种自然语言处理应用中起着关键作用，近年来已成为研究热点。各种基于机器学习的关系分类方法已经被提出用于该任务，基于人类设计的特征或者基于内核函数。
Socher等人，2012)引入了递归神经网络模型来学习任意句法类型和长度的短语和句子的组合向量表示。(曾等，2014；徐等，2015b)利用卷积神经网络(CNNs)进行关系分类。(徐等，2015c)沿着最短依赖路径应用基于长短期记忆的递归神经网络(RNNs)。
我们已经注意到，这些神经模型都是按照所有单词在句子中同等重要的方式设计的，并且同样有助于句子意义的表示。然而，各种情况表明，情况并非总是如此。比如，
“The women that caused the accident was on the cell phone and ran thru the
intersection without pausing on the median.”, where the type of relation is “Cause-Effect(e2,e1)”.
显然，并不是所有的词都对语义关系的表达有同等的贡献。在这句话中，“引起”在确定“因果”关系时具有特殊意义，但“电话”与“因果”关系的语义相关性较小。因此，如何识别决定主要语义信息的关键线索是一项重要的任务。
如果与标注实体有联系的单词被有效地捕获，我们可以找到决定语义信息的关键单词 。因此，我们建议将注意力机制引入到卷积神经网络中，以提取对句子意义重要的词，并将这些信息词的表示聚合成句子向量。我们方法的主要贡献如下:
1.我们提出了一种新颖的卷积神经网络结构，将文本段编码为其语义表示。与现有的神经关系提取模型相比，该模型能够充分利用词嵌入、词性标注嵌入和位置嵌入。
2.我们的卷积神经网络体系结构依赖于词级注意机制来为关系的语义表示选择重要信息。尽管输入句子的结构各不相同，但这使得探索更微妙的线索成为可能，使它能够自动学习哪些部分与给定的类别相关。

2.Related Works

各种学习范例已经被应用于关系抽取。如前所述࿰