论文阅读笔记：Modularized Interaction Network for Named Entity Recognition

Modularized Interaction Network for Named Entity Recognition

Introduction

命名实体识别（NER）是自然语言处理（NLP）中的一项基本任务，旨在发现和分类文本中命名实体的类型，如人（PER）、位置（LOC）或组织（ORG）等。它已广泛用于许多下游应用，如关系提取、实体链接、问题生成和共指消解。

目前，NER任务有两种类型的方法。

• 第一种是基于序列标记的方法，其中句子中的每个单词都被分配一个特殊的标签（例如B-PER或I-PER）。这种方法可以捕捉相邻词级标签之间的依赖关系，并最大限度地提高预测标签在整个句子中的概率。多年来，它在各种数据集中取得了最先进的性能。然而，NER是一项段级识别任务。因此，仅关注单词级信息的基于序列标记的模型在识别长实体方面表现不佳。
• 第二种是基于分段的方法，它们将段（即词的跨度）而不是单个词作为基本单元，并为每个段分配一个特殊标签（例如PER、ORG、LOC）。由于这些方法采用段级处理，因此能够识别长实体。然而，段内的字级依存关系通常被忽略。

NER旨在检测文本中的实体边界和命名实体的类型。因此，NER任务通常包含关于边界检测和类型预测的两个独立子任务。然而，作者在实验中观察到边界检测和类型预测子任务实际上是相关的。也就是说这两个子任务可以通过共享其信息进行交互并相互加强。以句子“Emmy Rossum was from New York University”为例。如果我们知道“University”是一个实体边界，那么将相应的实体类型预测为“ORG”会更准确。类似地，如果我们知道一个实体具有“ORG”类型，那么预测“University”是实体“New York University”的终点边界而不是“York”（实体“New York”的终点边界）将更准确。

然而，基于序列标记的模型将边界和类型视为标签，因此无法在子任务之间共享此类信息以提高准确性。另一方面，基于段的模型首先检测段，然后将其分类为相应的类型。这些方法通常不能在段检测过程中使用实体类型信息，并且在将这些信息从段检测传递到段分类时可能会出错。

在本文，作者提出了一个模块化交互网络（MIN）模型，该模型由NER模块、边界模块、类型模块和NER任务的交互机制组成。为了解决在基于序列标记的模型中识别长实体的问题以及在基于段的模型中利用段内词级依存关系的问题，我们将指针网络作为解码器纳入边界模块，以捕获每个词的段级信息。然后，将这些段级信息和每个单词上相应的单词级信息连接起来，作为基于序列标记的模型的输入。为了实现交互信息，作者将NER任务分为边界检测和类型预测子任务，通过共享每个子任务的信息来提高这两个子任务的性能。具体来说，作者使用两个不同的编码器从两个子任务中提取其不同的上下文表示，并提出一种相互增强的交互机制。最后，将这些信息融合到NER模块中，以提高性能。

Model

接下来我们来看看作者为NER提出的模块化交互网络（MIN）。整体模型架构如图所示，由NER模块、边界模块、类型模块和交互机制组成。

NER Module

首先我们来看NER模块。其具体结构如下图所示：

• 对于给定句子$S=<w_1,w_2,\cdots ,w_n>$，每个单词$w_i(1\le i\le n)$通过连接字级嵌入$x_i^w$和字符级字嵌入$x_i^c$来表示。其表示结果如为：$x_i=[x_i^w;x_i^c]$，其中$x_i^w$是预训练的词嵌入；$x_i^c$是使用BiLSTM获得字符级词嵌入用以捕获$rthographicandmorphological$信息。它将单词中的每个字符视为一个向量，然后将它们输入到 BiLSTM 以学习隐藏状态。来自前向和后向输出的最终隐藏状态被连接为字符级单词信息。

• 然后将分布式词嵌入$X=<x_1,x_2,\cdots ,x_n>$输入BiLSTM编码器以提取所有词的隐藏序列$H=<h_1,h_2,\cdots ,h_n>$，其中，$h_i=\left[\overrightarrow{h_i};\overleftarrow{h_i}\right]$，$\overrightarrow{h_i}=\mathrm{LSTM}\left(x_i,\overrightarrow{h_{i-1}}\right)$，$\overleftarrow{h_i}=\mathrm{LSTM}\left(x_i,\overleftarrow{h_{i-1}}\right)$。

• 在NER模块中，作者融合了NER任务的不同上下文边界表示和类型表示。此外，还融合了来自边界模块的段信息，以支持长实体的识别。则NER模块中的最终隐藏表示为：$H^{NER}=W^{\top }\left[H;H^B;H^T;H^S\right]+b$

  • $H^B=\sigma \left(W_1^{\top }H+W_B^{\top }{\bar{H}}^{Bdy}\right)\otimes {\bar{H}}^{Bdy}$，在Boundary Module中详细介绍。
  • $H^T=\sigma \left(W_2^{\top }H+W_T^{\top }{\bar{H}}^{Type}\right)\otimes {\bar{H}}^{\text{Type }}$，在Type Module中详细介绍。
  • $H^S=\sigma \left(W_3^{\top }H+W_S^{\top }{H}^{Seg}\right)\otimes H^{\text{Seg }}$，在Boundary Module中详细介绍。
  • ${\bar{H}}^{Bdy},{\bar{H}}^{\text{Type }}=\mathrm{interact}\left(H^{Bdy},H^{\text{Type }}\right)$，在Interaction Mechanism中详细介绍。

  $H^B$、$H^T$和$H^S$分别表示要注入到NER模块中的边界、类型和段信息。$\sigma$表示$sigmoid$激活函数，$\otimes$表示元素乘法。$H^{Bdy}$表示来自边界模块的隐藏序列表示、$H^{Type}$表示来自类型模块的隐藏序列表示，$H^{Seg}$表示来自边界模块的段信息。${\bar{H}}^{Bdy},{\bar{H}}^{\text{Type }}$分别表示使用交互机制interact(·,·) 交互后隐藏序列与边界模块和类型模块的不同表示。

• 最终利用CRF Decoder将$H^{NER}$转化为预测的标签序列$y=<y_1,y_2,\cdots ,y_n>$。

Boundary Module

Boundary Module不仅需要提供不同的上下文边界信息，还需要为 NER 模块提供分段信息。

在这里作者使用了另一个BiLSTM作为编码器来提取不同的上下文边界信息。并受BDRYBOT的启发，使用带有指针网络的递归神经网络编码器-解码器框架来检测实体片段以获取片段信息。BDRYBOT模型处理实体中的起始边界词以指向相应的结束边界词。实体中的其他实体词被跳过。非实体词指向特定位置。该方法在边界检测任务中取得了可喜的成果。然而，由于实体的可变长度，该模型被剥夺了批量训练的能力。另外，由于实体中每个词的段信息与起始边界词相同，如果错误地检测到起始边界词，则段内所有词的段信息都是不正确的。

为了避免这个问题，作者改进了训练过程并提出了一种新的方法来捕获每个单词的片段信息。我们训练起始边界词指向相应的结束边界词，而句子中的其他词指向一个不活跃的标记词。改进后的框架如下图所示：

• 与NER模块的前两步类似，作者用另一个BiLSTM作为编码器来获得不同的边界隐藏序列$H^{Bdy}=<h_1^{Bdy},h_2^{Bdy},\cdot \cdot \cdot ,h_n^{Bdy}>$，并将哨兵向量填充到隐藏序列$H^{Bdy}$的最后位置，作为不活跃标记词。

• 为了向 LSTM 的输入添加额外信息，作者使用当前 ($h_i^{Bdy}$)、先前 ($h_{i-1}^{Bdy}$) 和下一个 ($h_{i+1}^{Bdy}$) 词的隐藏状态而不是词嵌入作为解码器的输入，得到$s_j=h_{j-1}^{Bdy}+h_j^{Bdy}+h_{j+1}^{Bdy}$（注意第一个词和最后一个词没有previous和next的隐藏状态，则使用零向量来表示它，在图中显示为灰色）。然后，使用单向 LSTM 作为解码器，在每个时间步$j$生成解码状态$d_j=LSTM\left(s_j,d_{j-1}\right)$。

• 接着使用$biaffineattention$机制在时间步$j$处为每个可能的边界位置$i$生成一个特征表示，并使用 softmax 函数获得词$w_i$的概率来确定一个实体以单词$w_j$开头并以单词$w_i$结尾的片段。

  • $u_i^j=d_j^{T}W{h}_i^{Bdy}+U^T{d}_j+V^T{h}_i^{Bdy}+b$
  • $p\left(w_i\mid w_j\right)=\mathrm{Softmax}\left(u_i^j\right),i\in [j,n+1]$
  • 其中$W$是双线性项的权重矩阵，$U、V$是线性项的权重矩阵，$b$是偏置向量，$i\in [j,n+1]$表示解码中的可能位置。

• 与现有方法枚举所有以单词$w_j$开头的具有同等重要性的片段不同，我们使用概率$p(w_i|w_j)$作为开头片段的置信度单词$w_j$并以单词$w_i$结尾，然后将所有这些在概率$p(w_i|w_j)$下的片段相加，作为单词$w_j$的片段信息。

  • $H_j^{Seg}={\sum }_{i=j}^{n}p\left(w_i\mid w_j\right)h_{j,i}^p$
  • $h_{j,i}^p=\left[h_j^{Bdy};h_i^{Bdy};h_i^{Bdy}-h_j^{Bdy};h_i^{Bdy}\odot h_j^{Bdy}\right]$
  • $h_{j,i}^p$是以单词$w_j$开头并以单词$w_i$结尾的段的表示。

Type Module

对于类型模块，作者使用与 NER 模块中相同的网络结构。并且需要从此模块中获得$H^T=\sigma \left(W_2^{\top }H+W_T^{\top }{\bar{H}}^{Type}\right)\otimes {\bar{H}}^{\text{Type }}$。

• 给定输入的分布式表示$X=<x_1,x_2,\cdots ,x_n>$, 用BiLSTM提取不同的上下文类型信息 $H^{Type}=<h_1^{Type},h_2^{Type},\cdot \cdot \cdot ,h_n^{Type}>$,。
• 然后用CRF解码输出标记的类型标签。

Interaction Mechanism

如前面作者所说，边界信息和类型信息可以相互加强。具体实现如下：

• 首先在每个子任务标签上使用自注意机制来获得明确的标签表示。

• 然后将这些表示和相应子任务的上下文信息连接起来，以获得标签增强的上下文信息。

• 对于第$i$个标签增强的边界上下文表示$h_i^{B-E}$，首先使用$biaffineattention$机制来掌握$h_i^{B-E}$与标签增强型上下文信息$<h_1^{T-E},h_2^{T-E},\cdots ,h_n^{T-E}>$之间的注意力分数$<{\alpha }_{i,1}^{B-\bar{E}},{\alpha }_{i,2}^{B-E},\cdots ,{\alpha }_{i,n}^{B-E}>$。然后,通过将类型信息视为其更新的边界表示来连接第$i$个标签增强边界表示$h_i^{B-E}$和交互表示$r_i^{B-E}$。

  $\begin{array}{rl}{r}_i^{B-E}& =\sum _{j=1}^n{\alpha }_{i,j}^{B-E}{h}_j^{T-E}\\ {\bar{h}}_i^{Bdy}& =\left[h_i^{B-E},r_i^{B-E}\right]\end{array}$

  ${\bar{H}}^{Bdy}=<{\bar{h}}_1^{Bdy},{\bar{h}}_2^{Bdy},\cdots ,{\bar{h}}_{}^{Bdy}>$

• 同理可得，${\bar{H}}^{Type}=<{\bar{h}}_1^{Type},{\bar{h}}_2^{Type},\cdots ,{\bar{h}}_{}^{Type}>$

Experiments

Datasets

1. CoNLL2003 - 它是从路透社新闻文章中收集的。 CoNLL 2003 NER 共享任务定义了四种不同类型的命名实体，包括 PER、LOC、ORG 和 MISC。
2. WNUT2017 - 它是一组嘈杂的用户生成文本，包括 YouTube 评论、StackExchange 帖子、Twitter 文本和 Reddit 评论。标注了 PER、LOC、Group、Creative work、Corporation 和 Product 六类实体。
3. JNLPBA - 它是从 MEDLINE 摘要中收集的。注释了五种类型的实体，包括 DNA、RNA、蛋白质、细胞系和细胞类型。

表中的详细信息如下所示：

Experimental Results

如图所示为作者提出的 MIN 模型和基线模型的实验结果。

• 与不使用任何语言模型或外部知识的模型相比，可以观察到作者的MIN模型在精度、召回率和 F1 分数方面优于所有比较的基线模型，并实现了 0.57%、4.77% 和 3.26% 的改进分别针对CoNLL2003、WNUT2017 和 JNLPBA 数据集的 F1 分数。

• 在比较的模型中，BiLSTM-Pointer 模型的 F1 分数普遍低于其他模型。这是因为它没有利用段内的单词级依赖关系，并且在边界检测和类型预测期间也存在边界错误传播问题。

• CNN-BiLSTM-CRF 和 RNN-BiLSTM-CRF 模型在三个数据集上取得了相似的性能结果，其性能比 HCRA 和 HSCRF 差。 HCRA 模型使用句子级和文档级表示来增强上下文化的单词表示，而 HSCRF 模型通过多任务训练考虑句段级和单词级信息。但是，HCRA 模型不考虑句段级信息，HSCRF 模型不直接对句段内的词级依赖关系建模。

• 此外，上述所有模型都不共享边界检测和类型预测子任务之间的信息。MIN模型取得了最佳性能，因为它能够考虑所有这些信息。

• 当结合 ELMo 和 BERT 等预训练语言模型时，所有模型都取得了更好的性能结果。与其他模型相比，MIN 模型在 CoNLL2003、WNUT2017 和 JNLPBA 数据集的 F1 分数上分别提高了 0.95%、3.83% 和 2.73%。结果与未使用任何预训练语言模型的模型中讨论的结果一致。