SG-Net

SG-Net: Syntax-Guided Machine Reading Comprehension

这是2020年上交发表在AAAI上的一篇文章，本文在MRC中引入了语法结构信息，这也是我在读《Improving the Robustness of Question Answering Systems
to Question Paraphrasing》这篇文章时所想到的一个创新点。

Overview

本文的motivation是之前所有用self-attention机制的QA模型都存在一个问题：attention的计算没有限制，有一些不相关的词容易造成干扰。简言之就是每次做self-attention都会把文章每个词考虑进来，这样一来一些与关键信息不相干的内容有可能attention score比较大，也会被考虑进来，也就是noise比较多。作者希望通过syntax特征self-attention的计算加以限制，以此来使模型更好地理解文章和问题，并提升正确率。

上图是一个加入句法结构分析的例子。

因此本文最主要的一个contribution就是在QA领域传统的self-attention变为带有syntactic dependency of interest（SDOI）的attention机制。

Syntax-Guided Network

本文提出的模型叫做Syntax-Guided Network（SG-Net），概括一下就是以BERT为Baseline，对其中encoder block的self-attention机制加以改进。

上图是模型的总体架构，由于BERT我们都比较熟悉了，因此重点来看一下本文的创新部分，也就是后面的Syntax-Guided Self Attention Layer和Dual Context Aggregation。

Syntax-Guided Self Attention Layer

在得到Encoder的输出$H$后，我们再利用$H$做一次带有syntax mask的self-attention，而关键之处就是设置带有句法结构信息的mask。本文作者采用的方法是先预训练一个dependency parser，然后对文章和问题都进行dependency parsing，这样我们可以得到一个依存分析图。然后作者令每个单词只能够看到它自己和它的子节点（直接和间接），以此来构建一个attention mask，如下图的例子所示。

因此对于文章和问题中的每个单词$s_i$，我们预先通过dependency parser预处理出他可见的单词集合 { p i } \{p_{i}\} {pi​}，然后根据这些信息训练出attention mask $M$
$$M(i,j)=\{\begin{array}{l}1ifj\in p_{i}ori=j\\ 0otherwise\end{array}$$
然后同样的，我们训练query、key、value三个矩阵$Q、K、V\in R^{h\times L\times d_k}$，对于每个头$i$，在计算attention weight的时候把mask $M$加入进去
$${\mathrm{A}}_i=softmax(\frac{M\cdot (Q_i{K}_i^T)}{\sqrt{d_k}})$$
接着再计算attention score
$$W_i={\mathrm{A}}_i{V}_i$$
之后和正常的Encoder Block一样再经过Layer Normalize和Feed Forward得到该层的输出$\hat{H}$。

Dual Context Aggregation

接下来作者将不带syntax信息的representation $H$和带有syntax信息的representation $\hat{H}$进行融合，它采用的是一个线性组合
$$\bar{H}=\alpha H+(1-\alpha )\hat{H}$$
作者在后面提到这里还可以采用concatenation或者Bi-attention的方法，但是实验数据表明都没有文中这一种效果好

Experiment

作者在两个数据集上进行了实验，一个基于span提取的SQuAD2.0，另一个是基于MCQ的RACE数据集

可以看到SG-Net在两个数据集上都成为了新SOTA。

Ablation

作者也做了消融实验

可以看到Syntax-guided attention对baseline的提升是比较显著的（EM $1.3\%$ F1 $0.4\%$）

Analysis

作者对实验结果进行了两个层面的分析，一个是对长文本的表现能力，另一个是对syntax-guided attention的可视化。

首先看模型对长问题的回答能力

基本来说是呈正相关的，与BERT对比差异更加显著。

然后是对attention weight的可视化

左边是没有任何限制的self-attention，可以看到噪声是很多的，每个词对于句子中其他所有词都有着千丝万缕的联系。而右边是加入了syntax以后的attention weight，非常清爽，每个词都只与和它语法结构上相关的词之间有联系，而且也能看得出问题的答案也被成功地赋予了很大的权重。

Reflection

这篇文章的核心就是syntax-guided，加入了语法结构以后模型效果有了不小的提升。这一点可以结合《Improving the Robustness of Question Answering Systems to Question Paraphrasing》这篇文章所谈到的一个问题：如果把问题的某些词换为原文中与答案无关但具有迷惑性的词，那么模型的准确率会大大下降。从那篇文章的实验结果可以得出一个结论：普通的self-attention只能够让模型学习到语义特征，但是模型并没有完全理解文章和句子的结构，感觉像是通过语义相似度的匹配得出答案，因此加入语法结构特征对于模型理解文本是非常有帮助的。