动态/双向attention和QANet_动态attention

1.动态注意网络（DCN）：

1.1 encoder

查询术语序列向量表示（GloVe）： ($x$${}^Q$${}_1$，$x$${}^Q$${}_2$,…,$x$${}^Q$${}_n$)
文档术语序列向量表示（GloVe）：($x$${}^D$${}_1$，$x$${}^D$${}_2$,…,$x$${}^D$${}_m$)
使用LSTM编码文档：$d$${}_t$=$L$$S$$T$$M$${}_e$${}_n$${}_c$($d$${}_t$${}_{-}$${}_1$,$x$${}^D$${}_t$)。文档编码矩阵：$D$ = [$d_1$…$d_m$,$d_{\varnothing }$] ∈ $R$${}^l$${}^{\times }$${}^{(}$${}^m$${}^{+}$${}^1$${}^{)}$。$d_{\varnothing }$为哨兵向量，它允许模型不关注输入中的任何特定单词。
question编码：$q$${}_t$=$L$$S$$T$$M$${}_e$${}_n$${}_c$($q$${}_t$${}_{-}$${}_1$,$x$${}^Q$${}_t$)。question编码矩阵：$Q$${}^{’}$= [$q_1$…$q_n$,$q_{\varnothing }$] ∈ $R$${}^l$${}^{\times }$${}^{(}$${}^n$${}^{+}$${}^1$${}^{)}$，考虑到question编码空间和文档编码空间之间的差异，引入了非线性投影层映射question：

1.2coattention encoder

1.计算相似度矩阵：

2.document-to-question （行）注意力权重$A$${}^Q$:

3.question-to-document（列）注意力权重$A^D$:

4.接下来，根据question的每个单词计算文档的摘要或注意上下文：

5.同样根据文档中的每个单词来计算问题的摘要：$C^D$ = $Q$$A$${}^D$，还根据文档中的每个单词计算先前注意上下文的摘要$C^Q$$A$${}^D$。这两个操作可以并行完成：

6.最后的$C^D$就为共同感知的question和document表示，然后通过bi-lstm融合时间信息：

所以有：

这为选择哪个跨度可能是最好的可能答案提供了基础。

1.3动态指向解码器

给定一个问题-文档对，文档中可能存在几个直观的答案区间，每个对应于一个局部最大值。本文提出了一种迭代技术，通过在预测起点和预测终点之间交替来选择答案跨度。如图三所示
它类似于一个状态机，其状态由基于LSTM的顺序模型来维护。在每次迭代期间，解码器考虑到对应于开始和结束位置的当前估计的潜在编码来更新其状态，并通过多层神经网络产生开始和结束位置的新估计。让$h_i$、$s_i$和$e_i$分别表示为迭代$i$期间LSTM的隐藏状态、初始位置的估计和结束位置的估计。然后LSTM状态更新为：

其中$u$${}_s$${}_i$${}_{-}$${}_1$和$u$${}_e$${}_i$${}_{-}$${}_1$是对应于前一次估计的编码$u$的开始和结束位置的表示，给定当前隐藏状态$h_i$、先前开始位置$u$${}_s$${}_i$${}_{-}$${}_1$和先前结束位置$u$${}_e$${}_i$${}_{-}$${}_1$，我们估计当前开始位置和结束位置：

其中$\alpha$和$\beta$代表对应于文档中第一个单词的开始分数和结束分数。用单独的神经网络计算$\alpha$和$\beta$。这些网络具有相同的体系结构，但不共享参数。
本文提出了Highway Maxout Network (HMN)来计算由等式描述的$\alpha$和$\beta$：

这里，$u$${}_t$对应于文档中第$t$个单词的字符编码。结束分数${\beta }_t$的计算类似于开始分数${\alpha }_t$，但使用单独的$H$$M$$N$${}_e$${}_n$${}_d$。

HMN模型：

结果

SQuAD：
1.DCN
EM：66.2 F1：75.9
2.BiDAF：
EM：73.3 F1： 81.1

BiDAF的双向attention

1.建立相似度矩阵$S$∈$R$${}^T$${}^{\times }$${}^J$（$H$：context($T$长) $U$：question($J$长)）：

2.Context-to-query Attention.:

$a$${}_t$ = softmax($S_t$${}_{:}$)∈$R^J$

$U^{’}$=$a$$U$∈$R$${}^d$${}^{\times }$${}^T$

3.Query-to-context Attention:

$b$ = softmax($m$$a$$x$${}_c$${}_o$${}_l$($S$)) ∈ $R^T$

$H^{’}$=$b$$H$∈$R$${}^d$
最后扩展为$T$行： $H^{’}$∈$R$${}^d$${}^{\times }$${}^T$

4.融合上下文：

$\beta$计算为：

model

encoder

1.300维的GloVe+200维的char。
2.连接送入两层高速公路网络

Embedding Encoder Layer

上图右：
总共一个block：[convolution-layer×$n$ + self-attention-layer + feed-forward-layer]

Context-Query Attention Layer

1.构建相似度矩阵（方法同BiDAF）
2.计算attention（方法同DCN）

Model Encoder Layer

3个Model encoder block ，每个Model encoder block 由7个encoder block堆叠而成。

output layer

与BiDAF相同

结果

速度更快，EM/F1更高。