Attention及其pytorch代码实现_pytorch attention

基于RNN的Seq2Seq的基本假设：原始序列的最后一个隐含状态（一个向量）包含了该序列的全部信息。（这显然是不合理的）

Seg2Seg问题：记忆长序列能力不足

解决：当要生成一个目标语言单词的时候，不光考虑前一个时刻的状态和已经生成的单词，还要考虑当前要生成的单词和源句子中的哪些单词更加相关，即更关注源句子中的哪些词，这种做法就叫做注意力机制（Attention）

Attention

Luong等人在2015年发布的Effective Approaches to Attention-based Neural Machine Translation论文中，提出了attention技术，通过attention技术，seg2seg模型极大地提高了机器翻译的质量。

归其原因是：attention机制使得seg2seg模型可以有区分度、有重点地关注输入序列。

实例：

1. 假设模型已经生成单词“我”之后，要生成下一个单词；
2. 显然和源语言中“love”关系最大，因此将源语言句子中的“love”对应的状态乘以一个比较大的权重，如0.6，而其余词的权重则较小；
3. 最终将源语言句子中每个单词对应的状态加权求和，并用作新状态更新一个额外输出。

结合Attention机制的Seg2Seg模型

• 结合attention， seg2seg模型decoder每次更新状态的时候都会再看一遍encoder的所有状态（decoder会知道去关注哪里）

• 在Encoder结束工作之后，Attention和Decoder同时开始工作

• attention可以简单的理解为：一种有效的加权求和技术，关键点在于如何获得权重。

• 计算权重：${\alpha }_i=aligh(h_i,s_0)$
  （相当于计算$h_i$和$s_0的相关性$）
  （$h_i为Encoder的隐藏层状态，s_0为Encoder的最后一个隐藏层状态$）
  （权重为0-1之间的数，加起来等于1）
• 计算方法：

1. Linear maps(线性变换)：
   $$k_i=W_K\cdot h_i，fori=1tom$$$$q_0=W_Q\cdot s_0$$
2. Inner product（计算内积）：
   $$\widetilde{{\alpha }_i}={\mathbf{k}}_i^{\mathrm{T}}{q}_0$$
3. Normalization:
   $$[{\alpha }_1,\cdot \cdot \cdot ，{\alpha }_m]=softmax([\widetilde{{\alpha }_1},\cdot \cdot \cdot ,\widetilde{{\alpha }_m}])$$

计算权重还有另一种方法，本文的代码中用到了，但现在更为主流的是第一种方法

• 获得权重之后就是求取Context Vector:

$$c_0={\alpha }_1{h}_1+\cdot \cdot \cdot +{\alpha }_m{h}_m$$

• 更新Decoder状态向量($s_0=h_m$)

1. SimpleRNN
   $$s_1=tanh(A^{\prime }\cdot [\begin{array}{c}{X}_1^{\prime }\end{array}$$