从MLP，DNN到LSTM_mlp+lstm

从MLP，DNN到LSTM

---

这篇博客从简单的多层感知机（MLP）讲起，讲述了RNN网络如何发展到现在的LSTM结构，以便充分了解LSTM中各个门控单元的作用以及LSTM为何能学习到序列信息

---

---

一、感知机（Perceptron）

1.矩阵向量乘法运算（MVMs）

感知机是1957年由Rosenblatt提出的一种模型，他的原理如下：
假如我们需要建立一个模型，输入 $x_1$ 表示一只猪的腿的长度， $x_2$ 表示一只猪的尾巴的长度，$x_3$ 表示一只猪的耳朵的长度， $y_1$ 表示这只猪的价格，$y_2$表示这只猪的颜值，我们假定猪价格颜值都和尾巴，耳朵，腿的长度有关，那么我们就可以设定如下表达式：
[ y 1 y 2 ] \left[

$$\begin{matrix} y_{1} \\ y_{2} \end{matrix}$$ \right] [y1​y2​​] = $\left[\begin{array}{cc}{w}_{11}& w_{12}\\ w_{21}& w_{22}\end{array}\right]$ * $\left[\begin{array}{c}{x}_1\\ x_2\end{array}\right]$

2.添加偏置（bias）

如果我们设置一只猪的最低价为$b_1$,颜值最低为$b_2$,则
[ y 1 y 2 ] \left[

$$\begin{matrix} y_{1} \\ y_{2} \end{matrix}$$ \right] [y1​y2​​] = $\left[\begin{array}{cc}{w}_{11}& w_{12}\\ w_{21}& w_{22}\end{array}\right]$ * $\left[\begin{array}{c}{x}_1\\ x_2\end{array}\right]$ + $\left[\begin{array}{c}{b}_1\\ b_2\end{array}\right]$

因此，权值$w_{ij}$分别代表猪的各部分长度对颜值价格的影响，w越大，说明这部分的长度（$x$）越重要。

3. 激活函数

根据上述分析，我们可以得到感知机的表达式 $y=wx+b$，然而这种模型只能处理线性问题，而生活中遇到的模型很多都是非线性的。因此我们在保证模型功能的情况下，需要引入一个非线性的单调函数，将线性模型变为非线性模型，以处理非线性问题 。

常用的激活函数为
$sigmoid(x)$ = $\frac{1}{1+e^{-x}}$

$tanh(x)$ = $\frac{e^x-e^{-x}}{e^x+e^{-x}}$

由函数表达式和图像可知，这两个函数也存在饱和区梯度较小，求导涉及除法，运算量较大的问题，但目前仍是常用的两种激活函数。在FPGA加速神经网络运算时，也常用分段线性函数来拟合这两个非线性函数，以降低运算量。

---

二、多层感知机（MLP，Multilayer Perceptron）

多层感知机，就是由很多层的感知机模型串联起来的模型；生活中遇到的很多问题，并不能找到感知机那样的对应关系，比如我们要根据一张很大的电路图分析电路功能，直接分析就显得很困难（Perception），我们如果先分析每一个小模块的功能，再分析每个小模块组成的大模块的功能，再根据那些大模块，分析电路整体功能，就会好很多（MLP）。MLP就是这个原理。MLP如图所示：

总之，多层感知机可以处理单层感知机无法处理的复杂问题。当然了，随着层数的增加，模型训练的时间也会增加。

---

三、RNN（Recurrence Neural Network）

感知机无法处理语言问题：

• 语言问题的输入，常常是变长的，有的句子长，有的句子短，而且同一个词，不同的语境下，意思也是不一样的。这些问题感知机都无法解决

我们希望 “我讨厌你”和“你讨厌我”，这两句话能表达出不同的意思，因此就需要逐次向模型中输入“我”“讨”“厌”“你”，通过输入顺序的不同，将两句话区分开来。再比如，”真没意思“和”你这是什么意思“这两句话，里面的”意思“显然不是一个意思，因此需要根据前面的话，来判断这里的意思。为了解决这个问题，科研人员提出了循环神经网络，输出不仅与输入有关，还与之前的输出有关；

$h_t=tanh(W{x}_t+U{h}_{t-1})$

我的理解是，RNN结构中，含有一个存储状态信息的单元$h$，每输入一次$x$，就更新一次$h$的值

虽然RNN网络可以处理序列问题，可当输入序列过长时，也会出现一些问题，比如”我选择的字母是A，。。。。。。。。。。。。。“，由于输入过程，模型处理完所有输入时，很难再记得选择的字母是A。因此，RNN存在梯度消失和梯度爆炸的问题。梯度爆炸可以通过限制梯度的大小来解决，然而梯度消失就不容易解决了。

---

四、Long Short Term Memory (LSTM)

为了解决RNN模型的梯度消失问题， Hochreiter 和 Schmidhuber 在1997年提出了LSTM结构，通过引入门控单元和记忆细胞的方式，来解决梯度消失的问题。比如之前提到的 ”我选择的字母是A，。。。。。。。。。。。。。“这句话，我们可以用记忆细胞的一个维度来存储选择的字母A，这样不管这句话再长，只要我们不更新记忆细胞这一维度的信息，模型始终能从记忆细胞中获得A这个信息。

1. LSTM without a Forget Gate（最早）

Hochreiter & Schmidhuber 最早提出的表达式如图所示：

$i_t=\sigma (W^i{x}_t+U^i{h}_{t-1}+b^i)$
$o_t=\sigma (W^o{x}_t+U^o{h}_{t-1}+b^o)$
${\tilde{c}}_t=\tanh (W^c{x}_t+U^c{h}_{t-1}+b^c)$
$c_t=i_t\ast {\tilde{c}}_t+c_{t-1}$
$h_t=o_t\ast \tanh (c_t)$

通过输入门$i_t$来决定更新多少记忆细胞的信息，${\tilde{c}}_t$是待输入记忆细胞的新的值，输出门$o_t$来决定记忆细胞和输出的关系。这种结构的记忆细胞$c_t$只能接受输入，$c_t$的值难以重置，比如说，一个自动翻译模型里，句子的be动词由主语决定，当我们输入主语时，$c_t$记住了该用is, 但是输出is后，$c_t$这一维度的信息就不需要再存储了，但是由于$c_t$只进行累加操作，因此难以清除。后来科研人员引入遗忘门$f_t$来解决这个问题

2. LSTM with a Forget Gate（常用）

LSTM with a Forget Gate的表达式如图所示：

$i_t=\sigma (W^i{x}_t+U^i{h}_{t-1}+b^i)$
$f_t=\sigma (W^f{x}_t+U^f{h}_{t-1}+b^f)$
$o_t=\sigma (W^o{x}_t+U^o{h}_{t-1}+b^o)$
${\tilde{c}}_t=\tanh (W^c{x}_t+U^c{h}_{t-1}+b^c)$
$c_t=i_t\ast {\tilde{c}}_t+f_t\ast c_{t-1}$
$h_t=o_t\ast \tanh (c_t)$

在之前的基础上，添加了遗忘门$f_t$, 以解决无法重置记忆细胞的问题。

3. Vinalla LSTM

LSTM with a Peephole Connection的表达式如下所示：

$i_t=\sigma (W^i{x}_t+U^i{h}_{t-1}+P_i\ast c_{t-1}+b^i)$
$f_t=\sigma (W^f{x}_t+U^f{h}_{t-1}+P_f\ast c_{t-1}+b^f)$
$o_t=\sigma (W^o{x}_t+U^o{h}_{t-1}+P_o\ast c_{t-1}+b^o)$
${\tilde{c}}_t=\tanh (W^c{x}_t+U^c{h}_{t-1}+b^c)$
$c_t=i_t\ast {\tilde{c}}_t+f_t\ast c_{t-1}$
$h_t=o_t\ast \tanh (c_t)$

在之前的基础上，又引入了$c_{t-1}$,使得记忆细胞存储的信息也能决定记忆细胞的更新，遗忘。

4. LSTM原理分析

原始RNN模型的输出需要携带的信息太多，而LSTM通过引入记忆细胞，门控单元，来存储一部分信息，那么输出$h_t$所携带的信息就少了很多。比如我要屠宰场，我一个人干的话，我既要负责杀猪，也要负责收钱，还要负责清洗等等，我什么都需要学会，对我的要求就很高，但是，我可以只负责收钱，找个人只负责清洗，以此类推，这样我的压力就小了很多。注意力机制和跳跃连接也是这个原理，通过添加其他单元，来减轻模型输出的压力，模型输出不用携带那么多的信息，从而达到更好的效果。简单，就是通过分工的方法，让不同的单元负责不同的事，以提高工作效率。

如图，LSTM在RNN的基础上引入了很多门控单元；

• RNN中，内存单元的值就等于输出，LSTM引入输出门$o_t$来决定输出$h_t$和内存单元$c_t$的关系；
• 添加候选记忆细胞${\tilde{c}}_t$计算待更新的值
• 待更新的值输入多少到记忆细胞，由输入门$i_t$决定
• $c_{t-1}$每次被重置多少比例，由遗忘门$f_t$决定

---

五. Gated Recurrent Unit (GRU)

GRU表达式如下：

$z_t=\sigma (W^z{x}_t+U^z{h}_{t-1}+b^z)$
$r_t=\sigma (W^r{x}_t+U^r{h}_{t-1}+b^r)$
${\tilde{h}}_t=\tanh (W^h{x}_t+U^h(r_t\ast h_{t-1})+b^z)$
$h_t=z_t\ast {\tilde{h}}_t+(1-z_t)\ast h_{t-1}$

GRU的核心思路和RNN一样，每输入一个$x_t$更新一次$h_t$的值，
${\tilde{h}}_t$来决定更新的值，$z_t$来决定更新的比例，因此，$h_t=z_t\ast {\tilde{h}}_t+(1-z_t)\ast h_{t-1}$， ${\tilde{h}}_t$就起到了记忆细胞的作用，为了使${\tilde{h}}_t$能起来重置的效果，引入了重置门$r_t$，当$r_t=0$时， ${\tilde{h}}_t$就只由$x_t$决定了，从而起到重置的目的。

---

六. 一些RNN结构优化的研究

为了寻找更好的RNN结构，科研人员做了很多研究。

• 【1】LSTM with a Forget Gate的效果和Vinalla LSTM差不多， Peephole Connection没有太大效果
• 【1】令$i_t=1-f_t$，可以减少参数数量，且不会有太多精度损失
• 【1】LSTM模型的超参数几乎相互独立，且学习率的影响最大
• 【2】LSTM的遗忘门偏置$b_f=1$时，效果更好些
• 【2】替换激活函数，删除结点，或者改变计算方式（例如把某一处的乘法改成加法），等等，无论怎么修改，LSTM的性能始终无法被提高。
• 【3】GRU中${\tilde{h}}_t=\tanh (W^h{x}_t+r_t\ast (U^h{h}_{t-1})+b^z)$,像这样把$r_t$提出来，对精度影响不大（在FPGA加速RNN运算中作用很大）

---

参考文献

• 【1】LSTM: A Search Space Odyssey
• 【2】An Empirical Exploration of Recurrent Network Architectures
• 【3】Empirical Evaluation of Gated Recurrent Neural Networks on Sequence Modeling