Peephole LSTM、GRU 实战

前面我们讲过了 LSTM 的两个变体 Peephole LSTM 和 GRU 的模型原理，在这一节中我们会将这些模型应用起来，分别用它们来做一个文本生成的任务，并对比不同方案的效果。

我们先通过 TF1 构建 LSTM、Peephole、GRU 模型的代码来看看手动搭建过程中有什么区别，然后再用 Keras 中的 API 使用模型。

LSTM、Peephole 源码对比

首先比较 LSTM 和 Peephole LSTM，先来回顾一下模型的公式：

（下面代码都是左边为 LSTM，右边为 Peephole LSTM 的）

首先定义输入门的参数：

• ix 代表 $U_i$，是 input gate 关于 $x_t$ 的参数；
• im 代表 $W_i$，是 input gate 关于 $h_{t-1}$ 的参数；
• ib 为公式中输入门的参数 $b_i$，是 input gate 中的偏置；
• ic 代表 $P_i$，是 input gate 关于 $c_{t-1}$ 的参数。

在遗忘门的参数中，也是 Peephole 比 LSTM 多了一个连接 c 的参数：

• fx 代表 $U_f$，是 forget gate 关于 $x_t$ 的参数；
• fm 代表 $W_f$，是 forget gat