《深度学习进阶：自然语言处理》第7章 基于RNN生成文本_如何将rnn输出转变成文本

《深度学习进阶：自然语言处理》啃书系列

  第2章 自然语言和单词的分布式表示
  第3章 word2vec
  第4章 word2vec的高速化
  第5章 RNN
  第6章 Gated RNN
  第7章 基于RNN生成文本
  第8章 Attention

第7章 基于RNN生成文本

本章将使用语言模型进行文本生成。通过组合两个RNN，实现seq2seq（sequence to sequence，从时序到时序）神经网络。

7.1 使用语言模型生成文本

7.1.1 使用RNN生成文本的步骤

第6章 Gate RNN（LSTM）讲了使用LSTM的语言模型。

图7-1

我们可以使用LSTMLM生成文本。

图7-4

例如，我们将LSTMLM在语料库“you say goobye and i say hello.”进行训练之后，我们将“i”作为文本生成的第一且唯一的提示词，此时模型会输出上图左上角的概率分布，我们将概率最大的单词“say”作为下一个时刻的输入，随即生成上图右上角的概率分布，可见概率最大的单词为"hello"。由此循环往复，便可生成指定长度或者指定字符结尾的文本。

每个时刻生成的概率分布，我们可以选择概率最大的单词最为下个时刻的输入，这样对于指定的语言模型，会生成相同的文本。也可以按照概率分布进行抽样，概率大的单词被选中的可能性大，概率小的单词被选中的可能性小，但是都有可能被选中作为下一时刻的输入，这样语言模型就会生成多种多样的文本。

7.1.2 文本生成的实现

略。（好在不是习题集后的答案