文本生成中的OOV问题

oov问题是文本生成任务中很常见的现象，oov问题是怎么产生的呢？

Vocab

首先，我们在做文本生成的时候，都要先定义一个vocab语料库，这个语料库可能是在训练集中经过分词构建的，可能是这个模型自带的，它第一个作用就是一方面将文本转换成id表示；

在embedding层操作时，embedding层会学习一个（vocab_size，hidden）的矩阵，用于将每个token映射成hidden维的表示；在解码的时候，每个时间步的隐表示最后和（hidden，vocab_size）相乘，然后得到vocab的概率分布。

产生原因

当输入测试集的时候，x和y中个别词难免会出现不在vocab中的情况，我们将这些词分为两种情况，一种是不在vocab但出现在x中，可以叫做半oov；另一种是在x和vocab中都没出现，可以叫做纯oov。

方法：

如果是半oov我们可以使用copy net来输出x中对应的那个词，具体怎么找x中对应的那个词呢？
根据计算的注意力权重来选择权重最大的那个输入词，然后作为输出。
栗子：输入：John like apple 输出：John喜欢苹果
如果是纯oov，那只能用unk来表示了。