seq2seq(序列到序列)模型_seq2seq模型

作者：小丑西瓜9 | 2024-04-05 16:05:59

踩

seq2seq模型

seq2seq(sequence to sequence)模型是NLP中的一个经典模型，基于RNN网络模型构建，用途非常广泛：语言翻译，人机对话，问答系统等。

Seq2Seq，就如字面意思，输入一个序列，输出另一个序列，比如在机器翻译中，输入英文，输出中文。这种结构最重要的地方在于输入序列和输出序列的长度是可变的。而Seq2Seq模型也经常在输出的长度不确定时采用。

一、Seq2Seq详解(基于RNN)

Encoder–Decoder是一种框架，许多算法中都有该种框架，在这个框架下可以使用不同的算法来解决不同的任务。

seq2seq模型属于encoder-decoder框架的范围，Seq2Seq 强调目的，不特指具体方法，满足输入序列，输出序列的目的，都可以统称为 Seq2Seq 模型。

在Encoder中，需要先将输入转换成词向量，即Embedding，用 $v_i$ 表示转换成词向量的输入，上一时刻的隐藏状态用 $h_{t-1}$ 表示，每一个时刻输出一个隐状态 $h_t$ ，用函数f表示GRU隐层层的变换，即：

$h_t=f(v_i,h_{t-1})$

假设有t个词，最终通过Encoder自定义函数q将各时刻的隐状态变为语义向量C，即：

$C=q(h_0,h_1,...,h_{t})$

语义向量C就相当于从输入中提取出来大概意思，包含了输入的含义。

Decoder中，每一时刻的输入为Encoder输出的c和Decoder前一时刻的输出 $s_{t-1}$ ，还有前一时刻预测的词向量 $E_{t-1}$ （如果是预测第一个词的话，此时输入的词向量为“_GO”的词向量，标志着解码的开始）,用g函数表达解码器的隐藏层变换，即：

$s_i=g(c,s_{t-1},E_{t-1})$

直到解码解出“_EOS”，标志着解码的结束。

在基础的模型中，Decoder的每一次解码又会作为下一次解码的输入，但这样会导致一个问题，如果其中一个RNN单元解码出现误差，那么这个误差就会传递到下一个RNN单元，使训练结果误差越来越大。

Teacher Forching在一定程度上解决了这个问题，它是在训练过程中，使用要解码的序列作为输入进行训练，但是在预测阶段是不能使用的，因为不知道要预测的序列是什么。

在预测阶段，不能用Teacher Forcing，只能用上一时刻解码的输出作为下一时刻解码的输入，但这样会出现误差传递，为了解决这个问题，可以使用Beam Search。

参考资料：

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/小丑西瓜9/article/detail/366671