当前位置:   article > 正文

NLP 的 Sequence-to-Sequence(Seq2Seq)模型_sequence-to-sequence loss

sequence-to-sequence loss

Sequence-to-Sequence 模型

2014年,Sutskever 等人提出了 sequence-to-sequence(seq2seq) 模型,是通过使用神经网络将一个序列映射到另一个序列的通用框架。

Seq2Seq 模型最常用 Encoder-Decoder 结构构建:

ed

通过编码器(Encoder)神经网络逐个符号地处理输入序列,并将输入序列的所有信息压缩为向量表示形式(context vector),然后解码器(Decoder)神经网络根据编码器状态逐个符号地预测输出值,在解码过程中,将前一步预测出的值作为下一步预测的输入:

ed

编码器和解码器常用的神经网络有 CNN、RNN、LSTM、GRU 等等,下面以 LSTM 为例子来解释一下训练过程。

Encoder LSTM

LSTM 处理长度为 K 的输入序列:

LSTM

 LSTM 从输入序列(

声明:本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:https://www.wpsshop.cn/w/我家自动化/article/detail/626229
推荐阅读
相关标签
  

闽ICP备14008679号