Seq2Seq2四个实验进行对比学习

作者：爱喝兽奶帝天荒 | 2024-07-23 13:04:57

踩

seq2seq2

0 前言：

四个实验对比分析，第一个实验Encoder+LSTM(多层)+Decoder（最普通），Seq2Seq(Encoder+GRU（单层）+Decoder) 上下文向量仍然需要包含有关源句子的所有信息，共同学习(Decoder+Attention+Decoder) ，Packed Padded Sequences, Masking, Inference and BLEU

1 Seq2Seq(Encoder+LSTM(多层)+Decoder)

2 Seq2Seq(Encoder+GRU（单层）+Decoder)

即第二个实验使我们减少了一些压缩，我们的上下文向量仍然需要包含有关源句子的所有信息。

3 共同学习(Decoder+Attention+Decoder)

此实验实现的模型通过允许解码器在每个解码步骤中查看整个源句子（通过其隐藏状态）来避免这种压缩！它是如何做到的？它使用Attention。

注意首先通过计算注意向量

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/爱喝兽奶帝天荒/article/detail/869977?site