【论文泛读04】用神经网络进行序列到序列（seq2seq）学习_神经网络结构主要用于序列到序列的学习任务

贴一下汇总贴：论文阅读记录

论文链接：《Sequence to Sequence Learning with Neural Networks》

一、摘要

深度神经网络(DNNs)是一种功能强大的模型，在困难的学习任务中取得了优异的性能。尽管DNNs在有大型标记训练集的情况下工作良好，但它们不能用于将序列映射到序列。在这篇文章中，我们提出了一种一般的端到端方法来学习序列，它对序列结构做出最小的假设。我们的方法使用多层长短期记忆(LSTM)将输入序列映射到一个固定维数的向量，然后使用另一个深度LSTM从向量中解码目标序列。我们的主要结果是，在WMT-14数据集的英语到法语翻译任务中，LSTM生成的翻译在整个测试集中达到了34.8分的BLEU分数，其中LSTM的BLEU分数在词汇表外的单词上被处罚。此外，LSTM对长句没有困难。为了进行比较，基于短语的SMT系统在同一数据集上获得了33.3的BLEU分数。当我们使用LSTM对上述SMT系统产生的1000个假设重新排序时，它的BLEU分数增加到36.5，这接近于以前的技术水平。LSTM还学习了敏感的词组和句子表征，这些词组和句子表征对词序敏感，并且相对于主动语态和被动语态不变。最后，我们发现在所有源句(但不是目标句)中颠倒单词的顺序显著提高了LSTM的性能，因为这样做在源句和目标句之间引入了许多短期依赖关系，使优化问题更容易。

文章主要内容&