基于attention机制的中英文机器翻译_注意力机制 翻译

前言

为了准备3月中旬的复试，今天回顾整理一下大三下学期做的机器学习课程设计，当时做的是基于attention机制的中英文机器翻译。参考的资料是pytorch官网的英法文间的机器翻译。pytorch参考链接

sequence to sequence介绍

一般的机器翻译是通过sequence to sequence network序列到序列网络的简单而强大的想法实现的，其中两个RNN递归神经网络一起工作以将一个序列转换为另一个。编码器encoder网络将输入序列压缩成矢量，解码器decoder网络将该矢量展开为新的序列。

递归神经网络（RNN）是一个网络，它按照一个序列进行操作，并将其自己的输出用作后续步骤的输入。一个输入对应一个输出的个RNN网络难以用于序列的转换学习，因为转换前后的序列长度在通常情况下是不同的，比如“一 袋 苹果”这样一个包含三个词汇的中文句子对应了“a bags of apples”四个词汇的英文句子。

而encoder模型把输入的序列数据转换为一个一定长度的矢量，这个矢量表示了这一个输入序列句子的整体意思。Encoder RNN模型如下图：

在得到encoder最后的隐层输出即得到输入序列数据的整体表达的矢量，将这一矢量作为decoder的第一个隐层状态，并将“SOS”(start of sequence)的编码作为d