Transformer和RNN区别_transformer和rnn的区别

RNN

主要特点是：
1.顺序处理：句子必须逐字处理
2.RNN指的是一个序列当前的输出与之前的输出也有关，具体的表现形式为网络会对前面的信息进行记忆，保存在网络的内部状态中，并应用于当前输出的计算中，即隐藏层之间的节点不再无连接而是有连接的，并且隐藏层的输入不仅包含输入层的输出还包含上一时刻隐藏层的输出
3.它采取线性序列结构不断从前往后收集输入信息

Transformer

主要特点是：
1.非顺序处理：句子是整体处理，而不是逐字处理
2.单个的Transformer Block主要由两部分组成：多头注意力机制(Multi-Head Attention)和前馈神经网络(Feed Forward)，Transformer Block代替了LSTM和CNN结构作为了我们的特征提取器，使得Transformer不依赖于过去的隐藏状态来捕获对先前单词的依赖性，而是整体上处理一个句子，以便允许并行计算，减少训练时间，并减少由于长期依赖性而导致的性能下降

参考文章
参考文章1
参考文章2