NLP中的Transformer 简介_transformer在nlp中的任务类型

作者|Renu Khandelwal 编译|VK 来源|Towards Data Science

在这篇文章中，我们将讨论以下有关Transformer的问题

• 为什么我们需要Transformer，Sequence2Sequence模型的挑战是什么?
• 详细介绍了Transformer及其架构
• 深入研究Transformer中使用的术语，如位置编码、自注意力、多头注意力、掩码多头注意力
• 可以使用Transformer的NLP任务

Sequence2Sequence (Seq2Seq)的缺点

• 顺序计算:在Seq2Seq中，我们以顺序的方式在每个步骤中向编码器输入一个单词，以便在解码器中每次生成一个单词的输出。在Seq2Seq架构中我们做不到通过并行化操作来提高计算效率。

• 长期依赖关系:长期依赖关系是Seq2Seq的一个问题，这是由于需要为长句执行大量操作造成的，如下所示。

这里的“it”指的是“Coronavirus”还是“countries”?。

让我们深入了解Transformer的体系结构和Transformer的关键概念，以了解Transformer如何应对这些挑战

Tr