Transformer模型总结_基于transformer 的ae

Transformer模型

谷歌2017年文章《All you need is attention》提出Transformer模型，文章链接：
http://arxiv.org/abs/1706.03762
下面对几个基于Transformer的主要的模型进行简单总结。

BERT

来自文章《BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding》。
整个模型可以划分为embedding、transformer、output三部分。

1. embedding部分由word embedding、position embedding、token type embedding三个模型组成，三个embedding相加形成最终的embedding输入。
2. transformer部分使用的是标准的Transformer模型encorder部分。
3. output部分由具体的任务决定。对于token级别的任务，可以使用最后一层Transformer层的输出；对于sentence级别的任务，可以使用最后一层Transformer层的第一位输出，即[CLS]对应的输出。

文章链接：
https://arxiv.org/abs/1810.04805

OpenAI GPT

来自文章《Improving Language Understanding by Generative Pre-Training》和《Language Models are Unsupervised Multitask Learners》。
GPT为生成式模型。如果说BERT使用了Transformer模型中的encoder部分，那GPT就相当于使用了Transformer模型中的deconder部分。

文章链接：
GPT:
https://www.cs.ubc.ca/~amuham01/LING530/papers/radford2018improving.pdf
GPT-2:
https://d4mucfpksywv.cloudfront.net/better-language-models/language-models.pdf

Transformer XL

来自文章《Transformer-XL