赞
踩
Transformer模型是2017年谷歌发表的论文attention is all you need中提出的seq2seq模型。现在已经取得了大范围的应用和扩展,而BERT就是从transformer中衍生出来的预训练语言模型