[nlp] 自回归语言模型AR 自编码语言模型AE的区别: XLNET和Bert ：Permutation Language Model_nlp ar

作者：木道寻08 | 2024-07-15 00:46:39

踩

nlp ar

自回归语言模型 VS 自编码语言模型 - 知乎

关于transformer-xl和xlnet以及tensorflow的知识简要小结_weixin_41710583的博客-CSDN博客

总结：

XLNet

由于bert在pretrain和finetune之间会形成脱节（信息损失），而引入了XLnet模型，这个模型可以克服掉pretrain和finetune之间的不能有效搭配的问题，xlnet采用自回归模型（AR）和自编码模型（AE）,其中自编码模型是采用tranformer-xl编码层的方法，通过对应embeding之间的id采用全排列的方式，把输入的所有之间的信息联系起来，通过双流注意力的方式ÿ

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/木道寻08/article/detail/827117