自回归和自编码

作者：爱喝兽奶帝天荒 | 2024-08-11 07:21:11

踩

自回归和自编码

以前看论文和博客的时候经常看到自回归模型，自编码模型，感觉云里雾里的。今天搜了搜，看清了本质。

自回归语言模型，说白了就是通过上文一步一步预测下文，不能看见未来信息的模型。像坚持只用单向Transformer的GPT就是典型的自回归语言模型

自编码语言模型就是类似于bert 这种，使用了 mask LM 的，可以使用上下文语境信息的。这也是为什么bert 是双向的原因。区别与bi lstm 这种，使用两层网络的

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/爱喝兽奶帝天荒/article/detail/962892