Positional Embedding与Positional Encoding的区别？

作者：weixin_40725706 | 2024-04-04 00:14:54

踩

positional embedding

一、Positional Embedding

在这里插入图片描述
通常，embedding是指学习出来的encoding，是将位置信息“嵌入”到某个空间的意思。例如，bert的位置编码是学出来的，所以称为position embedding

而transformer的位置编码是用三角函数直接算出来的（当然，论文中说也可以学出来，效果差不多，所以最后还是采用了直接编码），不涉及嵌入的思想，所以叫position encoding
在这里插入图片描述

embedding的方式存在序列长度的限制，position可以理解通过lookup的方式得到，超过了训练时最大长度，就无法识别了;这种方式也被验证相对于位置编码效果更好，因此BERT和GPT都采用了这种方式。

encoding的方式就不受最大序列长度的约束

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/weixin_40725706/article/detail/356901