用Bertviz可视化Attention Weight、Position Embedding

作者：Gausst松鼠会 | 2024-03-26 10:10:53

踩

bertviz

去年Google的BERT在NLP界可谓是掀起了一阵飓风，后续跟进的工作很多，实际中也确实是好用得很。其中github上一个叫Bertviz的项目还挺有意思的，这个项目可以把BERT模型里的self-attention等信息可视化出来，由此窥到一些模型的内在性质。之前看到介绍后简单试过，最近又稍微认真玩了玩。

作者的原文介绍里提到BERT模型里部分attention head的确存在明显的位置或语义特征。本来我想分析下BERT在实际句子里是怎么encode位置信息的，不过搞了一会也没看出个究竟来，毕竟神经网络的可解释性还是难啊……

然后我干脆把输入的3个embedding只留position embedding传进encoder层里，也就是无视了实际句子的具体token只看位置。Bertviz生成的Attention Map结果如下图所示，某种意义上还挺有意思的。

参考资料：
用Bertviz可视化Position Embedding

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/Gausst松鼠会/article/detail/316351