赞
踩
之前写的有点误人子弟,只看了几个代码就把特殊当一般了,还是推荐阅读复旦大学邱锡鹏老师的《神经网络与机器学习》一书中关于注意力机制的解释。
本想把自己论文中关于注意力机制的解释放在这里的,但担心查重出现问题,还是不放了。
笔记:所谓的自注意力机制的“自”指的是一组信息中每个信息和整组信息求注意力,也就是整组信息自己和自己求注意力,可以看作一种动态的全连接层。
自注意力公式如下:
A t t ( Q , K , V ) = ω ( Q K T ) V Att(Q, K, V) = \omega(QK^T)V Att(Q,K,V)=ω(QKT)V
其中 A t t ( Q , K , V ) Att(Q, K, V) Att(Q,K,V)是得到的注意力的值, Q Q Q、 K K K、 V V V分别是查询向量(Query Vector)矩阵、键向量(Key Vector)矩阵和值向量(Value Vector)矩阵,这三个矩阵中每一行分别代表一个对应的向量。 Q Q Q、 K K K、 V V V一般通过把输入序列 X X X分别乘以三个矩阵 W q W^q Wq、 W k W^k Wk、 W v W^v W
Copyright © 2003-2013 www.wpsshop.cn 版权所有,并保留所有权利。