Transformer浅谈_transformer 的解码器输入怎么右移

作者：天景科技苑 | 2024-08-09 04:15:18

踩

transformer 的解码器输入怎么右移

Transformer用自注意力机制来处理时序数据，不同于RNN的串行，Transfomer因为每个时间步可以同时计算，可以实现并行。

自注意力机制：

利用三个权重矩阵，即WQ,WK,WV（如果是多个WQ,WK,WV则为多头注意力），与输入x相乘得到向量q,k,v。不同的x对应不同的q,k,v。计算当前x的值时，将当前x的q分别与其他x的k相乘再分别除以k维度的开方。得到的值进行softmax。这样当前的x对每一个x（包含自己）都有一个得分。再将得分与每个x对应的v相乘，再将左右所有乘的结果相加得到当前x的z。

前馈神经网络：

使用全连接网络，其中含有两个ReLU激活函数

解码器：

相比编码器多了编码-解码注意力机制，不同的是其使用的是encoder输出的q。

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/天景科技苑/article/detail/951409

Transformer浅谈_transformer 的 解码器输入怎么右移

自注意力机制：

前馈神经网络：

解码器：

Transformer浅谈_transformer 的解码器输入怎么右移