【深度学习】Transformer之Masked Multi-Head Attention_transformer masked muti-head

作者：繁依Fanyi0 | 2024-03-31 01:40:59

踩

transformer masked muti-head

在这里插入图片描述

在这里插入图片描述
3. 再看 $q_2$ , 都不屏蔽。

在这里插入图片描述
$b_1$ 由 $a_1$ 生成
$b_2$ 由 $a_1, a_2$ 生成
$b_3$ 由 $a_1, a_2, a_3$ 生成
$b_4$ 由 $a_1, a_2, a_3, a_4$ 生成

在这里插入图片描述
由我 -> 爱，北京，天安门
由我，爱 -> 北京，天安门
由我，爱，北京 -> 天安门

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/繁依Fanyi0/article/detail/342622