nlp算法学习_nlpl算法需要学习技能

作者：你好赵伟 | 2024-08-21 12:28:04

踩

nlpl算法需要学习技能

一、注意力机制参考文章注意力机制综述

自注意力机制总的来说就是Q、K、V三个矩阵（共享）。Q计算当前单词与其他单词间的关联。K和Q进行匹配，是单词的关键信息。V是单词重要特征。（x是输入）

$q_{i}=W_{q}\cdot x_{i}$

$k_{i}=W_{k}\cdot x_{i}$

$v_{i}=W_{v}\cdot x _{i}$

算x1与x2,x3,x4的关联：

q1与k2,k3,k4匹配计算。

$\alpha _{1,i}=\frac{q_{1}\cdot k_{i}}{\sqrt{d}}$

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/你好赵伟/article/detail/1011784