Transformer - 注意⼒机制 Attention 中的 Q, K, V 解释（2）

Transformer - 注意⼒机制 Attention 中的 Q, K, V 解释（2）

flyfish
Transformer - 注意⼒机制 Scaled Dot-Product Attention 计算过程
Transformer - 注意⼒机制 代码实现
Transformer - 注意⼒机制 Scaled Dot-Product Attention不同的代码比较
Transformer - 注意⼒机制 代码解释
Transformer - 注意⼒机制 Attention 中的 Q, K, V 解释（1）
Transformer - 注意⼒机制 Attention 中的 Q, K, V 解释（2）

加权求和

矩阵乘法

第一个矩阵 横着向量
第二个矩阵 列着向量

17的由来
两个矩阵相乘，在结果矩阵中的一个元素就是加权求和得到的

最后结果是

在注意力机制中就是用矩阵乘法 实现的加权求和
x T y = ( x 1 x 2 … x n ) ( y 1 y 2 ⋮ y n ) = x 1 y 1 + x 2 y 2 + ⋯ + x n y n = ∑ i = 1 n x i y i x^Ty =

$$\begin{pmatrix} x_1 x_2 \dots x_n \end{pmatrix}$$ $$\begin{pmatrix} y_1\\y_2 \\ \vdots \\ y_n \end{pmatrix}$$ = x_1y_1+x_2y_2+\dots+x_ny_n=\sum_{i=1}^n x_i y_i xTy=(x1​x2​…xn​​) ​y1​y2​⋮yn​​ ​=x1​y1​+x2​y2​+⋯+xn​yn​=i=1∑n​xi​yi​

点积（Dot Product）、数量积、标量积、点乘

点积的名称源自表示点乘运算的点号$(a\bullet b)$，标量积的叫法则是在强调其运算结果为标量而非向量。
两个向量$\vec{a}=\left[a_1,a_2,\cdots ,a_n\right]$和$\vec{b}=\left[b_1,b_2,\cdots ,b_n\right]$的点积定义为：

$$\vec{a}\cdot \vec{b}=\sum _{i=1}^n{a}_i{b}_i=a_1{b}_1+a_2{b}_2+\cdots +a_n{b}_n$$

在欧几里得空间中，点积可以直观地定义为

$$\vec{a}\cdot \vec{b}=|\vec{a}||\vec{b}|\cos \theta$$
$|\vec{x}|$ 表示 $\vec{x}$的模（长度）， $\theta$ 表示两个向量之间的角度。
$$\cos \theta =\frac{\mathbf{a}\cdot \mathbf{b}}{|\vec{a}||\vec{b}|}$$

两个向量夹角余弦值就是两个向量的余弦相似度
两个向量之间的余弦相似性是用$\theta$来衡量的。

如果$\theta$=0°，则x和y向量重叠，从而证明它们相似。
如果$\theta$=90°，则x和y向量不同。

加权求和 ，矩阵乘法 ，点积都可以实现计算两者相似性
简述是加权求和就是点积，矩阵乘法可以实现点积

一篇文章，文章的标题就是key，文章的内容就是V
使用搜索引擎时，输入到 搜索栏中的文本 就是 query
输入内容 query 与 文章标题 key之间的相似性计算就是 评分函数
在注意力机制中 例如计算Q和K的点积实际就是计算两者的相似性
这个点积结果经过scale就是 评分函数