白话transformer（二）：Q K V矩阵_qkv矩阵

作者：IT小白 | 2024-07-26 03:16:38

踩

qkv矩阵

前面说了注意力机制的工作原理，本次来看看为了实现自注意力机制，Q K V矩阵是如何实现的。

白话transformer（二）

我们在前面说了，embedding的作用就是相似的单词会被赋予相似的数字，那么我们是如何来计算语义的相似度的呢？
在这里插入图片描述
相似性其实是我们用来单词之间相似性的标准，我们希望有一种测量的方法使得可以用一些客观表示来形容相似度。

我们在这里介绍三种可以计算语义相似度的方法

点积（dot product），又称内积（inner product），是两个向量的运算，结果是一个标量（一个单一的数值）。在数学、物理和计算机科学中，点积是一种基础且重要的运算。
对于两个向量

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/IT小白/article/detail/883291