【机器学习笔记 Day3】什么是transformer？什么是注意力机制？_transformer注意力机制

作者：天景科技苑 | 2024-07-09 23:15:56

踩

transformer注意力机制

一、注意力机制（Attention）

注意力机制中，函数α是任意能刻画相关性的函数，但是需要归一化。

*高斯核：一种非线性核函数，高斯核函数的作用是衡量两个数据点之间的相似性，距离越近则相似性越高，距离越远则相似性越低。当输入数据点距离足够接近时，高斯核函数的值接近于1；当输入数据点之间的距离较远时，高斯核函数的值接近于0。

*注意力分数：表示在一个序列中不同位置的元素对于模型预测的重要程度或权重。这些关联程度可以通过不同的方法计算，常见的方法包括点积注意力、加性注意力等。

注意力权重为注意力分数的归一化。
在这里插入图片描述

Q请求矩阵、K键矩阵、V值矩阵都是同样的X矩阵，并且可能会对X矩阵做不同的线性变换。
在这里插入图片描述

基于自注意力，使用多种矩阵变换生成不同的Q、K、V，最后综合不同的相关性结论，增强自注意力的效果。

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/天景科技苑/article/detail/804046