注意力机制

作者：笔触狂放9 | 2024-02-18 07:50:58

踩

注意力机制

注意力机制：我们会把我们的焦点聚焦在比较重要的事物上。

对于一个模型而言（CNN、LSTM），很难决定什么是重要的，什么是不重要的，由此注意力机制诞生了。

对于一张热力图而言，我们不难发现人类的注意力主要集中在该图的“红色”区域，这些“红色”区域（人脸、标题、段落开头）可能包含更多的更重要的信息。

从心理学角度上讲：

1.注意力是动物需要在复杂环境下有效管制的注意的点

2.在心理学框架上：人类根据随意线索和不随意线索选择注意点

举个例子：在一堆单调黑白的物体中，有一个红色的咖啡杯，不由自主地会引起人们的注意，这种注意力为不随意线索，无目的，选择最鲜艳的目标。

那么，在喝完咖啡后呢，我们再看这一堆单调黑白的物体，去选择读书时，这时我们的注意力就是主动的了，是随意线索，有目标对象。

卷积、全连接、池化层都只考虑不随意线索。
注意力机制则显示的考虑随意线索。

1. 随意线索被称之为查询（query）

2. 每个输入是一个值（value）

3. 不随意线索被称之为键（key）

注意力机制通过注意力汇聚（Attention pooling），将查询(随意线索)和键（不随意线索）结合在一起，实现对值（输入）的选择倾向

给定数据（ $x_i$ ， $y_i$ ）, i = 1，…，n， $x_i$ 为不随意线索key， $y_i$ 为输入value

平均池化是最简单的方案：

更好的方案是60年代提出的Nadaraya-Watson核回归：

这里的K为高斯核，其定义为：

这里可以对比一下softmax函数公式：
$p(y=i)=\frac{e^{z_{i}}}{\sum_{j=0}^{K-1}e^{z_{i}}},i\in\{0......i\}$

不难看出Nadaraya-Watson核本质性上也是一个softmax函数：

为了让注意力池化层可以进行学习，在非参数的基础上引入学习的w

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/笔触狂放9/article/detail/106252