多头自注意力机制详解_mhsa多头注意力机制

多头自注意力机制(Multi-Headed Self Attention, MHSA)是现代人工智能领域最重要的架构范式之一。本文将深入浅出地介绍MHSA的核心概念和数学原理,帮助读者全面理解这一关键技术。让我们一步步地深入探讨这个主题。

1. 多头自注意力机制简介

多头自注意力机制是Transformer模型的核心组件,也是众多先进大语言模型架构的基础。它允许模型在不同的表示子空间中并行地关注输入序列的不同部分,从而增强了模型的表达能力和泛化能力。

2. 输入定义

MHSA可以应用于各种类型的数据,但通常期望输入是一个向量序列,其中每个向量代表某种信息。以自然语言处理为例,输入通常是经过词向量嵌入和位置编码处理后的单词表示。

假设我们有以下输入序列:

[
  [1.0, 2.0, 3.0, 4.0],
  [5.0, 6.0, 7.0, 8.0],
  [9.0, 10.0, 11.0, 12.0]
]
1
2
3
4
5

这个序列包含3个词,每个词由4维向量表示。

3. 可学习参数定义

MHSA的核心在于学习三个权重矩阵,用于构造"查询"(Query)、“键”(Key)和"值"(Value)。这些矩阵在训练过程中不断更新,以捕捉输入数据的特征。

假设我们定义以下权重矩阵:

W_Q = [
  [0.1, 0.2],
  [0.3, 0.4],
  [0.5, 0.6],
  [0.7, 0.8]
]

W_K = [
  [1.1, 1.2],
  [1.3, 1.4],
  [1.5, 1.6],
  [1.7, 1.8]
]

W_V = [
  [2.1, 2.2],
  [2.3, 2.4],
  [2.5, 2.6],
  [2.7, 2.8]
]
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20

4. 查询、键和值的计算

通过将输