devbox
小丑西瓜9
这个屌丝很懒，什么也没留下！
关注作者
热门标签
热门文章
当前位置:   article > 正文

Transformer源码详解（Pytorch版本）逐行讲解

作者：小丑西瓜9 | 2024-02-16 11:57:03

赞

踩

transformer源码

目录

 从整体网路结构来看，分为三个部分：编码层，解码层，输出层1、编码层

编码器层

编码端：

A      Embedding层

B  positionalEncodding位置编码

C    六层EncoderLayer循环

self.enc_self_attn = MultiHeadAttention()多头注意力self.pos_ffn = PoswiseFeedForwardNet()前馈神经网络

 1、多头注意力

（1）forward 的第234行：

（2）forward 的第5行：

（3）forward第6行

（4）forward第7行：

（5）forward第8行：

 （6）forward第9行：

 2、前馈神经网络

 2、解码层

解码端

解码端：

（1）forward：第1行

Embedding层

（2）forward：第2行

positionalEncodding位置编码

（3）forward：第3行

Mask

（4）forward：第4行

  1. class Transformer(nn.Module):
  2.     def __init__(self):
  3.         super(Transformer, self).__init__()
  4.         self.encoder = Encoder()  ## 编码层
  5.         self.decoder = Decoder()  ## 解码层
  6.         self.projection = nn.Linear(d_model, tgt_vocab_size, bias=False) ## 输出层 d_model 是我们解码层每个token输出的维度大小，之后会做一个 tgt_vocab_size 大小的softmax
  7.     def forward(self, enc_inputs, dec_inputs):
  8.         ## 这里有两个数据进行输入，一个是enc_inputs 形状为[batch_size, src_len]，主要是作为编码段的输入，一个dec_inputs，形状为[batch_size, tgt_len]，主要是作为解码端的输入
  9.  
  10.         ## enc_inputs作为输入 形状为[batch_size, src_len]，输出由自己的函数内部指定，想要什么指定输出什么，可以是全部tokens的输出，可以是特定每一层的输出；也可以是中间某些参数的输出；
  11.         ## enc_outputs就是主要的输出，enc_self_attns这里没记错的是QK转置相乘之后softmax之后的矩阵值，代表的是每个单词和其他单词相关性；
  12.         enc_outputs, enc_self_attns = self.encoder(enc_inputs)
  13.  
  14.         ## dec_outputs 是decoder主要输出，用于后续的linear映射； dec_self_attns类比于enc_self_attns 是查看每个单词对decoder中输入的其余单词的相关性；dec_enc_attns是decoder中每个单词对encoder中每个单词的相关性；
  15.         dec_outputs, dec_self_attns, dec_enc_attns = self.decoder(dec_inputs, enc_inputs, enc_outputs)
  16.  
  17.         ## dec_outputs做映射到词表大小
  18.         dec_logits = self.projection(dec_outputs) # dec_logits : [batch_size x src_vocab_size x tgt_vocab_size]
  19.         return dec_logits.view(-1, dec_logits.size(-1)), enc_self_attns, dec_self_attns, dec_enc_attns

 从整体网路结构来看，分为三个部分：编码层，解码层，输出层
1、编码层

编码器层

每个编码器层由两个子层连接结构组成：

第一个子层包括一个多头自注意力层和规范化层以及一个残差连接；

第二个子层包括一个前馈全连接层和规范化层以及一个残差连接；

如下图所示：

可以看到，两个子层的结构其实是一致的，只是中间核心层的实现不同

部分参考Transformer代码完全解读！ - 知乎

class Transformer(nn.Module):
    def __init__(self):
        super(Transformer, self).__init__()
        self.encoder = Encoder()  ## 编码层
        self.decoder = Decoder()  ## 解码层
        self.projection = nn.Linear(d_model, tgt_vocab_size, bias=False) ## 输出层 d_model 是我们解码层每个token输出的维度大小，之后会做一个 tgt_vocab_size 大小的softmax
    def forward(self, enc_inputs, dec_inputs):
        ## 这里有两个数据进行输入，一个是enc_inputs 形状为[batch_size, src_len]，主要是作为编码段的输入，一个dec_inputs，形状为[batch_size, tgt_len]，主要是作为解码端的输入

        ## enc_inputs作为输入 形状为[batch_size, src_len]，输出由自己的函数内部指定，想要什么指定输出什么，可以是全部tokens的输出，可以是特定每一层的输出；也可以是中间某些参数的输出；
        ## enc_outputs就是主要的输出，enc_self_attns这里没记错的是QK转置相乘之后softmax之后的矩阵值，代表的是每个单词和其他单词相关性；
        enc_outputs, enc_self_attns = self.encoder(enc_inputs)

        ## dec_outputs 是decoder主要输出，用于后续的linear映射； dec_self_attns类比于enc_self_attns 是查看每个单词对decoder中输入的其余单词的相关性；dec_enc_attns是decoder中每个单词对encoder中每个单词的相关性；
        dec_outputs, dec_self_attns, dec_enc_attns = self.decoder(dec_inputs, enc_inputs, enc_outputs)

        ## dec_outputs做映射到词表大小
        dec_logits = self.projection(dec_outputs) # dec_logits : [batch_size x src_vocab_size x tgt_vocab_size]
        return dec_logits.view(-1, dec_logits.size(-1)), enc_self_attns, dec_self_attns, dec_enc_attns

  1. ## 2. Encoder 部分包含三个部分：词向量embedding，位置编码部分，注意力层及后续的前馈神经网络
  2.  
  3. class Encoder(nn.Module):
  4.     def __init__(self):
  5.         super(Encoder, self).__init__()
  6.         self.src_emb = nn.Embedding(src_vocab_size, d_model)  ## 这个其实就是去定义生成一个矩阵，大小是 src_vocab_size * d_model
  7.         self.pos_emb = PositionalEncoding(d_model) ## 位置编码情况，这里是固定的正余弦函数，也可以使用类似词向量的nn.Embedding获得一个可以更新学习的位置编码
  8.         self.layers = nn.ModuleList([EncoderLayer() for _ in range(n_layers)]) ## 使用ModuleList对多个encoder进行堆叠，因为后续的encoder并没有使用词向量和位置编码，所以抽离出来；
  9.  
  10.     def forward(self, enc_inputs):
  11.         ## 这里我们的 enc_inputs 形状是： [batch_size x source_len]
  12.  
  13.         ## 下面这个代码通过src_emb，进行索引定位，enc_outputs输出形状是[batch_size, src_len, d_model]
  14.         enc_outputs = self.src_emb(enc_inputs)
  15.  
  16.         ## 这里就是位置编码，把两者相加放入到了这个函数里面，从这里可以去看一下位置编码函数的实现；3.
  17.         enc_outputs = self.pos_emb(enc_outputs.transpose(0, 1)).transpose(0, 1)
  18.  
  19.         ##get_attn_pad_mask是为了得到句子中pad的位置信息，给到模型后面，在计算自注意力和交互注意力的时候去掉pad符号的影响，去看一下这个函数 4.
  20.         enc_self_attn_mask = get_attn_pad_mask(enc_inputs, enc_inputs)
  21.         enc_self_attns = []
  22.         for layer in self.layers:
  23.             ## 去看EncoderLayer 层函数 5.
  24.             enc_outputs, enc_self_attn = layer(enc_outputs, enc_self_attn_mask)
  25.             enc_self_attns.append(enc_self_attn)
  26.         return enc_outputs, enc_self_attns

编码端：

self.src_emb = nn.Embedding(src_vocab_size, d_model) 
self.pos_emb = PositionalEncoding(d_model) 
self.layers = nn.ModuleList([EncoderLayer() for _ in range(n_layers)])

三个函数 原理见上一章，本文主要讲代码

A      Embedding层

的作用是将某种格式的输入数据，例如文本，转变为模型可以处理的向量表示，来描述原始数据所包含的信息。

Embedding层输出的可以理解为当前时间步的特征，如果是文本任务，这里就可以是Word Embedding，如果是其他任务，就可以是任何合理方法所提取的特征。

构建Embedding层的代码很简单，核心是借助torch提供的nn.Embedding

B  positionalEncodding位置编码

的作用是为模型提供当前时间步的前后出现顺序的信息。因为Transformer不像RNN那样的循环结构有前后不同时间步输入间天然的先后顺序，所有的时间步是同时输入，并行推理的，因此在时间步的特征中融合进位置编码的信息是合理的。

  1. ## 3. PositionalEncoding 代码实现
  2. class PositionalEncoding(nn.Module):
  3.     def __init__(self, d_model, dropout=0.1, max_len=5000):
  4.         super(PositionalEncoding, self).__init__()
  5.  
  6.         ## 位置编码的实现其实很简单，直接对照着公式去敲代码就可以，下面这个代码只是其中一种实现方式；
  7.         ## 从理解来讲，需要注意的就是偶数和奇数在公式上有一个共同部分，我们使用log函数把次方拿下来，方便计算；
  8.         ## pos代表的是单词在句子中的索引，这点需要注意；比如max_len是128个，那么索引就是从0，1，2，...,127
  9.         ##假设我的demodel是512，2i那个符号中i从0取到了255，那么2i对应取值就是0,2,4...510
  10.         self.dropout = nn.Dropout(p=dropout)
  11.  
  12.         pe = torch.zeros(max_len, d_model)
  13.         position = torch.arange(0, max_len, dtype=torch.float).unsqueeze(1)
  14.         div_term = torch.exp(torch.arange(0, d_model, 2).float() * (-math.log(10000.0) / d_model))
  15.         pe[:, 0::2] = torch.sin(position * div_term)## 这里需要注意的是pe[:, 0::2]这个用法，就是从0开始到最后面，补长为2，其实代表的就是偶数位置
  16.         pe[:, 1::2] = torch.cos(position * div_term)##这里需要注意的是pe[:, 1::2]这个用法，就是从1开始到最后面，补长为2，其实代表的就是奇数位置
  17.         ## 上面代码获取之后得到的pe:[max_len*d_model]
  18.  
  19.         ## 下面这个代码之后，我们得到的pe形状是：[max_len*1*d_model]
  20.         pe = pe.unsqueeze(0).transpose(0, 1)
  21.  
  22.         self.register_buffer('pe', pe)  ## 定一个缓冲区，其实简单理解为这个参数不更新就可以
  23.  
  24.     def forward(self, x):
  25.         """
  26.         x: [seq_len, batch_size, d_model]
  27.         """
  28.         x = x + self.pe[:x.size(0), :]
  29.         return self.dropout(x)

C    六层EncoderLayer循环

  1. class EncoderLayer(nn.Module):
  2.     def __init__(self):
  3.         super(EncoderLayer, self).__init__()
  4.         self.enc_self_attn = MultiHeadAttention()
  5.         self.pos_ffn = PoswiseFeedForwardNet()
  6.  
  7.     def forward(self, enc_inputs, enc_self_attn_mask):
  8.         ## 下面这个就是做自注意力层，输入是enc_inputs，形状是[batch_size x seq_len_q x d_model] 需要注意的是最初始的QKV矩阵是等同于这个输入的，去看一下enc_self_attn函数 6.
  9.         enc_outputs, attn = self.enc_self_attn(enc_inputs, enc_inputs, enc_inputs, enc_self_attn_mask) # enc_inputs to same Q,K,V
  10.         enc_outputs = self.pos_ffn(enc_outputs) # enc_outputs: [batch_size x len_q x d_model]
  11.         return enc_outputs, attn

self.enc_self_attn = MultiHeadAttention()多头注意力
self.pos_ffn = PoswiseFeedForwardNet()前馈神经网络

 1、多头注意力

  1. class MultiHeadAttention(nn.Module):
  2.     def __init__(self):
  3.         super(MultiHeadAttention, self).__init__()
  4.         ## 输入进来的QKV是相等的，我们会使用映射linear做一个映射得到参数矩阵Wq, Wk,Wv
  5.         self.W_Q = nn.Linear(d_model, d_k * n_heads)
  6.         self.W_K = nn.Linear(d_model, d_k * n_heads)
  7.         self.W_V = nn.Linear(d_model, d_v * n_heads)
  8.         self.linear = nn.Linear(n_heads * d_v, d_model)
  9.         self.layer_norm = nn.LayerNorm(d_model)
  10.  
  11.     def forward(self, Q, K, V, attn_mask):
  12.  
  13.         ## 这个多头分为这几个步骤，首先映射分头，然后计算atten_scores，然后计算atten_value;
  14.         ##输入进来的数据形状： Q: [batch_size x len_q x d_model], K: [batch_size x len_k x d_model], V: [batch_size x len_k x d_model]
  15.         residual, batch_size = Q, Q.size(0)
  16.         # (B, S, D) -proj-> (B, S, D) -split-> (B, S, H, W) -trans-> (B, H, S, W)
  17.  
  18.         ##下面这个就是
  19.  
  20.  
  21.  
  22.  
  23.         q_s = self.W_Q(Q).view(batch_size, -1, n_heads, d_k).transpose(1,2)  # q_s: [batch_size x n_heads x len_q x d_k]
  24.         k_s = self.W_K(K).view(batch_size, -1, n_heads, d_k).transpose(1,2)  # k_s: [batch_size x n_heads x len_k x d_k]
  25.         v_s = self.W_V(V).view(batch_size, -1, n_heads, d_v).transpose(1,2)  # v_s: [batch_size x n_heads x len_k x d_v]
  26.  
  27.         ## 输入进行的attn_mask形状是 batch_size x len_q x len_k，然后经过下面这个代码得到 新的attn_mask : [batch_size x n_heads x len_q x len_k]，就是把pad信息重复了n个头上
  28.         attn_mask = attn_mask.unsqueeze(1).repeat(1, n_heads, 1, 1)
  29.  
  30.  
  31.         ##然后我们计算 ScaledDotProductAttention 这个函数，去7.看一下
  32.         ## 得到的结果有两个：context: [batch_size x n_heads x len_q x d_v], attn: [batch_size x n_heads x len_q x len_k]
  33.         context, attn = ScaledDotProductAttention()(q_s, k_s, v_s, attn_mask)
  34.         context = context.transpose(1, 2).contiguous().view(batch_size, -1, n_heads * d_v) # context: [batch_size x len_q x n_heads * d_v]
  35.         output = self.linear(context)
  36.         return self.layer_norm(output + residual), attn # output: [batch_size x len_q x d_model]

分析

（1）forward 的第234行：

该代码的意思是将传入的Q、K、V三维矩阵经过一层全连接层后，重塑为四维矩阵，并且四维矩阵的第二三维转置。（转置代码如下：

q_s = self.W_Q(Q).view(batch_size, -1, n_heads, d_k).transpose(1,2)

图示可以很好的解释数据结构：

如图所示最后得到的结果是个四维矩阵，维度依次是B、h、F、d-k。B就是Batch-size，h是多头自注意力机制中的头数，F是一个样本中的字符数，可以理解为一个句子中的单词个数，d-k是每个字符对应的embedding长度。

ps：我的代码中是[batch_size x len_q x d_model]变四维变成[batch_size x n_heads x len_q x d_k]。上文中B、h、F、d-k对应我的代码的[batch_size x n_heads x len_q x d_k]。

在torch中，view函数的功能和reshape的功能差不多，参数-1是让机器去猜的意思。比如有个矩阵大小为1*24，view(-1,2,4)，那么这个-1就是代表3。所以上面

（转置代码

q_s = self.W_Q(Q).view(batch_size, -1, n_heads, d_k).transpose(1,2)

）中的-1，表示机器计算，代表len_q

（2）forward 的第5行：

  1.  ## 输入进行的attn_mask形状是 batch_size x len_q x len_k，然后经过下面这个代码得到 新的attn_mask : [batch_size x n_heads x len_q x len_k]，就是把pad信息重复了n个头上
  2.         attn_mask = attn_mask.unsqueeze(1).repeat(1, n_heads, 1, 1)

attn_mask是什么呢？

首先，attn_mask是传进来的参数，

class MultiHeadAttention(nn.Module):
        def forward(self, Q, K, V, attn_mask)

那么跳回导函数调用前，

多头注意力函数是被谁定义的呢？

如下：

  1. class Encoder(nn.Module):
  2.     def __init__(self):
  3.         super(Encoder, self).__init__()
  4.         self.src_emb = nn.Embedding(src_vocab_size, d_model)  ## 这个其实就是去定义生成一个矩阵，大小是 src_vocab_size * d_model
  5.         self.pos_emb = PositionalEncoding(d_model) ## 位置编码情况，这里是固定的正余弦函数，也可以使用类似词向量的nn.Embedding获得一个可以更新学习的位置编码
  6.         self.layers = nn.ModuleList([EncoderLayer() for _ in range(n_layers)]) ## 使用ModuleList对多个encoder进行堆叠，因为后续的encoder并没有使用词向量和位置编码，所以抽离出来；
  7.  
  8.     def forward(self, enc_inputs):
  9.         ## 这里我们的 enc_inputs 形状是： [batch_size x source_len]
  10.  
  11.         ## 下面这个代码通过src_emb，进行索引定位，enc_outputs输出形状是[batch_size, src_len, d_model]
  12.         enc_outputs = self.src_emb(enc_inputs)
  13.  
  14.         ## 这里就是位置编码，把两者相加放入到了这个函数里面，从这里可以去看一下位置编码函数的实现；3.
  15.         enc_outputs = self.pos_emb(enc_outputs.transpose(0, 1)).transpose(0, 1)
  16.  
  17.         ##get_attn_pad_mask是为了得到句子中pad的位置信息，给到模型后面，在计算自注意力和交互注意力的时候去掉pad符号的影响，去看一下这个函数 4.
  18.         enc_self_attn_mask = get_attn_pad_mask(enc_inputs, enc_inputs)
  19.         enc_self_attns = []
  20.         for layer in self.layers:
  21.             ## 去看EncoderLayer 层函数 5.
  22.             enc_outputs, enc_self_attn = layer(enc_outputs, enc_self_attn_mask)
  23.             enc_self_attns.append(enc_self_attn)
  24.         return enc_outputs, enc_self_attns
  1. class EncoderLayer(nn.Module):
  2.     def __init__(self):
  3.         super(EncoderLayer, self).__init__()
  4.         self.enc_self_attn = MultiHeadAttention()
  5.         self.pos_ffn = PoswiseFeedForwardNet()
  6.  
  7.     def forward(self, enc_inputs, enc_self_attn_mask):
  8.         ## 下面这个就是做自注意力层，输入是enc_inputs，形状是[batch_size x seq_len_q x d_model] 需要注意的是最初始的QKV矩阵是等同于这个输入的，去看一下enc_self_attn函数 6.
  9.         enc_outputs, attn = self.enc_self_attn(enc_inputs, enc_inputs, enc_inputs, enc_self_attn_mask) # enc_inputs to same Q,K,V
  10.         enc_outputs = self.pos_ffn(enc_outputs) # enc_outputs: [batch_size x len_q x d_model]
  11.         return enc_outputs, attn

 我们知道encoderlayer是encoder里面循环的层，transformer中一共6层，循环六个encoderlayer

enc_outputs, attn = self.enc_self_attn(enc_inputs, enc_inputs, enc_inputs, enc_self_attn_mask)

观察传入的参数：enc_inputs, enc_inputs, enc_inputs, enc_self_attn_mask

对应

MultiHeadAttention(nn.Module):
        def forward(self, Q, K, V, attn_mask)

里面的 Q, K, V, attn_mask

那么我们得知了两点信息

1）QKV在初始时候 传入的是三个相同的编码端的输入数据 也就是enc_inputs,他们在经过全连接层是乘上不同的W权重（WQ\WK\WV)才得出的q_s\k_s\_v_s

2)enc_self_attn_mask

又表示什么呢？ 我们看一下它的定义，是在大的Encoder函数中

enc_self_attn_mask = get_attn_pad_mask(enc_inputs, enc_inputs)

get_attn_pad_mask函数是什么？表示生成符号矩阵

  1. ## 4. get_attn_pad_mask
  2.  
  3. ## 比如说，我现在的句子长度是5，在后面注意力机制的部分，我们在计算出来QK转置除以根号之后，softmax之前，我们得到的形状
  4. ## len_input * len*input  代表每个单词对其余包含自己的单词的影响力
  5.  
  6. ## 所以这里我需要有一个同等大小形状的矩阵，告诉我哪个位置是PAD部分，之后在计算计算softmax之前会把这里置为无穷大；
  7.  
  8. ## 一定需要注意的是这里得到的矩阵形状是batch_size x len_q x len_k，我们是对k中的pad符号进行标识，并没有对k中的做标识，因为没必要
  9.  
  10. ## seq_q 和 seq_k 不一定一致，在交互注意力，q来自解码端，k来自编码端，所以告诉模型编码这边pad符号信息就可以，解码端的pad信息在交互注意力层是没有用到的；
  11.  
  12. def get_attn_pad_mask(seq_q, seq_k):
  13.     batch_size, len_q = seq_q.size()
  14.     batch_size, len_k = seq_k.size()
  15.     # eq(zero) is PAD token
  16.     pad_attn_mask = seq_k.data.eq(0).unsqueeze(1)  # batch_size x 1 x len_k, one is masking 
  17.     return pad_attn_mask.expand(batch_size, len_q, len_k)  # batch_size x len_q x len_k

比如说，我现在的句子长度是5，在后面注意力机制的部分，我们在计算出来QK转置除以根号之后，softmax之前，我们得到的形状
 len_input * len*input  代表每个单词对其余包含自己的单词的影响力

所以这里我需要有一个同等大小形状的矩阵，告诉我哪个位置是PAD部分，之后在计算计算softmax之前会把这里置为无穷大；

一定需要注意的是这里得到的矩阵形状是batch_size x len_q x len_k，我们是对k中的pad符号进行标识，并没有对q中的做标识，因为没必要（尚未理解，有理解的小伙伴评论私信奥）

 seq_q 和 seq_k 不一定一致，在交互注意力，q来自解码端，k来自编码端，所以告诉模型编码这边pad符号信息就可以，解码端的pad信息在交互注意力层是没有用到的；

就是如果seq_k.data等于0，那么就设置为true 1，表示此处是添加了pad的，

例如：

  1. import torch
  2. # [batch_size, src_len]1,3,
  3. seq_k=torch.Tensor([[1,
  4.        2,
  5.        0]])
  6. seq_q=torch.Tensor([[1,
  7.        2,
  8.        0]])
  9. print(seq_k.shape)
  10. batch_size, len_q = seq_q.size()
  11. batch_size, len_k = seq_k.size()
  12. print(batch_size, len_q,batch_size, len_k)
  13. attn_mask = seq_k.data.eq(0).unsqueeze(1)#batch_size x 1 x len_k
  14. print(attn_mask)
  15. print(attn_mask.shape)
  16. attn_mask=attn_mask.expand(batch_size, len_q, len_k)
  17. print(attn_mask)
  18. print(attn_mask.shape)

 结果：

torch.Size([1, 3])
1 3 1 3
tensor([[[False, False,  True]]])
torch.Size([1, 1, 3])
tensor([[[False, False,  True],
         [False, False,  True],
         [False, False,  True]]])
torch.Size([1, 3, 3])
tensor([[[[False, False,  True],
          [False, False,  True],
          [False, False,  True]]]])
torch.Size([1, 1, 3, 3])

可知pad_attn_mask是一个符号矩阵，表示一个能判断在值为1处添加的pad 

回到最初的起点，pad_attn_mask作为实参传入EncoderLayer，对应形参enc_self_attn_mask

enc_self_attn_mask作为实参传入 MultiHeadAttention，对应形参attn_mask

attn_mask = attn_mask.unsqueeze(1).repeat(1, n_heads, 1, 1)

（3）forward第6行

  1. ##然后我们计算 ScaledDotProductAttention 这个函数，去7.看一下
  2.         ## 得到的结果有两个：context: [batch_size x n_heads x len_q x d_v], attn: [batch_size x n_heads x len_q x len_k]
  3.         context, attn = ScaledDotProductAttention()(q_s, k_s, v_s, attn_mask)

这句代码就是调用ScaledDotProductAttention函数，如下，返回权重矩阵与P矩阵。

  1. class ScaledDotProductAttention(nn.Module):
  2.     def __init__(self):
  3.         super(ScaledDotProductAttention, self).__init__()
  4.  
  5.     def forward(self, Q, K, V, attn_mask):
  6.         ## 输入进来的维度分别是 [batch_size x n_heads x len_q x d_k]  K： [batch_size x n_heads x len_k x d_k]  V: [batch_size x n_heads x len_k x d_v]
  7.         ##首先经过matmul函数得到的scores形状是 : [batch_size x n_heads x len_q x len_k]
  8.         scores = torch.matmul(Q, K.transpose(-1, -2)) / np.sqrt(d_k)
  9.  
  10.         ## 然后关键词地方来了，下面这个就是用到了我们之前重点讲的attn_mask，把被mask的地方置为无限小，softmax之后基本就是0，对q的单词不起作用
  11.         scores.masked_fill_(attn_mask, -1e9) # Fills elements of self tensor with value where mask is one.
  12.         attn = nn.Softmax(dim=-1)(scores)
  13.         context = torch.matmul(attn, V)
  14.         return context, attn

在这里我再强调一遍数据的流转细节（我一直认为，看深度学习模型源码，最重要的就是搞懂数据流转过程中维度的变化，可以很好的掌握算法的细节以及体会到并行运算的高效。）

其中F*F（代码中的len）就可以理解为每个字符（特征）之间两两相似度分数scores，
即P矩阵是个方阵。下面的PAD表示填充，填充就是当句子长度不满足max_len时候，会填充pad。但是计算相似度的时候，不必计算与pad的相似度，没必要，下图是没将pad被mask的地方置为无限小，例如卷和pad根本不相似，但是值竟然高达9，会造成相似度干扰。所以关键词地方来了，下面这个就是用到了我们之前重点讲的attn_mask，把被mask的地方置为无限小，softmax之后基本就是0，对q的单词不起作用。

然后相似度矩阵score 经过Softmax后为attn矩阵 ，他的每一行之和等于1，再与Value矩阵相乘，得到权重矩阵context。

权重矩阵的每一行可以理解为经过自注意力机制后的每个字符的embedding，即经过考虑其他所有字符影响的embedding。 

context, attn返回

小部分参考：Transformer源码详解（Pytorch版本） - 知乎

Q[b,n,l_q,d_k]

K[b,n,l_k,d_k]

V[b,n,l_k,d_v]

K的转置[b,n,d_k,l_k]

QK的转置[b,n,l_q,l_k]

attn[b,n,l_q,l_k]

context=attn*V [b,n,l_q,d_v]

（4）forward第7行：

 context = context.transpose(1, 2).contiguous().view(batch_size, -1, n_heads * d_v) # context: [batch_size x len_q x n_heads * d_v]
context变为 [batch_size x len_q x n_heads * d_v]

执行view操作之后，不会开辟新的内存空间来存放处理之后的数据，实际上新数据与原始数据共享同一块内存。

而在调用contiguous()之后，PyTorch会开辟一块新的内存空间存放变换之后的数据，并会真正改变Tensor的内容，按照变换之后的顺序存放数据。

（5）forward第8行：

output = self.linear(context)

执行

self.linear = nn.Linear(n_heads * d_v, d_model)
 context: [batch_size x len_q x n_heads * d_v]

输入n_heads * d_v,维度，经过全连接输出维度为d_model

 （6）forward第9行：

return self.layer_norm(output + residual), attn

 显而易见，这是一个残差连接，为了避免梯度消失。

 2、前馈神经网络

  1. class PoswiseFeedForwardNet(nn.Module):
  2.     def __init__(self):
  3.         super(PoswiseFeedForwardNet, self).__init__()
  4.         self.conv1 = nn.Conv1d(in_channels=d_model, out_channels=d_ff, kernel_size=1)
  5.         self.conv2 = nn.Conv1d(in_channels=d_ff, out_channels=d_model, kernel_size=1)
  6.         self.layer_norm = nn.LayerNorm(d_model)
  7.  
  8.     def forward(self, inputs):
  9.         residual = inputs # inputs : [batch_size, len_q, d_model]
  10.         output = nn.ReLU()(self.conv1(inputs.transpose(1, 2)))
  11.         output = self.conv2(output).transpose(1, 2)
  12.         return self.layer_norm(output + residual)

 2、解码层

 建议看完我总结的NLP从入门到放弃的transformer 的笔记总结

NLP从入门到放弃的transformer 的笔记总结_Queen_sy的博客-CSDN博客

和  Transformer源码详解（Pytorch版本）编码层

Transformer源码详解（Pytorch版本）_Queen_sy的博客-CSDN博客

  1. class Transformer(nn.Module):
  2.     def __init__(self):
  3.         super(Transformer, self).__init__()
  4.         self.encoder = Encoder()  ## 编码层
  5.         self.decoder = Decoder()  ## 解码层
  6.         self.projection = nn.Linear(d_model, tgt_vocab_size, bias=False) ## 输出层 d_model 是我们解码层每个token输出的维度大小，之后会做一个 tgt_vocab_size 大小的softmax
  7.     def forward(self, enc_inputs, dec_inputs):
  8.         ## 这里有两个数据进行输入，一个是enc_inputs 形状为[batch_size, src_len]，主要是作为编码段的输入，一个dec_inputs，形状为[batch_size, tgt_len]，主要是作为解码端的输入
  9.  
  10.         ## enc_inputs作为输入 形状为[batch_size, src_len]，输出由自己的函数内部指定，想要什么指定输出什么，可以是全部tokens的输出，可以是特定每一层的输出；也可以是中间某些参数的输出；
  11.         ## enc_outputs就是主要的输出，enc_self_attns这里没记错的是QK转置相乘之后softmax之后的矩阵值，代表的是每个单词和其他单词相关性；
  12.         enc_outputs, enc_self_attns = self.encoder(enc_inputs)
  13.  
  14.         ## dec_outputs 是decoder主要输出，用于后续的linear映射； dec_self_attns类比于enc_self_attns 是查看每个单词对decoder中输入的其余单词的相关性；dec_enc_attns是decoder中每个单词对encoder中每个单词的相关性；
  15.         dec_outputs, dec_self_attns, dec_enc_attns = self.decoder(dec_inputs, enc_inputs, enc_outputs)
  16.  
  17.         ## dec_outputs做映射到词表大小
  18.         dec_logits = self.projection(dec_outputs) # dec_logits : [batch_size x src_vocab_size x tgt_vocab_size]
  19.         return dec_logits.view(-1, dec_logits.size(-1)), enc_self_attns, dec_self_attns, dec_enc_attns

解码端

class Transformer(nn.Module):
    def __init__(self):
        super(Transformer, self).__init__()
        self.encoder = Encoder()  ## 编码层
        self.decoder = Decoder()  ## 解码层
        self.projection = nn.Linear(d_model, tgt_vocab_size, bias=False) ## 输出层 d_model 是我们解码层每个token输出的维度大小，之后会做一个 tgt_vocab_size 大小的softmax
    def forward(self, enc_inputs, dec_inputs):
        ## 这里有两个数据进行输入，一个是enc_inputs 形状为[batch_size, src_len]，主要是作为编码段的输入，一个dec_inputs，形状为[batch_size, tgt_len]，主要是作为解码端的输入

        ## enc_inputs作为输入 形状为[batch_size, src_len]，输出由自己的函数内部指定，想要什么指定输出什么，可以是全部tokens的输出，可以是特定每一层的输出；也可以是中间某些参数的输出；
        ## enc_outputs就是主要的输出，enc_self_attns这里没记错的是QK转置相乘之后softmax之后的矩阵值，代表的是每个单词和其他单词相关性；
        enc_outputs, enc_self_attns = self.encoder(enc_inputs)

        ## dec_outputs 是decoder主要输出，用于后续的linear映射； dec_self_attns类比于enc_self_attns 是查看每个单词对decoder中输入的其余单词的相关性；dec_enc_attns是decoder中每个单词对encoder中每个单词的相关性；
        dec_outputs, dec_self_attns, dec_enc_attns = self.decoder(dec_inputs, enc_inputs, enc_outputs)

       ## dec_outputs做映射到词表大小
        dec_logits = self.projection(dec_outputs) # dec_logits : [batch_size x src_vocab_size x tgt_vocab_size]
        return dec_logits.view(-1, dec_logits.size(-1)), enc_self_attns, dec_self_attns, dec_enc_attns
 

如图：
输出： dec_outputs, dec_self_attns, dec_enc_attns ：解码端输出、解码端自注意力、交互注意力

输入：dec_inputs, enc_inputs, enc_outputs：解码端输入、编码端输入、编码端输出（ enc_inputs这个平衡用的 没什么意义）

 

解码端：

  1. class Decoder(nn.Module):
  2.     def __init__(self):
  3.         super(Decoder, self).__init__()
  4.         self.tgt_emb = nn.Embedding(tgt_vocab_size, d_model)
  5.         self.pos_emb = PositionalEncoding(d_model)
  6.         self.layers = nn.ModuleList([DecoderLayer() for _ in range(n_layers)])
  7.  
  8.     def forward(self, dec_inputs, enc_inputs, enc_outputs): # dec_inputs : [batch_size x target_len]
  9.         dec_outputs = self.tgt_emb(dec_inputs)  # [batch_size, tgt_len, d_model]
  10.         dec_outputs = self.pos_emb(dec_outputs.transpose(0, 1)).transpose(0, 1) # [batch_size, tgt_len, d_model]
  11.  
  12.         ## get_attn_pad_mask 自注意力层的时候的pad 部分
  13.         dec_self_attn_pad_mask = get_attn_pad_mask(dec_inputs, dec_inputs)
  14.  
  15.         ## get_attn_subsequent_mask 这个做的是自注意层的mask部分，就是当前单词之后看不到，使用一个上三角为1的矩阵
  16.         dec_self_attn_subsequent_mask = get_attn_subsequent_mask(dec_inputs)
  17.  
  18.         ## 两个矩阵相加，大于0的为1，不大于0的为0，为1的在之后就会被fill到无限小
  19.         dec_self_attn_mask = torch.gt((dec_self_attn_pad_mask + dec_self_attn_subsequent_mask), 0)
  20.  
  21.  
  22.         ## 这个做的是交互注意力机制中的mask矩阵，enc的输入是k，我去看这个k里面哪些是pad符号，给到后面的模型；注意哦，我q肯定也是有pad符号，但是这里我不在意的，之前说了好多次了哈
  23.         dec_enc_attn_mask = get_attn_pad_mask(dec_inputs, enc_inputs)
  24.  
  25.         dec_self_attns, dec_enc_attns = [], []
  26.         for layer in self.layers:
  27.             dec_outputs, dec_self_attn, dec_enc_attn = layer(dec_outputs, enc_outputs, dec_self_attn_mask, dec_enc_attn_mask)
  28.             dec_self_attns.append(dec_self_attn)
  29.             dec_enc_attns.append(dec_enc_attn)
  30.         return dec_outputs, dec_self_attns, dec_enc_attns
self.src_emb = nn.Embedding(src_vocab_size, d_model) 
self.pos_emb = PositionalEncoding(d_model) 
self.layers = nn.ModuleList([EncoderLayer() for _ in range(n_layers)])

三个函数 原理见上一章，本文主要讲代码

（1）forward：第1行

将解码端的输入dec_inputs ——经过Embedding层——输出的词向量dec_outputs

dec_inputs : [batch_size ， target_len]
dec_outputs：[batch_size, tgt_len, d_model]

Embedding层

的作用是将某种格式的输入数据，例如文本，转变为模型可以处理的向量表示，来描述原始数据所包含的信息。

Embedding层输出的可以理解为当前时间步的特征，如果是文本任务，这里就可以是Word Embedding，如果是其他任务，就可以是任何合理方法所提取的特征。

构建Embedding层的代码很简单，核心是借助torch提供的nn.Embedding

（2）forward：第2行

dec_outputs = self.pos_emb(dec_outputs.transpose(0, 1)).transpose(0, 1) # [batch_size, tgt_len, d_model]

上一步的词向量输出dec_outputs[batch_size, tgt_len, d_model]——互换0、1维度——
dec_outputs[tgt_len,batch_size, d_model]——经过位置编码pos_emb——互换0、1维度——

输出dec_outputs[batch_size, tgt_len, d_model]

positionalEncodding位置编码

的作用是为模型提供当前时间步的前后出现顺序的信息。因为Transformer不像RNN那样的循环结构有前后不同时间步输入间天然的先后顺序，所有的时间步是同时输入，并行推理的，因此在时间步的特征中融合进位置编码的信息是合理的。

  1. ## 3. PositionalEncoding 代码实现
  2. class PositionalEncoding(nn.Module):
  3.     def __init__(self, d_model, dropout=0.1, max_len=5000):
  4.         super(PositionalEncoding, self).__init__()
  5.  
  6.         ## 位置编码的实现其实很简单，直接对照着公式去敲代码就可以，下面这个代码只是其中一种实现方式；
  7.         ## 从理解来讲，需要注意的就是偶数和奇数在公式上有一个共同部分，我们使用log函数把次方拿下来，方便计算；
  8.         ## pos代表的是单词在句子中的索引，这点需要注意；比如max_len是128个，那么索引就是从0，1，2，...,127
  9.         ##假设我的demodel是512，2i那个符号中i从0取到了255，那么2i对应取值就是0,2,4...510
  10.         self.dropout = nn.Dropout(p=dropout)
  11.  
  12.         pe = torch.zeros(max_len, d_model)
  13.         position = torch.arange(0, max_len, dtype=torch.float).unsqueeze(1)
  14.         div_term = torch.exp(torch.arange(0, d_model, 2).float() * (-math.log(10000.0) / d_model))
  15.         pe[:, 0::2] = torch.sin(position * div_term)## 这里需要注意的是pe[:, 0::2]这个用法，就是从0开始到最后面，补长为2，其实代表的就是偶数位置
  16.         pe[:, 1::2] = torch.cos(position * div_term)##这里需要注意的是pe[:, 1::2]这个用法，就是从1开始到最后面，补长为2，其实代表的就是奇数位置
  17.         ## 上面代码获取之后得到的pe:[max_len*d_model]
  18.  
  19.         ## 下面这个代码之后，我们得到的pe形状是：[max_len*1*d_model]
  20.         pe = pe.unsqueeze(0).transpose(0, 1)
  21.  
  22.         self.register_buffer('pe', pe)  ## 定一个缓冲区，其实简单理解为这个参数不更新就可以
  23.  
  24.     def forward(self, x):
  25.         """
  26.         x: [seq_len, batch_size, d_model]
  27.         """
  28.         x = x + self.pe[:x.size(0), :]
  29.         return self.dropout(x)

（3）forward：第3行

自注意力层有两个mask

一是对自身pad符号mask

二是对当前单词之后看不到单词mask

下面参考Transformer模型详解 - 知乎

  • Mask

Mask 表示掩码，它对某些值进行掩盖，使其在参数更新时不产生效果。Transformer 模型里面涉及两种 mask，分别是 padding mask 和 sequence mask。

  1. padding mask

因为每个批次输入序列长度是不一样的，因此我们需要对不同长度的序列进行对齐，具体来说，就是给在较短的序列后面填充 0。因为这些填充的位置其实是没什么意义的，我们的 Attention 机制不应该把注意力放在这些位置上，所以我们具体的做法是，把这些位置的值加上一个非常大的负数(负无穷)，这样经过 softmax 后这些位置的概率就会接近0，不会影响Attention的结果。

2. sequence mask

大家还记得这张Scaled Dot-Product Attention嘛？这是multi-head attention中的一个模块，对于decoder中的第一个multi-head attention层，我们需要添加一个mask模块进去。

这是为了使得decoder看不见未来的信息。也就是说，对于一个序列，在 time_step 为 t 的时刻，我们的解码输出应该只能依赖于 t 时刻之前的输出，而不能依赖 t 时刻之后的输出。因此我们通过增加Mask的方法，把 t 时刻之后的信息给隐藏起来。

具体的做法为：产生一个上三角矩阵，下三角的值全为1，上三角的值权威0，对角线也是1。把这个矩阵作用在每一个序列上，就能达到我们的目的。

第三行就是对自身pad符号mask

第四行就是对当前单词之后看不到单词mask

先看第三行的

## get_attn_pad_mask 自注意力层的时候的pad 部分
dec_self_attn_pad_mask = get_attn_pad_mask(dec_inputs, dec_inputs)

输出一个符号矩阵：矩阵中1 表示句子长度不够max_len用pad填充，0表示未填充

  1. def get_attn_pad_mask(seq_q, seq_k):
  2.     batch_size, len_q = seq_q.size()
  3.     batch_size, len_k = seq_k.size()
  4.     # eq(zero) is PAD token
  5.     pad_attn_mask = seq_k.data.eq(0).unsqueeze(1)  # batch_size x 1 x len_k, one is masking 
  6.     return pad_attn_mask.expand(batch_size, len_q, len_k)  # batch_size x len_q x len_k

比如说，我现在的句子长度是5，在后面注意力机制的部分，我们在计算出来QK转置除以根号之后，softmax之前，我们得到的形状
 len_input * len*input  代表每个单词对其余包含自己的单词的影响力

所以这里我需要有一个同等大小形状的矩阵，告诉我哪个位置是PAD部分，之后在计算计算softmax之前会把这里置为无穷大；

一定需要注意的是这里得到的矩阵形状是batch_size x len_q x len_k，我们是对k中的pad符号进行标识，并没有对q中的做标识，因为没必要（尚未理解，有理解的小伙伴评论私信奥）

 seq_q 和 seq_k 不一定一致，在交互注意力，q来自解码端，k来自编码端，所以告诉模型编码这边pad符号信息就可以，解码端的pad信息在交互注意力层是没有用到的；

就是如果seq_k.data等于0，那么就设置为true 1，表示此处是添加了pad的，

例如

  1. import torch
  2. # [batch_size, src_len]1,3,
  3. seq_k=torch.Tensor([[1,
  4.        2,
  5.        0]])
  6. seq_q=torch.Tensor([[1,
  7.        2,
  8.        0]])
  9. print(seq_k.shape)
  10. batch_size, len_q = seq_q.size()
  11. batch_size, len_k = seq_k.size()
  12. print(batch_size, len_q,batch_size, len_k)
  13. attn_mask = seq_k.data.eq(0).unsqueeze(1)#batch_size x 1 x len_k
  14. print(attn_mask)
  15. print(attn_mask.shape)
  16. attn_mask=attn_mask.expand(batch_size, len_q, len_k)
  17. print(attn_mask)
  18. print(attn_mask.shape)

结果：

torch.Size([1, 3])
1 3 1 3
tensor([[[False, False,  True]]])
torch.Size([1, 1, 3])
tensor([[[False, False,  True],
         [False, False,  True],
         [False, False,  True]]])
torch.Size([1, 3, 3])
tensor([[[[False, False,  True],
          [False, False,  True],
          [False, False,  True]]]])
torch.Size([1, 1, 3, 3])

可知pad_attn_mask是一个符号矩阵，表示一个能判断在值为1处添加的pad 

（4）forward：第4行

生成上三角矩阵，对当前单词之后看不到单词mask

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/小丑西瓜9/article/detail/92946
推荐阅读
相关标签

Copyright © 2003-2013 www.wpsshop.cn 版权所有，并保留所有权利。

  

闽ICP备14008679号