devbox
小丑西瓜9
这个屌丝很懒，什么也没留下！
关注作者
热门标签
热门文章
当前位置:   article > 正文

Transformer代码详解（-）-从数据处理到嵌入【包含数据集可构造/数据嵌入和位置嵌入的详解】_transformer的n+1的查询嵌入

作者：小丑西瓜9 | 2024-06-04 23:21:48

赞

踩

transformer的n+1的查询嵌入
  1.     src_shape=["你好","生日快乐"]
  2.     tgt_shape=["hello","happy birthday to you"]
  3.     
  4.     #1.embeding   先构造数据集，再构造嵌入
  5.     
  6.     batch_size=2 #以两条样本为例
  7.     src_shape=torch.Tensor([2,4]).to(torch.int32)  #源：第一个样本长度为2  第二个样本长度为4   你好 生日快乐
  8.     tgt_shape=torch.Tensor([1,4]).to(torch.int32)  #目标：第一个样本长度为1  第二个样本长度为4  hello  happy birthday to you
  9.  
  10.     #获取每一个词对应的索引:查询词汇表中
  11.     #数据处理：原始文本变为数字——即每个单词在词表中的位置；然后通过padding处理得到句子的二维索引表示
  12.     src_index = [[1,2], [3,1,5,6]]
  13.     tgt_index = [[7], [13,67,78,54]]
  14.     #因为输入模型中的长度要一致，所以需要进行处理 然后加padding   apdding的索引默认是0
  15.     
  16.     for i in len(src_shape):
  17.         assert len(src_index[i])==src_shape[i]
  18.     # 设置序列最大长度
  19.     max_num_word = 5
  20.     len_word=8 #单词表大小
  21.     #得到源句子和目标句子
  22.     #src_seq = [F.pad(torch.tensor(L),(0, max_num_word - len(L))) for i, L in enumerate(src_index)]
  23.     #print(src_seq) #[tensor([1, 2, 0, 0, 0]), tensor([3, 1, 5, 6, 0])]
  24.     #然后我们需要把这写batchsize个样本给合成一个二维的张量  因此首先变为2维-增加维度，然后在第0维cat     这样每一个样本就有一个向量变为一个二维张量
  25.     assert len(src_index)==batch_size
  26.     src_cat_result=torch.cat([torch.unsqueeze(F.pad(torch.tensor(L),(0, src_max_num_word - len(L))),0) for i, L in enumerate(src_index)])
  27.     #print(src_cat_result)  #tensor([[1, 2, 0, 0, 0], [3, 1, 5, 6, 0]])
  28.     assert len(tgt_index)==batch_size
  29.     tgt_cat_result=torch.cat([torch.unsqueeze(F.pad(torch.tensor(L),(0, tgt_max_num_word - len(L))),0) for i, L in enumerate(tgt_index)])
  30.  
  31.  
  32.  
  33. #嵌入：将索引转化维向量表示
  34.  
  35. model_dim=8 #论文中是512
  36. #嵌入使用pytprch中的 词向量嵌入，里面包含所有的单词
  37. src_embedding_table=nn.Embedding(src_len_word+1,model_dim) #+1是运因为有paddiing,这个也是文本中所涉及的单词
  38. tgt_embedding_table=nn.Embedding(tgt_len_word+1,model_dim)
  39. #print(src_embedding_table.weight)
  40. """
  41. 第一行是padding的，其余8个表示文本中单词表为8，列表示嵌入维度，因此一行表示一个词的嵌入
  42. tensor([[-1.2555, -0.7370,  1.4169, -0.0135,  0.1515,  0.1596,  1.2738, -1.3509],   padding的
  43.         [-0.2124,  2.1522,  0.7495,  0.6297,  0.5902,  2.2523,  0.2023,  0.1858],
  44.         [ 0.2194,  0.0171,  0.9608, -1.0578,  1.0288,  0.2693, -1.3096,  0.2752],
  45.         [-0.7234,  0.0349, -0.5287,  1.0626,  0.2660, -2.7938,  1.7546,  0.6249],
  46.         [ 0.9379,  1.5381,  0.8142,  1.3533, -0.0833, -0.4148, -1.6053, -1.0058],
  47.         [-1.1222,  0.9535,  0.2647,  0.4451, -2.0066,  0.8431,  0.1354, -0.2863],
  48.         [ 0.4703,  0.8993,  0.0897, -1.6634, -0.4775,  1.8519,  0.2723,  1.5300],
  49.         [ 0.8387, -0.1637, -0.9713, -1.3232, -0.7950, -0.1871, -1.2212,  0.7863],
  50.         [-0.1340,  1.7016, -1.1327,  0.9578,  0.2550, -1.3456, -0.6001,  1.5825]],
  51.        requires_grad=True)
  53. src_embedding=src_embedding_table(src_cat_result)  #调用embedding类的forward方法
  54. #print(src_embedding)
  56. 得到了每一句话的表示：2个句子*每一句5个词*每一个词8维
  57. tensor([[[-1.0475,  0.2883, -1.9625,  0.9092,  0.3110,  0.4850,  0.0567,
  58.            0.8287],
  59.          [-0.4096,  0.4550, -0.2292, -0.1558,  0.1996,  0.2696,  0.4571,
  60.            1.7479],
  61.          [ 0.6344,  0.5071,  1.0565,  1.0850, -1.0610, -0.0961, -1.0493,
  62.            0.2836],
  63.          [ 0.6344,  0.5071,  1.0565,  1.0850, -1.0610, -0.0961, -1.0493,
  64.            0.2836],
  65.          [ 0.6344,  0.5071,  1.0565,  1.0850, -1.0610, -0.0961, -1.0493,
  66.            0.2836]],
  67.         [[-3.2312,  0.0042,  0.2851, -0.3745,  0.8082,  0.3877, -0.3762,
  68.            0.8496],
  69.          [-1.0475,  0.2883, -1.9625,  0.9092,  0.3110,  0.4850,  0.0567,
  70.            0.8287],
  71.          [-0.0264, -0.7717, -0.3651, -1.0353, -2.3864,  0.6747, -0.4873,
  72.            1.3909],
  73.          [-0.2352,  0.2003,  1.8471, -1.1417, -0.1079,  0.5878, -0.0224,
  74.           -0.4107],
  75.          [ 0.6344,  0.5071,  1.0565,  1.0850, -1.0610, -0.0961, -1.0493,
  76.            0.2836]]], grad_fn=<EmbeddingBackward>)
  79. #位置嵌入：使用sin cos是因为泛化能力比较好，而且还具有对称性   句子数*每一句最大词数*嵌入维度  这里也可以用两个for循环来填充每一个句子的二维位置矩阵
  80. #我们这种方法是矩阵相乘，应用了广播机制
  81. max_position_len=5 #位置嵌入的最大长度  和句子的长度相等吧：因为句子中每个词都有位置
  82. pos_mat=torch.arange(max_position_len).reshape((-1,1))
  83. i_mat=torch.pow(10000,torch.arange(0,8,2).reshape((-1,1))/model_dim)#2i应该是表示奇数列吧，因为是从0开始索引
  84. pe_embedding_table=torch.zeros(max_position_len,model_dim)
  85. div_term = torch.exp(torch.arange(0, model_dim, 2) * -(math.log(10000.0) / model_dim))
  86. pe_embedding_table[:,0::2]=torch.sin(pos_mat*div_term) #[:,0::2]表示选择所有行以及偶数列 根据公式pos_mat*i_mat会报错
  87. pe_embedding_table[:,1::2]=torch.cos(pos_mat*div_term) #[:,1::2]表示选择所有行以及奇数列
  89. pe_embedding=nn.Embedding(max_position_len,model_dim)
  90. pe_embedding.weight=nn.Parameter(pe_embedding_table,requires_grad=False) #权重用自己的，不进行学习
  91. #注意这里借鉴词嵌入的方法，流程一样，其中参数要传入位置而不是单词
  92. src_pos_cat=torch.cat([torch.unsqueeze(torch.arange(max(src_shape)),0) for i in src_shape])
  93. tgt_pos_cat=torch.cat([torch.unsqueeze(torch.arange(max(tgt_shape)),0) for i in tgt_shape])
  95. src_pe_embedding=pe_embedding(src_pos_cat)
  96. #print(src_pe_embedding)
  97. """
  98. tensor([[[ 0.0000e+00,  1.0000e+00,  0.0000e+00,  1.0000e+00,  0.0000e+00,
  99.            1.0000e+00,  0.0000e+00,  1.0000e+00],
  100.          [ 8.4147e-01,  5.4030e-01,  9.9833e-02,  9.9500e-01,  9.9998e-03,
  101.            9.9995e-01,  1.0000e-03,  1.0000e+00],
  102.          [ 9.0930e-01, -4.1615e-01,  1.9867e-01,  9.8007e-01,  1.9999e-02,
  103.            9.9980e-01,  2.0000e-03,  1.0000e+00],
  104.          [ 1.4112e-01, -9.8999e-01,  2.9552e-01,  9.5534e-01,  2.9995e-02,
  105.            9.9955e-01,  3.0000e-03,  1.0000e+00]],
  106.         [[ 0.0000e+00,  1.0000e+00,  0.0000e+00,  1.0000e+00,  0.0000e+00,
  107.            1.0000e+00,  0.0000e+00,  1.0000e+00],
  108.          [ 8.4147e-01,  5.4030e-01,  9.9833e-02,  9.9500e-01,  9.9998e-03,
  109.            9.9995e-01,  1.0000e-03,  1.0000e+00],
  110.          [ 9.0930e-01, -4.1615e-01,  1.9867e-01,  9.8007e-01,  1.9999e-02,
  111.            9.9980e-01,  2.0000e-03,  1.0000e+00],
  112.          [ 1.4112e-01, -9.8999e-01,  2.9552e-01,  9.5534e-01,  2.9995e-02,
  113.            9.9955e-01,  3.0000e-03,  1.0000e+00]]],
  114.        grad_fn=<EmbeddingBackward>)
  115. """
  116. tgt_pe_embedding=pe_embedding(tgt_pos_cat)
  117. print(tgt_pe_embedding)
  119. tensor([[[ 0.0000e+00,  1.0000e+00,  0.0000e+00,  1.0000e+00,  0.0000e+00,
  120.            1.0000e+00,  0.0000e+00,  1.0000e+00],
  121.          [ 8.4147e-01,  5.4030e-01,  9.9833e-02,  9.9500e-01,  9.9998e-03,
  122.            9.9995e-01,  1.0000e-03,  1.0000e+00],
  123.          [ 9.0930e-01, -4.1615e-01,  1.9867e-01,  9.8007e-01,  1.9999e-02,
  124.            9.9980e-01,  2.0000e-03,  1.0000e+00],
  125.          [ 1.4112e-01, -9.8999e-01,  2.9552e-01,  9.5534e-01,  2.9995e-02,
  126.            9.9955e-01,  3.0000e-03,  1.0000e+00]],
  127.         [[ 0.0000e+00,  1.0000e+00,  0.0000e+00,  1.0000e+00,  0.0000e+00,
  128.            1.0000e+00,  0.0000e+00,  1.0000e+00],
  129.          [ 8.4147e-01,  5.4030e-01,  9.9833e-02,  9.9500e-01,  9.9998e-03,
  130.            9.9995e-01,  1.0000e-03,  1.0000e+00],
  131.          [ 9.0930e-01, -4.1615e-01,  1.9867e-01,  9.8007e-01,  1.9999e-02,
  132.            9.9980e-01,  2.0000e-03,  1.0000e+00],
  133.          [ 1.4112e-01, -9.8999e-01,  2.9552e-01,  9.5534e-01,  2.9995e-02,
  134.            9.9955e-01,  3.0000e-03,  1.0000e+00]]],
  135.        grad_fn=<EmbeddingBackward>)
  139. #encoding中的mask:padding的标记为-inf

声明：本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：【wpsshop博客】
推荐阅读
相关标签

Copyright © 2003-2013 www.wpsshop.cn 版权所有，并保留所有权利。

  

闽ICP备14008679号