nn.Embedding使用

nn.Embedding使用

Embedding.weight会从标准正态分布中初始化成大小为（num_embeddings, embedding_dim）的矩阵

• PE矩阵的作用就是替换这个标准正态分布

input中的标号表示从矩阵对应行获取权重来表示单词

# 1.设置embedding结构
max_seq_len = 1000   # 句子的最大长度
d_model = 128        # 词向量的长度
e = nn.Embedding(max_seq_len, d_model) 

# 2.输入的时间向量
n_steps = 100
batch_size = 16
t3 = torch.randint(0, n_steps, (batch_size, 2))  # 2句话，每句话16个词 [16, 2]

# 3.调用Embedding
e3 = e(t3)

# 查看embedding的权重大小
print(e.weight.data)

# 验证embedding就是从矩阵中直接按索引获取信息，作为返回值
# 从权重中取出对应索引的数值
e.weight.data[t3] == e3
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19

参考：http://t.csdnimg.cn/ZCKQd