BERT 词向量理解及训练更新_bert 不训练直接去向量

1、BERT 词向量理解

在预训练阶段中，词向量是在不断更新的，而在fine-tuning阶段中，词向量是固定不变的。在fine-tuning阶段中，我们使用预训练好的模型参数来对新的数据进行训练。

BERT模型在预训练阶段中，会学习词表中所有词的词向量。在学习过程中，词表中每个词的词向量是通过输入的语料来学习的。

在训练过程中，词表中每个词的词向量都是随机初始化的，然后通过训练数据和反向传播算法来不断更新。反向传播算法会根据当前的词向量和训练数据的误差来调整词向量的值，使得模型在语料中学到的语言知识能够更好地概括文本。

在预训练阶段结束之后，这些词向量就成为了预训练权重。在 fine-tuning 阶段中，使用这些预训练好的词向量来对新的数据进行训练。

2、词向量训练更新

词向量权重矩阵为什么能训练更新？

理解就是输入字x，1个神经元对应了多个神经元，权重（即是这个x的词向量）就是1对多的连接层上的权重，相当于是个线性函数的连接层参数

#比如这里输入层有1个神经元，输出层有3个神经元，因此W是一个1*3的矩阵，b是一个3维的向量

y = Wx + b

假设输入层有1个神经元x=2，W是1*3的矩阵 [[1, 2, 3]]，W就是x的词向量，b是3维的向量 [1, 1, 1]。

那么 y = Wx + b

y = [[1, 2, 3]] * 2 + [1, 1, 1] = [2, 4, 6