NLP基础知识1【BERT】

• 总结整理BERT和BERT以前预训练模型的知识

BERT之前的语言编码

one-hot的问题

• 维度灾难：由于将文本按01进行编码，维度过高，会遇到维度灾难的困扰，妹子词语的维度是语料库词典的长度。
• 向量离散、稀疏问题：因为one-hot中，句子向量中，如果词出现为1，没出现为0，但是由于维度远远大于句子长度，所以句子中的1远小于0。
• 词语的编码是随机的，不能表示词之间的联系

word2vec存在的问题

• 领域问题：word2vec为静态方式，训练好以后，每个词表达固定。
• 个人认为：可以通过连接线性变换缓解，但是预训练模型的缺点仍无法根治。

elmo存在的问题

• 做编码时使用LSTM，速度较慢
• 使用双向拼接的特征，比BERT效果较差

BERT

• BERT是一种Transformer的双向编码器，旨在通过在左右上下文中共有的条件计算来预先训练来自无标号文本的深度双向表示。因此，经过预先训练的BERT模型只需一个额外的输出层就可以进行微调，从而为各种自然语言处理任务生成最新模型。
  这个也是我们常说的

未完待续