lstm 根据前文预测词_宅家NLP —— 词向量与ELMo

感谢@贪心科技 @李文哲 老师，附NLP系列第一场《词向量与ELMo》笔记整理

btw, 后面的课程笔记我也会整理到知乎，需要的小伙伴可以关注欧～

一、基础回顾之词向量与语言模型

1. 词的表示之独热编码

• 用0, 1量化词的表示；
• 存在的问题：无法计算词之间的（语义）相似度，因为无论如何单词之间的相似度都相等，为1；导致向量稀疏，大部分位置为0；

2. 词向量之生成词向量的模型和方法

• （非LM的方法 ）CBOW, Skip-gram,...；
• （基于LM的方法）Glove, ELMO,...；

3. 语言模型

• 衡量一句话从语法上是否通顺/合理；
• 相关的知识点：链式法则及马尔科夫假设；N元文法；平滑方法；困惑度；

二、词向量训练的常见方法

• Skip-gram：通过中间词预测上下文；
• CBOW：通过上下文预测中间词；
• NNLM：来源于03年的论文A neural probabilistic language model，论文提出用一个三层的前馈神经网络 ( − +1,..., )来拟合一个词序列的条件概率 ( | 1, 2,..., −1) ，即语言模型关注的条件概率。贴一张原论文中的图，看图会比较容易理解。

然而，通过以上方法学得的词向量都是固定的（fixed），造成的缺陷是，无法表示在不同语境下的含义不同的单词，如apple；

三、ELMo

ELMo是一种deep- BLSTM的方法，采用双向双层的LSTM结构，可以动态的学出在上下文中的词向量：

• 浅层的深度学习方法 - 利用LSTM学习词向量：

给定输入序列，双向LSTM通过前向和后向两个单向LSTM（方向相反的）分别生成表示，然后简单拼接，得到最终的表示。

ELMo的网络结构是双向双层LSTM，其中的每一层都包含前向和后向两个LSTM层，

• 前向迭代中包含了该词以及该词之前的一些词汇或语境的信息
• 后向迭代中包含了该词之后的信息
• 这两种迭代的信息组成了中间词向量（intermediate word vector）
• 这些中间词向量被输入到模型的下一层
• 最终表示（ELMo）是原始词向量和两个中间词向量的加权和（参考

NLP详细教程：手把手教你用ELMo模型提取文本特征，附代码&论文 - 云+社区 - 腾讯云​cloud.tencent.com

弹幕中问的比较多的问题 - 为什么ELMO可以区分多义词

在将句子输入模型中在线提取各层embedding的时候，每个单词(token)对应前向和后向两个LSTM网络的对应节点，由这两个节点产生的embedding是动态变化的；受到上下文单词的影响，周围单词的上下文不同应该会强化某种语义，弱化其它语义，这样就达到区分多义词的效果了。

• 深层的深度学习方法 - 深度学习的层次表示（Hierarchical Representation）：

深度学习的层次表示使得不同深度的隐层编码的特征信息不同；对于文本来讲，从简单到复杂的特征可以理解为：单词特征->句法特征（主谓宾等）->语义特征；

• ELMo的使用：

NLP详细教程：手把手教你用ELMo模型提取文本特征，附代码&论文

NLP详细教程：手把手教你用ELMo模型提取文本特征，附代码&论文 - 云+社区 - 腾讯云​cloud.tencent.com

• ELMo的数学表达：

个人认为不必硬记，在开展实践中理解就好；

四、总结

感谢@贪心科技 @李文哲 老师；

后面的课程笔记我也会整理到知乎，需要的小伙伴可以关注欧～

交流学习：）