NLP常见面试题_nlp面试题

1、什么是困惑度（perplexity）？它在 NLP 中的作用是什么？
困惑度是一种用于评估语言模型通顺程度的方法，测评困惑度的方法为：对测试集中的句子计算语言模型概率，概率越高则语言模型越好。

由公式可知，句子概率越大，语言模型越好，迷惑度越小。
2、梯度爆炸和梯度消失是什么？如何解决？
反向传播时，如果网络过深，每层梯度连乘小于1的数，值会趋向0，发生梯度消失。大于1则趋向正无穷，发生梯度爆炸。
梯度爆炸 — 梯度剪裁
梯度剪裁：如果梯度过大则投影到一个较小的尺度上
梯度消失 — 使用ReLU 和 PReLU
其他方法：使用 Batch Normalization 、Xavier 初始化和正交初始化（RNN）
3、SVD 的词向量方法和神经网络的词向量方法有什么区别？
SVD 是线性方法，而神经网络是非线性方法。
4、LSTM 的隐层（hidden）和单元状态（cell state）都有哪些信息？
隐层状态ht保存直至当前时刻的所有信息。单元状态ct保存了下一时刻可能会用到的信息。
5、LSTM 模型的参数数量（包括 bias）