百面机器学习—10.循环神经网络面试问题总结

---

循环神经网络理论及实战传送门：
深度学习TF—9.循环神经网络RNN及其变体GRU、LSTM
深度学习TF—10.循环神经网络RNN及其变体LSTM、GRU实战

---

---

插眼：

• 百面机器学习—1.特征工程
• 百面机器学习—2. 特征工程与模型评估要点总结
• 百面机器学习—3.逻辑回归与决策树要点总结
• 百面机器学习—4.SVM模型基础知识
• 百面机器学习—5.SVM要点总结
• 百面机器学习—6.PCA与LDA要点总结
• 百面机器学习—7.K均值算法、EM算法与高斯混合模型要点总结
• 百面机器学习—8.概率图模型之HMM模型
• 百面机器学习—9.前馈神经网络面试问题总结
• 百面机器学习—10.循环神经网络面试问题总结
• 百面机器学习—11.集成学习（GBDT、XGBoost）面试问题总结
• 百面机器学习—12.优化算法

---

1.传统方法、卷积神经网络、循环神经网络是如何进行文本分类任务的？

• 传统方法
  用传统方法进行文本分类任务时，通常将一篇文章对应的TF-IDF向量作为特征输入,其中TF-IDF向量的维度是词汇表的大小
  TF-IDF算法介绍及实现
  缺点：

  将TF-IDF向量作为特征输入，会丢失输入的文本序列中每个单词的顺序

• 前馈神经网络—卷积神经网络
  卷积神经网络，通常接受一个定长的向量作为输入。卷积神经网络对文本数据建模时，输入变长的字符串或者单词串，然后通过滑动窗口加池化的方式将原先的输入转换成一个固定长度的向量表示，这样做可以捕捉到原文本中的一些局部特征
  缺点：

  两个单词之间的长距离依赖关系还是很难被学习到

• 循环神经网络
  循环神经网络能很好地处理文本数据变长并且有序的输入序列。它模拟了人阅读一篇文章的顺序，从前到后阅读文章中的每一个单词，将前面阅读到的有用信息编码到状态变量中去，从而拥有了一定的记忆能力，可以更好地理解之后的文本。

  
  由图可见，一个长度为$T$的序列用循环神经网络建模，其中，第