当前位置:   article > 正文

循环神经网络之语言模型和数据集

循环神经网络之语言模型和数据集

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

总结重要知识点

  • 在给定这样的文本序列时,语言模型(language model)的目标是估计序列的联合概率

  • 语言模型是自然语言处理的关键。

  • 元语法通过截断相关性,为处理长序列提供了一种实用的模型。

  • 长序列存在一个问题:它们很少出现或者从不出现。

  • 齐普夫定律支配着单词的分布,这个分布不仅适用于一元语法,还适用于其他
    元语法。

  • 通过拉普拉斯平滑法可以有效地处理结构丰富而频率不足的低频词词组。

  • 读取长序列的主要方式是随机采样和顺序分区。在迭代过程中,后者可以保证来自两个相邻的小批量中的子序列在原始序列上也是相邻的。

声明:本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:https://www.wpsshop.cn/w/小小林熬夜学编程/article/detail/352151
推荐阅读
相关标签
  

闽ICP备14008679号