NLP基础学习（三）_语言模型困惑度和loss的关系

作者：笔触狂放9 | 2024-03-31 10:50:26

踩

语言模型困惑度和loss的关系

NLP基础学习（三）

Efficient Estimation of Word Representations in Vector Space
论文精读
在这里插入图片描述
对比模型：
NNLM（前馈神经网络语言模型）
RNNLM（循环神经网络语言模型）

第一种
Feedforward Neural Net Language Model
在这里插入图片描述
输入层：

隐藏层：

输出层：

softmax两个性质：
1、得到的所有数都是0到1之间的
2、所有数相加是1

困惑度的计算（困惑度与loss之间的关系）：
在这里插入图片描述
对困惑度求log就是求LOSS
即：log(PP(s)) = Loss
所以：

网络结构回顾：
1、仅对一部分输出进行梯度传播（比如对于一些例如the a and的词汇不进行或者降低梯度传播）
2、引入先验知识，如词性等（实验证明，模型在一定规则下也可以对词性进行自主学习）
3、解决一词多义的问题
4、加速softmax层。（1、层次softmax 2、负采样）

基于循环神经网络的语言模型
在这里插入图片描述

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/笔触狂放9/article/detail/344398?site