NNLM前馈神经网络模型学习笔记_前馈nnlm模型

作者：小蓝xlanll | 2024-04-02 12:21:18

踩

前馈nnlm模型

传统的统计语言模型是一种非参数化的模型，即直接通过计数估计条件概率，但这种非参数化的模型最主要的缺点是泛化性差，不能充分利用相似上下文

用神经网络来训练语言模型的思想最早由百度 IDL （深度学习研究院）的徐伟提出，NNLM（Nerual Network Language Model）是这方面的一个经典模型，具体内容可参考 Bengio 2003年发表在JMLR上的论文。原文地址：http://jmlr.org/papers/volume3/bengio03a/bengio03a.pdf

与传统 $P(w_t|w_{t-(n-1)},\dots ,w_{t-1})$ 的估算不同，NNLM模型直接通过一个神经网络结构对n元条件概率进行评估，基本思想可以表示为：

其中，函数 $f_{\theta}$ 的两个输入变量分别为上下文和当前词， $\theta$ 表示模型的参数，如神经网络中的权

输入的每个词 $w$ 对应一个向量 $v_w$ ，把n-1个向量拼接起来构成输入列向量x，表示如下：

$x = v_{w_1} \bigoplus v_{w_2}\bigoplus \dots \bigoplus v_{w_{n-1}}$

列向量

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/小蓝xlanll/article/detail/352499