深度学习神经网络学习笔记-自然语言处理方向-论文研读-情感分析/文本分类-glove-Global Vectors for Word Representation

概念引入

逻辑回归
线性回归
时间序列分析
神经网络
self-attention与softmax的推导
word2evc

该篇论文的背景
word2evc提出的方法无法使用全局的统计信息
矩阵分解方法在词对推理的任务上表现很差

介绍

LSA和word2vec，一个是利用了全局特征的矩阵分解方法，一个是利用局部上下文的方法。
GloVe模型就是将这两中特征合并到一起的，即使用了语料库的全局统计（overall statistics）特征，也使用了局部的上下文特征（即滑动窗口）。为了做到这一点GloVe模型引入了Co-occurrence Probabilities Matrix。

关键点
• 矩阵分解的词向量学习方法
• 基于上下文的词向量学习方法
• 预训练词向量

该篇论文的成果
• 提出了一种新的词向量训练模型——GloVe
• 在多个任务上取得最好的结果
• 公布了一系列预训练的词向量

摘要大意

当前词向量学习模型能够通过向量的算术计算捕捉词之间细微的语法和语义规律，但是这种规律背后的原理不清楚。经分析，我们发现了一些有助于这种词向量规律的特性，并基于词提出了一种新的对数双线性回归模型，这种模型能够利用全局矩阵分解和局部上下文的优点来学习词向量。我们的模型通过只在共现矩阵中的非0位置训练达到高效训练的目的。在词对推理任务上得到75%的准确率，并且在多个任务上得到最优结果。

模型原理

模型的公式推导

通过e的x次方函数是减法变除法，加法变乘法，使参数减少，比如下图中的三个参数变两个，更好地进行计算(将白色部分与黑色部分对照看)

原理：词对出现次数越多，那么这两个词在loss函数中的影响越大。
声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/2023面试高手/article/detail/159537