词向量简介

作者：正经夜光杯 | 2024-07-24 09:59:36

踩

词向量

1.什么是词向量？

每一个词典(里面存着一堆单词，例如{one on the and of 。。。。})
用nn.embedding模块进行词嵌入输出的就是对应的词向量。

2.什么是 nn.embedding ?

3.如何训练一个词向量？

skip-gram 模型
在这里插入图片描述 skip-gram模型的任务是：在已知当前词的情况下，预测其上下文。

虽然这个任务并没有什么卵用，但它可以帮助我们训练一个非常好的词向量。

模型的目标函数是：在给定中心词的情况下周围单词出现的概率希望其越大越好

然后它的概率密度是中心词和输出词向量的一个点积

点积的分数越大两个词出现在一起的概率就越高

为什么：点积的分数越大两个词出现在一起的概率就越高？

点积表示两个向量之间的余弦距离越大夹角越接近于0 两个向量就越相似。

声明：本文内容由网友自发贡献，转载请注明出处：【wpsshop博客】