当前位置:   article > 正文

简洁 为什么用word2vec_为什么使用word2vec

为什么使用word2vec

word embedding

所谓word embedding就是把一个词用编码的方式表示以便于feed到网络中。举个例子,最简单的one-hot编码方式。

word2vec

由于onehot不能表示词之间的关系、维度太大等等问题,需要其他编码方式。
word2vec同样也是最终目标是把一个单词编码成一个向量,只不过用的是网络训练的手段。
这个向量就linear层的输出值。
不管是skep-gram还是cbow都可以得到这个向量,只不过两种网络的方法适用用场景不一。两种网络都是得到vector的方式。
更加直白的说,word2vec不是一种网络结构,而是得到词向量的方法。
此种方法编码比onehot好得多,具体优点不赘述,去看那些长篇大论的博客吧。

简洁图

这个是从b站上截图的。可以直接搜CS224n 找到课程,p2 39分钟有这个图。
输入的单词的独热编码,训练完成后,第一层linear层的输出值,即是这个单词的vector。
在这里插入图片描述

声明:本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:https://www.wpsshop.cn/w/Guff_9hys/article/detail/1005809
推荐阅读
  

闽ICP备14008679号