赞
踩
所谓word embedding就是把一个词用编码的方式表示以便于feed到网络中。举个例子,最简单的one-hot编码方式。
由于onehot不能表示词之间的关系、维度太大等等问题,需要其他编码方式。
word2vec同样也是最终目标是把一个单词编码成一个向量,只不过用的是网络训练的手段。
这个向量就linear层的输出值。
不管是skep-gram还是cbow都可以得到这个向量,只不过两种网络的方法适用用场景不一。两种网络都是得到vector的方式。
更加直白的说,word2vec不是一种网络结构,而是得到词向量的方法。
此种方法编码比onehot好得多,具体优点不赘述,去看那些长篇大论的博客吧。
这个是从b站上截图的。可以直接搜CS224n 找到课程,p2 39分钟有这个图。
输入的单词的独热编码,训练完成后,第一层linear层的输出值,即是这个单词的vector。
Copyright © 2003-2013 www.wpsshop.cn 版权所有,并保留所有权利。