当前位置:   article > 正文

word2vec的算法思想详解(cbow+skipgram+negative sampling))_word2vec思想

word2vec思想

参考:
https://easyai.tech/ai-definition/word2vec/
https://jalammar.github.io/illustrated-word2vec/

Word2vec 是 Word Embedding 词嵌入的方法之一。

Word Embedding 就是将「不可计算」「非结构化」的词转化为「可计算」「结构化」的向量。

在这里插入图片描述
Word2vec 有 2 种训练模式。

CBOW(Continuous Bag-of-Words Model)

通过上下文来预测当前值。相当于一句话中扣掉一个词,让你猜这个词是什么。
在这里插入图片描述

Skip-gram (Continuous Skip-gram Model)

用当前词来预测上下文。相当于给你一个词,让你猜前面和后面可能出现什么词。
在这里插入图片描述
训练过程如下。

滑动窗口,产生训练集:

声明:本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:https://www.wpsshop.cn/w/我家自动化/article/detail/755721
推荐阅读
相关标签
  

闽ICP备14008679号