当前位置:   article > 正文

word2vec的算法思想详解(cbow+skipgram+negative sampling))_word2vec思想

word2vec思想

参考:
https://easyai.tech/ai-definition/word2vec/
https://jalammar.github.io/illustrated-word2vec/

Word2vec 是 Word Embedding 词嵌入的方法之一。

Word Embedding 就是将「不可计算」「非结构化」的词转化为「可计算」「结构化」的向量。

在这里插入图片描述
Word2vec 有 2 种训练模式。

CBOW(Continuous Bag-of-Words Model)

通过上下文来预测当前值。相当于一句话中扣掉一个词,让你猜这个词是什么。
在这里插入图片描述

Skip-gram (Continuous Skip-gram Model)

用当前词来预测上下文。相当于给你一个词,让你猜前面和后面可能出现什么词。
在这里插入图片描述
训练过程如下。

滑动窗口,产生训练集:

本文内容由网友自发贡献,转载请注明出处:https://www.wpsshop.cn/w/我家自动化/article/detail/755721
推荐阅读
相关标签
  

闽ICP备14008679号