当前位置:   article > 正文

【跟马少平老师学AI】-【神经网络是怎么实现的】(七-2)word2vec模型

【跟马少平老师学AI】-【神经网络是怎么实现的】(七-2)word2vec模型

一句话归纳:

1)CBOW模型:

  • 2c个向量是相加,而不是拼接。

2)CBOW模型中的哈夫曼树

  • 从root开始,向左为1,向右为0。
  • 叶子结点对应词有中的一个词。
  • 每个词对应唯一的编码。
  • 词编码不等长。

3)CBOW模型输出为到达哈夫曼树每一个非叶子结点时向右走的概率。

  • 计算每个叶子结点的概率,以图为例W2的概率为

  • 取对数取反,作损失函数

声明:本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:https://www.wpsshop.cn/w/我家小花儿/article/detail/532692
推荐阅读
相关标签
  

闽ICP备14008679号