当前位置:   article > 正文

word2vec、seq2seq

word2vec vs seq2seq

tensorflow是google在2015年开源的深度学习框架

tf中有word2vec,seq2seq ,所以我这里先学习tensorflow,然后再实现word2vec和seq2seq

一、tensorflow

1.1 安装

win10,python3.5,记得安装 vc++ 看此blog http://blog.csdn.net/xukangmin/article/details/53415168

1.2学习

https://classroom.udacity.com/courses/ud730

二、word2vec

word2vec是Google的开源项目,用一个一层的神经网络(CBOW的本质)把one-hot形式的词向量映射为分布式形式的词向量,为了加快训练速度,用了Hierarchical softmax,negative sampling 等trick。

基础知识:

sigmod函数、Beyes公式、Huffman编码

sigmod函数:,定义域(-无穷,+无穷),值域(0,1)

(2.1)

逻辑回归:

 

学习资料:

1.word2vec中的数学原理详解

https://wenku.baidu.com/view/042a0019767f5acfa1c7cd96.html

2.使用tf来实现word2vec

http://blog.csdn.net/u014595019/article/details/54093161

 

三、seq2seq

 结合word2vec与seq2seq:

word2vec 输出词向量模型

接下来:加载词向量,数据读入(初始化),建图训练,预测结果。

 

分batch 读入语料数据:

 

转载于:https://www.cnblogs.com/Ccmr/p/7358751.html

声明:本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:https://www.wpsshop.cn/w/知新_RL/article/detail/652668
推荐阅读
相关标签
  

闽ICP备14008679号