tensorflow是google在2015年开源的深度学习框架
tf中有word2vec,seq2seq ,所以我这里先学习tensorflow,然后再实现word2vec和seq2seq
一、tensorflow
1.1 安装
win10,python3.5,记得安装 vc++ 看此blog http://blog.csdn.net/xukangmin/article/details/53415168
1.2学习
https://classroom.udacity.com/courses/ud730
二、word2vec
word2vec是Google的开源项目,用一个一层的神经网络(CBOW的本质)把one-hot形式的词向量映射为分布式形式的词向量,为了加快训练速度,用了Hierarchical softmax,negative sampling 等trick。
基础知识:
sigmod函数、Beyes公式、Huffman编码
sigmod函数:,定义域(-无穷,+无穷),值域(0,1)
(2.1)
逻辑回归:
学习资料:
1.word2vec中的数学原理详解
https://wenku.baidu.com/view/042a0019767f5acfa1c7cd96.html
2.使用tf来实现word2vec
http://blog.csdn.net/u014595019/article/details/54093161
三、seq2seq
结合word2vec与seq2seq:
word2vec 输出词向量模型
接下来:加载词向量,数据读入(初始化),建图训练,预测结果。
分batch 读入语料数据: