赞
踩
词向量是什么,自然语言理解的问题要转化为机器学习的问题,第一步肯定是要找一种方法把这些符号数学化,NLP中大多是将文本表示为空间向量后再进行处理。
语料库:
John likes to watch movies. Mary likes too. John also likes to watch football games.
由语料库得到字典:
{“John”:1,"likes":2,"to":3,"watch":4,"movies":5,"also":6,"football":7,"game":8,“Mary”:9,"too":10}
one-hot 表示:John: [1,0,0,0,0,0,0,0,0,0]
Mary: [0,0,0,0,0,0,0,0,1,0]
also: [0,0,0,0,0,1,0,0,0,0]
词典中包含10个单词,每个单词有唯一索引,值的表示在词典中的顺序和在句子中的顺序没有关联。
讲解:由上可知one-hot表示当前词的索引位置为1,其他值为0,表示非常稀疏。
语言模型: 通常在NLP中,人们基于一定的语料库,可以利用语言模型(N-Gram)来预计或者评估一个句子是否合理。(N-gram详解 )
N-gram是基于这样一种假设,第n个词的出现只与前面N-1个词相关,而与其它任何词都不相关. Bi-gram就是假设第n个词只与它前面的一个词有关。
和one-hot表示方法相似,这里为Bi-gram建立索引:
{"John likes":1
"likes to":2,
"to watch":3,
"watch movies":4,
"Mary likes":5,
"likes too":6,
"John also":7,
"also likes":8
"watch football":9,
"football games":10}
John likes to watch movies. Mary likes too. [1,1,1,1,1,1,0,0,0,0]
John also likes to watch football games. [0,1,1,0,0,0,1,1,1,1]
缺点: 随着字典size的增大,参数数量会非常大.
以后文本表示方法属于离散表示,即各个词之间是相互独立的,并没有表现出关联关系.另外,利用以上方法我们也无法衡量向量之间的关系.比如
由"酒店","宾馆"的向量:
酒店 [0,1,0,0,0,0,0,0,0,0]
宾馆 [0,0,0,0,1,0,0,0,0,0]
按常识来讲,我们是认为"酒店"和"宾馆"是有相似含义的,但是由于向量表示的稀疏性我们很难捕捉到两者之间的关系.
而且词表的长度会随着语料库的增长而膨胀,n-gram序列随着语料库膨胀更快(因为是组合词的词典).
word-word共现矩阵可以挖掘语法和语义信息.对于以下含有三句话的语料库我们进行word-word共现矩阵表示.
I like deep learning.
I like NLP.
I enjoy flying.
为了理解,这里window length设为1 (一般为5~10)
使用对称的窗函数(左右window length都为1)
但由共现矩阵得到的词向量存在一下问题:
词向量通过神经网络语言模型得到,一定程度上解决数据稀疏性.
CBOW模型是利用前后的词来预测当前的词.比如"我爱中华人民共和国",假如窗口为2,即利用"我" "爱"和"人民" "共和国"来预测"中华"这个词, 此模型相对NNML计算量要小很多, 该模型没有隐藏层并且直接使用低维稠密的向量来进行表示. 投影层是进行了求和处理. 假如我们的输入都是200维的向量,字典size大小为40000, 那么输出就是一个40000维的向量,而且中间从映射层到输出层的参数w是200x40000,这是很不好处理的. 所以CBOW最后一层采用了霍夫曼压缩编码(huffman tree). 输出为一个200维的向量.
Skip-gram和CBOW模型相反, 是由当前词来预测context, 该模型同样也没要隐藏层,投影层也可以忽略. 最后也是进行霍夫曼编码.关于word2vec的详细讲解可参考word2vec的数学原理详解.
Copyright © 2003-2013 www.wpsshop.cn 版权所有,并保留所有权利。