当前位置:   article > 正文

自然语言处理中文本数值化表方法_自然语言处理中如何用数值表示文本

自然语言处理中如何用数值表示文本

自然语言处理中文本数值化表方法

词向量是什么,自然语言理解的问题要转化为机器学习的问题,第一步肯定是要找一种方法把这些符号数学化,NLP中大多是将文本表示为空间向量后再进行处理。

离散表示: one-hot表示

举例:

语料库:
John likes to watch movies. Mary likes too. John also likes to watch football games.
由语料库得到字典:
{“John”:1,"likes":2,"to":3,"watch":4,"movies":5,"also":6,"football":7,"game":8,“Mary”:9,"too":10}
one-hot 表示:John: [1,0,0,0,0,0,0,0,0,0]
Mary: [0,0,0,0,0,0,0,0,1,0]
also: [0,0,0,0,0,1,0,0,0,0]
词典中包含10个单词,每个单词有唯一索引,值的表示在词典中的顺序和在句子中的顺序没有关联。
讲解:由上可知one-hot表示当前词的索引位置为1,其他值为0,表示非常稀疏。

离散表示:Bag of Words (词袋表示)

  • 根据one-hot的思想,文档的空间向量表示可以之间将各词的词向量表示相加。这样
    John likes to watch movies. Mary likes too. 就可以表示为 [1,2,1,1,1,0,0,0,1,1]
    John also likes to watch football games. 可表示为[1,1,1,1,0,1,1,1,0,0]
  • 由one-hot表示出的模型为基础,也可以根据词的权重来进行词向量的表示。
    • TF-IDF(Term Frequency-Inverse Document Frequency)
      tf = n, n表示某词在当前文档中出现的次数。IDF权重是log(1 + N/Nt), N指所有的文档数,Nt指含有词t的文档数 。
      John likes to watch movies. Mary likes too. 就可以表示为 [0.693,1.386,0.693,0.693,1.099,0,0,0,0.693,0.693]
      虽然FT-IDF能够体现出各个词在文档中的重要程度(一般用于关键词提取,主题分类),但是基于one-hot的模型的基础,它是没有考虑文档中词之间的顺序问题,句子中词之间没有联系,会丢失很重要的信息。
      (用宜以上方法,I will help you 和 You will help me,两个句子的空间向量表示是相同的)

离散表示: Bi-gram和N-gram (考虑词的顺序)

语言模型: 通常在NLP中,人们基于一定的语料库,可以利用语言模型(N-Gram)来预计或者评估一个句子是否合理。(N-gram详解
N-gram是基于这样一种假设,第n个词的出现只与前面N-1个词相关,而与其它任何词都不相关. Bi-gram就是假设第n个词只与它前面的一个词有关。
和one-hot表示方法相似,这里为Bi-gram建立索引:
{"John likes":1
"likes to":2,
"to watch":3,
"watch movies":4,
"Mary likes":5,
"likes too":6,
"John also":7,
"also likes":8
"watch football":9,
"football games":10}
John likes to watch movies. Mary likes too. [1,1,1,1,1,1,0,0,0,0]
John also likes to watch football games. [0,1,1,0,0,0,1,1,1,1]
缺点: 随着字典size的增大,参数数量会非常大.
以后文本表示方法属于离散表示,即各个词之间是相互独立的,并没有表现出关联关系.另外,利用以上方法我们也无法衡量向量之间的关系.比如
由"酒店","宾馆"的向量:
酒店 [0,1,0,0,0,0,0,0,0,0]
宾馆 [0,0,0,0,1,0,0,0,0,0]
按常识来讲,我们是认为"酒店"和"宾馆"是有相似含义的,但是由于向量表示的稀疏性我们很难捕捉到两者之间的关系.
而且词表的长度会随着语料库的增长而膨胀,n-gram序列随着语料库膨胀更快(因为是组合词的词典).

分布式表示(Distributed representation)

分布式表示思想解析如上图所示,如果我们利用离散文本表示方法对本文进行表示时,"红色的大型卡车","黄色的中型SUV","紫色的小型电动车"无法表达任何相似的信息. 那么考虑用颜色,型号,车型分布式对相应文本进行表示. 那么对于"红色的大型卡车"和"红色的小型电动车"的表示就会有相同部分表示,基于此我们就可以来进行文本信息处理.

共现矩阵(Cocurrence matrix)

word-word共现矩阵可以挖掘语法和语义信息.对于以下含有三句话的语料库我们进行word-word共现矩阵表示.
I like deep learning.
I like NLP.
I enjoy flying.
为了理解,这里window length设为1 (一般为5~10)
使用对称的窗函数(左右window length都为1)


word-word共现矩阵



正如上图,对于"I", 左右窗口中出现"I"的次数为0,"like"出现为2次,"enjoy"出现次数为1,"deep","learning","NLP","flying","."都为0. 以此类推,得到一个对称矩阵.这样,也同时得到了每个word的分布式表示,如'I' [0,2,1,0,0,0,0,0]

但由共现矩阵得到的词向量存在一下问题:

  • 向量维数随着字典大小线性增长;
  • 存储整个字典的空间消耗会非常大;
  • 一些模型如文本分类模型会面临稀疏性问题;
  • 模型会欠稳定.

NNML(Neural Network Language Model)

词向量通过神经网络语言模型得到,一定程度上解决数据稀疏性.



NNML如上图所示,神经网络模型包括投影层,隐藏层和输出层.假如有语料"我爱北京天安门",经过分词得到"我" "爱" "北京" "天安门".模型的训练过程如下:
  1. 将"我" "爱" "北京" "天安门"分别用one-hot embedding 的形式表示出来(各向量维数和字典大小相同).
    "我" [1,0,0,0]
    "爱" [0,1,0,0]
    "北京" [0,0,1,0]
    "天安门" [0,0,0,1]
  2. "我" "爱" "北京" 三个空间向量作为输入, 通过语言模型"我爱北京"之后的词,每个输入是1x4的矩阵Ai,经过投影层和200x4的矩阵Ci相乘,即Ci*Ai',投影出200x1的向量(这也是此层叫投影层的原因) 然后对这三个向量进行拼接(concate),得到一个800维的向量;
  3. 隐藏层将一个800的向量经过激活函数tanh处理;
  4. 输出层输出的是维数是4的概率向量,每一维表示字典中每个词是要预测的那个词的概率;
  5. 输出层经过softmax分类函数,得到一个概率向量和已知正确的向量即"天安门" [0,0,0,1]求KL(Kullback Leibler)距离,然后利用BP(Backpropagation algorithm 反向传播算法)和SGD(Stochastic Gradient Descent 随机梯度下降)对模型进行调优.
    根据训练好的模型就可以得到文本内容的词向量.
    备注: 投影矩阵C和w,b 相似,模型训练时被初始化,然后经过逐渐学习和调优而确定.

word2vec CBOW(Continuous Bag-of-Words 连续词袋)


CBOW模型

CBOW模型是利用前后的词来预测当前的词.比如"我爱中华人民共和国",假如窗口为2,即利用"我" "爱"和"人民" "共和国"来预测"中华"这个词, 此模型相对NNML计算量要小很多, 该模型没有隐藏层并且直接使用低维稠密的向量来进行表示. 投影层是进行了求和处理. 假如我们的输入都是200维的向量,字典size大小为40000, 那么输出就是一个40000维的向量,而且中间从映射层到输出层的参数w是200x40000,这是很不好处理的. 所以CBOW最后一层采用了霍夫曼压缩编码(huffman tree). 输出为一个200维的向量.

word2vec Skip-gram模型


Skip-gram模型

Skip-gram和CBOW模型相反, 是由当前词来预测context, 该模型同样也没要隐藏层,投影层也可以忽略. 最后也是进行霍夫曼编码.关于word2vec的详细讲解可参考word2vec的数学原理详解.

wor2vec存在的问题

  • 对同一个词使用了唯一的词向量的表示,无法表达一次多义的情况.
  • 对每个local context window 单独训练, 没有利用包含在Global co-currence矩阵中的统计信息.


作者:mugtmag
链接:https://www.jianshu.com/p/7486ee86d2f2
來源:简书

声明:本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:https://www.wpsshop.cn/w/笔触狂放9/article/detail/720548
推荐阅读
相关标签
  

闽ICP备14008679号