文本的向量化表示总结_文本向量表示方法

文本向量化，顾名思义就是将一段文字（一篇文章，一个段落或者是一个句子）变成一个向量。在尽可能不丢失原始文本信息的情况下，将文本变成可以计算的向量，可以帮助后续的文本聚类、分类、相似度匹配等等的诸多任务。

1.词集模型：one-hot编码向量化文本（统计各词在文本中是否出现）

2.词袋模型：文档中出现的词对应的one-hot向量相加（统计各词在文本中出现次数，在词集模型的基础上。）

3.词袋模型+IDF：TFIDF向量化文本（词袋模型+IDF值，考虑了词的重要性）

4.N-gram模型：考虑了词的顺序

5.word2vec模型：使用文章中所有词的平均词向量作为文章的向量

 

1到5的出现是后者为了弥补前者的不足。

词集模型没有考虑词的频率，因此出现了词袋模型

词袋模型没有考虑词的重要度，因此出现了词袋+IDF的模型

词袋模型没有考虑词的顺序，因此出现了N-gram模型

N-gram模型的优点是考虑了词的顺序，但是会出现词表膨胀的问题。

 

注意：本文不考虑共现矩阵以及降维

 

常说的文本向量化表示方法将上述几种模型分为：离散化表示方法和分布式表示方法

离散化表示方法：包括词袋模型（可用TF-IDF进行修正）和N-gram模型

分布式表示方法：word2vec模型

 

离散化表示方法的问题：

无法衡量词向量之间的关系

词的维度随着语料库的增长膨胀、n-gram词序列 随着语料库膨胀更快

数据稀疏问题

分布式表示方法的优点：

保证了词的相似性

保证了词空间分布的相似性

 

 

参考：

1.NLP | 文本特征向量化方法

2.讲义《词向量到word2vec相关应用》

3.word2vec有什么应用？

4.用word2vec模型对文档进行自动分类

5.文本挖掘预处理之向量化与Hash Trick