自然语言处理之——文本向量化

一． 摘要

本次内容将分享文本向量化的一些方法。文本向量化的方法有很多，主要可分为以下两个大类：基于统计的方法、基于神经网络的方法。在自然语言处理的领域中，文本向量化是文本表示的一种重要方式。文本向量化的主要目的是将文本表示成一系列能够表达文本语义的向量。无论是中文还是英文，词语都是表达文本处理的最基本单元。当前阶段，对文本向量化大部分的研究都是通过词向量化实现的。

二． 向量化算法word2vec

词袋(Bag of Word)模型是最早的以语言为基本处理单元的文本向量化方法。下面我们将通过示例展示该方法的原理。

例子：句子1：“我喜欢坐高铁回家”。；句子2：“中国高铁非常快”。

句子1分词：“我、喜欢、坐、高铁、回家”；

句子2分词：“中国、高铁、非常、块”。

根据上述两句出现的词语，构建一个字典：{“我”：1，“喜欢”：2，“坐”：3，“高铁”：4，“回家”：5，“中国”：6，“非常”：7，“快”：8}

该字典中包含8个词，每个词都有唯一索引，并且它们出现的顺序是没有关联的，根据这个字典，我们将上述两句重新表达为两个向量：

[1,1,1,1,1,0,0,0]

[0,0,0,1,0,1,1,1]

这两个向量共包含8个元素，其中第i个元素表示字典中第i个词语在句子中出现的次数，因此BOW模型认为是一种统计直方图。在文本检索和处理中，可以通过该模型很方便的计算词频。该方法虽然简单&#x