nlp期末复习--文本分类

整个文本分类问题就拆分成了特征工程和分类器两部分。

• 特征工程
• 分类器

1、 特征工程

文本特征工程分为文本预处理、特征提取、文本表示三个部分。
文本预处理：
中文文本处理中主要包括文本分词和去停用词两个阶段。
特征提取：
特征选择的基本思路是根据某个评价指标独立的对原始特征项（词项）进行评分排序，从中选择得分最高的一些特征项，过滤掉其余的特征项。（TF-IDF方法）
文本表示：
文本表示的目的是把文本预处理后的转换成计算机可理解的方式，是决定文本分类质量最重要的部分。
（传统做法常用词袋模型（BOW, Bag Of Words）或向量空间模型（Vector Space Model））

2 分类器

分类器基本都是统计分类方法了，基本上大部分机器学习方法都在文本分类领域有所应用，比如朴素贝叶斯分类算法（Naïve Bayes）、KNN、SVM、最大熵和神经网络等等。

fastText模型

FastText算法原理解析
使用词袋以及n-gram袋表征语句，还有使用子词(subword)信息，并通过隐藏表征在类别间共享信息。我们另外采用了一个softmax层级(利用了类别不均衡分布的优势)来加速运算过程。