赞
踩
入门小菜鸟,希望像做笔记记录自己学的东西,也希望能帮助到同样入门的人,更希望大佬们帮忙纠错啦~侵权立删。
Ps预防针:与英文分类文本预处理相比,中文分类文本预处理更加复杂关键
目录
一、进行文本预处理的原因
二、去除停用词
1、停用词
2、去除停用词
三、中文分词技术
1、分词处理的原因
2、基于词典(规则)的中文分词
3、基于统计的中文分词方法
解决特征空间高维性、特征分布稀疏和语义相关性
毕竟计算机不是人嘛,我们的语言需要经过一定的预处理让他们可以读入以及方便后续训练分类,
接下来我们来说说文本预处理有哪些常用的方法