当前位置:   article > 正文

文本分类算法综述_作业二:文本处理传统分类算法有哪些种类?请列出具体的算法原理及步骤。

作业二:文本处理传统分类算法有哪些种类?请列出具体的算法原理及步骤。

文本分类大致有两种方法:一种是基于训练集的文本分类方法;另一种是基于分类词表的文本分类方法。两种方法出自不同角度的研究者,训练集法更多的来自计算机或人工智能研究领域,而分类表法则更多地来自突出情报领域。本文主要介绍前一种。

基于训练集的文本分类是一种典型的有教师的机器学习问题,一般分为训练和分类两个阶段,具体过程如下:

训练阶段:

1)              定义类别集合 ,这些类别可是是层次式的,也可以是并列式的。

2)              给出训练文档集合 ,每个训练文档 被标上所属的类别标识 

3)              统计 中所有文档的特征矢量 ,确定代表 中每个类别的特征矢量 

分类阶段:

1)对于测试文档集合 中的每个待分类文档 ,计算其特征矢量 与每个 之间的相似度 

2)选取相似度最大的一个类别 作为 的类别。

有时也可以为 指定多个类别,只要 与这些类别之间的相似度超过某个预定的阈值。如果 与所有类别的相似度均低于阈值,那么通常将文档放在一边,有用户来做最终决定。如果这种情况经常发生,则说明需要修改预定义的类别,然后重新进行上述训练与分类工程。

从训练集中得出分类模式的方法很多,有基于文本特征向量相关性的方法、基于神经网络技术的方法、基于遗传算法的方法、基于关联的方法、基于EM算法的方法等。

§3.1朴素贝叶斯算法

声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:【wpsshop博客】
推荐阅读
相关标签
  

闽ICP备14008679号