中文文本情感分类及情感分析资源大全_文本情感分析研究现状

摘要：20世纪初以来，文本的情感分析在自然语言处理领域成为了研究的热点，吸引了众多学者越来越多的关注。对于中文文本的情感倾向性研究在这样一大环境下也得到了显著的发展。本文主要是基于机器学习方法的中文文本情感分类，主要包括：使用开源的Markup处理程序对XML文件进行分析处理、中科院计算所开源的中文分词处理程序ICTCLAS对文本进行分词处理、去除停用词等文本预处理，在基于向量空间模型VSM的文本表示，使用卡方统计量CHI的进行特征选择，TFIDF权值计算方法进行的特征权值计算，最后使用支持向量机SVM进行中文文本情感的分类。在实验过程中，对比了特征数量的大小对情感分类结果的影响、布尔权值、TF权值和TFIDF权值三种不同计算方法对情感分类结果的影响以及SVM分类器对于不同类型文本数据的分类效果。从整个实验结果来看，TFIDF权值计算相较于其他两种更有利于文本的情感分类。SVM分类器作为文本情感分类器对于不同类型的文本数据，其分类效果不同，但总体上取得了较好的效果。

 

关键词：中文文本情感分类  SVM分类器  特征选择

 

1绪论

1.1国内外研究现状

文本情感分类是文本分类中的一个重要分支，也称之为意见挖掘。简而言之，文本的情感分类就是对带有情感色彩的主观性文本进行分析、处理、归纳和推理的过程[1]。情感分类中，按照处理文本的粒度不同，可分为词语短语级、句子级、篇章级等几个研究层次[2]。在此，对词语短语级的情感分类进行详细阐述。在情感分析中可以认为构成篇章的基本单位包括词、短语、和固定搭配，对于它们的褒贬程度的度量是判别文本情感倾向的基础。国外许多学者做了大量研究，其主要研究方法分为基于字典和基于语料库两种。

基于语料库的词语短语级的情感判别主要是根据它们的语法特性，对大规模语料库进行信息挖掘，从而得到统计数据并对其极性做出判断。在研究早期，学者发现由某些连词连接的形容词具有相同或相反的极性，Hatzivassilolou和Mckeown[4]利用大规模语料库华尔街日报中的连接词信息来自动识别形容词的情感倾向，利用聚类算法将它们归属于褒义或贬义的类别集合。Turney和Littman[5]提出了点互信息的方法判别词的褒贬倾向。Dave等[6]从语料中抽取特征集合，通过分析此特征集合和己标记文本的关系来判定词汇的语义倾向。

基于词典的词语短语的情感判别，主要是根据词典WordNet或HowNet中词语间的关联来判别词语的极性。sista等[7]将GI(General Inquirer)和WordNet中的褒义和贬义词作为种子词，得到一个扩展后的较大规模情感词集合，并以此作为分类特征，利用机器学习方法对文本褒贬义进行了自动分类。Faye Baron和Graeme Hirst[8]从文档中抽取倾向性强的搭配作为种子词汇，取得了较好的分类效果。相对于英语，中文的词汇、短语的情感分析研究起步较晚。中科院自动化所的王根等[9]提出了词语倾向性的极坐标方式，并采用均衡化的互信息方法计算了词语倾向性。北京理工大学的李钝博士[10]把短语归结为一个非递归的基本词汇及依存关系的集合，提出了一种基于短语中心词之间依存概率统计分析方法，并将其应用于对短语的倾向性和倾向强度的计算。

1.2存在的问题和挑战

情感分类的应用十分广泛，因此近年来的发展迅速，取得的不小的进步，同时我们也该看到，由于情感分类问题较复杂，不仅仅是单一的文本分类或文本挖掘任务，因而在研究过程中还存在很多问题与挑战。

1）情感语义的机器理解问题

人类的自然语言情感表达十分复杂，特别是网络评论的形式更加灵活多变，要使机器精确的理解文本中的情感内容，不能简单的提取词语作为特征，还必须结合语言学方面的知识，借助于文本上下文和领域相关性对情感语义进行分析处理。

2)特征提取问题

文本分类中一般采用词袋法表示文本的特征，然而由于情感表达中有许多诸如隐喻、反话等复杂的语言形式，且上下相关，因此简单采用词袋法提取特征并进行分析的效果极其有限，如何提取对情感分析具有更大价值的特征依然是一个有待完善的课题。

3)领域依赖

由于情感表达在不同的领域差别较大，所以无论是在有监督的学习方法还是无监督学习方法，情感分类都面临着领域依赖问题。

4)语料库建设问题

情感分类领域，许多研究者自己通过互联网获取语料，并进行人工标注，即使相同领域语料，但语料内容相差较大且标注标本不统一，造成实验结果很难进行比较。特别是在中文的情感研究领域，国内的公开语料库较少，资源匮乏。

 

2基于机器学习的文本分类方法

基于机器学习的情感分类问题，它的处理过程大致可以分为两个部分，一部分是学习过程，另一部分是情感分类过程。其中，学习过程包括训练过程和测试过程，训练过程中对训练集进行训练得到分类器，用其对测试集进行情感分类，将测试的结果反馈给分类器，进一步改进训练方法，生成新的分类器，最后利用最终生成的分类器对新的文本进行情感分类，其基本流程如图1所示。

图1 基于机器学习的文本情感分类流程图

 

2.1文本预处理

文本的预处理是进行文本情感分类的第一步，预处理结果的好坏直接影响到今后的分析处理能否顺利进行。文本预处理的目的是从文本语料库中规范地提取出主要内容，去除与文本情感分类不相关的信息。对于中文的预处理，其主要操作包括规范编码，过滤非法字符，分词处理，去除停用词等步骤。

1）文件规范编码处理

从网上下载的语料库存储格式可能千差万别，对实验带来很大困扰。所以第一步一般都是对语料库进行数据格式的归一化处理。

2）中文分词处理

中文文本单词之间没有天然的分隔符，因此在提取特征之前，首先要对中文文本进行分词。分词处理能够将连续的汉字序列按照一定的规则重新切分为词或词组。切分好的词或词组将会作为文本的特征用于情感分类分析过程，因此能否高效、正确的对中文进行分词成为中文情感分析的重要任务。中国科学院计算技术研究所专门开发了汉语词法分析系统ICTCLAS(Institute of Computing Technology，ChineseLexical Analysis System)。ICTCLAS的主要功能包括中文分词、词性标注、新词识别、命名实体识别等功能，它的分词性能和分词精度都较高，是目前最受好评的汉语分词开源系统。

3）停用词去除

文本中包含许多助词、虚词等词性的单词以及在文本中经常出现的高频词汇但其本身对情感分类意义不大，这些词汇我们将它们统称为停用词。停用词表的构造一般有两种方式，人工方式或机器自动统计。停用词的存在不但会增加存储空间，而且很可能形成噪声，影响情感分类的精度