基于情感字典的文本情感极性分析_中文否定词词典

情感极性分析是对带有感情色彩的主观性文本进行分析、处理、归纳和推理的过程。按照处理文本的类别不同，可分为基于新闻评论的情感分析和基于产品评论的情感分析。其中，前者多用于舆情监控和信息预测，后者可帮助用户了解某一产品在大众心目中的口碑。
目前常见的情感极性分析方法主要是两种：基于情感词典的方法和基于机器学习的方法。
数据准备
1.情感词典及对应分数
词典来源于BosonNLP数据下载的(http://bosonnlp.com/dev/resource)的情感词典，来源于社交媒体文本，所以词典适用于处理社交媒体的情感分析。2. 否定词词典
2.否定词词典
否定词的出现将直接将句子情感转向相反的方向，而且通常效用是叠加的。常见的否定词：不、没、无、非、莫、弗、勿、毋、未、否、别、無、休、难道等。
3.程度副词词典
既是通过打分的方式判断文本的情感正负，那么分数绝对值的大小则通常表示情感强弱。既涉及到程度强弱的问题，那么程度副词的引入就是势在必行的。词典可从《知网》情感分析用词语集（beta版）下载(http://www.keenage.com/download/sentiment.rar)。词典内数据格式共两列，第一列为程度副词，第二列是程度数值，> 1表示强化情感，< 1表示弱化情感。
4.停用词词典
中科院计算所中文自然语言处理开放平台发布了有1208个停用词的中文停用词表(http://www.datatang.com/data/43894)，其他下载链接(http://www.hicode.cn/download/view-software-13784.html)。
数据预处理
分词以及去掉停用词

import jieba
stop_words = [w.strips() for w in open('stop_words.txt').readlines()]
def sent2word(sentence,stop_words=stop_words):
  words = jieba.cut(sentence)
  words = [w for w in words if w not in stop_words]
  return words
1
2
3
4
5
6

构建模型
1. 将词语分类并记录其位置
将句子中各类词分别存储并标注位置

def classify_words(words):
  #情感词
  sent_words = open("BosonNLP_sentiment_score.txt").readlines()
  sentiment_dict = {}
  for w in sent_words:
    word,score = w.strip().split()
    sentiment_dict[word] = score
  #否定词
  not_words = [w.strip() for w in open('notDict.txt').readlines()]
  #程度副词
  degree_words = open('degreeDict.txt').readlines()
  degree_dict = {}
  for w in degree_words:
    word,score = w.strip().split(',')
    degree_dict[word] = float(score)

  sen_word = {}
  not_word = {}
  degree_word = {}
  for index,word in enumerate(words):
    if word in sentiment_dict and word not in not_words and word not in degree_dict:
      sen_word[index] = sentiment_dict[word]
    elif word in not_words and word not in degree_dict:
      not_word[index] = -1
    elif word in degree_dict:
      degree_word[index] = degree_dict[word]
  return sen_word,not_word,degree_word
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27

2.计算句子得分
在此，简化的情感分数计算逻辑：所有情感词语组的分数之和
定义一个情感词语组：两情感词之间的所有否定词和程度副词与这两情感词中的后一情感词构成一个情感词组，即not_word + degree_word + sent_word，例如:
不是很交好。
其中不是为否定词，很为程度副词，交好为情感词，那么这个情感词语组的分数为：
score = (-1) ^ 1 * 1.25 * 0.747127733968
其中1指的是一个否定词，1.25是程度副词的数值，0.747127733968为交好的情感分数。
代码如下

def score_sent(sen_word,not_word,degree_word,words):
  W = 1
  score = 0
  #存所有情感词位置的列表
  sen_locs = sen_word.keys()
  not_locs = not_word.keys()
  degree_locs = degree_word.keys()
  senloc = -1
  #遍历句子中所有的单词words，i为单词的绝对位置
  for i in range(0,len(words)):
    if i in sen_locs:
      #loc为情感词位置列表的序号
      senloc += 1
      #直接添加该情感词分数
      score +=W*float(sen_word[i])
      if senloc<len(sen_locs)-1:
        #判断该情感词与下一情感词之间是否有否定词或程度副词
        #j为绝对位置
        for j in range(sen_locs[senloc],sen_locs[senloc+1]):
          #如果有否定词
          if j in not_locs:
            W *= -1
          #如果有程度副词
          elif j in degree_locs:
            W *= degree_word[j]
return score
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26

这个模型的缺点与局限性也非常明显：
首先，段落的得分是其所有句子得分的平均值，这一方法并不符合实际情况。正如文章中先后段落有重要性大小之分，一个段落中前后句子也同样有重要性的差异。
其次，有一类文本使用贬义词来表示正向意义，这类情况常出现于文本中，如前文的那个例子，上图中得分小于-10的几个文本都是与这类情况相似，这也许需要深度学习的方法才能有效解决这类问题，普通机器学习方法也是很难的。
对于正负向文本的判断，该算法忽略了很多其他的否定词、程度副词和情感词搭配的情况；用于判断情感强弱也过于简单。