devbox
小丑西瓜9
这个屌丝很懒，什么也没留下！
关注作者
热门标签
热门文章
当前位置:   article > 正文

【情感提取+情感计算+词频统计】python情感分析_情感高词频

作者：小丑西瓜9 | 2024-02-09 19:27:23

赞

踩

情感高词频

目录

1、情感分析介绍

2、基于大连理工情感词汇方法

2.1加载大连理工情感词典，程度副词典，否定词典，停用词典

2.2译文断章切句

2.3提取情感词并计算情感值

2.4统计词频

2.5调用实现

1、情感分析介绍

情感分析是一种自然语言处理技术，旨在识别文本中的情感并将其分类为积极、消极或中性。它通过使用机器学习算法和自然语言处理技术来自动分析文本中的情感，从而帮助人们更好地理解文本的情感含义。

本文以某译本new_deepl_translated.txt为分析对象，通过对译文断章切句，进而对每一个句子情感词提取、情感值计算，以及词频统计，最后保存为excel文件。

new_deepl_translated.txt部分内容如下：

情感值计算结果：

词频统计结果：

2、基于大连理工情感词汇方法

2.1加载大连理工情感词典，程度副词典，否定词典，停用词典

各词典大家可以从网上进行下载，顶部我放了一个资源包可以直接拿来用。

定义一个类sa，用于加载情感词典、程度副词典、否定词典、停用词典，以及分词和去除停用词。针对大连理工情感词典，我只需要加载词语、情感分类、强度、极性这4列内容。

  1. class sa:
  2.     # 加载情感词典、程度副词典、否定词典、停用词典
  3.     def __init__(self, senti_dict_path, degree_dict_path, not_dict_path, stopword_path):
  4.         self.senti_dict = self.load_dict(senti_dict_path)
  5.         self.degree_dict = self.load_degree_dict(degree_dict_path)
  6.         self.not_dict = self.load_not_dict(not_dict_path)
  7.         self.stopwords = self.load_stopwords(stopword_path)
  8.  
  9.     # 加载情感词典
  10.     def load_dict(self, path):
  11.         with open(path, 'r', encoding='utf-8') as f:
  12.             lines = f.readlines()
  13.         word_dict = {}
  14.         for line in lines:
  15.             items = line.strip().split('\t')
  16.             if len(items) >= 7:               
  17.                 word = items[0]  #情词
  18.                 emotion = items[4]  #情词类别
  19.                 strength = int(items[5])  #情词强度
  20.                 polarity = int(items[6])  #情词极性
  21.                 word_dict[word] = {'emotion': emotion, 'strength': strength, 'polarity': polarity}
  22.         return word_dict
  23.     
  24.      # 加载程度副词词典
  25.     def load_degree_dict(self, path):
  26.         with open(path, 'r', encoding='utf-8') as f:
  27.             lines = f.readlines()
  28.         degree_dict = {}
  29.         for line in lines:
  30.             items = line.strip().split('\t')
  31.             if len(items) >= 2:
  32.                 degree_word = items[0]  #副词
  33.                 degree_value = float(items[1])   #副词权值
  34.                 degree_dict[degree_word] = degree_value
  35.         return degree_dict
  36.     
  37.     # 加载否定词词典
  38.     def load_not_dict(self, path):
  39.         with open(path, 'r', encoding='utf-8') as f:
  40.             lines = f.readlines()
  41.         not_dict = {}
  42.         for line in lines:
  43.             items = line.strip().split('\t')
  44.             if len(items) >= 1:
  45.                 not_word = items[0]  #否定词
  46.                 not_dict[not_word] = True
  47.         return not_dict
  48.       
  49.  
  50.     # 加载停用词表
  51.     def load_stopwords(self, path):
  52.         with open(path, 'r', encoding='utf-8') as f:
  53.             stopwords = [line.strip() for line in f.readlines()]
  54.         return stopwords
  55.  
  56.     # 分词
  57.     def cut_words(self, text):
  58.         words = jieba.cut(text)
  59.         return [word for word in words]
  60.  
  61.     # 去除停用词
  62.     def remove_stopword(self, words):
  63.         return [word for word in words if word not in self.stopwords]

2.2译文断章切句

定义一个SplitFile方法对译文进行分章，然后定义normal_cut_sentence方法对译文进行分句。

  1. # 断章  将一个txt文件的内容，按照第几章进行分割 section
  2. def SplitFile(filename):
  3.         f=open(filename, 'r', encoding="utf-8") 
  4.         # 获取文件每一行
  5.         lines = f.readlines()
  6.  
  7.         zhang = ""
  8.         zhangji = []
  9.         i = 0
  10.         for line in lines:          
  11.                 strh = line[0:6] # 取一行前5个字
  12.                 if ("第" in strh and "章" in strh):
  13.                     #print (strh)
  14.                     if (i>0):
  15.  
  16.                         zhangji.append([zhang])
  17.                         zhang = ""
  18.                 zhang += line        
  19.                 i += 1
  20.         zhangji.append([zhang])  #最后一章
  21.         
  22.         #print (章集)
  23.         print (filename,"章节数 = ",len(zhangji))
  24.         return zhangji
  25.  
  26. #切句 将文本切句,换回句列表
  27. def normal_cut_sentence(text):
  28.     text = re.sub('([。！？\?])([^’”"）])',r'\1\n\2',text)#普通断句符号且后面没有引号
  29.     #text = re.sub('(\.{6})([^’”])',r'\1\n\2',text)#英文省略号且后面没有引号
  30.     text = re.sub('(\…{2})([^’”])',r'\1\n\2',text)#中文省略号且后面没有引号
  31.     text = re.sub('([.。！？\?\.{6}\…{2}][’”"])([^’”"])',r'\1\n\2',text)#断句号+引号且后面没有引号
  32.     text = re.sub(r"\n\n",r'\n',text)  #删除多余空行
  33.     text = re.sub(r"\n\n",r'\n',text)  #删除多余空行
  34.     text = re.sub(r"\n\n",r'\n',text)  #删除多余空行
  35.     text = re.sub(r"\n\n",r'\n',text)  #删除多余空行
  36.     text = text.rstrip("\r\n")    # 去掉段尾的\n，然后
  37.     return text.split("\n")

2.3提取情感词并计算情感值

利用jieba包进行分词后，去除停用词，然后在大连理工情感词汇中查找每一个词汇，依次判断词语是否是情感词，提取情感种类与分值。

情感值计算公式：

其中，大连理工情感词典各情感分类规则如下：

  1. #提取情感词和计算情感值
  2. class ScoreAnalysis:
  3.     # 初始化
  4.     def __init__(self, senti_dict_path, degree_dict_path, not_dict_path, stopword_path):
  5.         self.sa = sa(senti_dict_path, degree_dict_path, not_dict_path, stopword_path)
  6.         self.score_class = {'好': 0, '乐': 1, '怒': 2, '哀': 3, '惧': 4, '恶': 5, '惊': 6, '思': 7}  #将情感分为8大类
  7.  
  8.     # 查找情感词
  9.     def findword(self, text):
  10.         Eword_list = []
  11.         word_loc = []
  12.         for i in range(0, len(text)):
  13.             if text[i] in self.sa.senti_dict.keys():
  14.                 word = Word(text[i], self.sa.senti_dict[text[i]])
  15.                 Eword_list.append(word)
  16.                 word_loc.append(i)
  17.         return Eword_list, word_loc
  18.  
  19.     #计算情感得分
  20.     def get8score(self, text):
  21.         Eword_list, word_loc = self.findword(text)  ##查找文本中包含哪些情感词
  22.         # 8大类找对应感情大类的词语，分别统计分数= 词极性*词权重
  23.         result = []
  24.         for key in self.score_class.keys(): #区分8大类
  25.             not_word = []
  26.             degree_word = []
  27.             score = 0
  28.             intensity = 1
  29.             score_words = []
  30.             degree_word_pos = -1
  31.             not_word_pos = -1
  32.             for j in range(0,len(Eword_list)):  #遍历text每个词
  33.                 word = Eword_list[j]
  34.                 word_score = 0
  35.                 if (key == word.class_value):   #判断情感词属于哪个大类
  36.                     score_words.append(word.word)
  37.                     #扫描情感词前面4个词内的程度副词和否定词                        
  38.                     not_v = 1
  39.                     degree = 1
  40.                     not_word = []
  41.                     degree_word = []
  42.                     degree_word_pos = -1
  43.                     not_word_pos = -1
  44.                     star = word_loc[j]-4
  45.                     if star < 0:
  46.                         star = 0
  47.                     for i in range(star, word_loc[j]-1):
  48.                         if text[i] in self.sa.degree_dict.keys(): #扫描程度副词
  49.                             degree_word.append(text[i])    
  50.                             degree *= self.sa.degree_dict[text[i]]
  51.                             degree_word_pos = i
  52.                     for i in range(star, word_loc[j]-1):
  53.                         if text[i] in self.sa.not_dict.keys(): #扫描否定词
  54.                             not_word.append(text[i])
  55.                             not_v *= -1
  56.                             not_word_pos = i
  57.                     if not_word_pos > -1 and degree_word_pos > -1:
  58.                         if not_word_pos < degree_word_pos:       #否定词在前: "不太高兴"
  59.                             degree *= 0.5
  60.                         else:                            #否定词在后 "太不高兴"
  61.                             degree *= 2
  62.                     word_score = word.value['polarity'] * not_v * degree
  63.                     word_score = float(word_score)
  64.                     #print(word_score)
  65.                     if word_score > score and word_score > 0:
  66.                         score = word_score
  67.                     if word_score < score and word_score < 0:
  68.                         score = word_score
  69.             # 限定取值范围
  70.             if score > 9 :
  71.                 score = 9
  72.             if score < -9 :
  73.                 score = -9
  74.  
  75.             result.append([key, score, score_words, not_word, degree_word])
  76.         return result
  77.  
  78.  
  79. #对22小类合并为8大类
  80. class Word:
  81.     # 初始化
  82.     def __init__(self, word, value):
  83.         self.word = word
  84.         self.value = value
  85.         self.class_value = self.get_class_value()
  86.  
  87.     # 获取情感词的大类
  88.     def get_class_value(self):
  89.         emotion = self.value['emotion']
  90.         if emotion in ['PD', 'PH', 'PG', 'PB', 'PK']:
  91.             return '好'
  92.         elif emotion in ['PA', 'PE']:
  93.             return '乐'
  94.         elif emotion == 'NA':
  95.             return '怒'
  96.         elif emotion in ['NB', 'NJ', 'NH','PF']:
  97.             return '哀'
  98.         elif emotion in ['NI', 'NC', 'NG']:
  99.             return '惧'
  100.         elif emotion in ['NE', 'ND', 'NN', 'NK', 'NL']:
  101.             return '恶'
  102.         elif emotion == 'PC':
  103.             return '惊'
  104.         elif emotion == 'NF':
  105.             return '思'
  106.         else:
  107.             return 'none'

2.4统计词频

定义"添加词频"方法，向词频列表中添加词汇，如果词汇已存在，则将其频次加1，否则将其添加到列表末尾。

  1. def 添加词频(word, freq_list):
  2.     """
  3.     参数：
  4.     word -- 待添加的词汇
  5.     freq_list -- 词频列表
  7.     返回值：
  8.     无
  9.     """
  10.     word_str = ','.join(map(str.strip, word)).strip('[]\'\"') # 将词汇转换为字符串并去除引号和方括号
  11.     # 将逗号分隔的字符串转换为词汇列表
  12.     word_list = word_str.split(',')
  13.     
  14.     for w in word_list:
  15.         added = False
  16.         for i in range(len(freq_list)):
  17.             if freq_list[i][0] == w:
  18.                 freq_list[i][1] += 1
  19.                 added = True
  20.                 break
  21.         if not added:
  22.             freq_list.append([w, 1])

2.5调用实现

  1. #导入相关包
  2. import re
  3. import os
  4. import time
  5. import pandas as pd
  6. import jieba
  7.  
  8.  
  9. #传入词典
  10. senti_dict_path = 'D:/emotion_project/origin/tici/大连理工情感词汇.txt'
  11. degree_dict_path = 'D:/emotion_project/origin/tici/副词赋值.txt'
  12. not_dict_path = 'D:/emotion_project/origin/tici/否定词.txt'
  13. stopword_path = 'D:/emotion_project/origin/tici/cn_stopwords.txt'
  14.  
  15. #加载词典实例化对象sa类
  16. sa_obj = sa(senti_dict_path, degree_dict_path, not_dict_path, stopword_path)
  17.  
  18. #计算情值实例化对象ScoreAnalysis类
  19. sa = ScoreAnalysis(senti_dict_path, degree_dict_path, not_dict_path, stopword_path)
  20.  
  21. #**************************************************************************
  22.  
  23. #分析deepl机器翻译译本每句8种情感值,生成情感表格、词频表格
  24.  
  25. machine_trans = [ "deepl"]
  26.   
  27. f_deepl   = "new_deepl_translated.txt"   #文本路径        
  28. files  = [f_deepl]
  29.  
  30. 情类 = ['好','乐','怒','哀','惧','恶','惊','思']
  31. 表头 = ["原句","正面","负面","好","好词","乐","乐词","怒","怒词","哀","哀词","惧","惧词","恶","恶词","惊", "惊词","思","思词"]
  32. 情感乐 = [[0]*5]*64
  33.  
  34. 篇号 = 0 
  35. 章号 = 0
  36. 行号 = 0
  37.  
  38. #**************************************************************************
  39.  
  40. 开始时间 = time.time()
  41. for 篇 in files[0:]:#不含后边界 共5篇 
  42.     
  43.     #情感值统计表结果路径
  44.     writer = pd.ExcelWriter("D:/emotion_project/" + machine_trans[篇号]+'.xlsx')
  45.  
  46.     #词频统计表结果路径
  47.     词频表格 = pd.ExcelWriter("D:/emotion_project/" + machine_trans[篇号]+'词频表.xlsx')
  48.  
  49.     正面词频 = []  
  50.     负面词频 = []
  51.     八情词频 = [[] for i in range(8)]
  52.   
  53.     章号 = 0       
  54.     章集 = SplitFile(篇)  #调用-断章-方法
  55.     for 章 in 章集[0:]:  #共64章   
  56.         章情词频 = []
  57.         章情词集 = ""
  58.         句集 = normal_cut_sentence( 章[0] )  # 调用-分句-方法
  59.         章分析 = []
  60.         for 句 in 句集:
  61.             words = sa_obj.cut_words(句)  # 分词
  62.             words_ = sa_obj.remove_stopword(words)  #去除停用词
  63.             八情 = sa.get8score(words_)  #提取情感词和计算情感值
  64.  
  65.             #数据处理
  66.             正面 = 0
  67.             负面 = 0
  68.             for 情 in 八情:
  69.                 if 情[1] > 0 :
  70.                     正面 += 情[1]
  71.                 else:
  72.                     负面 += 情[1]
  73.  
  74.  
  75.             #添加表格行数据
  76.             行 = []
  77.             行.append(句)
  78.             行.append(正面)
  79.             行.append(负面)
  80.             for 情 in 八情:
  81.                 行.append(情[1]) #情感值
  82.                 行.append(情[2]) #情感词
  83.             print(行)
  84.             章分析.append(行)
  85.  
  86.  
  87. #*******************************词频统计*************************************
  88.  
  89.             for 情 in 八情[0:2]:  #0,1
  90.                 添加词频( 情[2], 正面词频 )
  91.  
  92.             for 情 in 八情[6:8]:  #6,7
  93.                 添加词频( 情[2], 正面词频 )           
  94.  
  95.             for 情 in 八情[2:6]:  #2,3,4,5
  96.                 添加词频( 情[2], 负面词频 )
  97.             i = 0
  98.             for 情 in 八情:
  99.                 if len(情[2]) > 0:
  100.                     添加词频(情[2], 章情词频 )
  101.                     添加词频(情[2], 八情词频[i] )
  102.                 i +=1
  103.  
  104.         #print(章情词频)
  105.         第几章 = '第'+str(章号+1) +'章'
  106.         df = pd.DataFrame(章情词频, columns = ['章情词','频'] )
  107.         df.sort_values(by="频",ascending = False, inplace = True) #按词频降序排列
  108.         df.to_excel( 词频表格,  第几章  ,index=False )
  109.  
  110. #**************************************************************************
  111.  
  112.         df = pd.DataFrame(章分析, columns = 表头 )
  113.         df.to_excel( writer,  第几章   ,index=False )  
  114.         章号 += 1
  115.  
  116.     df = pd.DataFrame(正面词频, columns = ['正面词','频'] )
  117.     df.sort_values(by="频",ascending = False, inplace = True)              #按词频降序排列
  118.     df.to_excel( 词频表格,  '正面词频'   ,index=False )
  119.  
  120.     df = pd.DataFrame(负面词频, columns = ['负面词','频'] )
  121.     df.sort_values(by="频",ascending = False, inplace = True)              #按词频降序排列
  122.     df.to_excel( 词频表格,  '负面词频'   ,index=False )      
  123.  
  124.     for i in range(8):          
  125.         df = pd.DataFrame(八情词频[i], columns = [情类[i]+'词','频'] )
  126.         df.sort_values(by="频",ascending = False, inplace = True)              #按词频降序排列
  127.         df.to_excel( 词频表格,  情类[i]+'词频'   ,index=False ) 
  128.  
  129.     词频表格.save()
  130.     writer.save()        
  131.     篇号 += 1 
  132.  
  133. 结束时间 = time.time()
  134. print("耗时",结束时间-开始时间,"秒")

运行结果：

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/小丑西瓜9/article/detail/72774
推荐阅读
相关标签

Copyright © 2003-2013 www.wpsshop.cn 版权所有，并保留所有权利。

  

闽ICP备14008679号