python爬虫+虚拟机centos7+pyqt5+mapreduce实现微博舆情分析系统_python微博舆情分析系统源码

记录一下自己做的一个简单的微博舆情分析系统，但是mapreduce实际就是单独的一个模块，不属于系统的一个部分，还有很多的不足之处，第一次学习这方面的知识做的。后续希望进行改进。

1. 需求分析

1.1 引言

随着互联网的快速发展，越来越多的人习惯于在网络上发表自己的观点。作为中国一大社交媒体平台，微博每天都会产生各类信息，其中的热搜更是会引导大众的视线和态度，有时甚至会达到难以控制的地步。由于活跃用户众多，舆情传播速度快，有些事件可能会被歪曲放大，严重时甚至危害国家和社会的稳定。因此，建立微博舆情分析系统十分必要。微博舆情分析系统可以帮助用户监测和分析微博平台上的舆情信息，提供实时的舆情监测、情感分析、关键词提取等功能，以帮助用户了解公众对特定话题的态度和观点，支持用户进行舆情管理和决策。

1.2 目标用户描述

该系统的目标用户包括高校、企业、政府机构、媒体等，他们希望通过该系统能够及时掌握公众对特定话题的舆情信息，以便进行舆情管理、危机处理、舆论引导等。

1.3 功能需求

（1）针对监测：系统能够通过关键词针对性监测微博平台上与特定话题相关的微博内容、评论、用户信息等。

（2）情感分析：系统能够对微博内容进行情感分析，判断微博作者和评论者的情感倾向，包括积极和消极。

（3）关键词提取：系统能够提取微博内容中的关键词，帮助用户更清晰的了解公众对特定话题的关注点。

（4）热点分析：系统能够分析微博内容的热点词汇，帮助用户了解公众对特定话题的关注度。

（5）数据可视化：系统能够将舆情数据进行可视化展示，通过完整的界面来操控，展示词云图和言论的情感，帮助用户直观地了解舆情信息。

2.设计框架

本系统功能设计可分为数据抓取、数据分析以及界面展示三种模块，其总体框架如下图1所示。其中，数据抓取模块通过网络爬虫实现，数据分析包括Mapreduce和snownlp技术，最后利用pyqt5控件制作界面。

图1 系统设计总体框架图

接下来再分别对各模块进行介绍。首先是数据抓取模块，其框架图如下图2所示。大致流程为通过cookie和headers登入微博，然后通过关键词和时间来获取对应的URL，最后再解析该网页，通过正则表达式来获取各种页面信息。