当前位置:   article > 正文

基于python的网络舆情系统通用框架_基于python+django的网络舆情分析系统的实现

基于python+django的网络舆情分析系统的实现

一、前言

网络舆情是目前各类企业和机构研究的热点内容,舆情数据种类繁多衍生出各类舆情系统。舆情系统的数据来源可以通过数据网站进行购卖,更多的可以利用网络爬虫技术进行数据爬取。舆情系统整体上应具有数据采集、数据分析、信息预警等基本功能。利用python丰富的外部库可以快速进行系统的搭建及开发,笔者根据相关的项目经验设计了一套基于python的舆情通用框架,用于快速搭建舆情数据产品。

二、 系统总体框架

系统总体构架图
系统包括展示层、业务层、数据维护层、数据库四个模块。采用django作为web服务器框架,echarts作为数据的展示框架,mysql为数据库框架技术。
(一) 展示层
主要负责数和分析结果的展示及交付。展示层包含两个部分,第一部分是基于与平台的web页面数据展示模块。第二部分是邮寄预警模块。
展示层框架
(二) 业务层
业务层主要包括数据采集模块、数据清洗模块、分析建模模块、预警模块。
a) 数据采集模块是基于python/java的爬虫程序,涉及的主要技术包括:正则化表达式、Beautiful Soup 4包、Selenium、Xpath、网站破解、人工智能验证码识别、代理服务器地址库构建。数据采集模块负各大网站售票数据采集。
b) 清洗模块是基于python/java的数据处理程序,涉及的主要技术包括:pandas包、pymysql、numpy等。清洗模块负责数据格式规划化、统一化,以及部分

声明:本文内容由网友自发贡献,转载请注明出处:【wpsshop博客】
推荐阅读
相关标签
  

闽ICP备14008679号