【Python原创毕设|课设】基于Python Flask的中国气象质量采集及可视化系统-附下载方式以及项目参考优秀论文，原创项目其他均为抄袭_基于flask echarts pandas可视化毕设论文

一、项目简介

随着科技技术的不断发展，人民物质生活质量不断提高，我们越来越关注身边的气象、空气等地理环境。对于普通居民我们会选择合适的气象进行出游，提高精神层面的生活质量；对于企业会关注气象变换状况，来定制相关的生产计划，来提高企业生产效率并降低生成过程中由气象造成的风险损失。从社会角度我们不难看出，气象时时刻刻影响我们的规划和生活，因此我们开发一套中国气象数据可视化系统，更加直观的呈现气象状况，是有必要的。

中国气象质量大数据展示与分析系统，通过使用python爬虫技术对中国气象数据进行实时获取，然后利用相关数据清洗以及数据库处理技术存入数据库，再通过Python Web框架也就是Flask框架进线系统后台数据接口开发，通过Echarts技术进行数据分析可视化展示以及通过LayUI前端技术开发后台数据管理页面从而来完成我们最终的中国气象数据可视化系统。

二、开发环境

三、项目技术

• Python爬虫技术：借助Python强大的网络爬虫库，我们能够高效地从中国天气网上获取实时气象数据，并将其转化为结构化数据。
• Flask后端框架：作为一种轻量级的后端框架，Flask简化了开发流程，使得我们能够快速搭建灵活且可扩展的Web应用程序。
• MySQL数据库：作为一个成熟的关系型数据库管理系统，MySQL提供了高效可靠的数据存储和查询能力，使得我们能够方便地管理爬取的气象数据。
• ECharts大数据可视化：ECharts作为当时流行的数据可视化库，为我们提供了丰富的图表类型和交互式特性，使得我们能够将庞大的气象数据以直观的图表形式展示给用户。
• layui后台管理前端框架：借助layui框架，我们实现了美观、简洁的后台管理界面，提升了用户操作的友好性和便捷性。

四、项目功能

本系统经过相关调研，设计了气象数据后台管理模块以及气象可视化模块。

其中气象后台数据管理模块包含功能有基础系统数的据增删改查、气象相关数据的增删改查以及气象数据网络爬虫等，气象数据网络爬虫主要通过登录系统后进行启动操作，然后系统会通过网络加载气象数据，对气象数据进行解析，再进行相应的数据处理操作，例如缺失值处理、文字数据编码等一些列操作，最终存入数据库。

数据可视化功能，则主要分为温度、空气、风力等多维度对气象数据进行视化分析处理。系统功能结构如图所示。

五、运行截图

系统可视化

用户登录页面

用户注册页面

后台管理首页面
后台用户管理页面
后台版本管理页面
后台气象管理页面
后台气象编辑页面
后台爬虫日志管理页面

六、实现代码

爬虫头部实现代码

class GetWeather:
    def __init__(self):
        self.baseUrl = r""
        self.headers = {'Accept': "*/*",
                        'Accept-Encoding': 'gzip, deflate',
                        'Accept-Language': 'keep-alive',
                        'Connection': '',
                        'Cookie': ''.encode("utf-8").decode("latin1"),
                        'Host': 'd1.weather.com.cn',
                        'Referer': '',
                        'User-Agent': '', }
        self.loadList = []
        # 格式为：列表里面的子列表都是一个省份的所有城市，子列表里所有元素都是字典，每个字典有两项
        self.cityList = [] 
        self.cityDict = {}
        self.result = xlwt.Workbook(encoding='utf-8', style_compression=0)
        self.sheet = self.result.add_sheet('result', cell_overwrite_ok=True)
        self.cityRow = 0
        self.totalGet = 0
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19

数据清洗存入数据库

 data = json.loads(self.htmlResult.replace("var dataSK=", ""))
                nameen = data["nameen"]  # 城市拼音
                cityname = data["cityname"]  # 城市名称
                temp = data["temp"]  # 当前温度
                WD = data["WD"]  # 风向
                WS = data["WS"].replace("级", "")  # 风力
                wse = data["wse"].replace("km/h", "")  # 风速
                sd = data["sd"].replace("%", "")  # 湿度
                weather = data["weather"]  # 天气
                record_date = data["date"]  # 时间
                record_time = data["time"]  # 时分
                aqi = data["aqi"]  # 时分
                judge_sql = "select count(id) from `weather` where nameen = '" + nameen + "' and cityname='" + cityname + "' and record_date='" + record_date + "' and record_time='" + record_time + "'";
                sql = "INSERT INTO `weather` VALUES (null, '" + nameen + "', '" + cityname + "', '" + record_date + "', '" + record_time + "', " + str(
                    temp) + ", '" + WD + "', " + WS + ", " + wse + ", " + sd + ", '" + weather + "', " + aqi + ", '" + time.strftime(
                    "%Y-%m-%d %H:%M:%S", time.localtime()) + "',0);"
                i = db.query_noargs(judge_sql)[0][0]
                if int(i) > 0:
                    print("跳过：", judge_sql)
                    continue
                update_sql = "update `weather` set is_old=1 where nameen = '" + nameen + "' and cityname='" + cityname + "'";
                print("插入：", sql)
                count += 1
                db.query_noargs(update_sql)
                db.query_noargs(sql)
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25

首页城市空气质量统计

# 获取城市空气质量统计
def get_AQI_total_data():
    db = dbUtil()
    lh_sql = "SELECT COUNT(id) FROM weather WHERE aqi<=50 AND is_old=0"
    zd_sql = "SELECT COUNT(id) FROM weather WHERE aqi>50 AND aqi<=100 AND is_old=0"
    pc_sql = "SELECT COUNT(id) FROM weather WHERE aqi>100 AND aqi<=150 AND is_old=0"
    c_sql = "SELECT COUNT(id) FROM weather WHERE aqi>150 AND aqi<=200 AND is_old=0"
    jc_sql = "SELECT COUNT(id) FROM weather WHERE aqi>200 AND aqi<=300 AND is_old=0"
    yd_sql = "SELECT COUNT(id) FROM weather WHERE aqi>300 AND is_old=0"
    lh = db.query_noargs(lh_sql)[0][0]
    zd = db.query_noargs(zd_sql)[0][0]
    pc = db.query_noargs(pc_sql)[0][0]
    c = db.query_noargs(c_sql)[0][0]
    jc = db.query_noargs(jc_sql)[0][0]
    yd = db.query_noargs(yd_sql)[0][0]
    db.close_commit()
    return jsonify([{"time": "良好", "value": lh, "name": "空气质量"},
                    {"time": "中等", "value": zd, "name": "空气质量"},
                    {"time": "偏差", "value": pc, "name": "空气质量"},
                    {"time": "较差", "value": c, "name": "空气质量"},
                    {"time": "极差", "value": jc, "name": "空气质量"},
                    {"time": "有毒", "value": yd, "name": "空气质量"}])
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22

空气质量可视化构建

function center_kqzlfm() {    
    $.ajax({       
        url: "/main/aqi",
        method: "get",
        success: function (obj) {
            // 基于准备好的dom，初始化echarts实例            
            const myChart = echarts.init(document.getElementById("kqzlfm-table")) 
            // 指定图表的配置项
            let option = {...}            
            // 指定图表的数据
            let data = obj            
            //数据处理 开始
            let xKey = "time" 
            let yKey = "value" 
            let sKey = "name"
            let seriesArr = []
            let dataColumn = []   
            //....省略数据格式化处理太长了
            option.yAxis.type = "value"
            option.xAxis.type = "category"
            option.xAxis.data = dataColumn
            // 数据处理完 
            option.series = seriesObj
            // 使用刚指定的配置项和数据显示图表。
            myChart.setOption(option) 
        }   
    })}
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27

七、数据库结构

slog表

sys_version表

user表

weather表

八、源码下载

源码、安装教程文档、项目简介文档以及其它相关文档已经上传到是云猿实战官网，可以通过下面官网进行获取项目！