python基于天气预测的生活规划系统的设计与实现_基于网络爬虫的城市天气服务系统设计与实现

收藏关注不迷路

---

前言

过去，不管是翻阅书籍，还是通过手机，电脑等从互联网上手动点击搜索信息，视野受限，信息面太过于狭窄，且数据量大而杂乱，爆炸式信息的更新速度是快速且不定时的。要想手动获取到海量的信息，并进行分析整理，都要耗费巨多的时间，精力，效率低下，但是通过网络爬虫，根据需求获取某地及多地天气数据，进行数据清洗，存表，数据可视化，把分析结果反馈给用户。本课题的主要目的是设计面向定向系统的网络爬虫程序，同时需要满足不同的性能要求，详细涉及到定向网络爬虫的各个细节与应用环节。为了适应不同需求，使网络爬虫可以根据预先设定的主题实现对特定主题的爬取。研究网络爬虫的原理并实现爬虫的相关功能,并将爬去的数据清洗之后存入数据库，后期可视化显示。使用Python专门的数据可视化库pyecharts进行可视化展示，所以要选取数据维度较多的数据源进行采集爬取。主要爬取中国天气网的天气数据，获得大量天气气温数据，通过数据分析展示不同的效果图，可以实时的分析气温变化，可以帮助农业生产减少天气突变带来的粮食减产等。提高广大农民的经济效益，所以我们开发这个爬取天气数据，进行数据分析的系统势在必行。

关键词：网络爬虫：pyecharts：天气数据

一、项目介绍

天气预测的生活规划系统是一项基于天气预报数据的应用程序。该系统旨在将天气信息与用户个人偏好和日常行程相结合，根据不同的天气情况为用户提供智能的生活规划建议。其主要研究内容包括以下几个方面：
（1）天气预报数据分析：该系统需要收集、整理天气预报数据，并对其进行分析。通过对历史天气数据的分析和对未来天气趋势的预测，可以帮助用户更好地了解当天的天气状况以及未来几天的变化趋势。
（2）用户需求调查：通过问卷调查、用户访谈等方式，调查用户对天气对日常生活的影响、平时的出行习惯以及对生活规划建议的期望等问题。从而确定系统所需考虑的因素和细节。
（3）生活规划算法设计：基于天气预报数据和用户需求，设计适合不同天气情况下的生活规划算法模型，通过机器学习等技术不断优化模型，进一步提高生活规划建议的准确性和实用性。
（4）系统界面设计：为了使用户能够更好地使用该系统，需要设计用户友好的界面，并提供良好的交互体验。同时，还需要考虑不同平台和设备的兼容性，确保用户能够在各种终端上方便地使用该系统。
通过以上研究内容的整合，天气预测的生活规划系统可以为用户提供更加个性化、实用的生活规划建议，帮助用户更好地应对天气变化，提高生活质量。

二、开发环境

开发语言：Python

1. python网络爬虫
2. 数据清洗与格式化预处理（脏数据去除、数据标准化、格式转换等）
3. pandas、numpy 的数据分析处理
4. flask 搭建后台服务，bootstrap + echarts 前端渲染可视化

框架包括，flask后端框架，前端bootstrap，echarts，JavaScript，数据分析采用pandas，numpy
————————————————

三、功能介绍

1.系统注册登录
2.热门城市历史天气查询
系统提供热门城市（北京、上海、天津、重庆、贵阳、海口等30余个）按照年份和月份查询当月的天气数据。
3.热门城市天气状况统计分析
通过对热门城市近几年的气温变化、天气状况、风力风向等指标的统计分析，可实现城市天气变化的整体把握。
4.热门城市气温变化情况
通过对热门城市近几年的气温变化分析，包括最低气温和最高气温，可发现气温基本呈现升高的态势，也反应出全球气候变暖问题的严重性。
5.城市气温年度日历热力图
计算热门城市的某一年份每天的平均气温，利用 echarts 的 calendar 组件实现日历的气温热力图的绘制。
6.根据天气规划日常生活安排。
根据天气规划日常生活安排可以帮助我们更好地适应各种天气条件，提高生活质量和效率。需要根据当地的气候条件和个人习惯进行合理的安排，以保证身心健康和生活质量。同时，也可以结合python天气预测的生活规划系统，根据天气预测数据来更加准确地制定日常生活计划。
7.根据天气推荐出行建议。
根据天气推荐出行建议可以帮助我们更好地避免恶劣天气对出行的影响，提高旅途的安全和舒适度。需要根据具体的天气情况和个人习惯合理安排出行计划，并保持警觉，以保证旅途的安全和舒适度。同时，也可以结合python天气预测的生活规划系统，根据天气预测数据来更加准确地制定出行计划。
系统结构设计是将最终目标分割为多个小任务的过程。在一个又一个小任务完成之后，可以组装并完成最终目标。在整个系统构思过程中，从几个可实行的方案中挑选一个最合适的去实现每一个小功能的目标，对每个小功能的目标来说，开发前须先搜寻一些和功能有关的需求分析信息，然后开始本系统的初步设计，并逐步优化功能，最后设计出一个明确可实施的系统结构[8]。
本系统的系统结构设计如图3-1所示。

图3-1 系统结构图

四、核心代码

部分代码：

def users_login(request):
    if request.method in ["POST", "GET"]:
        msg = {'code': normal_code, "msg": mes.normal_code}
        req_dict = request.session.get("req_dict")
        if req_dict.get('role')!=None:
            del req_dict['role']
        datas = users.getbyparams(users, users, req_dict)
        if not datas:
            msg['code'] = password_error_code
            msg['msg'] = mes.password_error_code
            return JsonResponse(msg)

        req_dict['id'] = datas[0].get('id')
        return Auth.authenticate(Auth, users, req_dict)


def users_register(request):
    if request.method in ["POST", "GET"]:
        msg = {'code': normal_code, "msg": mes.normal_code}
        req_dict = request.session.get("req_dict")

        error = users.createbyreq(users, users, req_dict)
        if error != None:
            msg['code'] = crud_error_code
            msg['msg'] = error
        return JsonResponse(msg)


def users_session(request):
    '''
    '''
    if request.method in ["POST", "GET"]:
        msg = {"code": normal_code,"msg":mes.normal_code, "data": {}}

        req_dict = {"id": request.session.get('params').get("id")}
        msg['data'] = users.getbyparams(users, users, req_dict)[0]

        return JsonResponse(msg)


def users_logout(request):
    if request.method in ["POST", "GET"]:
        msg = {
            "msg": "退出成功",
            "code": 0
        }

        return JsonResponse(msg)


def users_page(request):
    '''
    '''
    if request.method in ["POST", "GET"]:
        msg = {"code": normal_code, "msg": mes.normal_code,
               "data": {"currPage": 1, "totalPage": 1, "total": 1, "pageSize": 10, "list": []}}
        req_dict = request.session.get("req_dict")
        tablename = request.session.get("tablename")
        try:
            __hasMessage__ = users.__hasMessage__
        except:
            __hasMessage__ = None
        if __hasMessage__ and __hasMessage__ != "否":

            if tablename != "users":
                req_dict["userid"] = request.session.get("params").get("id")
        if tablename == "users":
            msg['data']['list'], msg['data']['currPage'], msg['data']['totalPage'], msg['data']['total'], \
            msg['data']['pageSize'] = users.page(users, users, req_dict)
        else:
            msg['data']['list'], msg['data']['currPage'], msg['data']['totalPage'], msg['data']['total'], \
            msg['data']['pageSize'] = [],1,0,0,10

        return JsonResponse(msg)


1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77

五、效果图

六、文章目录

目 录
摘 要 I
Abstract II
1 绪论 1
1.1 研究背景和开发意义 1
1.2 国内外研究 2
1.2.1 国内研究 2
1.2.2 国外研究 2
1.3 研究内容 2
2 系统分析 4
2.1 技术分析 4
2.2.1 网络爬虫的模型分析 4
2.2.2 开发环境 5
2.2.3 环境安装 6
2.2.4 Python技术 6
2.2.5 pycharm软件 6
2.2.6 Flask框架 7
2.2 功能分析 7
2.4 性能分析 7
2.5 可行性分析 8
2.5.1 经济可行性分析 8
2.5.2 技术可行性分析 8
2.5.3 操作可行性分析 8
3 系统设计 9
3.1 系统结构设计 9
3.2 系统业务设计 10
3.2.1 业务流程 10
3.3 聚类算法设计 11
3.4 数据库设计 12
4 系统的实现 13
4.1 历史天气查询实现 13
4.2 天气年度变化分析实现 13
4.3 空气质量年度变化分析实现 14
5 系统测试 16
5.1 测试目的 16
5.2 功能性测试 16
5.3 非功能测试 17
5.4 测试总结 17
6 总结与展望 19
参考文献 20
致 谢 21