基于Python的房价预测系统 爬虫+大屏可视化_python 房天下网站房价数据爬取与可视化分析

文末获取资源，收藏关注不迷路

前言

房价是一个国家经济水平的重要体现，也是反映居民生活质量和水平的最直接的指标。目前我国住房制度以租售并举形式出现，房屋所有权人通过出售、出租房屋获得租金收入。但是由于房价波动较大，不能及时反映房价变化趋势，需要预测房价来指导市场。研究房产价格走势，可以为房地产价格的调控提供参考依据。本系统通过对网络爬虫的分析，研究58同城网房屋数据，尝试使用Python技术进行开发，将58同城网房产信息和房屋数据尽可能的爬取出来，并对结果进行检测判断，最后可视化分析出来，为用户提供精确的查询结果。基于Python的房价预测系统旨在提高数据挖掘的效率，便于科学的管理和分析房屋数据。
本文先分析基于Python的房价预测系统的背景和意义；对常见的爬虫原理，获取策略，信息提取等技术进行分析；本系统使用python进行开发，MySQL数据库进行搭建，实现了房产的数据爬取；对数据库的查询结果进行检测并可视化分析，对系统的前台界面进行管理，分析爬取的结果，并对房价预测结果进行大屏显示；最后通过测试实现了数据爬取，存储过滤和数据可视化分析，以及系统管理等功能。

一、研究背景

互联网信息技术已经发展了很长时间，时至今日，越来越多的终端设备出现在人们的生活中，各种网络技术、移动终端日益成熟，而且价格越来越平民化。互联网技术已经到了前所未有的高度，借助于网络基础设施的建设，各种电子芯片和云计算快速的发展。传统信息的传播方式逐渐萎靡，比如报纸杂志等，几乎破产。目前人们只需要通过掌上电脑或者手机就可以查询到自己所需的信息，之所以网络设备如此受欢迎，是因为借助互联网技术所提供的强大信息呈现在网络中，只需要通过手指一点，就可以获取到自己想要知道的内容。用户只需要通过一个关键字，就可以从海量的信息中检索出相关的信息词条，然后将这些信息可视化呈现在用户面前，这种方式受到了用户的喜爱。
本课题所研究的基于Python的房价预测系统也广泛存在于互联网中，通过58同城网搜索引擎，我们可以获取到对应的房产价格，然而这些方法大多比较零碎，没有进行专门的分类，甚至存在一些假冒的和带广告性质的宣传，严重影响了房产价格的获取体验。
58同城网目前是国内比较大的专业房产销售和租赁平台，拥有大量的房产信息和价格内容。使用爬虫技术，对58同城网价格数据进行抓取，得到海量的信息，然后对数据进行处理和分析，最终将分析的房产价格数据可视化展现出来，可以服务大众。因此，本选题将房产价格信息的收集置于具体的58同城网平台，从而进行研究房产品质情况和公民的价格偏向。

二、研究意义

在目前信息化时代，数据的收集和整理是非常重要的工作。高效的收集可以提高相关工作人员的工作效率。计算机技术也逐渐向精细化方面发展，技术的更新影响了人们的生产生活方式，不同的技术平台也不断的更新着相关的信息。传统的信息采收集都是采取人工的方式，并对信息进行整理、修改、存储等，严重影响了信息制作的时间成本。另外，随着信息量的增加，工作人员整理起来更加的繁琐，而且容易出错，更无从谈起精确的归纳和统计，所以效率逐渐低下。在这些重复的工作中，只有通过信息化技术手段来进行管理，才能有效的提高信息的获取效率。
本基于Python的房价预测系统中，通过相关的技术手段对房产价格进行爬取，收集58同城网中的房产价格信息，并将这些数据存储到数据库中，在收集房产价格时进行清洗、归纳和整理，形成了有条理的数据集合，可以有效的提高房产价格数据的效率。借助数据库平台的优势可以对数据进行查询和统计，本系统旨在实现用户对房产价格的获取，并可以通过可视化平台对数据进行展现，提供系统内的信息检索手段，可以更有效的查询用户需要的房产价格，最终实现了房产价格的有效挖掘，提高了数据爬取的准确率，实现了数据的统计查询功能，并对爬取的数据进行管理，提高了工作效率。
房价是一个国家经济水平的重要体现，也是反映居民生活质量和水平的最直接的指标。目前我国住房制度以租售并举形式出现，房屋所有权人通过出售、出租房屋获得租金收入。但是由于房价波动较大，不能及时反映房价变化趋势，需要预测房价来指导市场。研究房产价格走势，可以为房地产价格的调控提供参考依据。
本题目来源于房地产价格研发项目的子项目，该项目主要完成一个房价预测系统的设计和开发，该系统用于收集当前地方房价信息，然后通过爬取、清理、存储、统计房价信息，并进行房价预测，是现代化房地产不可缺少的部分，为房价的发展趋势提供便捷的预测模式。

三、主要使用技术

环境需要
1.运行环境：python3.7/python3.8。
2.IDE环境：pycharm+mysql5.7;
3.数据库工具：Navicat11
4.硬件环境：windows 7/8/10 1G内存以上；或者 Mac OS；
5.数据库：MySql 5.7版本；
技术栈
后端：python+django
前端：vue+CSS+JavaScript+jQuery+elementui

使用说明
使用Navicat或者其它工具，在mysql中创建对应名称的数据库，并导入项目的sql文件；
使用PyCharm 导入项目，修改配置，运行项目；
将项目中config.ini配置文件中的数据库配置改为自己的配置，然后运行；
运行成功后，在浏览器中输入：http://localhost:8080/项目名

四、研究内容

在系统前台，所有的用户都可以通过浏览器访问基于Python的房价预测系统，查看所有大屏数据。在系统后台，管理员对数据进行管理。
其中普通用户功能如下：
（1）登录注册
（2）查看系统简介信息。
（3）查看房屋资讯信息。
（4）房产楼盘信息查看，包括楼盘名称、价格区间、开盘日期、地址、楼盘图片。
（5）房屋信息查看，包括房屋名称、户型、楼层、小区、面积、价格等。
（6）房产信息评论（查看其他会员的评论信息，登录后发布房产评论）。
（7）对各不同的房产数据进行点赞、踩、收藏。
（8）个人中心，修改个人信息，修改个人密码。查看个人收藏的房屋数据，移除收藏。
（9）信息反馈，发布反馈信息给管理员，给出系统建设意见和建议。
系统后台的管理员功能如下：
（1）管理所有爬取的数据信息：更新房产、房屋数据信息。包括爬取的网址、房产标题、图片、名称、标签、价格、开盘日期、交房日期、户型、地址。
（2）管理用户信息：用户信息的添加，删除。
（3）管理房屋类型信息：房屋类型信息的添加，删除。
（4）管理区域信息：区域信息的添加，删除。
（5）系统管理：管理系统轮播图广告信息，自定义图片内容。
（6）数据可视化大屏：通过大屏展示所有的房屋统计、价格趋势统计、热销户型统计、热销区域等。
（7）留言反馈管理，查看会员反馈的信息，及时处理。
（8）系统简介管理，修改系统简介信息。

在目前计算机信息化快速发展过程中，房产销售和租赁逐渐转移到网络中来，本题目来源于房地产价格研发项目的子项目，该项目主要完成一个房价预测系统的设计和开发，该系统用于收集当前地方房价信息，然后通过爬取、清理、存储、统计房价信息，并进行房价预测，是现代化房地产不可缺少的部分，为房价的发展趋势提供便捷的预测模式。本文旨在对58同城网上的房产信息、销售情况、价格信息进行爬取，收集各种类型的房产价格信息。然后对房产价格的评分、内容进行分析，整理房产价格信息。本系统首先分析58同城网站的网站结构，查看网站网页的排版，然后读取其包含的房产信息。具体分为以下几个步骤，指定58同城网url，爬取网页信息，获取特定的58同城网url存入队列中，提取房产价格的信息，将信息存入数据库，然后对价格和评分进行分析，得出房产价格的可视化视图。

爬取完房产销售、房产价格后，需要对数据进行分析，根据评分和K-means聚类算法分析出房产价格趋势，并可视化查询处理。本系统使用Python进行编程，通过HTML、JS等方法显示数据。具体包括：房产价格数据展示、房屋数据分类、用户注册登录、用户管理和爬虫数据管理。其中可视化功能用例图如图3-2所示。

完成数据采集后，数据存储在MySQL中，基于Python的房价预测系统可以对爬取的数据进行管理，管理员登录数据库，可以查看每一条房产价格的内容以及爬取的目标网址，也可以对单条的房产价格进行删除。此外，管理还具有系统管理、用户管理等功能。前台用户具有注册登录，信息查看等功能，其中大屏数据包括房屋名称统计、价格趋势统计、房型统计、类型统计、区域统计。其中，基于Python的房价预测系统的数据管理功能模块如图

本系统使用58同城网作为目标网站，先分析该网站的结构，然后对网页的数据进行爬取，在爬取过程中会遇到一些重复的商品销售数据，需要对数据进行清洗，通过数据处理获取到相对完整的房产价格，并把处理后的数据存储在对象中，通过循环对象来构造数据存储的插入语句，再进行数据存储，将数据保存在MySQL数据库中。

五、核心代码

# coding:utf-8
__author__ = "ila"

from django.http import JsonResponse

from .users_model import users
from util.codes import *
from util.auth import Auth
import util.message as mes


def users_login(request):
    if request.method in ["POST", "GET"]:
        msg = {'code': normal_code, "msg": mes.normal_code}
        req_dict = request.session.get("req_dict")
        if req_dict.get('role')!=None:
            del req_dict['role']
        datas = users.getbyparams(users, users, req_dict)
        if not datas:
            msg['code'] = password_error_code
            msg['msg'] = mes.password_error_code
            return JsonResponse(msg)

        req_dict['id'] = datas[0].get('id')
        return Auth.authenticate(Auth, users, req_dict)


def users_register(request):
    if request.method in ["POST", "GET"]:
        msg = {'code': normal_code, "msg": mes.normal_code}
        req_dict = request.session.get("req_dict")

        error = users.createbyreq(users, users, req_dict)
        if error != None:
            msg['code'] = crud_error_code
            msg['msg'] = error
        return JsonResponse(msg)


def users_session(request):
    '''
    '''
    if request.method in ["POST", "GET"]:
        msg = {"code": normal_code,"msg":mes.normal_code, "data": {}}

        req_dict = {"id": request.session.get('params').get("id")}
        msg['data'] = users.getbyparams(users, users, req_dict)[0]

        return JsonResponse(msg)


def users_logout(request):
    if request.method in ["POST", "GET"]:
        msg = {
            "msg": "退出成功",
            "code": 0
        }

        return JsonResponse(msg)


def users_page(request):
    '''
    '''
    if request.method in ["POST", "GET"]:
        msg = {"code": normal_code, "msg": mes.normal_code,
               "data": {"currPage": 1, "totalPage": 1, "total": 1, "pageSize": 10, "list": []}}
        req_dict = request.session.get("req_dict")
        tablename = request.session.get("tablename")
        try:
            __hasMessage__ = users.__hasMessage__
        except:
            __hasMessage__ = None
        if __hasMessage__ and __hasMessage__ != "否":

            if tablename != "users":
                req_dict["userid"] = request.session.get("params").get("id")
        if tablename == "users":
            msg['data']['list'], msg['data']['currPage'], msg['data']['totalPage'], msg['data']['total'], \
            msg['data']['pageSize'] = users.page(users, users, req_dict)
        else:
            msg['data']['list'], msg['data']['currPage'], msg['data']['totalPage'], msg['data']['total'], \
            msg['data']['pageSize'] = [],1,0,0,10

        return JsonResponse(msg)


def users_info(request, id_):
    '''
    '''
    if request.method in ["POST", "GET"]:
        msg = {"code": normal_code, "msg": mes.normal_code, "data": {}}

        data = users.getbyid(users, users, int(id_))
        if len(data) > 0:
            msg['data'] = data[0]
        # 浏览点击次数
        try:
            __browseClick__ = users.__browseClick__
        except:
            __browseClick__ = None

        if __browseClick__ and "clicknum" in users.getallcolumn(users, users):
            click_dict = {"id": int(id_), "clicknum": str(int(data[0].get("clicknum", 0)) + 1)}
            ret = users.updatebyparams(users, users, click_dict)
            if ret != None:
                msg['code'] = crud_error_code
                msg['msg'] = ret
        return JsonResponse(msg)


def users_save(request):
    '''
    '''
    if request.method in ["POST", "GET"]:
        msg = {"code": normal_code, "msg": mes.normal_code, "data": {}}
        req_dict = request.session.get("req_dict")
        req_dict['role'] = '管理员'
        error = users.createbyreq(users, users, req_dict)
        if error != None:
            msg['code'] = crud_error_code
            msg['msg'] = error
        return JsonResponse(msg)


def users_update(request):
    '''
    '''
    if request.method in ["POST", "GET"]:
        msg = {"code": normal_code, "msg": mes.normal_code, "data": {}}
        req_dict = request.session.get("req_dict")
        if req_dict.get("mima") and req_dict.get("password"):
            if "mima" not in users.getallcolumn(users,users):
                del req_dict["mima"]
            if "password" not in users.getallcolumn(users,users):
                del req_dict["password"]
        try:
            del req_dict["clicknum"]
        except:
            pass
        error = users.updatebyparams(users, users, req_dict)
        if error != None:
            msg['code'] = crud_error_code
            msg['msg'] = error
        return JsonResponse(msg)


def users_delete(request):
    '''
    '''
    if request.method in ["POST", "GET"]:
        msg = {"code": normal_code, "msg": mes.normal_code, "data": {}}
        req_dict = request.session.get("req_dict")

        error = users.deletes(users,
            users,
            req_dict.get("ids")
        )
        if error != None:
            msg['code'] = crud_error_code
            msg['msg'] = error
        return JsonResponse(msg)

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
137
138
139
140
141
142
143
144
145
146
147
148
149
150
151
152
153
154
155
156
157
158
159
160
161
162
163

六、文章目录

1系统概述 1
1.1 研究背景 1
1.2研究目的 1
1.3系统设计思想 1
2相关技术 3
2.1 MYSQL数据库 3
2.2 B/S结构 3
2.3 Djangot框架简介 4
2.4 VUE框架 4
3系统分析 5
3.1可行性分析 5
3.1.1技术可行性 5
3.1.2经济可行性 5
3.1.3操作可行性 5
3.2系统性能分析 6
3.2.1 系统安全性 6
3.2.2 数据完整性 6
3.3系统界面分析 6
3.4系统流程和逻辑 8
4系统概要设计 9
4.1概述 9
4.2系统结构 10
4.3.数据库设计 11
4.3.1数据库实体 11
4.3.2数据库设计表 13
5系统详细实现 17
5.1 管理员模块的实现 17
5.2用户模块的实现 19
6系统测试 21
6.1概念和意义 21
6.2特性 22
6.3重要性 22
6.4测试方法 23
6.5 功能测试 23
6.6可用性测试 24
6.7性能测试 24
6.8测试分析 24
6.9测试结果分析 25
结论 25
致谢语 26
参考文献 26