基于Python的旅游景点数据分析系统设计与实现_基于python的旅游系统_csdn旅游数据处理与分析

先自我介绍一下，小编浙江大学毕业，去过华为、字节跳动等大厂，目前阿里P7

深知大多数程序员，想要提升技能，往往是自己摸索成长，但自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！

因此收集整理了一份《2024年最新Python全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友。

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上Python知识点，真正体系化！

由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新

如果你需要这些资料，可以添加V获取：vip1024c （备注Python）

正文

Hadoop的框架最核心的设计就是：HDFS和MapReduce。HDFS为海量的数据提供了存储，而MapReduce则为海量的数据提供了计算。主要有以下优点：
（1）高可靠性。Hadoop按位存储和处理数据的能力值得人们信赖。
（2）高扩展性。Hadoop是在可用的计算机集簇间分配数据并完成计算任务的，这些集簇可以方便地扩展到数以千计的节点中。
（3）高效性。Hadoop能够在节点之间动态地移动数据，并保证各个节点的动态平衡，因此处理速度非常快。高容错性。Hadoop能够自动保存数据的多个副本，并且能够自动将失败的任务重新分配。
（4）低成本。与一体机、商用数据仓库以及QlikView、Yonghong Z-Suite等数据集市相比，hadoop是开源的，项目的软件成本因此会大大降低。

2.5 Scrapy介绍

Scrapy是一个抓取网站数据和提取结构化数据的框架，它可以应用在广泛的应用中:Scrapy通常用于一系列应用，包括数据挖掘、信息处理或存储历史数据。使用Scrapy框架实现一个爬虫程序通常非常简单，抓取给定网站的内容或图像。
虽然Scrapy是为屏幕抓取(或者更准确地说是网页抓取)而设计的，但它也可以用于访问api以提取数据。

2.6 B/S架构

Browser/Server简称（B/S），即：浏览器/服务器架构模式；属于WEB发展后的所出现的一种网络构造，而WEB又是主要的浏览器应用商品软件。B/S架构模式不仅将系统的重新开发、维修及利用等简单化，更将其重点放到了服务器上。它使客户端得到了统一，在服务器上汇集了系统功能的最核心部分。
B/S架构模式，在服务器接收到浏览器发出请求后将进行对应的回应。Internet上文本、图片、动画等信息主要由Web服务器产生，而用户主要是通过浏览器访问这些信息。在Web上下载程序时遇到某些和数据库相关的指令，可以将这些指令转接到数据库服务器来进行解释和执行。B/S架构工作流程图如图所示：

三、功能设计

旅游景点数据分析系统综合网络空间开发设计要求。目的是将传统管理方式转换为在网上管理，完成热门旅游景点数据分析管理的方便快捷、安全性高、交易规范做了保障，目标明确。热门旅游景点数据分析系统功能主要包括个人中心、门票信息管理、名宿信息管理、系统管理等进行管理。

四、数据设计

概念模型的设计是为了抽象真实世界的信息，并对信息世界进行建模。它是数据库设计的强大工具。数据库概念模型设计可以通过E-R图描述现实世界的概念模型。系统的E-R图显示了系统中实体之间的链接。而且Mysql数据库是自我保护能力比较强的数据库，下图主要是对数据库实体的E-R图：

五、部分效果展示

系统登录，在登录页面正确输入用户名和密码后，点击登录进入操作系统进行操作；如图所示。

当人们打开系统的网址后，首先看到的就是首页界面。在这里，人们能够看到系统的导航条，通过导航条导航进入各功能展示页面进行操作。系统首页界面如图所示：

管理员点击门票信息管理。在门票信息页面输入标题和位置进行查询、爬取数据、新增或删除门票信息列表，并根据需要对门票详情信息进行详情、修改或删除操作；如图所示：

管理员点击名宿信息管理。在名宿信息页面输入标题和地址进行查询、爬取数据、新增或删除名宿信息列表，并根据需要对名宿详情信息进行详情、修改或删除操作；如图所示：

管理员进行爬取数据后，点击主页面右上角的看板，可以查看到系统简介、门票信息管理、名宿信息总数、门票价格、评论统计、名宿分类、名宿价格、评论数、名宿评分等实时的分析图进行可视化管理，可视化大屏展示界面如下图所示：

部分功能代码

# 爬虫
    def db\_connect(self):
        type = self.settings.get('TYPE', 'mysql')
        host = self.settings.get('HOST', 'localhost')
        port = int(self.settings.get('PORT', 3306))
        user = self.settings.get('USER', 'root')
        password = self.settings.get('PASSWORD', '123456')

        try:
            database = self.databaseName
        except:
            database = self.settings.get('DATABASE', '')

        if type == 'mysql':
            connect = pymysql.connect(host=host, port=port, db=database, user=user, passwd=password, charset='utf8')
        else:
            connect = pymssql.connect(host=host, user=user, password=password, database=database)

        return connect

    # 断表是否存在
    def table\_exists(self, cursor, table_name):
        cursor.execute("show tables;")
        tables = [cursor.fetchall()]
        table_list = re.findall('(\'.\*?\')',str(tables))
        table_list = [re.sub("'",'',each) for each in table_list]

        if table_name in table_list:
            return 1
        else:
            return 0

    # 数据缓存源
    def temp\_data(self):

        connect = self.db_connect()
        cursor = connect.cursor()
        sql = '''
 insert into `menpiaoxinxi`(
 id
 ,laiyuan
 ,biaoti
 ,fengmian
 ,miaoshu
 ,weizhi
 ,dianping
 ,pinglun
 ,jiage
 ,tese
 ,kaifangshijian
 )
 select
 id
 ,laiyuan
 ,biaoti
 ,fengmian
 ,miaoshu
 ,weizhi
 ,dianping
 ,pinglun
 ,jiage
 ,tese
 ,kaifangshijian
 from `08375\_menpiaoxinxi`
 where(not exists (select
 id
 ,laiyuan
 ,biaoti
 ,fengmian
 ,miaoshu
 ,weizhi
 ,dianping
 ,pinglun
 ,jiage
 ,tese
 ,kaifangshijian
 from `menpiaoxinxi` where
 `menpiaoxinxi`.id=`08375\_menpiaoxinxi`.id
 ))
 limit {0}
 '''.format(random.randint(10,15))

        cursor.execute(sql)
        connect.commit()

        connect.close()
#民宿评价
def minsupingjia\_page(request):
    '''
 '''
    if request.method in ["POST", "GET"]:
        msg = {"code": normal_code, "msg": mes.normal_code,  "data":{"currPage":1,"totalPage":1,"total":1,"pageSize":10,"list":[]}}
        req_dict = request.session.get("req\_dict")

        global minsupingjia

        #获取全部列名
        columns=  minsupingjia.getallcolumn( minsupingjia, minsupingjia)

        #当前登录用户所在表
        tablename = request.session.get("tablename")


            #authColumn=list(\_\_authTables\_\_.keys())[0]
            #authTable=\_\_authTables\_\_.get(authColumn)

            # if authTable==tablename:
                #params = request.session.get("params")
                #req\_dict[authColumn]=params.get(authColumn)

        '''\_\_authSeparate\_\_此属性为真，params添加userid，后台只查询个人数据'''
        try:
            __authSeparate__=minsupingjia.__authSeparate__
        except:
            __authSeparate__=None

        if __authSeparate__=="是":
文末有福利领取哦~
---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/花生_TL007/article/detail/665052