基于Flask的上市公司数据分析与可视化系统设计与实现开题报告_完成本课题所需工作条件(如工具书、计算机、实验、调研等)及解决办法

1.课题名称、来源、选题依据

1.1课题名称

基于Flask的上市公司数据分析与可视化系统设计与实现

1.2课题来源

来源于生产实际。对于一个国家的私人资本来说，上市公司的投资是投资者投资的主要渠道。一旦企业上市，企业管理者将要面对的是运营信息的相对透明度。通常在这样的情况下，企业管理者所做的每一个决定都是需要经过谨慎思考后才能执行。现在的社会对上市公司的分析无论是对公司发展还是投资者来说都是十分重要的，但在这个信息杂糅的社会，更需要提供准确的，有效性的信息给投资者们，让投资者们可以有一个安全、准确、可靠的信息平台。

1.3选题依据

现在的社会是一个高速发展的社会，科技发达，信息流通，随之而来的就是产生的大量数据。而在这些大量的数据中可能存在着有价值的信息等待着我们去挖掘。就需要我们对数据加工处理，提供大数据实时分析洞察能力。

在其中挖掘出客户需要的信息，使客户可以凭借大数据的分析能力做出相应正确的决策。本次项目是关于国内上市公司的数据展示，其中包括有基本信息的展示，营业额和利润的展示以及上市公司在国内分布区域的展示。

2.课题国内外研究现状和发展趋势

2.1国外研究现状

在国外对于上市公司数据可视化的系统，并不在少数。其中有美国的巨潮叫EDGAR（Electronic Data Gathering, Analysis, and Retrieval System），EDGAR数据库免费提供各上市公司信息，可以找到有关公司财务、运营的各项文件，比如，招股说明书，定期报告等[1]。投资者可通过网站查询上市公司信息数据。上市公司信息作为左右证券价格行情的一项重要因素，如果投资者根据不可靠、不相关的信息，便不可能做出理性而正确的决策，从而会加大市场风险，提高资本配置的成本。

2.2国内研究现状

如今，国内已经有了一批优秀的上市公司数据分析网站，为广大投资者提供了丰富的上市公司数据和分析工具[2]。这些网站大多集成了国内各大股票交易所的数据，并提供了专业的分析功能，让投资者可以更加全面地了解股票市场。选择股票数据分析平台的标准在选择股票数据分析平台时，应首先考虑平台的功能和性能。平台功能的丰富性直接决定了平台的使用价值，而性能的稳定性则会影响到平台的使用体验。此外，还应当考虑平台的易用性，选择一个易于使用的平台可以让投资者更快速地上手并开始使用。

2.3发展趋势：

   大数据分析是股票市场日益重要的工具，现在国内有很多优秀的股票数据分析网站。这些网站可以为投资者提供大量的股票市场数据，供投资者进行分析。通过对这些网站进行分析，可以帮助投资者了解股票市场，并做出明智的投资决策。国内的这些股票数据分析网站不仅提供了大量有用的数据，而且还具有很强的客户服务能力。投资者可以通过这些网站，获取最新的市场情况信息，从而做出更明智的投资决策。

3.本课题的目的及意义

3.1目的

上市公司数据被从网页上采集数据，没有被处理的数据，人眼是很难从这么多数据中看出有价值的东西,所以大数据技术的应用就很有必要，将大量数据提取出指定的数据，让客户可以直观看出这些数据想要表达的意思，同时也可以给用户的决策给出具体的数据支持。通过为传统产品增加数字化处理能力，不仅增强产品的功能，提升产品的附加值，而且使产品的控制、维护等方便易行。

3.2意义

本项目核心内容来源于企业市场和产品信息两个方面，内容经过数字化处理后，成为决策支持和执行方案的基础数据支持。整合上市公司数据，通过大数据技术进行加工处理，为用户提供上市公司基本信息，分布区域图，营业收入和净利润可视化，让数据更容易理解和方便查看。

4. 本课题的任务、重点内容、研究方法、实现途径

4.1课题任务

基于上市公司信息网站进行采集数据，将采集数据经过数据清洗后储存于数据库或者大数据平台；基于Hive等大数据平台技术，使用Flask框架实现可视化大屏展示，上市公司基本信息的展示，营业额和利润的展示以及上市公司在国内分布区域的展示等主要功能。

4.2重点内容

①对上市公司某些网站完成上市公司的基本信息、营业额、利润、区域信息爬取、数据预处理及数据存储。

②基于大数据平台技术的数据仓库构建或者mysql数据库构建。

③使用python或者hive sql语句进行数据的处理和数据入库。

④使用Flask等Web框架实现可视化大屏展示，A股上市公司销售额排行等开发。

4.3研究方法

①功能分析法

主要对互联网主流的上市公司网站进行分析，以投资者的角度进行上市公司的需求分析。总结出系统所需要做出的功能，让投资者体验更好，节约时间。

②文献研究法

主要通过对文献的阅读，了解可视化系统和数据分析的相关技术，为课题研究方向提供保障。

③因果设计法

由于上市公司数据分析与可视化系统数据较为复杂，因此本课题拟从系统最核心的数据出发，对于处理后的数据进行分析，观察数据和现象之间的关系，了解数据的产生原因和产生结果，做出可视化设计。

4.4实现途径

    Web系统基于Flask框架设计开发。数据采集模块采用Scrapy框架；数据库的选择采用大数据仓库或者Mysql数据；数据的处理使用hive sql语句或者python进行数据的处理和数据的入库。

    ①上市公司基本信息、营业收入、区域、利润数据采集

    使用Scrapy框架从上市公司的网站上爬取上市公司的基本信息、营业收入、区域等数据，基本信息包含股票代码，股票简称，公司名称，省份，行业分类等字段，然后存储到数据仓库hive或者关系型数据库mysql数据中。

②数据库的选择

Hive是一个Hadoop顶层的数据仓库工具，支持大规模数据存储、分析，具有很好的扩展性。可以构建一个数据仓库用于存储数据或者使用sql进行数据的存储，sql数据库比较查找数据时间段，速度快。

③数据的处理和数据入库

对于数据的处理使用hive sql进行数据处理或者python进行数据处理，将数据重复的字段进行删除和替换，对空白的字段进行填充等，将整理好后的数据导入数据库中，进行数据的准备和数据使用。

④Web系统设计与实现

1)注册：登记用户基本信息、手机号、密码等。

2)登录：密码登录。

管理员角色：

3)可视化大屏管理：查看可视化大屏信息，管理可视化数据等。

4)用户管理：管理用户账号以及基本信息。

用户角色：

5)查看可视化大屏的数据，可以分别看到A股，港股，新三板的营业收入排行榜等信息。

6)行业分类查看：查看相同行业的不同上市公司基本信息。

4.5本课题的进度时间安排

①2022.11.09-2022.12.11：完成开题报告。

②2022.12.12-2022.12.18：完成上市公司基本信息、营业收入等爬取与处理工作。

③2022.12.19-2022.12.26：完成数据处理和数据仓库设计及数据的入库。

④2022.12.27-2023.01.11：完成系统的Flask框架的环境搭建以及系统流程设计工作。

⑤2023.01.12-2023.02.26：完成可视化大屏开发与数据可视化模块的开发。

⑥2023.02.06-2023.03.12：完成毕业设计（论文）初稿。

⑦2023.03.13-2023.03.26：中期检查及项目功能完善。

⑧2023.03.27-2023.04.16：功能完善以及毕业设计（论文）定稿查重。

⑨2023.04.17-2023.05.05：毕业设计（论文）评阅，根据评阅老师意见修改论文，完善设计。

⑩2023.05.06-2023.05.28：毕业设计（论文）答辩。

5.完成本课题所需工作条件（如工具书、计算机、实验、调研等）及解决办法

需要如下工作条件：

（1）电脑1台: 本人已有

（2）Python语言及其他工具软件：已从相关网站下载

（3）工具书及相关资料：本人已通过知网等网站收集20余篇论文，其他编程工具书可在图书馆借阅或自购

（4）实验数据：通过编写爬虫代码收集

（5）调研：主要通过网络形式进行

参考文献

[1] 杜兴.基于Flask框架Web版的扫脸登录系统研究与实现[J].电子制作,2022,30(12):54-56,87.2022.12.016.

[2] 燕妮,李岳松,郭史进,等.基于Flask和爬虫的书籍循环平台的设计与实现[J].科技与创新,2021(17):1-3.2021.17.001.

[3]陈嘉发,黄宇靖.Flask框架在数据可视化的应用[J].福建电脑,2022,38(12):44-48.

[4]张望军,孙即,李博.上市公司股份回购的国际比较与借鉴——基于美股、港股与A股上市公司数据分析[J].清华金融评论,2020(12):75-80.2020.12.020.

[5]姚伟峰.公司治理对企业效率的影响——基于上市公司行业数据的经验分析[J].企业经济,2013,32(02):180-184.2013.02.021.

[6][11]张欣怡.基于Hive数据仓库的中国空气质量统计分析系统的设计实现[D].蚌埠:安徽财经大学,2020.2020.000348.

[7]来思琪,孔华锋.基于Flask框架的新闻聚合系统设计与实现[J].电脑编程技巧与维护,2022(11):30-33.2022.11.009.

[8]艾缨东,李建兵,韩英杰.基于Python语言及Flask框架的微机实验室管理系统设计与实现[J].信息与电脑(理论版),2019(06):107-108.

[9]王译庆. Flask框架下成品油销售系统设计与实现[D].西安:西安电子科技大学,2015.

[10]Divya Peketi,Varma Mahesh,Ratna Mouli Uma,et al.Web based optical character recognition application using flask and tesseract[J]. Materials Today: Proceedings,2021(prepublish).

[11]夷臻. 学生事务数据分析系统的设计与实现[D].苏州:苏州大学,2015.

指导教师意见

签字：                年     月     日

系（教研室）意见

     系（教研室）主任签字：                年     月     日