Python数据分析与挖掘_python大数据分析与挖掘

一、数据挖掘概述
1.数据分析

二、数据挖掘方式
例：图像识别
1.数据挖掘场景：

2.数据挖掘常用库

三、案例操作
1.需求分析
版本：V1.0
需求：预测模型----预测股票的波动趋势
功能描述：
某网站股票数据爬取
数据指标分析
数据可视化显示
数据趋势预估

2.pandas库

1）数据获取
获取方案：
爬虫：一段自动抓取互联网信息的程序，从互联网上抓取对于我们有价值的信息
requests库是实现数据获取

2）数据处理
对于数据科学家，无论数据分析还是数据挖掘来说，Pandas是一个非常重要的Python包。
Pandas提供了很多方法，使得数据处理非常简单，同时在数据处理速度上也做了很多优化，使得和Python内置方法相比时有了很大的优势。

3）可视化

四、数据分析代码实现

"""
数据分析操作流程：
    1- 获取数据
    2- 存储数据
    3- 洗数据--数据过滤
    4- 算法介入
    5- 结果展示
    6- 分析汇总
"""
# 1- 获取数据：1.本地获取2.网上获取
import csv
import threading
import time
import pandas
import requests


# 创建数据存储文件csv
fo = open("股票数据.csv", mode='w', encoding='utf-8', newline='')
# 1- 写入csv列名
csv_write = csv.DictWriter(fo, fieldnames=["股票名称", "股票代码", "当前价格", "成交量"])
# 写入
csv_write.writeheader()


urlList = [
'https://xueqiu.com/service/v5/stock/screener/quote/list?p
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26