Python爬虫数据可视化_python爬虫3000条可视化

Python爬虫——数据可视化

导入需要的第三方库

import matplotlib.pyplot as plt
import seaborn as sns
import pandas as pd
import requests
import urllib3
import matplotlib as mpl

设置可以显示中文和改变字体

mpl.rcParams['font.sans-serif'] = ['KaiTi']
mpl.rcParams['font.serif'] = ['KaiTi']
mpl.rcParams['axes.unicode_minus'] = False
sns.set_style("darkgrid", {"font.sans-serif": ['KaiTi', 'Arial']})

爬取数据：此方法只适用于表格

urllib3.disable_warnings()
url = "http://www.stats.gov.cn/ztjc/zdtjgz/zgrkpc/dqcrkpc/ggl/202105/t20210519_1817699.html"
response = requests.get(url, verify=False)
response.encoding = response.apparent_encoding
html = response.text
data = pd.read_html(html, header=0)[1]
print(data)

提取数据中的某一列

city = list(data["地区"])#提取数据中名为“地区”的一列
year1 = list(data["2020年"])#提取数据中名为“2020年”的一列
year2 = list(data["2010年"])#提取数据中名为“2010年”的一列

将数据可视化为折线图

he = {"2020年": year1, "2010年": year2}#在图中显示数据命名year1命名为“2020年”
                                      #在图中显示数据命名year2命名为“2010年”
df = pd.DataFrame(he, city)#he代表纵坐标，city代表横坐标
df.plot.line()#定义绘制折线图
plt.show()#将折线图展示

---

完整代码如下

import matplotlib.pyplot as plt
import seaborn as sns
import pandas as pd
import requests
import urllib3
import matplotlib as mpl
 
#设置可以显示中文和改变字体
mpl.rcParams['font.sans-serif'] = ['KaiTi']
mpl.rcParams['font.serif'] = ['KaiTi']
mpl.rcParams['axes.unicode_minus'] = False
sns.set_style("darkgrid", {"font.sans-serif": ['KaiTi', 'Arial']})
 
#爬取数据只适用于表格
urllib3.disable_warnings()
url = "http://www.stats.gov.cn/ztjc/zdtjgz/zgrkpc/dqcrkpc/ggl/202105/t20210519_1817699.html"
response = requests.get(url, verify=False)
response.encoding = response.apparent_encoding
html = response.text
data = pd.read_html(html, header=0)[1]
print(data)
 
#提取数据中的某一列
city = list(data["地区"])
year1 = list(data["2020年"])
year2 = list(data["2010年"])
 
#将数据可视化为折线图
he = {"2020年": year1, "2010年": year2}
df = pd.DataFrame(he, city)
df.plot.line()
plt.show()

---

 最后展示的折线图