- 1714页PDF的鸿蒙学习笔记,，推荐，HarmonyOS鸿蒙面试简历
- 2Git（1）-- Win10 安装 Git 详细教程（超详细纯小白教程）_win10 安装git
- 3Git将单个文件合并到指定分支教程。_git 合并单个文件
- 4全面对mysql的了解_了解MySql
- 5半个【弗洛伊德算法】2-3 社交网络图中结点的“重要性”计算 (25分)_社交评估25分
- 6http://localhost:15672无妨访问（两种情况）
- 7内部分区表——头歌_hive内部分区表头歌
- 8一篇近万字的秋招总结及资源分享
- 9物联网区块链平台IoTeX推出1亿美元可持续生态系统基金
- 10细说人工智能(AI)在人才招聘中的价值和优势_人员岗位匹配ai
使用scrapy爬取前程无忧所有大数据岗位并做出数据可视化_爬取招聘数据可视化
赞
踩
项目要求
利用python编写爬虫程序，从招聘网上爬取数据，将数据存入到MongoDB中，将存入的数据作一定的数据清洗后分析数据，最后做数据可视化。
工具
软件
python 3.7
pycharm 2020.1.2
具体知识点
python基础知识
scrapy框架知识点
pyecharts 1.5
MongoDB
具体要求
数据源
前程无忧
爬取字段
职位名称、薪资水平、招聘单位、工作地点、工作经验、学历要求、工作内容（岗位职责）、任职要求（技能要求）
数据存储
将爬取到的数据保存在MongoDB中
数据分析与可视化
具体要求
（1） 分析“数据分析”、“大数据开发工程师”、“数据采集”等岗位的平均工资、最高工资、最低工资，并作条形图将结果展示出来。
（2）分析“数据分析”、“大数据开发工程师”、“数据采集”等大数据相关岗位在成都、北京、上海、广州、深圳的岗位数，并做条形图将结果展示出来。
（3）分析大数据相关岗位1-3年工作经验的薪资水平（平均工资、最高工资、最低工资），并做出条形图展示出来；
（4）将数据采集岗位要求的技能做出词云图
具体步骤
分析网页
点击进入网页
我们先来看看网页构造。再来分析思路：
由于我们需要的大数据岗位的分布数据，所以我们就直接搜索条件，分析大数据岗位在全国的一个分布情况。
我的思路是，既然需要字段，而且这个页面上的所有字段并没有我们需要的全部，那我们就需要进入到每一个网址里面去分析我们的字段。先来看看进去后是什么样子。
我们需要的字段都在这里面了，所以，我们就可以开始动手写代码了。
实现代码
抓取全部岗位的网址
我们之前说过，要进入到每一个网址去，那么就必然需要每一个进去的入口，而这个入口就是这个：
新建一个爬虫项目:
scrapy startproject qianchengwuyou
- 1
然后打开我们的项目，进入瞅瞅会发现啥都没有，我们再cd到我们的项目里面去开始一个爬虫项目
scrapy genspider qcwy https://search.51job.com/
- 1
当然，这后边的网址就是你要爬取的网址。
首先在开始敲代码之前，还是要设置一下我们的配置文件settings.py中写上我们的配置信息：
# 关闭网页机器人协议 ROBOTSTXT_OBEY = False # mongodb地址 MONGODB_HOST='127.0.0.1' # mongodb端口号 MONGODB_PORT = 27017 # 设置数据库名称 MONGODB_DBNAME = '51job' # 存放本数据的表名称 MONGODB_DOCNAME = 'jobTable' # 请求头信息 DEFAULT_REQUEST_HEADERS = { 'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8', 'Accept-Language': 'en', 'User_Agent' :'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/83.0.4103.106 Safari/537.36' } # 下载管道 ITEM_PIPELINES = { 'qianchengwuyou.pipelines.QianchengwuyouPipeline': 300, } # 下载延时 DOWNLOAD_DELAY = 1
- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9
- 10
- 11
- 12
- 13
- 14
- 15
- 16
- 17
- 18
- 19
- 20
- 21
- 22
然后再去我们的pipelines.py中开启我们的爬虫保存工作
from scrapy.utils.project import get_project_settings settings = get_project_settings() import pymongo class QianchengwuyouPipeline: def __init__(self): host = settings['MONGODB_HOST'] port = settings['MONGODB_PORT'] self.client = pymongo.MongoClient(host=host,port=port) self.db = self.client[settings['MONGODB_DBNAME']] self.coll = self.db[settings['MONGODB_DOCNAME']] def process_item(self, item, spider): data = dict(item) self.coll.insert(data) return item def close(self): self.client.close()
- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9
- 10
- 11
- 12
- 13
- 14
- 15
- 16
定义好pipelines.py之后，我们还需要去items.py中去定义好我们需要爬取的字段，用来向pipelines.py中传输数据
import scrapy
class QianchengwuyouItem(scrapy.Item):
zhiweimingcheng = scrapy.Field()
xinzishuipin = scrapy.Field()
zhaopindanwei = scrapy.Field()
gongzuodidian = scrapy.Field()
gongzuojingyan = scrapy.Field()
xueli = scrapy.Field()
yaoqiu = scrapy.Field()
jineng = scrapy.Field()
- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9
- 10
然后就可以在我们的qcwy.py中开始敲我们的代码了；
在敲代码之前，还是要先分析一下网页结构。打开审查工具，看看我们需要的网址用xpath语法该怎么写：
我们需要拿到的是这个超链接，然后才能用框架去自动进入这个超链接提取超链接里面的内容。
再来分析分析他的文档树结构是什么样子的：
可以很清晰的看到，这个整个栏目都在div class='el'下，而且所有的招聘岗位都在这下面，所以，我们为了能够拿到所有的url，就可以去定位他的上一级标签，然后拿到所有子标签。再通过子标签去拿里面的href属性。
所以，xpath语法就可以这样写：
//*[@id='resultList']/div[@class='el']/p/span/a/@href
- 1
我们来打印一下试试：
import scrapy
from qianchengwuyou.items import QianchengwuyouItem
class QcwySpider(scrapy.Spider):
name = 'qcwy'
allowed_domains = ['https://www.51job.com/']
start_urls = ['https://search.51job.com/list/000000,000000,0130%252C7501%252C7506%252C7502,01%252C32%252C38,9,99,%2520,2,1.html?lang=c&stype=&postchannel=0000&workyear=99&cotype=99°reefrom=99&jobterm=99&companysize=99&providesalary=99&lonlat=0%2C0&radius=-1&ord_field=0&confirmdate=9&fromType=&dibiaoid=0&address=&line=&specialarea=00&from=&welfare=']
def parse(self, response):
all_urls = response.xpath("//*[@id='resultList']/div[@class='el']/p/span/a/@href").getall()
for url in all_urls:
print(url)
- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9
- 10
- 11
接着我们再写一个启动函数：
在当前项目的任何位置新建一个main.py(名字随便你起，体现出启动俩字就行)，然后写上这两行代码：
from scrapy.cmdline import execute
execute("scrapy crawl qcwy".split())
- 1
- 2
这个意思就是从scrapy包的cmdline下导入execute模块，然后，用这个模块去运行当前项目；
运行结果：
我们拿到所有超链接之后，还不够。要记住，我们需要的所有页面的超链接。所以，我们再来分析分析每一页之间的规律。注意看最上方的url：
https://search.51job.com/list/000000,000000,0130%252C7501%252C7506%252C7502,01%252C32%252C38,9,99,%2B,2,1.html?lang=c&postchannel=0000&workyear=99&cotype=99°reefrom=99&jobterm=99&companysize=99&ord_field=0&dibiaoid=0&line=&welfare=
- 1
当我们点击下一页的时候，看看url发生了哪些变化：
https://search.51job.com/list/000000,000000,0130%252C7501%252C7506%252C7502,01%252C32%252C38,9,99,%2B,2,2.html?lang=c&postchannel=0000&workyear=99&cotype=99°reefrom=99&jobterm=99&companysize=99&ord_field=0&dibiaoid=0&line=&welfare=
- 1
有没有发现，中间的1.html变成了2.html；
我们再来看看，一共有多少页：
93页。那我们直接把93输入进去替换掉会怎么样：
果不其然，规律就是这个样子的。那你知道怎么去获取全部网页的xpath了吧
但是
我跳转下一页不喜欢这样跳，这样跳，每一次我还得去找规律，一大串网址麻烦的不要不要的，所以，给你们说一种新方法；
我们来看看下一页的url，用xpath该怎么去获取：
看到这个标签之后，再看看我打的箭头，知道我要干什么了吧。我们可以直接写xpath语法去获取这个url，如果有，就交给解析函数去解析当前页的网址，没有的话就结束函数的运行：
看看xpath语法该咋写：
//div[@class='p_in']//li[last()]/a/@href
- 1
所以我们只需要做如下判断：
next_page = response.xpath("//div[@class='p_in']//li[last()]/a/@href").get()
if next_page:
yield scrapy.Request(next_page,callback=self.parse,dont_filter=True)
- 1
- 2
- 3
如果有下一页，就继续交给parse()函数去解析网址；
我们再回到之前的问题，我们拿到当前页的招聘网址之后，就要进入到这个网址里面；所以，我们就需要一个解析页面的函数去解析我们的字段；
所以我们全部的代码如下：
import scrapy
from qianchengwuyou.items import QianchengwuyouItem
class QcwySpider(scrapy.Spider):
name = 'qcwy'
allowed_domains = ['https://www.51job.com/']
start_urls = ['https://search.51job.com/list/000000,000000,0130%252C7501%252C7506%252C7502,01%252C32%252C38,9,99,%2520,2,1.html?lang=c&stype=&postchannel=0000&workyear=99&cotype=99°reefrom=99&jobterm=99&companysize=99&providesalary=99&lonlat=0%2C0&radius=-1&ord_field=0&confirmdate=9&fromType=&dibiaoid=0&address=&line=&specialarea=00&from=&welfare=']
def parse(self, response):
all_urls = response.xpath("//*[@id='resultList']/div[@class='el']/p/span/a/@href").getall()
for url in all_urls:
yield scrapy.Request(url,callback=self.parse_html,dont_filter=True)
next_page = response.xpath("//div[@class='p_in']//li[last()]/a/@href").get()
if next_page:
yield scrapy.Request(next_page,callback=self.parse,dont_filter=True)
- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9
- 10
- 11
- 12
- 13
- 14
我们就单独再写一个parse_html()函数去解析页面就行了；
这样就能抓取到93页全部招聘网址；
字段提取
我们随便点进去一个招聘信息瞅一瞅；
我们需要的是这里面的字段信息；
还是老样子，打开审查工具看看构造是什么样的；
我们很大一部分的信息都在这个标签里面，所以，我们就可以单独在这个标签中拿到我们需要的信息。所以，我这儿就直接把xpath语法贴出来，至于怎么分析怎么写，上面讲过了；
zhiweimingcheng = response.xpath("//div[@class='cn']/h1/text()").getall()[0]
xinzishuipin = response.xpath("//div[@class='cn']//strong/text()").get()
zhaopindanwei = response.xpath("//div[@class='cn']//p[@class='cname']/a[1]/@title").get()
gongzuodidian = response.xpath("//div[@class='cn']//p[@class='msg ltype']/text()").getall()[0]
gongzuojingyan = response.xpath("//div[@class='cn']//p[@class='msg ltype']/text()").getall()[1]
xueli = response.xpath("//div[@class='cn']//p[@class='msg ltype']/text()").getall()[2]
- 1
- 2
- 3
- 4
- 5
- 6
我们除了这些字段，还需要任职要求和技能要求。我们再看看，下面的职位信息这个标签中的内容；
我们需要的内容都在这个标签里面。但是，这些技能标签我们该怎么去提取呢。我也没想到办法，所以我干脆就不提取这里面的技能，我们重新打开一个招聘信息看看；
看见没有，有关键字。所以我们就可以把这个关键字拿来当我们需要的技能标签。
但是又有细心的小伙伴发问了，有的没有关键字这一栏咋办，那岂不是找不到标签会报语法错误。
so，你是忘了你学过的try except语法了吗。
所以，我们抓取全部的字段，就可以这样来写：
def parse_html(self,response): item = QianchengwuyouItem() try: zhiweimingcheng = response.xpath("//div[@class='cn']/h1/text()").getall()[0] xinzishuipin = response.xpath("//div[@class='cn']//strong/text()").get() zhaopindanwei = response.xpath("//div[@class='cn']//p[@class='cname']/a[1]/@title").get() gongzuodidian = response.xpath("//div[@class='cn']//p[@class='msg ltype']/text()").getall()[0] gongzuojingyan = response.xpath("//div[@class='cn']//p[@class='msg ltype']/text()").getall()[1] xueli = response.xpath("//div[@class='cn']//p[@class='msg ltype']/text()").getall()[2] yaoqius = response.xpath("//div[@class='bmsg job_msg inbox']//text()").getall() yaoqiu_str = "" for yaoqiu in yaoqius: yaoqiu_str+=yaoqiu.strip() jineng = "" guanjianzi = response.xpath("//p[@class='fp'][2]/a/text()").getall() for i in guanjianzi: jineng+=i+" " except: zhiweimingcheng="" xinzishuipin="" zhaopindanwei = "" gongzuodidian = "" gongzuojingyan ="" xueli = "" yaoqiu_str = "" jineng = ""
- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9
- 10
- 11
- 12
- 13
- 14
- 15
- 16
- 17
- 18
- 19
- 20
- 21
- 22
- 23
- 24
- 25
- 26
当然，这些字段抓取到了然后呢，总得需要去想个办法保存到MongoDB中吧，所以，我们就可以通过之前定义好的items来保存数据；
so，你看了这么久，终于等到主页的全部代码了，我也废话讲了这么一大片了：
# -*- coding: utf-8 -*- import scrapy from qianchengwuyou.items import QianchengwuyouItem class QcwySpider(scrapy.Spider): name = 'qcwy' allowed_domains = ['https://www.51job.com/'] start_urls = ['https://search.51job.com/list/000000,000000,0130%252C7501%252C7506%252C7502,01%252C32%252C38,9,99,%2520,2,1.html?lang=c&stype=&postchannel=0000&workyear=99&cotype=99°reefrom=99&jobterm=99&companysize=99&providesalary=99&lonlat=0%2C0&radius=-1&ord_field=0&confirmdate=9&fromType=&dibiaoid=0&address=&line=&specialarea=00&from=&welfare='] def parse(self, response): all_urls = response.xpath("//*[@id='resultList']/div[@class='el']/p/span/a/@href").getall() for url in all_urls: yield scrapy.Request(url,callback=self.parse_html,dont_filter=True) next_page = response.xpath("//div[@class='p_in']//li[last()]/a/@href").get() if next_page: yield scrapy.Request(next_page,callback=self.parse,dont_filter=True) def parse_html(self,response): item = QianchengwuyouItem() try: zhiweimingcheng = response.xpath("//div[@class='cn']/h1/text()").getall()[0] xinzishuipin = response.xpath("//div[@class='cn']//strong/text()").get() zhaopindanwei = response.xpath("//div[@class='cn']//p[@class='cname']/a[1]/@title").get() gongzuodidian = response.xpath("//div[@class='cn']//p[@class='msg ltype']/text()").getall()[0] gongzuojingyan = response.xpath("//div[@class='cn']//p[@class='msg ltype']/text()").getall()[1] xueli = response.xpath("//div[@class='cn']//p[@class='msg ltype']/text()").getall()[2] yaoqius = response.xpath("//div[@class='bmsg job_msg inbox']//text()").getall() yaoqiu_str = "" for yaoqiu in yaoqius: yaoqiu_str+=yaoqiu.strip() jineng = "" guanjianzi = response.xpath("//p[@class='fp'][2]/a/text()").getall() for i in guanjianzi: jineng+=i+" " except: zhiweimingcheng="" xinzishuipin="" zhaopindanwei = "" gongzuodidian = "" gongzuojingyan ="" xueli = "" yaoqiu_str = "" jineng = "" finally: item["zhiweimingcheng"] = zhiweimingcheng item["xinzishuipin"] = xinzishuipin item["zhaopindanwei"] = zhaopindanwei item["gongzuodidian"] = gongzuodidian item["gongzuojingyan"] = gongzuojingyan item["xueli"] = xueli item["yaoqiu"] = yaoqiu_str item["jineng"] = jineng yield item
- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9
- 10
- 11
- 12
- 13
- 14
- 15
- 16
- 17
- 18
- 19
- 20
- 21
- 22
- 23
- 24
- 25
- 26
- 27
- 28
- 29
- 30
- 31
- 32
- 33
- 34
- 35
- 36
- 37
- 38
- 39
- 40
- 41
- 42
- 43
- 44
- 45
- 46
- 47
- 48
- 49
- 50
- 51
- 52
然后，保存数据就简单了，我们去pipelines.py中连接到我们的MongoDB，然后保存数据进去；由于保存数据太简单，百度上一搜就能搜到，我就直接贴代码出来了：
from scrapy.utils.project import get_project_settings settings = get_project_settings() import pymongo class QianchengwuyouPipeline: def __init__(self): host = settings['MONGODB_HOST'] port = settings['MONGODB_PORT'] self.client = pymongo.MongoClient(host=host,port=port) self.db = self.client[settings['MONGODB_DBNAME']] self.coll = self.db[settings['MONGODB_DOCNAME']] def process_item(self, item, spider): data = dict(item) self.coll.insert(data) return item def close(self): self.client.close()
- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9
- 10
- 11
- 12
- 13
- 14
- 15
- 16
然后，开始我们的爬虫启动；
由于这个爬虫不是分布式，所以，要一条一条的请求，会很慢很慢，你可以在这个时间去吃个饭，看个电影都行；
最后看看我们拿到的数据是什么样子的；
一共有4600条数据；整整爬了一个多小时，后期改进；
可视化
分析“数据分析”、“大数据开发工程师”、“数据采集”等岗位的平均工资、最高工资、最低工资，并作条形图将结果展示出来
新建一个文件，名字自己起，我的叫数据可视化.py
然后需要连接mongodb和做条形图，就导入下面的这些库，re用来提取一些不方便取出来的数据
import pymongo
import re
from pyecharts.charts import Bar
from pyecharts import options as opts
myclient = pymongo.MongoClient("127.0.0.1",port=27017)
mydb = myclient["51job"]
mytable = mydb["jobTable"]
- 1
- 2
- 3
- 4
- 5
- 6
- 7
先来分析分析需要哪些东西（这儿我就先分析一个，其他两个是一样的道理）；
- 首先，岗位名称是数据分析
- 然后要三个变量来保存最低、最高、平均薪资。
因为岗位是数据分析，但是招聘岗位不可能就这四个字。所以我们需要用到模糊查询，类似于mysql中的like。求工资，平均工资直接就最低+最高然后除2，所以，这儿就用正则语法来提取有最低和最高工资的标签栏。
多个条件用$and连接；
看看条件怎么写吧；
shujufenxi_query = {"$and":
[{"zhiweimingcheng": {"$regex": "数据分析"}},
{"xinzishuipin": {"$regex": "万/月"}}
]
}
- 1
- 2
- 3
- 4
- 5
然后定义三个列表，用来保存三种数据，后面用来给柱状图传参；
所以代码如下：
def shujufenxi(query): min_salary_list = [] max_salary_list = [] average_salary_list = [] addr_list = [] for i in mytable.find(query): min_salary = i["xinzishuipin"].split("-")[0] # print(min_salary) max_salary = re.findall(r'([\d+\.]+)', (i["xinzishuipin"].split("-")[1]))[0] average_salary = "{:.1f}".format((float(min_salary) + float(max_salary)) / 2) company = i["gongzuodidian"] print(company) min_salary_list.append(min_salary) max_salary_list.append(max_salary) average_salary_list.append(average_salary) addr_list.append(company) bar = Bar( init_opts=opts.InitOpts(width="1800px", height="800px"), ) bar.set_global_opts( title_opts=opts.TitleOpts(title="数据分析工程师薪资", subtitle="单位 万/月"), xaxis_opts=opts.AxisOpts(axislabel_opts={"rotate": 45}), ) bar.add_xaxis(addr_list) bar.add_yaxis("最高薪资", max_salary_list) bar.add_yaxis("最低薪资", min_salary_list) bar.add_yaxis("平均薪资", average_salary_list) bar.render("数据分析工程师.html")
- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9
- 10
- 11
- 12
- 13
- 14
- 15
- 16
- 17
- 18
- 19
- 20
- 21
- 22
- 23
- 24
- 25
- 26
- 27
- 28
其他两个道理是一样的道理，我就不写代码了；自己慢慢摸索吧。
我们来看看数据展示的效果图；由于数据量太大，展示出来已经面目全非了，后期改进；
分析“数据分析”、“大数据开发工程师”、“数据采集”等大数据相关岗位在成都、北京、上海、广州、深圳的岗位数，并做条形图将结果展示出来
其实这个图和前面做的图步骤也差不多；
我就直接贴代码上去了；
import pymongo import re from pyecharts.charts import Bar from pyecharts import options as opts myclient = pymongo.MongoClient("127.0.0.1",port=27017) mydb = myclient["51job"] mytable = mydb["jobTable"] query_chengdu = {"$and": [{"gongzuodidian":{"$regex":"成都"}}, {"zhiweimingcheng": {"$regex": "数据分析"}} ] } query_beijing = {"$and": [{"gongzuodidian":{"$regex":"北京"}}, {"zhiweimingcheng": {"$regex": "数据分析"}} ] } query_shanghai = {"$and": [{"gongzuodidian":{"$regex":"上海"}}, {"zhiweimingcheng": {"$regex": "数据分析"}} ] } query_guangzhou = {"$and": [{"gongzuodidian":{"$regex":"广州"}}, {"zhiweimingcheng": {"$regex": "数据分析"}} ] } query_shenzhen = {"$and": [{"gongzuodidian":{"$regex":"深圳"}}, {"zhiweimingcheng": {"$regex": "数据分析"}} ] } chengdu_num = 0 beijing_num = 0 shanghai_num = 0 guangzhou_num = 0 shenzhen_num = 0 for i in mytable.find(): if "成都" in i["gongzuodidian"]: chengdu_num+=1 elif "北京" in i["gongzuodidian"]: beijing_num+=1 elif "上海" in i["gongzuodidian"]: shanghai_num+=1 elif "广州" in i["gongzuodidian"]: guangzhou_num+=1 elif "深圳" in i["gongzuodidian"]: shenzhen_num+=1 print(chengdu_num,beijing_num,shanghai_num,guangzhou_num,shenzhen_num) addr = ["成都","北京","上海","广州","深圳"] num = [chengdu_num,beijing_num,shanghai_num,guangzhou_num,shenzhen_num] bar = Bar(init_opts=opts.InitOpts(width="1800px", height="800px")) bar.set_global_opts( title_opts=opts.TitleOpts(title="数据分析师地区岗位个数", subtitle="单位 个"), xaxis_opts=opts.AxisOpts(axislabel_opts={"rotate": 45}), ) bar.add_xaxis(addr) bar.add_yaxis("数据分析师地区岗位个数", num) bar.render("数据分析师地区岗位个数.html")
- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9
- 10
- 11
- 12
- 13
- 14
- 15
- 16
- 17
- 18
- 19
- 20
- 21
- 22
- 23
- 24
- 25
- 26
- 27
- 28
- 29
- 30
- 31
- 32
- 33
- 34
- 35
- 36
- 37
- 38
- 39
- 40
- 41
- 42
- 43
- 44
- 45
- 46
- 47
- 48
- 49
- 50
- 51
- 52
- 53
- 54
- 55
- 56
- 57
- 58
- 59
- 60
- 61
- 62
看看运行结果啥样的：
分析大数据相关岗位1-3年工作经验的薪资水平（平均工资、最高工资、最低工资），并做出条形图展示出来
这些图都没啥水平，无非就是查询条件不一样；
看看结果啥样的：
也是乱的一批，数据太多，过滤之后也是这个鬼样子；
将数据采集岗位要求的技能做出词云图
还记得我们之前写的那个关键词吗，对，没错，我们就是要用这个来做词云图。
词云图还是使用pyecharts自带的WordCloud来搞定；
因为我们拿到的所有关键字，在之前用了空白去替换，也就是说，做出来的词云图会有瑕疵，也就需要我们去想办法去过滤一遍。其中的逻辑就交给你们自己想想该怎么去过滤儿。我就负责给你们思路；
- 因为词云图会根据你元素出现的次数来判断大小，所以，我们需要统计每个元素出现的次数
- 其次，你还要过滤空白，还有一些特殊字符
最后给你们展示一下词云图的效果;
总结经验
这个项目，实用性还是很强，用到的知识点也很广泛，对巩固基础也有很好的效果。
唯一美中不足的地方就是爬行速度太慢，建议使用分布式或者多线程模式爬取。
谢谢观看 ~~~
