python爬虫并做可视化分析--前程无忧_51job爬虫可视化

 一.数据采集

1.采集逻辑

 2.数据schema

招聘信息Schema

{

"岗位名称": "财务会计主管",

"薪资":"1.3-2万",

"地址": "*******",

"经验要求": "5-7年",

"公司名": "********",

"公司类型": "民营",

"人员规模": "少于50人",

"发展领域": "*******",

"工作福利": "****************",

"发布时间":"06-09发布"

}

3.数据爬取

        1.下载相关库并导入

#下载相关库
pip install -i https://pypi.tuna.tsinghua.edu.cn/simple selenium
pip install  undetected_chromedriver 
#导入相关库
import csv
import random
import time
import re
from time import sleep
from selenium import webdriver
import undetected_chromedriver as uc
from selenium.webdriver import ActionChains
from selenium.webdriver import ChromeOptions
from selenium.webdriver.common.by import By

        2.实例化浏览器对象

# # 实例化一个浏览器对象
driver=uc.Chrome()

注：使用selenium时可能会被检测，因此使用undetected_chromedriver 可以防止浏览器特征被识别，并且可以根据浏览器版本自动下载驱动。（建议浏览器更新到最新版本，避免不必要问题）

        3.发起请求

#发起请求
driver.get("https://www.51job.com/")
sleep(3)

设置休眠时间，避免网络卡顿等问题。

        4.键入关键词并搜索

#键入关键词并搜索
driver.find_element(By.XPATH, '//*[@id="kwdselectid"]').click()
driver.find_element(By.XPATH, '//*[@id="kwdselectid"]').clear()
driver.find_element(By.XPATH, '//*[@id="kwdselectid"]').send_keys('会计')
driver.find_element(By.XPATH, '/html/body/div[3]/div/div[1]/div/button').click()
sleep(5)

利用send_keys方法传入关键词，并通过xpath定位输入框和确定按钮，完成搜索工作。

        5.数据提取

    data=driver.page_source
    sleep(3)
    jobName=re.findall('class="jname at">(.*?)</span>',data,re.S)
    jobSalary=re.findall('class="sal">(.*?)</span>',data,re.S)
 
    address=[]
    experience=[]
    education=[]
    for req in re.findall('class="d at">(.*?)</p>',data,re.S):
        require=("".join(re.findall('<span data-v-b4bd26a2="">(.*?)</span>',req,re.S))).split('|')
        if len(require)==2:
            require.append('无学历要求')
        address.append(require[0])
        experience.append(require[1])
        education.append(require[2])
        
    companyName=re.findall('class="cname at">(.*?)</a>',data,re.S)
 
    companyType=[]
    companySize=[]
    for comp in re.findall('class="dc at">(.*?)</p>',data,re.S):
        #中间变量m
        m=("".join(comp).split('|'))
        if len(m)==2:
            companyType.append(m[0].strip())
            companySize.append(m[1].strip())
        else:
            companyType.append(m[0].strip())
            companySize.append("无公司规模数据")
 
    companyStatus=re.findall('class="int at">(.*?)</p>',data,re.S)
 
    jobWelf=[]
    for tag in re.findall('class="tags">(.*?)</p>',data,re.S):
        #中间变量n
        n=re.findall('<i data-v-b4bd26a2="">(.*?)</i>',tag,re.S)
        if len(n)==0:
            jobWelf.append('无工作福利数据')
        else:
            jobWelf.append(" ".join(n))
    updatetime = re.findall('class="time">(.*?)</span>', data, re.S)

其中,data为当前页的源代码，后续利用正则对数据进行提取（注：随着时间推移，源代码可能有稍微变动，需注意并修改正则表达式中的pattern）

        6.页面跳转

    driver.find_element(By.XPATH, '//*[@id="jump_page"]').click()
    sleep(random.randint(10, 30) * 0.1)
    driver.find_element(By.XPATH, '//*[@id="jump_page"]').clear()
    sleep(random.randint(10, 40) * 0.1)
    driver.find_element(By.XPATH, '//*[@id="jump_page"]').send_keys(page)
    sleep(random.randint(10, 30) * 0.1)
    driver.find_element(By.XPATH,
                        '//*[@id="app"]/div/div[2]/div/div/div[2]/div/div[2]/div/div[3]/div/div/span[3]').click()
    sleep(random.randint(10, 40) * 0.1)  

定位页码输入框并输入数字，点击跳转按钮实现跳转。在这个过程，每一步设置随机时间的休眠，防止被检测。

4.数据存储

本例中将数据导入csv文件：

#创建csv文件
with open('无忧-会计.csv', 'a', newline='') as csvfile:
    writer = csv.writer(csvfile)
    writer.writerow(['岗位名称','薪资','地址','经验要求','学历要求','公司名','公司类型','人员规模','发展领域','工作福利','发布时间'])
 
 
with open('无忧-会计.csv', 'a', newline='') as csvfile:
    writer = csv.writer(csvfile)
    for i in list(zip(jobName,jobSalary,address,experience,education,companyName,companyType,companySize,companyStatus,jobWelf,updatetime)):
            writer.writerow(i)

上述是数据采集模块的代码，需要大家充分理解各部分的功能从而完成采集工作。

二.可视化分析

1.数据预览

2.导入库及数据

import pandas as pd
import numpy as np
from pyecharts.charts import Pie
from pyecharts.charts import Funnel
from pyecharts.globals import ThemeType
import pyecharts.options as opts
 
#读取数据
df=pd.read_csv('无忧-会计.csv',encoding='gbk')

3.不同类型公司占比饼状图

companyType_valuecount=list(zip(df['公司类型'].value_counts().index,df['公司类型'].value_counts().values.tolist()))
#饼状图
pie=(
Pie()
.add(series_name="",data_pair=companyType_valuecount,radius=["20%","65%"])
.set_global_opts(title_opts=opts.TitleOpts(title="公司类型占比图",subtitle="--饼状图"))
.set_series_opts(label_opts=opts.LabelOpts(formatter="{b}:{d}%"))
)
pie.render_notebook()

由上图可知：绝大多数公司为民营企业，占比为80.8%，...........(读者自由发挥)

4.各公司的人员规模占比饼状图

companySize_valuecount=list(zip(df['人员规模'].value_counts().index,df['人员规模'].value_counts().values.tolist()))
#饼状图
pie=(
Pie()
.add(series_name="",data_pair=companySize_valuecount,rosetype="area",radius=["15%","80%"])
.set_global_opts(title_opts=opts.TitleOpts(title="人员规模占比图",subtitle="--饼状图",pos_top='bottom',pos_left='right'))
.set_series_opts(label_opts=opts.LabelOpts(formatter="{b}:{c}家"))
)
pie.render_notebook()

由上图可知：................................

 5.学历需求度分析--漏斗图

education_valuecount=list(zip(df['学历要求'].value_counts().index,df['学历要求'].value_counts().values.tolist()))
#漏斗图
funnel=(
Funnel()
.add(series_name="学历",data_pair=education_valuecount,sort_="ascending")
.set_global_opts(title_opts=opts.TitleOpts(title="学历需求度",subtitle="--漏斗图"),
                legend_opts=opts.LegendOpts(pos_left="left",pos_top="middle",orient = 'vertical'))
 
)
funnel.render_notebook()

由上图可知：....................