使用Python爬取前程无忧上南京地区Python职位以及对应工资

获取原始数据

最近在学习Python，做了一个爬虫程序练练手，前程无忧这个网站页面布局还是挺简单的，适合我这种新手。使用requests+bs4爬取
不多说了，先来看看页面布局吧。

这是前程无忧上的职位列表，看上去还是很清楚的

然后再来看看页面布局，使用Google浏览器打开前程无忧网页，然后按下F12

每一个class为el的div就代表一个招聘信息

然后再来看看div里面是怎么布局的，我们需要获取第二列公司名称以及第四列的薪资，其他的暂时不管。

公司名称在el这个div下面的class为t2的span标签下面。

薪资在t4的span标签下面。
这样获取的逻辑就很简单了。

• 首先使用BeautifulSoup解析request获取的html
• 找到所有class=el的div标签的集合
• 在每个el标签下找到t2和t4标签，将它们的内容读取保存在字典中
• 比如：‘南京万瑞建设工程有限公司’：‘12-20万/年’

以上是爬取一页的数据，我们当然不能只能爬取一页这么简单了，往下一页爬取有两种方法：
第一种方法就是获取到下一页的url，然后通过递归调用，不断地爬取
下一页的标签是这样的：

下一页在class等于bk的li标签下的a标签里面，首先要获取下一页的标签next_page，然后通过

next_url = next_page['href']
1

就可以获取到url，然后重复上述爬取一页的步骤，就可以不断的往下爬取了。

第二种方法我们来研究一下url
https://search.51job.com/list/070200,000000,0000,00,9,99,Python,2,1.html
这是第一页的url，注意最后的Python，2,1
https://search.51job.com/list/070200,000000,0000,00,9,99,Python,2,2.html
这是第二页，区别就是2,1变成了2,2
后面第三页，第四页就不看了，都是一样，只有数字的变化，这样就可以采用for循环了。

urlpri = 'https://search.51job.com/list/070200,000000,0000,00,9,99,Python,2,{page}.html'
for i in range(1,page+1) ：#从1开始，并且page要加1，不然爬取不到最后一页
	url = urlpri.format(**{'page':i})
1
2
3

下面来看这部分代码：

def salary_python(page):
    """
    获取前程无忧上前page页的Python职位对应的公司名称以及薪水
    :param page: 页数
    :return:返回公司名称与薪水对应的字典
    """
    urlpri = 'https://search.51job.com/list/070200,000000,0000,00,9,99,Python,2,{page}.html'
    info = {}
    for i in range(1,page+1):
        url = urlpri.format(**{'page':i})
        res = requests.get(url)
        if res.status_code == 200:
            soup = BeautifulSoup(res.content, 'lxml')
            jobList = soup.find_all('div', class_='el')
            for job in jobList:
                companyName = ''
                salary = ''
                companyTag = job.find('span', class_='t2')
                if companyTag:
                    companyTag1 = companyTag.find('a')
                    if companyTag1:
                        companyName = companyTag1.string
                salaryTag = job.find('span', class_='t4')
                if salaryTag:
                    salary = salaryTag.string
                if companyName and salary: #有些职位没有写薪资，遇到这样的我们就跳过，这地方需要过滤一下
                    info[companyName] = salary
    return info
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28

看一下运行结果，是可以获取到对应的公司名称以及开出的薪资的，我的pycharm不知道出了啥问题，debug的时候想点开看一下，结果一点开debug就卡死，有知道原因的大神可以来解答一下。

数据简单处理

上面我们获取到的是原始数据，只有这个数据是看不出什么的，所以我们简单处理一下，这里用到Python的pandas模块，需要先安装一下

pip install pandas
1

主要是对工资进行处理，研究一下发现工资的写法主要包括下面几种

• xx(-xx)万/月
• xx(-xx)万/年
• xx(-xx)千/月
• xx(-xx)百/天
  或者没有万，百，千这种单位，直接是数字加上时间（月，年，天）
  剩下一些少见的单位，像什么万/天、百/月，就不考虑了。

我们单独写一个方法来处理工资的这种表述，统一化成 以月为单位 的形式
比如12万/年，将其转化为10000
对于工资在某一范围的，就取个中间值吧
比如0.6–1.2万/月，转化为9000

下面来看代码：

def handle_salary(s):
    """
    将str类型的薪水表述，转化为flaot类型，并全部转化为 元/月为单位
    :param s: 字符串类型数据
    :return: float类型薪水
    """
    if r'万' in s and r'月' in s:
        matchwMouth1 = re.match(r'(\d+\.*\d*)\-(\d+\.*\d*)', s, re.I)
        matchwMouth2 = re.match(r'(\d+\.*\d*)', s, re.I)
        if matchwMouth1:
            sMin = float(matchwMouth1.group(1))
            sMax = float(matchwMouth1.group(2))
            salary = (sMax+sMin)/2.0
            return round(salary*10000, 2)
        elif matchwMouth2:
            salary = float(matchwMouth2.group(1))
            return round(salary*10000, 2)
        else:
            return s
    elif r'万' in s and r'年' in s:
        matchwYear1 = re.match(r'(\d+\.*\d*)\-(\d+\.*\d*)', s, re.I)
        matchwYear2 = re.match(r'(\d+\.*\d*)', s, re.I)
        if matchwYear1:
            sMin = float(matchwYear1.group(1))
            sMax = float(matchwYear1.group(2))
            salary = (sMax + sMin) / (2.0*12)
            return round(salary*10000, 2)
        elif matchwYear2:
            salary = float(matchwYear2.group(1))/12.0
            return round(salary*10000, 2)
        else:
            return s
    elif r'千' in s and r'月' in s:
        matchqMouth1 = re.match(r'(\d+\.*\d*)\-(\d+\.*\d*)', s, re.I)
        matchqMouth2 = re.match(r'(\d+\.*\d*)', s, re.I)
        if matchqMouth1:
            sMin = float(matchqMouth1.group(1))
            sMax = float(matchqMouth1.group(2))
            salary = (sMax + sMin) / 2.0
            return round(salary*1000, 2)
        elif matchqMouth2:
            salary = float(matchqMouth2.group(1))
            return round(salary*1000, 2)
        else:
            return s
    elif r'百' in s and r'天' in s:
        matchbDay1 = re.match(r'(\d+\.*\d*)\-(\d+\.*\d*)', s, re.I)
        matchbDay2 = re.match(r'(\d+\.*\d*)', s, re.I)
        if matchbDay1:
            sMin = float(matchbDay1.group(1))
            sMax = float(matchbDay1.group(2))
            salary = (sMax + sMin) / 2.0
            return round(salary*3000, 2)
        elif matchbDay2:
            salary = float(matchbDay2.group(1))
            return round(salary*3000, 2)
        else:
            return s
    elif r'天' in s:
        matchbDay1 = re.match(r'(\d+\.*\d*)\-(\d+\.*\d*)', s, re.I)
        matchbDay2 = re.match(r'(\d+\.*\d*)', s, re.I)
        if matchbDay1:
            sMin = float(matchbDay1.group(1))
            sMax = float(matchbDay1.group(2))
            salary = (sMax + sMin) / 2.0
            return round(salary*30, 2)
        elif matchbDay2:
            salary = float(matchbDay2.group(1))
            return round(salary*30, 2)
        else:
            return s
    elif r'月' in s:
           matchMouth1 = re.match(r'(\d+\.*\d*)\-(\d+\.*\d*)', s, re.I)
           matchMouth2 = re.match(r'(\d+\.*\d*)', s, re.I)
           if matchMouth1:
               sMin = float(matchMouth1.group(1))
               sMax = float(matchMouth1.group(2))
               salary = (sMax + sMin) / 2.0
               return round(salary, 2)
           elif matchMouth2:
               salary = float(matchMouth2.group(1))
               return round(salary, 2)
           else:
               return s
    elif r'年' in s:
        matchYear1 = re.match(r'(\d+\.*\d*)\-(\d+\.*\d*)', s, re.I)
        matchYear2 = re.match(r'(\d+\.*\d*)', s, re.I)
        if matchYear1:
            sMin = float(matchYear1.group(1))
            sMax = float(matchYear1.group(2))
            salary = (sMax + sMin) / (2.0 * 12)
            return round(salary, 2)
        elif matchYear2:
            salary = float(matchYear2.group(1)) / 12.0
            return round(salary, 2)
        else:
            return s
    else:
        return s  #工资的表示形式如果不在上述几种形式范围内，就返回它的原有值，这个到后面还要在处理
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99

调试一下，输出都是对的。

接下来用一个for循环，把全部数据处理一下。
奉上代码：

def cleanData(dict):
    """
    清理获取的数据，薪水全部转化为float，单位为 元/月
    :param dict: 获取的原始数据
    :return: 返回处理过的数据
    """
    nameList = list(dict.keys())
    salary = list(dict.values())
    salaryList = []
    for item in salary:
        salaryItem = handle_salary(item)
        salaryList.append(salaryItem)

    dataDict = {}
    for i in range(len(nameList)):
        dataDict[nameList[i]] = salaryList[i]

    dataDictNew = {}
    for key,value in dataDict.items():
        if isinstance(value,float):
            dataDictNew[key] = value
    data = {'name': list(dataDictNew.keys()), 'salary': list(dataDictNew.values())}
    df = pd.DataFrame(data)
    return df
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24

这里有几点要说明

    dataDict = {}
    for i in range(len(nameList)):
        dataDict[nameList[i]] = salaryList[i]
1
2
3

对数据的处理其实到这儿就已经结束了

 dataDictNew = {}
    for key,value in dataDict.items():
        if isinstance(value,float):
            dataDictNew[key] = value
1
2
3
4

这部分代码是为了过滤掉上面说的handle_salary这个方法没能处理掉的数据，经过处理过的工资，数据类型应该都是float，如果不是float，就将这条数据删除。

    data = {'name': list(dataDictNew.keys()), 'salary': list(dataDictNew.values())}
    df = pd.DataFrame(data)
    return df
1
2
3

这是将数据保存为pandas的dataframe形式，关于这种数据结构，可以参考这篇博客
https://www.cnblogs.com/IvyWong/p/9203981.html

保存数据

经过处理过的数据，将它保存在一个csv文件里，方便以后查看，pandas模块有直接处理csv文件的方法，非常方便。

def saveDataCsv(df):
    """
    保存数据到csv文件中
    :param df: dataframe类型数据
    :return:
    """
    filename = 'python_51job_salary.csv'
    try:
        df.to_csv(filename, encoding='gbk')
    except UnicodeEncodeError:
        print("编码错误, 该数据无法写到文件中, 直接忽略该数据")
1
2
3
4
5
6
7
8
9
10
11

简单分析

dataframe有个describe()方法，可以简单分析一下数据，我们来看一下

print(dfSalary.describe())  #dfsalary是处理过的数据，保存为dataframe格式
1

输出：

             salary
count    146.000000       #样本数量
mean   13519.748836     #工资平均值
std     7021.955639         #工资标准差
min     3750.000000        #最小值
25%     9000.000000		#从小到大排列，第25%的那个数
50%    12500.000000      #中位数
75%    15750.000000      #同25%
max    45000.000000       #最大值
1
2
3
4
5
6
7
8
9

还可以利用pandas模块画一个折线图

dfSalary.plot()
plt.show()  #绘制折现图表
1
2

工资看上去一万到两万的比较多。
下面这个方法用于统计工资高于某个值所占的比例：

def over(df, num):
    """
    计算高于num的工资所占比例
    :param df: 原始数据，dataframe类型
    :param num: 高于工资
    :return: 比例
    """
    salaryList = df.salary.tolist()
    overList = [x for x in salaryList if x>num]
    over = len(overList)*1.0/len(salaryList)
    return over
1
2
3
4
5
6
7
8
9
10
11

print(over(dfSalary,10000))    #工资高于10000所占比例  输出：0.7123287671232876
1

各位可以看下自己大概在啥水平哈。

新手一枚，代码还有许多不合理之处，欢迎各位大神提出意见，共同进步！！
附上github源码：
https://github.com/cchhgithub/pythonLearning/blob/master/pachong/51job.py