python爬取招聘网站视频教程_Python爬取拉钩招聘网

爬虫准备

1、先获取薪资和学历、工作经验要求

由于拉勾网数据加载是动态加载的，需要我们分析。分析方法如下：

F12分析页面数据存储位置

我们发现网页内容是通过post请求得到的，返回数据是json格式，那我们直接拿到json数据即可。

我们只需要薪资和学历、工作经验还有单个招聘信息，返回json数据字典中对应的英文为：positionId,salary, education, workYear(positionId为单个招聘信息详情页面编号)。相关操作代码如下：

根据获取到的positionId来访问招聘信息详细页面

根据positionId还原访问链接：

访问招聘信息详情页面，获取职位描述(岗位职责和岗位要求)并清理数据：

运行结果：

四种图可视化数据+数据清理方式

矩形树图：

玫瑰饼图：

普通柱状图：

词云图：

Python爬虫岗位薪酬

关键词解析：

学历：本科

工作月薪：10k-30k

工作经验：1-5年

技能：分布式、多线程、框架、Scrapy、算法、数据结构、数据库

综合：爬虫这个岗位在学历要求上比较放松，大多数为本科即可，比较适合想转业的老哥小姐姐，学起来也不会特别难。而且薪资待遇上也还算比较优厚，基本在10k以上。不过唯一对工作经验要求还是比较高的，有近一半的企业要求工作经验要达到3年以上。

Python数据分析岗位

关键词解析：

学历：本科(硕士比例有所增高)

工作月薪：10k-30k

工作经验：1-5年

技能：SAS、SPSS、Hadoop、Hive、数据库、Excel、统计学、算法

综合：数据分析这个岗位在学历要求上比爬虫要求稍微高一些，硕士比例有所提升，专业知识上有一定要求。薪资待遇上也还算比较优厚，基本在10k以上，同时薪资在30k-40k的比例也有所上升。对工作经验要求还是比较高，大部分的企业要求工作经验要达到3年以上。

Python后端岗位

关键词解析：

学历：本科

工作月薪：10k-30k

工作经验：3-5年

技能：Flask、Django、Tornado、Linux、MySql、Redis、MongoDB、TCP/IP、数学(哈哈)

综合：web后端这个岗位对学历要求不高，但专业知识上有很大要求，得会Linux操作系统基本操作、三大主流数据库的使用、以及三大基本web框架的使用等计算机相关知识，总体来说难道还是比较大。薪资待遇上也比较优厚，基本在10k以上，同时薪资在30k-40k的比例也有近20%。对工作经验要求还是比较高，大部分的企业要求工作经验要达到3年以上。

Python全栈开发岗位

关键词解析：

学历：本科

工作月薪：10k-30k

工作经验：3-5年

技能：测试、运维、管理、开发、数据结构、算法、接口、虚拟化、前端

综合：全栈开发这个岗位什么都要懂些，什么都要学些，在学历要求上并不太高，本科学历即可，在专业知识上就不用说了，各个方面都得懂，还得理解运用。薪资待遇上也还可以，基本在10k以上，薪资在30k-40k的比例也有近20%。对工作经验要求还是比较高，大部分的企业要求工作经验要达到3年以上。总体来说，就我个人而言会觉得全栈是个吃力多薪水少的岗位。

Python运维开发岗位

关键词解析：

学历：本科

工作月薪：10k-30k

工作经验：3-5年

技能：SVN、Git、Linux、框架、shell编程、mysql，redis，ansible、前端框架

综合：运维开发这个岗位在学历要求上不高，除开占一大半的本科，就是专科了。工作经验上还是有一些要求，大多数要求有3-5年工作经验。从工资上看的话，不高也不低，20k以上也占有62%左右。要学习的东西也比较多，前端、后端、数据库、操作系统等等。

Python机器学习岗位

关键词解析：

学历：本科(硕士也占比很大)

工作月薪：30k以上

工作经验：3-5年

技能：Machine Learning，Data Mining，Algorithm 研发，算法，Linux，决策树，TF，Spark+MLlib，Cafe

综合：机器学习这个岗位在学历要求上比较严格，虽然看起来是本科居多，但对于刚毕业或毕业不久的同学，如果只是个本科，应聘还是很有难度的。当然机器学习岗位薪资特高，60%在30k以上，近90%在20k以上，97%在10k以上。除开对学历要求比较高外，对工作经验要求也比较高，有近一半的企业要求工作经验要达到3年以上。

Python架构师岗位

关键词解析：

学历：本科

工作月薪：30k以上

工作经验：5-10年

技能：Flask，Django，MySQL，Redis，MongoDB，Hadoop，Hive，Spark，ElasticSearch，Pandas，Spark/MR，Kafka/rabitmq

综合：架构师这个岗位单从学历上看不出什么来，但在薪资上几乎与机器学习一样，甚至比机器学习还要高，机器学习中月薪40k以上的占23.56%，架构师中月薪40k以上的占30.67%。在学历要求上比机器学习要略低，本科居多，但在工作经验上一半以上的企业要求工作经验在5-10年。在必要技能上也要求特别严格，比之前说过的全栈开发师有过之而无不及。

看着这月薪，你想去哪里呢

*声明：本文于网络整理，版权归原作者所有，如来源信息有误或侵犯权益，请联系我

ps：推荐一下我建的python零基础系统学习交流扣扣qun：937667509，群里有免费的视频教程，开发工具、电子书籍、项目源码分享。学习python web、python爬虫、数据分析、大数据，人工智能等技术有不懂的可以加入一起交流学习，一起进步！

记得关注评论、转发、收藏哟

长按下面二维码关注我

微信公众号：python教程