【Python行业分析2】BOSS直聘招聘信息获取之爬虫工具分析_boss直聘网职位数据的爬取系统功能图

文中使用的组件库仅限于Python语言，由于最近收到一些同学的留言说，按照网上的教程一步一步的学习，却频繁的出现报错，很多情况是因为版本不一致的问题导致的，我会在文中描述示例的库版本号，新手同学还需多加留意。

爬虫程序分析

我们可以使用很多方式来完成一个爬虫程序的编写，可以使用比较完善的爬虫框架（博主是并没有使用过这方面的框架，只会些小打小闹的，所以不过多描述），也可以使用request、aiohttp、BeautifulSoup库实现基础的爬虫功能，我们后面的学习也是基于这几个库迭代完成的。

Python主流的爬虫框架

你以为Python爬虫框架只有Scrapy么，Python中还有些主流的爬虫框架我们在此简答介绍下

1.Scrapy

Scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架。 可以应用在包括数据挖掘，信息处理或存储历史数据等一系列的程序中。。用这个框架可以轻松爬下来如亚马逊商品信息之类的数据。

项目地址：https://scrapy.org/

2.PySpider

pyspider 是一个用python实现的功能强大的网络爬虫系统，能在浏览器界面上进行脚本的编写，功能的调度和爬取结果的实时查看，后端使用常用的数据库进行爬取结果的存储，还能定