（71）--爬取拉勾网招聘信息

# 爬取拉勾网招聘信息

from selenium import webdriver
import time
from lxml import etree
 
dc = {
    'phantomjs.page.customHeaders.User-Agent' : 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36'
}
phantom = webdriver.PhantomJS(executable_path=r'E:\Python\phantomjs-2.1.1-windows\bin\phantomjs.exe',desired_capabilities=dc)
 
# 首次获取第一页
phantom.get('https://www.lagou.com/jobs/list_')
time.sleep(1)
 
while True:
    # 循环获取下一页的数据
    page_source = phantom.page_source
    html = etree.HTML(page_source)
 
    job_li = html.xpath('//ul[@class="item_con_list"]/li')
    # print(job_li)
    for job in job_li:
        job_name = job.xpath('.//h3/text()')[0]
        job_time = job.xpath('.//span[@class="format-time"]/text()')[0]
        job_money = job.xpath('.//span[@class="money"]/text()')[0]
        job_edu = job.xpath('.//div[@class="li_b_l"]/text()')[2].strip()
        job_tag = job.xpath('.//div[@class="list_item_bot"]//div[@class="li_b_l"]/span/text()')
        job_company = job.xpath('.//div[@class="company_name"]/a/text()')[0]
        job_comindustry = job.xpath('.//div[@class="industry"]/text()')[0].strip()
 
        print(job_name,job_time,job_money,job_edu)
        # print(job_tag)
        # print(job_company)
        # print(job_comindustry)
 
    # 寻找下一页按钮
    if 'pager_next_disabled' not in page_source:
        phantom.find_element_by_class_name('pager_next ').click()
        time.sleep(0.5)
    else:
        break
 
 
phantom.quit()

# 爬取结果如下：

C:\Users\cz\AppData\Local\Programs\Python\Python35\python.exe E:/Python/python爬虫/20.py
C:\Users\cz\AppData\Roaming\Python\Python35\site-packages\selenium\webdriver\phantomjs\webdriver.py:49: UserWarning: Selenium support for PhantomJS has been deprecated, please use headless versions of Chrome or Firefox instead
  warnings.warn('Selenium support for PhantomJS has been deprecated, please use headless '
KOL运营经理 09:52发布 15k-20k 经验1-3年 / 大专
中高级Java工程师 09:52发布 6k-10k 经验1-3年 / 大专
最新共享项目招聘销售精英 09:52发布 5k-10k 经验不限 / 不限
Python软件开发工程师 09:52发布 13k-18k 经验1-3年 / 本科
运营助理 09:52发布 4k-8k 经验不限 / 大专
短视频内容运营 09:52发布 6k-7k 经验1-3年 / 本科
在线客服 09:52发布 10k-20k 经验1-3年 / 本科
运营总监 09:52发布 12k-18k 经验3-5年 / 大专
销售经理 09:52发布 10k-15k 经验1-3年 / 本科
前端开发工程师 09:52发布 6k-10k 经验3-5年 / 本科
行政经理 09:52发布 10k-15k 经验3-5年 / 本科
行政文员/助理（双休五险一金） 09:52发布 3k-4k 经验不限 / 大专
销售助理（实习） 09:52发布 2k-4k 经验不限 / 本科
省力宝净水器销售主管 09:51发布 4k-6k 经验1-3年 / 大专
2D 3D动画师（spine MAX） 09:51发布 5k-10k 经验1-3年 / 不限
KOL运营经理 09:52发布 15k-20k 经验1-3年 / 大专
中高级Java工程师 09:52发布 6k-10k 经验1-3年 / 大专
最新共享项目招聘销售精英 09:52发布 5k-10k 经验不限 / 不限
Python软件开发工程师 09:52发布 13k-18k 经验1-3年 / 本科
运营助理 09:52发布 4k-8k 经验不限 / 大专
短视频内容运营 09:52发布 6k-7k 经验1-3年 / 本科
在线客服 09:52发布 10k-20k 经验1-3年 / 本科
运营总监 09:52发布 12k-18k 经验3-5年 / 大专
销售经理 09:52发布 10k-15k 经验1-3年 / 本科
前端开发工程师 09:52发布 6k-10k 经验3-5年 / 本科
行政经理 09:52发布 10k-15k 经验3-5年 / 本科
行政文员/助理（双休五险一金） 09:52发布 3k-4k 经验不限 / 大专
销售助理（实习） 09:52发布 2k-4k 经验不限 / 本科
省力宝净水器销售主管 09:51发布 4k-6k 经验1-3年 / 大专
2D 3D动画师（spine MAX） 09:51发布 5k-10k 经验1-3年 / 不限
Java工程师 10:02发布 10k-20k 经验3-5年 / 大专
测试工程师 10:02发布 6k-8k 经验1-3年 / 本科
商务助理 10:02发布 3k-6k 经验1-3年 / 大专
短视频总监 10:02发布 15k-30k 经验5-10年 / 本科
室内设计师助理 10:02发布 3k-6k 经验1-3年 / 本科
采购专员 10:02发布 6k-9k 经验3-5年 / 大专
小微信贷－高级JAVA开发 10:02发布 18k-35k 经验1-3年 / 不限
行政 10:02发布 3K-5K 经验不限 / 不限
新媒体运营 10:02发布 4k-7k 经验不限 / 本科
系统售前顾问 10:02发布 5k-10k 经验1-3年 / 大专
产品运营（音乐app）实习生 10:02发布 1k-2k 经验应届毕业生 / 本科
php开发工程师 10:02发布 5k-8k 经验3-5年 / 大专
视频云销售经理-华东ÿ