devbox
我家小花儿
这个屌丝很懒，什么也没留下！
关注作者
热门标签
热门文章
当前位置:   article > 正文

java爬虫---爬取某直聘招聘信息（超详细版）_招聘信息爬取

作者：我家小花儿 | 2024-05-01 04:30:09

赞

踩

招聘信息爬取

如有侵权，请联系删除。（求BOSS直聘放过）

前言：

我们爬取BOSS直聘的网站的方式是比较固定的，基本上爬取网站的方式都差不多。
静态网页的爬取比较简单，如下：

我们只需要获取网页的源代码，按照一些解析器，就可以完成对页面元素的获取。
动态网页就比较麻烦了，如下：

就是一堆JS的链接。。。。。

不过既然我们正常浏览器可以访问得到我们想要的结果，那我们就一定有机会拿到我们想要的数据；
这次我采取的方案是，比较水、比较慢的一种方案；WebMagic+selenium爬取页面元素，POI实现Excel存储，最终结果没有入库，直接导出了；

前期准备：

  • 下载驱动： 首先我们需要下载谷歌的驱动，可以去下面网址下载ChromeDriver - WebDriver for Chrome - Downloads (chromium.org)
  • 下载Excel 本次使用的是xlsx后缀的新版本Excel
  • Java的运行环境
  • 使用Maven搭建项目，导入依赖 
    1. <!-- https://mvnrepository.com/artifact/us.codecraft/webmagic-core -->
    2.         <dependency>
    3.             <groupId>us.codecraft</groupId>
    4.             <artifactId>webmagic-core</artifactId>
    5.             <version>0.8.0</version>
    6.         </dependency>
    7.         <!-- https://mvnrepository.com/artifact/us.codecraft/webmagic-extension -->
    8.         <dependency>
    9.             <groupId>us.codecraft</groupId>
    10.             <artifactId>webmagic-extension</artifactId>
    11.             <version>0.8.0</version>
    12.         </dependency>
    13.  
    14.         <!--selenium依赖-->
    15.         <dependency>
    16.             <groupId>org.seleniumhq.selenium</groupId>
    17.             <artifactId>selenium-java</artifactId>
    18.             <version>3.13.0</version>
    19.         </dependency>
    20.  
    21.         <!--配置POI-->
    22.         <dependency>
    23.             <groupId>org.apache.poi</groupId>
    24.             <artifactId>poi</artifactId>
    25.             <version>3.14</version>
    26.         </dependency>
    27.  
    28.         <dependency>
    29.             <groupId>org.apache.poi</groupId>
    30.             <artifactId>poi-ooxml</artifactId>
    31.             <version>3.14</version>
    32.         </dependency>
    33.  
    34.         <dependency>
    35.             <groupId>org.projectlombok</groupId>
    36.             <artifactId>lombok</artifactId>
    37.             <version>1.18.24</version>
    38.         </dependency>
  • 检索结果的pojo 
    1. @Data
    2. public class WorkInf {
    3.  
    4.     //招聘链接
    5.     private String url;
    6.     //工作名
    7.     private String workName;
    8.     //薪水
    9.     private String workSalary;
    10.     //工作地址
    11.     private String workAddress;
    12.     //工作内容
    13.     private String workContent;
    14.     //要求工作年限
    15.     private String workYear;
    16.     //学历
    17.     private String graduate;
    18.     //招聘人什么时候活跃
    19.     private String HRTime;
    20.     //公司名
    21.     private String companyName;
    22.     
    23.  
    24. }

代码：

代码对着WebMagic来一步步实现；想学Java爬虫的兄弟一定要先记住这幅图，可以找教程学学；

浏览器模拟（Download部分）：

上面讲了，动态页面没法直接通过获取源代码来实现爬取，所以我们要实现一个伪造的浏览器；selenium就帮我们很好的实现了这个技术（当然还有别的更好的解决方案，我感觉这个比较简单就用了这个）

首先我们需要下载谷歌的驱动，可以去下面网址下载ChromeDriver - WebDriver for Chrome - Downloads (chromium.org)

  1. public class ChromeDownloader implements Downloader {
  2.  
  3.     //声明驱动
  4.     private RemoteWebDriver driver;
  5.  
  6.     public ChromeDownloader() {
  7.         //第一个参数是使用哪种浏览器驱动
  8.         //第二个参数是浏览器驱动的地址
  9.         System.setProperty("webdriver.chrome.driver","谷歌驱动的下载地址，chromedriver.exe");
  10.  
  11.         //创建浏览器参数对象
  12.         ChromeOptions chromeOptions = new ChromeOptions();
  13.  
  14.         // chromeOptions.addArguments("--headless");
  15.         // 设置浏览器窗口打开大小
  16.         chromeOptions.addArguments("--window-size=1280,700");
  17.  
  18.         //创建驱动
  19.         this.driver = new ChromeDriver(chromeOptions);
  20.     }
  21.  
  22.     @Override
  23.     public Page download(Request request, Task task) {
  24.         try {
  25.             driver.get(request.getUrl());
  26.             Thread.sleep(1500);
  27.  
  28.             //无论是搜索页还是详情页,都滚动到页面底部,所有该加载的资源都加载
  29.             driver.executeScript("window.scrollTo(0, document.body.scrollHeight - 1000)");
  30.             Thread.sleep(1500l);
  31.  
  32.             //获取页面对象
  33.             Page page = createPage(request.getUrl(), driver.getPageSource());
  34.  
  35.             //关闭浏览器
  36.             //driver.close();
  37.  
  38.             return page;
  39.  
  40.         } catch (InterruptedException e) {
  41.             e.printStackTrace();
  42.         }
  43.  
  44.  
  45.         return null;
  46.     }
  47.  
  48.     @Override
  49.     public void setThread(int i) {
  50.  
  51.     }
  52.  
  53.     //构建page返回对象
  54.     private Page createPage(String url, String content) {
  55.         Page page = new Page();
  56.         page.setRawText(content);
  57.         page.setUrl(new PlainText(url));
  58.         page.setRequest(new Request(url));
  59.         page.setDownloadSuccess(true);
  60.  
  61. /*        System.out.println("==============page内容===============");
  62.         System.out.println("1."+content);
  63.         System.out.println("2."+new PlainText(url));
  64.         System.out.println("3."+new Request(url));
  65.         System.out.println("=====================================");*/
  66.         return page;
  67.     }
  68. }

 这里的代码直接抄就好了；

对页面进行解析（PageProcesser部分）

这里的逻辑分成两个部分，首先是BOSS的导航页，在这里我们可以拿到每一个工作的详情页的地址，然后把详情页地址添加到我们的Scheduler中，我们的爬虫程序有爬取的目标；

然后就是详情页，我们需要对其中的信息进行检索解析。

  1. public class BoosProcessor implements PageProcessor {
  2.     public static AtomicInteger pageNum = new AtomicInteger(2);
  3.     @Override
  4.     public void process(Page page) {
  5.         //去抓取职位列表
  6.         List<Selectable> nodes = page.getHtml().css("li.job-card-wrapper").nodes();
  7.  
  8.         if(nodes != null && nodes.size() > 0 || page.getUrl().get().contains("geek/job")){
  9.             //有值就是工作列表页
  10.             //遍历所有的列表项，拿超链接
  11.             for (Selectable node : nodes) {
  12.                 String s = node.css("a.job-card-left").links().get();
  13.                 page.addTargetRequest(s);
  14.                
  15.             }
  16.             page.addTargetRequest("https://www.zhipin.com/web/geek/job?query=java实习&city=101280100&page="+pageNum.getAndIncrement());
  17.         
  18.         }else {
  19.             //工作详情页  处理我们想要的信息，我这里都用了CSS选择器
  20.             Selectable biggest = page.getHtml().css("div#wrap");
  21.             WorkInf workInf = new WorkInf();
  22.             Selectable primary = biggest.css("div.info-primary");
  23.             String workName = primary.css("div.name h1").get();
  24.             String salary = primary.css("div.name span").get();
  25.             String year = primary.css("p span.text-experiece").get();
  26.             String graduate = primary.css("p span.text-desc.text-degree").get();
  27.             Selectable jobDetail = biggest.css("div.job-detail");
  28.             String workContent = jobDetail.css("div.job-detail-section div.job-sec-text").get();
  29.             String HrTime = jobDetail.css("h2.name span").get();
  30.             Selectable jobSider = biggest.css("div.job-sider");
  31.             String companyName = jobSider.css("div.sider-company a[ka=job-detail-company_custompage]").get();
  32.             String workAddress = jobDetail.css("div.location-address").get();
  33.  
  34.             workInf.setWorkName(Jsoup.parse(workName).text());
  35.             workInf.setWorkSalary(Jsoup.parse(salary).text());
  36.             workInf.setWorkYear(Jsoup.parse(year).text());
  37.             workInf.setGraduate(Jsoup.parse(graduate).text());
  38.             workInf.setWorkContent(Jsoup.parse(workContent).text());
  39.             workInf.setHRTime(Jsoup.parse(HrTime).text());
  40.             workInf.setCompanyName(Jsoup.parse(companyName).text());
  41.             workInf.setWorkAddress(Jsoup.parse(workAddress).text());
  42.             workInf.setUrl(page.getUrl().get());
  43.  
  44.             page.putField("workInf",workInf);
  45.         }
  46.  
  47.     }
  48.  
  49.     //可以对爬虫进行一些配置
  50.     private Site site = Site.me()
  51.             // 单位是秒
  52.             .setCharset("UTF-8")//编码
  53.             .setSleepTime(1)//抓取间隔时间,可以解决一些反爬限制
  54.             .setTimeOut(1000 * 10)//超时时间
  55.             .setRetrySleepTime(3000)//重试时间
  56.             .setRetryTimes(3);//重试次数
  57.  
  58.  
  59.     @Override
  60.     public Site getSite() {
  61.         return site;
  62.     }
  63. }

结果存储（Pipeline部分）

我没有让数据入库，而是直接导出到了Excel文件中。

  1. public class BoosPipeline implements Pipeline {
  2.     private final static String excel2003L =".xls";    //2003- 版本的excel
  3.     private final static String excel2007U =".xlsx";   //2007+ 版本的excel
  4.     public static Integer integer= new Integer(0);
  5.     public static List<WorkInf> workInfList = new ArrayList<>();
  6.  
  7.     @Override
  8.     public void process(ResultItems result, Task task) {
  9.         //设计存储过程
  10.         WorkInf workInf = result.get("workInf");
  11.         if(workInf==null){
  12.             return;
  13.         }
  14.         synchronized (BoosPipeline.class){
  15.             workInfList.add(workInf);
  16.             /*try {
  17.                 Thread.sleep(500);
  18.             } catch (InterruptedException e) {
  19.                 e.printStackTrace();
  20.             }*/
  21.             //多线程的话在这里获取一下锁
  22.             int howManyWorkStart = 10;
  23.             if(workInfList.size() >= howManyWorkStart){
  24.                 //追加存到Excel中
  25.                 try {
  26.                     String path = "Z:\\climbResult\\BOOSWork_java.xlsx";
  27.                     FileInputStream fileInputStream = new FileInputStream(path);
  28.                     XSSFWorkbook workbook=new XSSFWorkbook(fileInputStream);//得到文档对象
  29.                     Sheet sheet = workbook.getSheetAt(0);
  30.                     int lastRowNum = sheet.getLastRowNum();
  31.                     for(int i = 1 ; i<=howManyWorkStart ;i++){
  32.                         WorkInf inf = workInfList.get(i-1);
  33.                         Row row = sheet.createRow(lastRowNum+i);
  34.                         for(int j = 0 ; j < 9 ; j++){
  35.                             Cell cell = row.createCell(j);
  36.                             switch (j){
  37.                                 case 0 : cell.setCellValue(inf.getUrl()); break;
  38.                                 case 1 : cell.setCellValue(inf.getWorkName()); break;
  39.                                 case 2 : cell.setCellValue(inf.getWorkSalary()); break;
  40.                                 case 3 : cell.setCellValue(inf.getWorkAddress()); break;
  41.                                 case 4 : cell.setCellValue(inf.getWorkContent()); break;
  42.                                 case 5 : cell.setCellValue(inf.getWorkYear()); break;
  43.                                 case 6 : cell.setCellValue(inf.getGraduate()); break;
  44.                                 case 7 : cell.setCellValue(inf.getHRTime()); break;
  45.                                 case 8 : cell.setCellValue(inf.getCompanyName()); break;
  46.                                 default: break;
  47.                             }
  48.                         }
  49.                     }
  50.                     FileOutputStream fileOutputStream = new FileOutputStream(path);
  51.                     fileOutputStream.flush();
  52.                     workbook.write(fileOutputStream);
  53.                     fileOutputStream.close();
  54.                     //清空List
  55.                     workInfList.clear();
  56.                     System.out.println("===============workInfSize=======================");
  57.                     System.out.println("当前workInfList的长度为："+workInfList.size()+"完成一轮爬取");
  58.                     System.out.println("==================================================");
  59.                     integer++;
  60.                 } catch (Exception e) {
  61.                     e.printStackTrace();
  62.                 }
  63.             }
  64.             if(integer>500){
  65.                 System.exit(0);
  66.             }
  67.         }
  68.     }
  69.  
  70.     /*根据文件的后缀名去确定workbook的类型*/
  71.     public static Workbook getWorkbook(InputStream inStr, String fileName) throws Exception{
  72.         Workbook wb = null;
  73.         String fileType = fileName.substring(fileName.lastIndexOf("."));
  74.         if(excel2003L.equals(fileType)){
  75.             wb = new HSSFWorkbook(inStr);  //2003-
  76.         }else if(excel2007U.equals(fileType)){
  77.             wb = new XSSFWorkbook(inStr);  //2007+
  78.         }else{
  79.             throw new Exception("解析的文件格式有误！");
  80.         }
  81.         return wb;
  82.     }
  83. }

保存结果如下图所示：

启动类（程序入口）：

将我们上面写的类，放入到Spider中，Spider这个类负责管理整个爬虫程序；

  1. public class StartClimb {
  2.  
  3.     public static void main(String[] args) {
  4.         ChromeDownloader downloader = new ChromeDownloader();
  5.         BoosPipeline boosPipeline = new BoosPipeline();
  6.         //声明搜索页的初始地址
  7.         String url = "https://www.zhipin.com/web/geek/job?query=java实习&city=101280100";
  8.         Spider.create(new BoosProcessor())
  9.                 .addUrl(url)
  10.                 //设置下载器
  11.                 .setDownloader(downloader)
  12.                 //设置输出
  13.                 .addPipeline(boosPipeline)
  14.                 .run();
  15.  
  16.     }
  17. }

开始运行，大功告成，因为要模拟浏览器访问，所以速度是比较慢的，一分钟可能也就爬取4到5条想要的结果，不过有螃蟹吃，是不是已经很香了。

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/我家小花儿/article/detail/517013
推荐阅读
相关标签

Copyright © 2003-2013 www.wpsshop.cn 版权所有，并保留所有权利。

  

闽ICP备14008679号