node-crawler: 前端爬虫库

node-crawler: 前端爬虫库

node-crawler 是一个基于 Node.js 的前端爬虫库，它可以让你轻松地抓取网页中的数据。

功能

• 支持 HTTP/HTTPS 协议。
• 自动处理重定向和重试。
• 支持异步回调或 Promise API。
• 可以设置请求头、Cookie 等选项。
• 支持自定义下载器（例如 PhantomJS）。

示例

const Crawler = require("node-crawler");

const c = new Crawler({
  // 网页 URL
  uri: "http://www.example.com",
  
  // 回调函数
  callback: function(error, res, done) {
    if (error) {
      console.log(error);
    } else {
      const $ = res.$;
      
      // 提取页面中的数据
      const title = $("title").text();
      console.log(title);
    }
    
    done();
  }
});
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21

安装

npm install node-crawler --save
1

文档

文档可以在这里找到：https://github.com/bda-research/node-crawler#readme

社区和支持

如果你有任何问题或建议，请在 GitHub 上提出问题：https://github.com/bda-research/node-crawler/issues

我们欢迎所有的贡献者，如果你想参与到项目的开发中来，可以查阅我们的贡献指南：https://github.com/bda-research/node-crawler/blob/master/CONTRIBUTING.md

让我们一起创建一个更好的爬虫社区！

推荐使用

如果你正在寻找一个简单易用的前端爬虫库，那么 node-crawler 将是一个不错的选择。它提供了丰富的功能，并且易于集成到你的项目中。

试试看吧！我们相信你会喜欢它的。

项目链接：https://gitcode.com/bda-research/node-crawler