node puppeteer拦截谷歌请求、设置浏览器响应-爬取电子书链接_puppeteer拦截请求并响应

(1)拦截谷歌请求:
	(1)拦截谷歌请求,使用后会激活会激活 request.abort, request.continue 和 request.respond 方法。
	
		await page.setRequestInterception(true);
		
	(2)监听request事件,对请求做出操作
		一旦启用请求拦截，每个请求都将停止，除非它继续，响应或中止
		
		page.on('request',回调函数(request形参,包含上述方法)

	如拦截谷歌广告:
	//截取谷歌请求
		await page.setRequestInterception(true);
		//监听每一次请求，形参为请求对象
		page.on('request',(interceptedRequest)=>{
			//ite.url()获取请求url地址
			let urlObj=Url.parse(interceptedRequest.url());
			//如果是谷歌的广告
			if(urlObj.hostname=='googleads.g.doubleclick.net'或者urlObj.hostname.indexOf('google')!=-1){
				//拦截请求
				interceptedRequest.abort();
			}else{
				interceptedRequest.continue();
			}
		})

(2)如果爬取时间超时导致失败:

	(1)通过延迟函数,将延迟时间增长
	(2)使用page.setDefaultNavigationTimeout(0); 将浏览器响应时间改为无限长,默认为30秒
	(3)在配置信息中设置,timeout=0; 效果和(2)一样

(3)获取资源后关闭页面,减小性能消耗

	page.close();
	
(4)通过page.$/$$()返回的ElementHandle 获取元素属性

		let xx=await page.$('选择器')
		let xxx=await xx.getProperty('属性');
		let xxxx=xxx._remoteObject.value;
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41

爬取的电子书网站

代码示例:

let puppeteer=require('puppeteer');
let axios =require('axios');
let Url=require('url');
let fs=require('fs');

let http='https://sobooks.cc/';
async function run(){

	function wait(time){
		return new Promise(function(resolve,reject){
			setTimeout(function(){
				resolve('ok延迟')
			})
		},time)
	}


	let options={
		headless:false,
		slowMo:250,
		defaultViewport:{
			width:1000,
			height:800
		}
	}

	let browser=await puppeteer.launch(options);

	//获取所有页数
	async function getAllNum(){
		let page=await browser.newPage();

		//截取谷歌广告请求
		await page.setRequestInterception(true);
		//监听每一次请求，形参为请求对象
		page.on('request',(interceptedRequest)=>{
			//ite.url()获取请求url地址
			let urlObj=Url.parse(interceptedRequest.url());
			if(urlObj.hostname=='googleads.g.doubleclick.net'){
				//拦截请求
				interceptedRequest.abort();
			}else{
				interceptedRequest.continue();
			}
		})


		await page.goto(http);
		let pageNum=await page.$eval('.pagination li:last-child span',(ele)=>{
			//获得页数
			let num=ele.innerText.substring(2,length-2);
			return num.trim();
		})
		//返回内容后关掉当前页面,节省空间
		page.close();
		return pageNum;
	}

	let pageNum=await getAllNum();

	//获取指定页的所有书籍链接
	async function pageList(num){
		let listUrl='https://sobooks.cc/page/'+num;
		let page=await browser.newPage();
		//设置浏览器响应时间为无限制等待,默认为30秒
		page.setDefaultNavigationTimeout(0);
		//截取谷歌请求
		await page.setRequestInterception(true);
		//监听每一次请求，形参为请求对象
		page.on('request',(interceptedRequest)=>{
			//ite.url()获取请求url地址
			let urlObj=Url.parse(interceptedRequest.url());
			if(urlObj.hostname=='googleads.g.doubleclick.net'){
				//拦截请求
				interceptedRequest.abort();
			}else{
				interceptedRequest.continue();
			}
		})


		await page.goto(listUrl);

		let arr= await page.$$eval('.card .card-item .thumb-img>a',(ele)=>{
			let arr=[];
			ele.forEach(function(item,index){
				let obj={
					href:item.getAttribute('href'),
					title:item.getAttribute('title')
				};
				arr.push(obj);
			})
			// console.log(arr);
			return arr;
		})

		//获取结束后关闭页面
		page.close();

		//遍历内容,去到书籍的详情页面,获取网盘链接
		arr.forEach(async (item,index)=>{
			//延迟函数,延迟打开
			await wait(300*index);
			getPageInfo(item);
		})
	}

	//根据书籍地址,去获取网盘链接
	async function getPageInfo(pageObj){
		let page=await browser.newPage();

		//截取谷歌请求
		await page.setRequestInterception(true);
		//监听每一次请求，形参为请求对象
		page.on('request',(interceptedRequest)=>{
			//ite.url()获取请求url地址
			let urlObj=Url.parse(interceptedRequest.url());
			if(urlObj.hostname=='googleads.g.doubleclick.net'){
				//拦截请求
				interceptedRequest.abort();
			}else{
				interceptedRequest.continue();
			}
		})



		await page.goto(pageObj.href);
		let eleA=await page.$('.dltable tr:nth-child(3) a:last-child')
		//page.$()方式,获取元素属性的方法
		let url=await eleA.getProperty('href');
		url=url._remoteObject.value;

		//解析地址,获取网盘链接
		url=url.split('?url=')[1]+'\n';
		let content={
			title:pageObj.title,
			url:url
		}
		//存放地址
		console.log(pageObj.title);
		fs.writeFile("C:/Users/10853/Desktop/爬虫电子书.txt",content.title+','+content.url,{flag:'a'},function(err){
			console.log('ok');
		})
	}

	 pageList(1);
}

run();
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
137
138
139
140
141
142
143
144
145
146
147
148
149
150