python学习笔记之网络爬虫(八) 静态网页和动态网页爬取(1)静态网页爬取_动态爬虫和静态爬虫的区别

T Xiao Ang Zai 11月26号

版本：python3.7

编程软件：sublime

 

爬取信息是一个很大的需求，小到单个页面，某个站点，大到搜索引擎（百度、谷歌）的全网抓取。只要人能看到的东西，理论上都是爬虫可以获取的。不论静态页面还是动态页面。也不论pc端的页面还是移动端的app。爬虫，有很多语言可选，python、php、go、java···甚至是c。但现在的主流是python作为爬虫的编程语言，因为它简单易上手，并且效率高且节约时间。

而爬取网页信息有很多python库，urllib,urllib2(python3 已不用),requests。下面先比较它们的不同之处：

urllib和urllib2是python标准库，就是大家安装了python，这两个库就已经可以直接使用了；requests是第三方库，不是python基金会实现的，但是功能是很强大的。

但urllib和urllib2都是通过url打开资源，其中urllib只能接受url，却如法对请求进行headers的伪装，这样写的爬虫发送的请求会被很多网站直接阻挡掉，伪装性不好，需要很复杂的修改，这在前面的文章中已经介绍过了。

而requests库可以实现urllib和urllib2的所有功能，而且还有它们没有的优势，在使用过程中，requests比较更好用。

 

一：什么是静态网页和动态网页?

1.静态网页：通俗来讲，只有HTML格式的网页通常被称为静态网页。这些网页的数据比较容易获取，由于所有的数据都显示在网页的HTML代码中。在用python抓取的过程中，有一个强大的Request库能够轻易地发送HTTP请求，供我们进行爬取静态网页。

2.动态网页：不只有HTML代码写出的网页被称为动态网页，这些网页一般由CSS,JavaScript代码和HTML代码一起构成网页，它们用Ajax动态加载网页的数据不一定出现在HTML代码中，这就需要复杂的操作。

 

二：静态网页爬取

1.Request安装和简单操作

(1)安装

在cmd或terminal中写入

pip install requests

即可。

(2)获取网页内容‘

Request最常用的功能是获取某网页的内容，我们先获取前面的博客的内容：

import requests
 
rr = requests.get('https://blog.csdn.net/ITxiaoangzai/article/details/83904139')
print("文本编码为：",rr.encoding)
print("响应状态码为：",rr.status_code)
print("内容字符串为：",rr.text)

这样就返回了一个名为rr的response响应对象，我们可以调用相应的函数获取需要的信息。结果如下图所示：

...

下面是一些基本的方法：

print(response.status_code)  # 打印状态码，200表示请求成功;4xx表示客户端错误;5xx表示服务器错误响应
int(response.url)          # 打印请求url
print(response.headers)      # 打印头信息
print(response.cookies)      # 打印cookie信息
print(response.text)  #以文本形式打印网页源码
print(response.content) #以字节流形式打印

还可以用response.json()是Response中内置的JSON解码器。

 

2.定制Requests

现在我们可以爬取网页的html代码数据了，但有时候我们只需要一部分数据，那就需要对Requests的参数进行设置才能获取我们需要的数据，包括传递URL参数，定制请求头，发送POST请求，设置超时等。

下面对这些操作进行讲解：

(1)传递URL参数

为了请求特定的数据，我们需要在URL的查询字符串中加入一些特定数据。这些数据一般会跟在一个问号后面，并且以键值对的形式放在URL中。

在Request中，我们可以直接把这些参数保存在字典中，用params构建到URL中。

下面是一个实例：

import requests
 
key_dict = {'one':'value1','two':'value2'}
rr = requests.get('https://blog.csdn.net/ITxiaoangzai/article/details/83904139',params = key_dict)
print("URL正确编码为:",rr.url)
print("字符串方式的响应的内容是:",rr.text)

我们看下结果：

(2) 定制请求头

    请求头Headers提供了关于请求，响应或其他发送实体的消息，如果没有定制请求头或请求的请求头和实际网页不一致，就可能无法返回正确结果。Requests不会基于定制的请求头Headers而改变自己的行为，只有在最后的请求中，请求头的信息才会被传递进去。

我们可以根据下面的方法找到正确的请求头：

打开之前博客的内容：

然后我们单击右键，选择检查(有的浏览器也叫审查元素)，然后选Network选项：

我们选择python的图片，就会发现在左侧的资源栏中拦截到了一个文件，那就是图片文件，我们在Header中可以看到Request Headers的详细信息(其实在之前的博客中已经介绍过了)，这里只需要提取出请求头中重要的部分，也就是user-agent的部分：

然后我们在requests.get()函数中加入我们定制的请求头：

import requests
 
headers = {
	'user-agent' : 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.26 Safari/537.36 Core/1.63.5702.400 QQBrowser/10.2.1893.400',
	'Host' : 'https://i-blog.csdnimg.cn/blog_migrate/18648c156292afcc24bffce569e2236a.jpeg'
}
 
r = requests.get('https://blog.csdn.net/ITxiaoangzai/article/details/83904139',headers = headers)
print("字符串方式的响应的内容是:",r.text)
print("响应码为:",r.status_code)

结果如下：

这里返回的响应码为400说明我们的代码是错误的。这说明我们并不能用这种方法爬取图片。关于如何正确地爬取图片，在之后的文章中会给大家讲到。

 

3.发送POST请求

除了GET请求外，有时还需要发送一些编码为表单形式的数据，这时只需要传递一个字典给Request中的data参数，这些数据字典就会在发送请求时自动编码为表单形式。在之前的爬取有道词典的文章中我们就用到了该请求。

 

4.超时

可以用Requests在timeout参数设定如果规定时间内没有响应，就抛出异常。

 

 三：实例爬取豆瓣前100个电影的片名

先打开网址https://www.douban.com/doulist/36513321/

然后我们找到每个影片的HTML代码：

 

在这里，我们需要的信息均在<div class="title>标签下，我们就可以写下如下代码：

import requests
from bs4 import BeautifulSoup
 
def getUrl():
	url = "https://www.douban.com/doulist/36513321/"
	headers = {
		'user-agent' : 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.26 Safari/537.36 Core/1.63.5702.400 QQBrowser/10.2.1893.400',
	}
 
	list = []
	r = requests.get(url,headers = headers)
	soup = BeautifulSoup(r.text,"lxml")
	thisUrl = soup.find_all('div',class_ = "title")
	for each in thisUrl:
		everyUrl = each.text.strip()
		list.append(everyUrl)
	print(list)
	print("响应码为:",r.status_code)
 
def main():
	getUrl()
 
if __name__ == '__main__':
	main()

这是我们会发现一个错误：

这里把lxml改为html.parse即可：

import requests
from bs4 import BeautifulSoup
 
def getUrl():
	url = "https://www.douban.com/doulist/36513321/"
	headers = {
		'user-agent' : 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.26 Safari/537.36 Core/1.63.5702.400 QQBrowser/10.2.1893.400',
	}
 
	list = []
	r = requests.get(url,headers = headers)
	soup = BeautifulSoup(r.text,"html.parser")
	thisUrl = soup.find_all('div',class_ = "title")
	for each in thisUrl:
		everyUrl = each.text.strip()
		list.append(everyUrl)
	print(list)
	print("响应码为:",r.status_code)
 
def main():
	getUrl()
 
if __name__ == '__main__':
	main()

结果如下：

这里要爬取的是100个剧名，这里我们得到的是只有25个，要爬取所有的要分析一下网址url：

https://www.douban.com/doulist/36513321/?start=0&sort=seq&playable=0&sub_type=

https://www.douban.com/doulist/36513321/?start=25&sort=seq&playable=0&sub_type=

发现只有start=" "后面的不同，我们可以分析四次，或者利用一个循环来进行：

import requests
from bs4 import BeautifulSoup
 
def getUrl():
	headers = {
		'user-agent' : 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.26 Safari/537.36 Core/1.63.5702.400 QQBrowser/10.2.1893.400',
	}
	for i in range(0,4):
		url = "https://www.douban.com/doulist/36513321/?start={}&sort=seq&playable=0&sub_type=".format(i*25)
		list = []
		r = requests.get(url,headers = headers)
		soup = BeautifulSoup(r.text,"html.parser")
		thisUrl = soup.find_all('div',class_ = "title")
		for each in thisUrl:
			everyUrl = each.text.strip()
			list.append(everyUrl)
		print(list)
		print("响应码为:",r.status_code)
 
def main():
	getUrl()
 
if __name__ == '__main__':
	main()

在这里我们用format()来格式化字符串(这里也可以用%来格式化字符串),我们看下结果：

这里看到我们已经成功爬取我们想要的内容了。

 

欢迎大家对我的学习笔记提出宝贵的意见，有意者可以加我的qq:1657264184和我一起进行讨论。