赞
踩
1.urllib库是什么?
2.如何使用urllib库快速爬取网页
3.用urllib库进行数据传输
4.代理服务器
5.异常处理方法
urllib库是Python编写爬虫程序操作URL的常用内置库。urllib库包含四大模块:
urllib.request:请求模块
urllib.error:异常处理模块
urllib.parse:URL解析模块
urllib.robotpaser:robots.txt解析模块
下面使用utllib快速爬取一个网页,具体代码如下:
- import urllib.request
- response=urllib.request.urlopen('http://www.baidu.com')
- html=response.read().decode('UTF-8')
- print(html)
爬取网页结果如下:
分析urlopen方法:urlopen方法可以接受多个参数。参数如下:
url--表示目标资源在网站中的位置。
data--用来指明向服务器发送请求的额外时间。
timeout--该参数用于设置超时时间,单位是秒。
context--熟悉爱你SSL加密传输。
使用HTTPResponse对象:使用urlopen方法发送HTTP请求后,服务器返回后的响应内容封装在一个HTTPResponse类型的对象中。
HTTPResponse类属于http.client模块,该类提供了获取URL、状态码、相应内容等一系列方法。
构造Request对象:如果希望对请求执行复杂操作,则需要创建一个Request对象来作为urlopen方法的参数。
当传递的URL包含中文或者其他特殊字符时,需要使用urllib.parse库中的urlencode()方法将IRL进行编码。示例代码如下:
- import urllib.parse
- result=urllib.parse.unquote('a=%E4%BC%A0%E6%99%BA%E6%92%AD%E5%AE%A2')
- print(result)
结果如图所示:
GET请求一般用于向服务器获取数据,例如用百度搜索传智播客。
opener 是urllib.request.OpenerDirector类的对象,我们之前一直都在使用的urlopen ,就是模块帮我们构建好的一个opener。
步骤:1.使用相关的 Handler处理器创建特定功能的处理器对象。
2.通过urllib.request.buildopener0方法使用这些处理器对象创 建自定义的opener 对象。
3.使用自定义的opener对象,调用 open 方法发送请求。
可以使用urllib.request 中的ProxyHandler 方法来设置代理服务器,如下所示:
- httpproxy_handler =urllib.request.ProxyHandler
- (["http":"124.88.67.81:80"3)opener =urllib.request.build opener(httpproxy handler)
URLError异常和捕获,可以使用try...except语句捕获相应的异常。例如:
- import urllib.request
- import urllib.error
- request=urllib.request.Request("https://www.baidu.com")
- try:
- urllib.request.urlopen(request,timeout=5)
- except urllib.error.URLError as err:
- print(err)
运行程序后,输出结果为:
<urlopen error [Errno 11001] getaddrinfo failed>
HttpError异常和捕获
每个服务器HTTP响应都有一个数字响应码,有些表示无法处理请求内容。HTTPError是URLError的子类,它的对象拥有一个整型的code属性,表示服务器返回的错误代码。如下:
- import urllib.request
- import urllib.error
- request=urllib.request.Request('http://www.itcast.cn/net')
- try:
- urllib.request.urlopen(request)
- except urllib.error.HTTPError as e:
- print(e.code)
运行结果:404
静态网页是HTML格式的网页,这种网页在浏览器中呈现的内容都会体现在源代码中,此时我们若要抓取静态网页的数据,只需要获得源代码即可。
过程:获得网页源代码的过程,模仿用户通过浏览器访问网页的过程,包括向 Web 服务器发送HTTP请求、服务器对HTTP 请求做出响应并返回网页源代码。
在Requests库中,GET请求通过调用get0函数发送,该函数会根据传入的URL构建一个请求(每个请求都是 Request类的对象),将该请求发送给服务器。get0函数的声明如下:
- get(url, params=None, headers=None, cookies=None
- verify=True, proxies=None, timeout=None, **kwargs)
url:必选参数,表示请求的 URL
params:可选参数,表示请求的查询字符串
headers:可选参数,表示请求的请求头,该参数只支持字典类型的值cookies: 可选参数,表示请求的 Cookie 信息,该参数支持字典或 CookieJar 类对象
verify:可选参数,表示是否启用 SSL证书,默认值为 True
proxies:可选参数,用于设置代理服务器,该参数只支持字典类型的值
timeout:可选参数,表示请求网页时设定的超时时长,以秒为单位
若GET 请求的URL中不携带参数,我们在调用get0函数发送GET 请求时只需要给ur 参数传入指定的URL即可。
- import requests
- base url = 'https://www.baidu.com/'
- response = requests.get(url=base url)
- print(response.status code)
若GET请求的URL中携带参数,在调用 get0函数发送GET 请求时只需要给ur 参数传入指定的URL即可。
- import requests
- 方式
- base url = 'https://www.baidu.com/s'
- param = 'wd=python'
- full url = base url +'?' + param
- response = requests.get(full url)
- print(response.status code)
在Requests中,POST 请求可以通过调用 post0 函数发送,post0 函数会根据传入的 URL构建一个请求,将该请求发送给服务器,并接收服务器成功响应后返回的响应信息。
post(url, data=None, headers=None, cookies=None, verify=True,proxies=None, timeout=None, json=None, **kwargs)
data:可选参数,表示请求数据。
json:可选参数,表示请求数据中的JSON数据。
属性 说明
status_code 获取服务器返回的状态码
text 获取字符串形式的响应内容
content 获取二进制形式的响应内容
url 获取响应的最终URL
request 获取请求方式
headers 获取响应头
encoding 设置或获取响应内容的编码格式,与 text属性 搭配使用
cookies 获取服务器返回的 Cookie
通过访问 Response类对象的 text 属性可以获取字符串形式的网页源代码。
- import requests
- base url = 'https://www.baidu.com/'
- response = requests.get(url=base url)
- print(response.text)
Cookie 是指某些网站为了辨别用户身份、进行会话跟踪,而暂时存储在客户端的一段文本数据(通常经过加密).
在Requests库中,发送请求时可以通过两种方式携带Cookie,一种方式直接将包含 Cookie 信息的请求头传入请求函数的 headers 参数;另一种方式是将 Cookie 信息传入请求函数的 cookies 参数。不过,cookies 参数需要接收一个 RequestsCookieJar 类的对象,该对象类似一个字典,它会以名称(Name) 与值 (Value)的形式存储cookie。
- import requests
- headers = !
- 'Cookie':'此处填写登录百度网站后查看的 Cookie 信息,'
- 'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10 11 4)AppleWebKit/537.36(KHTML, like Gecko)'
- Chrome/53.0.2785.116 Safari/537.36}# 设置字段 User-Agentresponse = requests.get('https://www.baidu.com/', headers=headers)print(response.text)
设置代理服务器是网络爬虫应对防爬虫的策略之一,这种策略会为网络爬虫指定一个代理服务器,借用代理服务器IP地址访问网站,掩盖网络爬虫所在主机的真实IP地址,从而达到伪装IP 地址的目的。
设置代理服务器一般分为两步,分别是获取代理IP 和设置代理IP。
requests.exceptions 模块中定义了很多异常类型,常见的异常类型如下:
RequestException 请求异常
ConnectionError 连接错误
HTTPError 发生HTTP错误
URLRequired 发出请求需要有效的URL
TooManyRedirects 请求超过配置的最大重定向数
ConnectTimeout 尝试连接到远程服务器时请求超时
ReadTimeout 服务器在规定的时间内没有发送任何数据
Timeout 请求超时
Copyright © 2003-2013 www.wpsshop.cn 版权所有,并保留所有权利。