python从小白到大师-第一章Python应用（五）应用领域与常见包-爬虫

目录

一.爬虫

1.1 urllib

1.2 requests

1.3 scrapy

1.4 pySpider

总结

---

一.爬虫

1.1 urllib

urllib是Python标准库中的一个模块，它提供了一组用于处理URL（统一资源定位符）的函数和类。通过urllib，我们可以方便地进行URL的解析、访问和处理。

该模块主要包括以下几个子模块：

1. urllib.request：用于发送HTTP请求和获取远程数据的模块。
2. urllib.parse：用于解析URL、构建URL等操作的模块。
3. urllib.error：用于处理HTTP错误的异常模块。
4. urllib.robotparser：用于解析robots.txt文件的模块，用于网页爬虫的访问控制。

使用urllib可以实现一些常见的功能，例如：

1. 发送GET和POST请求，并获取响应数据。
2. 下载文件到本地。
3. 解析URL，获取其中的各个部分（如协议、主机、路径等）。
4. 拼接URL和查询参数，构造完整的URL。
5. 解析robots.txt文件，判断网页是否允许被爬取。

使用文档：

urllib使用文档

使用案例

import urllib.request
 
# 定义要访问的URL
url = "https://www.example.com"
 
# 发送GET请求并获取响应
response = urllib.request.urlopen(url)
 
# 读取响应数据
data = response.read()
 
# 打印响应内容
print(data.decode(