7.3 爬虫基础

在本章节中，我们将讨论 Python 网络编程中的爬虫基础。作为一个完全的初学者，你将学习到爬虫的基本概念、常用库以及如何编写一个简单的爬虫。

7.3 爬虫基础

网络爬虫（Web Crawler），也称为网页蜘蛛（Web Spider），是一种用于自动获取网页内容的程序。爬虫的主要任务是从互联网上抓取网页内容，然后对其进行解析和提取有用的信息。

7.3.1 爬虫流程

爬虫的基本工作流程如下：

1. 选取初始 URL：爬虫从一个或多个初始 URL 开始抓取网页内容。
2. 下载网页：通过 HTTP 请求下载网页内容。
3. 解析网页：解析下载的网页内容，提取所需的信息。
4. 提取链接：从已解析的网页中提取链接，作为下一步抓取的目标。
5. 去重：为避免重复抓取相同的网页，需要对提取出的链接进行去重处理。
6. 递归抓取：将提取出的链接作为新的 URL，重复第 2-5 步，直到满足某种停止条件。

7.3.2 常用库

Python 提供了许多用于网络爬虫的库，包括：

1. Requests：用于发送 HTTP 请求，获取网页内容。
2. Beautiful Soup：用于解析 HTML 和 XML 文档，提取信息。
3. lxml：一个高性能的 HTML 和 XML 解析库。
4. Scrapy：一个强大的爬虫框架，可以用来构建复杂的爬虫项目。

7.3.3 爬虫示例

以下是一个简单的爬虫示例，用于抓取 quotes.toscrape.com 网站上的名言内容。在这个示例中，我们将使用 Requests 和 Beautiful Soup 库。

首先，确保已安装 Requests 和 Beautiful Soup：

pip install requests beautifulsoup4
1

编写爬虫代码：

import requests
from bs4 import BeautifulSoup

# 获取网页内容
url = 'http://quotes.toscrape.com/'
response = requests.get(url)

# 检查 HTTP 状态码
if response.status_code == 200:
    # 解析网页
    soup = BeautifulSoup(response.text, 'html.parser')

    # 提取名言内容
    quotes = soup.find_all('div', class_='quote')

    # 打印名言
    for quote in quotes:
        text = quote.find('span', class_='text').text
        author = quote.find('span', class_='author').text
        print(f'{text} — {author}')
else:
    print(f'Failed to download page: {response.status_code}')
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22

运行这段代码，你将看到 quotes.toscrape.com 网站上的名言及其作者。

7.3.4 小结

在这个章节中，我们学习了爬虫的基本概念、常用库以及如何编写一个简单的爬虫。通过这个示例，你应该对 Python 爬虫有了基本的了解。当然，这只是爬虫的入门知识，实际应用中可能会遇到各种复杂情况，例如登录验证、动态加载、反爬策略等。建议你在掌握基础知识后，继续深入学习更高级的爬虫技术。

推荐阅读：

https://mp.weixin.qq.com/s/dV2JzXfgjDdCmWRmE0glDA

https://mp.weixin.qq.com/s/an83QZOWXHqll3SGPYTL5g