Python 爬虫初探：如何使用 Requests 库实现简单的网页数据抓取_python requests模块获取数据的方式

1. 准备工作

在开始学习使用 Requests 库进行网络数据抓取之前，我们需要先完成一些准备工作。首先，我们需要在本地环境中安装 Python 解释器，以便能够编写和运行 Python 代码。其次，我们需要使用 pip 工具来安装 Requests 库，这样我们才能在代码中引入该库并开始使用它提供的功能。

安装 Python 可以通过官方网站下载安装包，根据操作系统选择合适的版本进行安装。安装完成后，可以通过命令行检查 Python 版本确认安装成功。接着，使用 pip install requests 命令即可安装 Requests 库。安装完成后，我们就可以在 Python 脚本中导入 Requests 库并开始使用其中的函数来发起网络请求了。让我们一起来深入了解 Requests 库的基本用法吧！

2. 理解 Requests 库的基本用法**

2.1 发起 GET 请求

在网络请求中，GET 请求是最常见的一种，用于从服务器获取数据。Requests 库提供了简单易用的方法来发起 GET 请求。

发起 GET 请求的基本步骤：

1. 导入 Requests 库
2. 使用requests.get()方法发送 GET 请求
3. 获取响应对象
4. 处理响应数据

下面是一个简单的示例代码，演示如何使用 Requests 库发送一个 GET 请求，并输出获取到的数据：

# 导入 Requests 库
import requests

# 发起 GET 请求
response = requests.get('https://www.example.com')

# 获取响应数据
data = response.text

# 输出响应数据
print(data)
1
2
3
4
5
6
7
8
9
10
11

GET 请求常见参数：

• params：用于传递查询参数，示例 requests.get('https://www.example.com', params={'key': 'value'})

2.2 发起 POST 请求

POST 请求通常用于向服务器提交数据，例如登录表单提交、上传文件等操作。Requests 库同样提供了便捷的方法来发起 POST 请求。

发起 POST 请求的基本步骤：

1. 使用requests.post()方法发送 POST 请求
2. 携带需要提交的数据
3. 获取响应对象
4. 处理响应数据

下面是一个简单的示例代码，演示如何使用 Requests 库发送一个 POST 请求，并输出获取到的数据：

# 发起 POST 请求
response = requests.post('https://www.example.com/login', data={'username': 'user', 'password': 'pass'})

# 获取响应数据
data = response.text

# 输出响应数据
print(data)
1
2
3
4
5
6
7
8

POST 请求常见参数：

• data：用于传递表单数据
• json：用于传递 JSON 数据

2.3 处理响应数据

无论是发送 GET 请求还是 POST 请求，都需要合理处理服务器返回的响应数据。Requests 库提供了多种方式来解析和处理响应数据，例如获取状态码、头部信息、内容等。

处理响应数据的常用方法：

• response.status_code：获取状态码
• response.headers：获取响应头部信息
• response.text：获取文本内容
• response.json()：解析 JSON 数据

在处理响应数据时，需要根据具体的业务需求选择合适的方法，确保数据的准确性和完整性。

以上是关于 Requests 库基本用法的介绍，下一节将进一步探讨如何在实战中应用 Requests 库进行网页数据抓取。

3. 实战：使用 Requests 库抓取网页数据

3.1 解析 HTML 页面

在爬虫领域，解析 HTML 页面是至关重要的步骤。通常，我们会使用第三方库如Beautiful Soup来解析HTML，从中提取我们需要的数据。下面是一个简单的爬虫示例，演示如何解析HTML页面并提取标题信息。

爬虫场景：

假设我们要爬取豆瓣电影Top250页面的数据，包括电影名称和评分。

代码示例：

import requests
from bs4 import BeautifulSoup

url = 'https://movie.douban.com/top250'
response = requests.get(url)
soup = BeautifulSoup(response.text, 'html.parser')

movies = soup.find_all('div', class_='hd')
ratings = soup.find_all('span', class_='rating_num')

for movie, rating in zip(movies, ratings):
    print(f'电影名称：{movie.a.text.strip()}，评分：{rating.text}')
1
2
3
4
5
6
7
8
9
10
11
12

代码说明：

• 使用Requests库发送HTTP请求，获取豆瓣电影Top250页面的HTML内容。
• 使用Beautiful Soup解析HTML页面，提取电影名称和评分信息。
• 遍历提取到的电影信息，并打印输出电影名称和评分。

3.2 提取目标数据

在网页数据抓取过程中，往往需要提取特定的目标数据。这就需要我们定位并提取网页中我们感兴趣的数据。接下来，我们将演示如何从网页中提取图片链接，并下载这些图片。

爬虫场景：

假设我们要爬取Unsplash网站上的美图，提取其中的图片链接，并下载到本地。

代码示例：

import requests
from bs4 import BeautifulSoup
import os

url = 'https://unsplash.com'
response = requests.get(url)
soup = BeautifulSoup(response.text, 'html.parser')

images = soup.find_all('img', class_='oCCRx')
save_dir = 'unsplash_images'

if not os.path.exists(save_dir):
    os.makedirs(save_dir)

for index, image in enumerate(images):
    image_url = image['src']
    image_data = requests.get(image_url).content
    with open(os.path.join(save_dir, f'image{index}.jpg'), 'wb') as f:
        f.write(image_data)

print(f'{len(images)}张图片下载完成，保存在{save_dir}文件夹中。')
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21

代码说明：

• 发送HTTP请求获取Unsplash网站页面HTML内容。
• 使用Beautiful Soup解析页面，找到包含图片链接的标签。
• 根据图片链接下载图片，并保存到本地文件夹中。
• 打印输出下载完成的图片数量和保存路径。

流程图展示：

通过以上示例，我们展示了如何使用Requests库和Beautiful Soup库实现对网页数据的抓取及解析工作。从中我们可以学习到如何定位网页中的目标数据，并提取出我们所需的信息。

4. 提升爬虫效率**

在进行网络爬虫时，提高爬取效率是至关重要的。本章将介绍如何通过设置请求头信息、控制请求频率以及使用多线程/异步请求来加速爬取过程。

4.1 设置请求头信息

设置请求头信息是模拟浏览器行为的重要手段，可以避免被服务器识别为爬虫而限制访问。下面是一个示例代码，演示如何设置请求头信息：

import requests

url = 'https://www.example.com'
headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'
}

response = requests.get(url, headers=headers)

print(response.text)
1
2
3
4
5
6
7
8
9
10

通过设置headers参数，我们可以在请求中添加自定义的头部信息，使请求更加像是由浏览器发起的。这样能够提高爬虫的成功率，避免被网站拒绝访问。

4.2 控制请求频率

在进行网络爬取时，过于频繁的请求可能会给目标网站造成压力，甚至被封禁IP。因此，合理控制请求频率非常重要。以下是一个简单的示例代码，展示如何通过控制请求间隔来限制请求速度：

import requests
import time

urls = ['http://site1.com', 'http://site2.com', 'http://site3.com']

for url in urls:
    response = requests.get(url)
    print(response.text)
    time.sleep(2)  # 间隔2秒后再发起下一个请求
1
2
3
4
5
6
7
8
9

通过time.sleep函数，我们可以设置请求之间的时间间隔，从而控制爬取速度，避免对目标网站造成过大负担。

4.3 使用多线程/异步请求加速爬取

通过多线程或异步请求，可以同时处理多个网络请求，提高爬取效率。以下是一个使用Python的多线程库concurrent.futures实现的示例代码：

import requests
from concurrent.futures import ThreadPoolExecutor

urls = ['http://site1.com', 'http://site2.com', 'http://site3.com']

def fetch_url(url):
    response = requests.get(url)
    return response.text

with ThreadPoolExecutor(max_workers=5) as executor:
    results = executor.map(fetch_url, urls)

for result in results:
    print(result)
1
2
3
4
5
6
7
8
9
10
11
12
13
14

通过多线程并发处理请求，可以显著加快爬取速度，提升效率。

流程图

下面是一个使用Mermaid格式的流程图，展示多线程爬取的流程：

在这个流程图中，多线程同时进行请求数据、解析数据和存储数据的操作，最终完成整个爬取过程，提高了效率。

通过设置请求头信息、控制请求频率以及使用多线程/异步请求，可以有效提升网络爬虫的效率，加速数据的获取过程。这些技巧可以帮助爬虫程序更快地获取到所需的数据，提升整体的爬取效率。

5. 数据后续处理与应用

在前面的章节中，我们已经学习了如何使用Requests库抓取网页数据。本章将重点探讨爬取到的数据的后续处理与应用，包括数据清洗与存储、数据分析与可视化等内容。

5.1 数据清洗与存储

在爬取数据后，我们通常需要进行数据清洗和存储，以便后续的分析和应用。数据清洗是指通过处理数据，使其符合我们的需求和标准。数据存储则是将清洗后的数据保存在合适的位置，以方便后续处理和查询。

下面是一个示例代码，演示如何清洗和存储爬取得到的数据：

import pandas as pd

# 假设爬取得到的数据保存在data_list中
data_list = [
    {'title': 'Python爬虫教程', 'author': 'Jack', 'views': 1000},
    {'title': '数据分析实战', 'author': 'Lucy', 'views': 800}
]

# 将数据转换为DataFrame
df = pd.DataFrame(data_list)

# 数据清洗：去除views列小于800的数据
cleaned_data = df[df['views'] >= 800]

# 数据存储：将清洗后的数据存储到csv文件
cleaned_data.to_csv('cleaned_data.csv', index=False)
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
'
运行
运行

通过以上代码，我们可以将爬取得到的数据进行清洗（去除views小于800的数据）并存储到csv文件中，以备后续分析使用。

5.2 数据分析与可视化

一旦数据清洗和存储完成，我们就可以进行数据分析和可视化，以便更好地理解数据、发现规律和趋势。

下面是一个简单的数据分析和可视化代码示例：

import matplotlib.pyplot as plt

# 读取清洗后的数据
cleaned_data = pd.read_csv('cleaned_data.csv')

# 统计不同作者的文章数量
author_counts = cleaned_data['author'].value_counts()

# 可视化作者文章数量
plt.figure(figsize=(8, 6))
author_counts.plot(kind='bar', color='skyblue')
plt.title('Number of Articles by Author')
plt.xlabel('Author')
plt.ylabel('Number of Articles')
plt.show()
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15

通过上述代码，我们可以对清洗后的数据进行简单的作者文章数量统计，并通过柱状图进行可视化展示，帮助我们更直观地理解数据。

综上所述，数据清洗与存储、数据分析与可视化是爬取数据后的重要环节，能够帮助我们更好地利用爬取到的数据进行进一步的分析和应用。在实际应用中，根据具体需求和情况，我们可以进一步深入研究和优化这些环节，以达到更好的效果。