使用Python和BeautifulSoup爬取酷狗网页排行榜数据并保存为CSV文件_python爬取酷狗音乐榜单

梳理步骤：

1. 首先，导入了三个Python库：requests 用于发送HTTP请求，BeautifulSoup 用于解析HTML，csv 用于处理CSV文件。

2. 使用 requests.get(url) 向指定的URL发送HTTP GET请求，获取网页的内容，并将其存储在变量 html 中。

3. 使用 BeautifulSoup 解析 html 变量中的网页内容，以便后续操作。

4. 通过 soup.find() 方法，查找HTML中具有 id 属性为 "rankWrap" 的 div 元素，然后进一步查找其下的 ul 元素，再找到所有的 li 元素，这样就找到了排行榜中的歌曲列表。

5. 创建一个空列表 rank_links，用于存储歌曲的链接。

6. 遍历歌曲列表，使用 song.find() 方法查找每个歌曲的名称和链接，然后将它们添加到 rank_links 列表中。

7. 打开一个CSV文件 "rank_links.csv"，准备写入链接数据。

8. 定义CSV文件的列名为 ["歌曲", "链接"]。

9. 创建一个CSV写入器 (writer) 并使用 writeheader() 写入列名到CSV文件。

10. 使用 writer.writerows(rank_links) 将歌曲的名称和链接数据写入CSV文件。

11. 最后，打印一条成功消息，指示链接已保存到CSV文件中。

这段代码的主要功能是从指定网页中提取歌曲的名称和链接，并将这些数据保存到CSV文件中。这个CSV文件可以用于进一步的数据分析或处理。

代码总览：

# 导入所需的库
import requests
from bs4 import BeautifulSoup
import csv
 
# 发送HTTP GET请求获取网页内容
url = "http://www.bspider.top/kugou/"
response = requests.get(url)  # 发送GET请求，获取网页内容
html = response.text  # 将网页内容存储在变量html中
 
# 使用BeautifulSoup解析网页内容
soup = BeautifulSoup(html, "html.parser")  # 使用BeautifulSoup库解析html内容
 
# 找到排行榜中的歌曲列表
song_list = soup.find("div", id="rankWrap").find("ul").find_all("li")  # 查找HTML中id为rankWrap的div元素下的歌曲列表
 
# 创建一个空列表来存储排行榜链接
rank_links = []
 
# 遍历歌曲列表并提取链接
for song in song_list:  # 遍历歌曲列表
    title = song.find("a", class_="pc_temp_songname")  # 查找包含歌曲名和链接的元素
    if title:  # 如果找到了这样的元素
        song_name = title.get("title")  # 获取歌曲名
        song_link = title.get("href")  # 获取歌曲链接
        rank_links.append({"歌曲": song_name, "链接": song_link})  # 将歌曲名和链接添加到rank_links列表中
 
# 将链接保存到CSV文件
with open("rank_links.csv", "w", newline="", encoding="utf-8") as csvfile:  # 打开一个CSV文件以写入链接数据
    fieldnames = ["歌曲", "链接"]  # 定义CSV文件的列名
    writer = csv.DictWriter(csvfile, fieldnames=fieldnames)  # 创建一个CSV写入器
    writer.writeheader()  # 写入CSV文件的列名
    writer.writerows(rank_links)  # 将链接数据写入CSV文件
 
# 打印成功消息
print("排行榜链接已保存到rank_links.csv文件。")