爬虫入门——爬取QQ音乐某一歌手前五首歌曲信息及相关评论_请使用爬虫selenium模拟浏览器获取爬取qq音乐中你喜欢的某位歌手(可以是任意歌手)

前言

python课作业
请使用爬虫Selenium模拟浏览器获取爬取QQ音乐中你喜欢的某位歌手（可以是任意歌手）最受欢迎的前5首歌曲的歌词、流派、歌曲发行时间、评论条数、评论时间、评论点赞次数、评论内容具体(每一首歌的评论>=500条)。

一、查看信息

1. 查看QQ音乐你喜欢的歌手的网页结构
   

2. 获取每首歌的url
   经观察可发现所有的歌曲都在 ul class=’songlist__list’ 下，所以我们就可以通过遍历其及其子标签得到前五首歌每首歌的url

3. 获取歌曲基本信息
   
   

4. 获取前500条评论
   
   因观察发现热门评论为15条，每点一次“点击加载更多”就会再多加载15条，所以循环（500/15）约等于33次
   热评具体信息：包括热评内容、时间、点赞数

二、代码实现

完整代码如下：

from selenium import webdriver
import csv
from time import sleep
import time

#创建Chrome浏览器对象
driver=webdriver.Chrome()
#打开QQ音乐
driver.get("https://y.qq.com/n/yqq/singer/0022eAG537I1bg.html")
#csv文件配置
csv_file = open(r'C:\Users\玐玐子公主\Desktop\python\实验\Lab2\QQmusic.csv','w',newline='',encoding='utf-8-sig')
writer = csv.writer(csv_file)
#开始时间
start = time.time()

# 取前5首歌曲
song_numer=5
#前五首歌曲url列表
song_url_list=[]
#前五首歌曲所需要的信息
song_resourses=[]

#使用selenium找到songlist__item
songlist__item=driver.find_elements_by_class_name(
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23