Python爬虫练习：爬取网易云音乐评论(2024附完整代码)_爬取网易云评论

分享一下自己爬取成功的经历，本章将详细说明自己整个爬取流程

---

步骤一：准备工作

1.导入需要的库

import requests
import json
# 实现AES加密需要的三个模块
from Crypto.Cipher import AES
from Crypto.Util.Padding import pad
from base64 import b64encode

2.打开网易云音乐进入音乐页面并分析

无论是网页源代码还是框架源代码，都没有评论的内容，说明网页的评论是js动态加载出来的

步骤二：捕获评论包并分析

1.在XHR中捕获所有数据包

2.找到评论包

可以打开响应后再一个个看捕获到包里面的内容，很快就能发现“get?csrf_token=”就是包含了评论信息的包

3.分析评论包

在标头可以看到请求网址以及该包是POST请求发送的；再看载荷中能明显看出params和encSecKey的值是被加密的；如果按照正常方法requests.post并加上params和encSecKey的数据是得不到评论的数据的；因此必须破解params和encSecKey的加密（请求网址csrf_token=的值可有可无，如果你没有登录就没有后面的值，并不影响）

# 评论数据的请求地址
url='https://music.163.com/weapi/comment/resource/comments/get?csrf_token='

步骤三：逆向评论包

1.包的加密过程：明文——>加密——>密文；在这个包的堆栈中，肯定有处地方是放着明文的，然后在它上面肯定有处是进行加密的；而我们现在在栈顶看到的就是密文；因此我们要往回找

2.点击栈顶，定位到js代码中并下断点(如果点击后没有定位到，可以切回去再试一次)

3.下完断点后刷新网页并观察

由于我们下了断点，网页中的歌词以及评论都没有加载出来，而我们的断点是下在一个函数里面的；可以判断该函数会被多次调用，因此我们要让网页继续运行直到是评论包调用了这个函数

再点击两次后，可以看到歌词已经出来了，但是评论还没出来，继续运行

再运行一次后，评论就直接出来了；说明在歌词出来后，就是评论再调用这个函数，调用后就会出现评论信息；因此我们要找的评论数据就在歌词出来后的这个断点里；刷新网页重新运行直到歌词出现后

在此断点中；我们在作用域-本地中可以看到“params=XXXXXX”的一串数据，结合前面评论包载荷中的内容，可以判断这很有可能就是加密后的数据；因此我们在堆栈中向下找(在代码中实际是向上回溯)，看看能不能找到加密前的样子

4.在堆栈中找并分析

当我们到这个匿名函数时发现data明显变了，而且可以看到一些隐约的信息了；而data在u6o.be6Y中还是加密的状态，由此可以判断data肯定是在u6o.be6Y中被加密了

5.找加密函数

定位到u6o.be6Y代码处，观察分析整个u6o.be6Y函数代码

（这里的params=XXX是因为我刷新了网页后导致变化的，它其实是由一个随机数结合导致它的值每次都会不一样）

观察e6c.data可以看到这就是右边加密后的e6c里的data；而e6c.data中params和encSecKey的值就是bVi7b中的encText和encSecKey的值；可以判断bVi7b里有可能就是加密函数，数据在window.asrsea()中加密后赋值给bVi7b，然后再从bVi7b中取得相应的值分别赋给params和encSecKey，最后再全部给e6c.data

步骤四：解析加密4个参数

1.拆分加密参数

#加密函数
var bVi7b = window.asrsea(JSON.stringify(i6c), bsu6o(["流泪", "强"]), bsu6o(Xo0x.md), bsu6o(["爱心", "女孩", "惊恐", "大笑"]))
"""
构成：
window.asrsea()自定义的加密函数
JSON.stringify()将对象转化成json字符串形式
bsu6o()自定义的函数
"""

JSON.stringify()百度可以搜到它的用法，而其他两个是自定义的函数

2.逐个解析加密函数参数变量

加密函数一个有4个参数，第一个我们知道是转换成json字符串，第二、三、四个都是用同一个函数bsu6o()

仔细观察，可以发现bsu6o()函数中的参数全都是固定死的字符串，连Xo0x.md也是个“固定死”的字符串数组(并不一定固定，可能会有其他函数啥的往这个数组加东西或者啥的)，如果一个函数它的参数是固定的，那么不管运行多少次，它的结果肯定都是一样的

（如果仔细研究bsu6o()函数就可以知道它是遍历元素并将它的值作为索引取字符添加到数组后拼接成字符串返回）

#bsu6o(["流泪", "强"]='010001'
 
#bsu6o(Xo0x.md)='00e0b509f6259df8642dbc35662901477df22677ec152b5ff68ace615bb7b725152b3ab17a876aea8a5aa76d2e417629ec4ee341f56135fccf695280104e0312ecbda92557c93870114af6c9d05c4f7f0c3685b7a46bee255932575cce10b424d813cfe4875d3e82047b97ddef52741d546b8e289dc6935b3ece0462db0a22b8e7'
 
#bsu6o(["爱心", "女孩", "惊恐", "大笑"])='0CoJUm6Qyw8W8jud'

直接在控制台运行，可以得出它们三个的值都是固定的，那么我们就可以得出加密函数window.asrsea()中三个参数的固定值，就差第一个参数的值没有得出

3.解析JSON.stringify(i6c)中的i6c

我们知道这个函数的用法是将对象转换成json字符串，我们要找i6c(它是不断变化的)这个变量的值，研究它里面是啥

我们在var bVi7b这里下断点（前面下的断点记得取消），然后打开网络、点击XHR再刷新网页观察捕获的包

点击运行直到出现评论包

当评论包出现的时候，说明数据是已经被加密过了的，因此我们要找评论包的上一个包，刷新网页重新操作，直到获取评论包之前的一个包

观察i6c的值，可以发现其实这就是我们要获取歌曲评论的i6c值

#获取评论的i6c值
i6c={
    'csrf_token':'a377fd1409c2d967e66527ddf3ce2c02',
    'cursor': '-1',
    'offset': '0',
    'orderType': '1',
    'pageNo': '1',
    'pageSize': '20',
    'rid': 'R_SO_4_167827',
    'threadId': 'R_SO_4_167827'
}

步骤五：解析加密函数

1.寻找加密函数本体

我们直接复制加密函数，然后ctrl+f打开搜索直接搜加密函数

就两个，可以直接看到加密函数本体

2.分析加密函数

d()函数就是加密的主体函数，它分别调用a()、b()、c()函数，最后返回h，而h中就含有encText和encSecKey

'''
function d(d, e, f, g) {
        var h = {}
          , i = a(16);
        return h.encText = b(d, g),
        h.encText = b(h.encText, i),
        h.encSecKey = c(i, e, f),
        h
    }
'''
 
#i6c
d={
    'csrf_token':'a377fd1409c2d967e66527ddf3ce2c02',
    'cursor': '-1',
    'offset': '0',
    'orderType': '1',
    'pageNo': '1',
    'pageSize': '20',
    'rid': 'R_SO_4_167827',
    'threadId': 'R_SO_4_167827'
}
 
# bsu6o(["流泪", "强"])
e="010001"
 
# bsu6o(Xo0x.md)
f="00e0b509f6259df8642dbc35662901477df22677ec152b5ff68ace615bb7b725152b3ab17a876aea8a5aa76d2e417629ec4ee341f56135fccf695280104e0312ecbda92557c93870114af6c9d05c4f7f0c3685b7a46bee255932575cce10b424d813cfe4875d3e82047b97ddef52741d546b8e289dc6935b3ece0462db0a22b8e7"
 
# bsu6o(["爱心", "女孩", "惊恐", "大笑"])
g="0CoJUm6Qyw8W8jud"

我们将之前获得的参数值按照d()函数参数样式分别定义为d,e,f,g；除了参数d是变量，其他三个都是定值

3.逐个分析加密函数的调用

a()函数：

如果学过js就知道这个函数就是生成一个16位的随机数；i=16位随机数

b()函数：

b()函数是一个AES加密函数，采用的是CBC模式；我们可以用python按照上面的样子直接构建一个相同的AES加密函数

# 实现AES加密需要的三个模块
from Crypto.Cipher import AES
from Crypto.Util.Padding import pad
from base64 import b64encode
 
 
# py实现AES-CBC加密
def encrypt_aes(text, key, iv):
    cipher = AES.new(key.encode('utf-8'), AES.MODE_CBC, iv.encode('utf-8'))
    padded_text = pad(text.encode('utf-8'), AES.block_size)
    ciphertext = cipher.encrypt(padded_text)
    return b64encode(ciphertext).decode('utf-8')
 
# 仿照function b(a, b)构造加密函数
def b(a,b):
    c=b
    d="0102030405060708"
    e=a
    f=encrypt_aes(e, c, d)
    return f

c()函数：

如果我们把i固定呢？？？那么i也是一个固定值，c()函数中三个参数都是固定的，那么它的值不也是固定了嘛，并且i是个16位随机数，它的作用就是为了让每次加密的结果不同，起混淆的作用，如果我们将它给固定住了也不会影响

（其实c()就是给随机数i进行加密，而随机数i在encText中起一个密钥的作用，服务器那边是先解析出随机数i这个密钥，然后再用密钥解析出d的值也就是i6c的值也就是歌曲信息一类的数据）

（1）在i处断点，刷新网页

（2）执行脚本并观察网络中的包，直到出现评论包

（3）重新刷新网页截到评论包前一个包后停止

（4）调试脚本观察右边i的值，并保存

#i的值
i="4BfsFyBWTSe0C5eQ"

（5）继续调试直到脚本运行到h后观察encSecKey的值

这样，我们就得到了当i="4BfsFyBWTSe0C5eQ"时h.encSecKey的固定值

#当i="4BfsFyBWTSe0C5eQ",得出encSecKey的固定值
encSecKey:"ac120b775a368f6cdf196f173ac16bccaa08e8589fdd824f7445cb71a6f12f7a25da019240ce2f69a214ef34ba2795b057b1cf4fd24fbf4bd9f78167c9c69de4ee8be3bb8bb9119e2a0328219497864558363bc8e5c8a7999822f127dc0d7fc3bbf0a53f3e2e091eba811eb57558dd6290ab4224f636cea2d264bb2ed7c7cee8"

4.得出h.encText的值

h.encText是调用了两次b()函数，且第一个调用中参数d就是JSON.stringify(i6c)，因此必须将i6c转换成json字符串，而第二次调用中的i我们假设它就是定值“4BfsFyBWTSe0C5eQ”

# 将i6c转化为json格式
i6c_json=json.dumps(i6c)
 
# 调用两次b()函数得出encText
encText=b(i6c_json,g)
encText=b(encText,i)

至此，我们就完成了整个加密函数的构成

params=encText

encSecKey=encSecKey

步骤六：完成整个爬虫的编写并验证

1.完成编写并运行（完整代码）

import requests
import json
# 实现AES加密需要的三个模块
from Crypto.Cipher import AES
from Crypto.Util.Padding import pad
from base64 import b64encode
 
 
# py实现AES-CBC加密
def encrypt_aes(text, key, iv):
    cipher = AES.new(key.encode('utf-8'), AES.MODE_CBC, iv.encode('utf-8'))
    padded_text = pad(text.encode('utf-8'), AES.block_size)
    ciphertext = cipher.encrypt(padded_text)
    return b64encode(ciphertext).decode('utf-8')
 
# 仿照function b(a, b)构造加密函数
def b(a,b):
    c=b
    d="0102030405060708"
    e=a
    f=encrypt_aes(e, c, d)
    return f
 
# 评论数据(i6c)
d={
    'csrf_token':'a377fd1409c2d967e66527ddf3ce2c02',#可以为空值
    'cursor': '-1',
    'offset': '0',
    'orderType': '1',
    'pageNo': '1',
    'pageSize': '20',#评论数
    'rid': 'R_SO_4_167827',#歌曲编号
    'threadId': 'R_SO_4_167827'#歌曲编号
}
 
# 16位随机字符串
i="4BfsFyBWTSe0C5eQ"
# bsu6o(["流泪", "强"])
e="010001"
# bsu6o(Xo0x.md)
f="00e0b509f6259df8642dbc35662901477df22677ec152b5ff68ace615bb7b725152b3ab17a876aea8a5aa76d2e417629ec4ee341f56135fccf695280104e0312ecbda92557c93870114af6c9d05c4f7f0c3685b7a46bee255932575cce10b424d813cfe4875d3e82047b97ddef52741d546b8e289dc6935b3ece0462db0a22b8e7"
# bsu6o(["爱心", "女孩", "惊恐", "大笑"])
g="0CoJUm6Qyw8W8jud"
 
# 将i6c转化为json格式
d_json=json.dumps(d)
 
# 调用两次b()函数得出encText
encText=b(d_json,g)
encText=b(encText,i)
 
# 随机字符串获得encSecKey
encSecKey="ac120b775a368f6cdf196f173ac16bccaa08e8589fdd824f7445cb71a6f12f7a25da019240ce2f69a214ef34ba2795b057b1cf4fd24fbf4bd9f78167c9c69de4ee8be3bb8bb9119e2a0328219497864558363bc8e5c8a7999822f127dc0d7fc3bbf0a53f3e2e091eba811eb57558dd6290ab4224f636cea2d264bb2ed7c7cee8"
 
# 请求头
headers={
    'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/122.0.0.0 Safari/537.36',
}
 
# 评论数据的请求地址
url='https://music.163.com/weapi/comment/resource/comments/get?csrf_token='
 
# 将encText和encSecKey打包起来
data={
'params':encText,
'encSecKey':encSecKey
}
 
# 发送post请求并携带encText和encSecKey得到评论的json格式
respond=requests.post(url, headers=headers,data=data).json()
# 打印
print(respond)

2.验证结果

我们将json格式化后可以看到爬虫已经爬到了评论

3.换个歌曲试试

OK，成功，将歌曲编号换掉后也是成功爬取到该歌曲的评论