(必收藏) Python私藏项目实操分享，爬取QQ音乐评论，带你解析别人的内心世界

部分代码

---

import re

import json

import time

import pymysql

import requests

URL = ‘https://c.y.qq.com/base/fcgi-bin/fcg_global_comment_h5.fcg?’

HEADERS = {

‘user-agent’: ‘Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_3) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.100 Safari/537.36’

}

PARAMS = {

‘g_tk’: ‘5381’,

‘jsonpCallback’: ‘jsoncallback4823183319594757’,

‘loginUin’: ‘0’,

‘hostUin’: ‘0’,

‘format’: ‘jsonp’,

‘inCharset’: ‘utf8’,

‘outCharset’: ‘GB2312’,

‘notice’: ‘0’,

‘platform’: ‘yqq’,

‘needNewCode’: ‘0’,

‘cid’: ‘205360772’,

‘reqtype’: ‘2’,

‘biztype’: ‘1’,

‘topid’: ‘213910991’,

‘cmd’: ‘8’,

‘needmusiccrit’: ‘0’,

‘pagenum’: ‘0’,

‘pagesize’: ‘25’,

‘lasthotcommentid’: ‘’,

‘callback’: ‘jsoncallback4823183319594757’,

‘domain’: ‘qq.com’,

‘ct’: ‘24’,

‘cv’: ‘101010’,

}

LAST_COMMENT_ID = ‘’

db = pymysql.connect(host=‘127.0.0.1’, user=‘root’, password=‘774110919’, port=3306, db=‘QQ_Music’, charset=‘utf8mb4’)

cursor = db.cursor()

def get_html(url, headers, params=None, tries=3):

try:

response = requests.get(url=url, headers=headers, params=params)

response.raise_for_status()

response.encoding = ‘utf-8’

except requests.HTTPError:

print(“connect failed”)

if tries > 0:

print(“reconnect…”)

last_url = url

get_html(last_url, headers, tries-1)

else:

print(“3 times failure”)

return None

return response

def paras_html(html):

data = {}

content = json.loads(html[29:-3])

for item in content[‘comment’][‘commentlist’]:

data[“nike”] = item.get(“nick”)

data[“comment”] = re.sub(r"\n", " ", item.get(“rootcommentcontent”))

data[“comment”] = (re.sub(r"\n", " ", data[“comment”]))[0:255]

data[“praisenum”] = item.get(“praisenum”)

data[“comment_id”] = item.get(“commentid”)

data[“time”] = time.strftime(“%Y-%m-%d %H:%M:%S”, time.localtime(int(item.get(“time”))))

yield data

def to_mysql(data):

table = ‘comments’

keys = ', '.join(data.keys())

values = ‘, ‘.join([’%s’] * len(data))

sql = ‘INSERT INTO {table}({keys}) VALUES ({values}) ON DUPLICATE KEY UPDATE’.format(table=table, keys=keys, values=values)

update = ‘,’.join([" {key} = %s".format(key=key) for key in data])

sql += update

try:

if cursor.execute(sql, tuple(data.values())*2):

print(‘Successful’)

except:

print(‘Failed’)

db.rollback()

db.commit()

if name == ‘main’:

main()

自我介绍一下，小编13年上海交大毕业，曾经在小公司待过，也去过华为、OPPO等大厂，18年进入阿里一直到现在。

深知大多数Python工程师，想要提升技能，往往是自己摸索成长或者是报班学习，但对于培训机构动则几千的学费，着实压力不小。自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！

因此收集整理了一份《2024年Python开发全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友，同时减轻大家的负担。

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，基本涵盖了95%以上Python开发知识点，真正体系化！

由于文件比较大，这里只是将部分目录大纲截图出来，每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频，并且后续会持续更新

如果你觉得这些内容对你有帮助，可以添加V获取：vip1024c （备注Python）

最后

不知道你们用的什么环境，我一般都是用的Python3.6环境和pycharm解释器，没有软件，或者没有资料，没人解答问题，都可以免费领取（包括今天的代码），过几天我还会做个视频教程出来，有需要也可以领取~

给大家准备的学习资料包括但不限于：

Python 环境、pycharm编辑器/永久激活/翻译插件

python 零基础视频教程

Python 界面开发实战教程

Python 爬虫实战教程

Python 数据分析实战教程

python 游戏开发实战教程

Python 电子书100本

Python 学习路线规划

thon 学习路线规划